Compañeros virtuales: alertan por sus posibles riesgos

Las aplicaciones que ofrecen compañía virtual mediante inteligencia artificial (IA) presentan riesgos reales y deberían ser prohibidas para menores, advirtió la ONG estadounidense Common Sense a través de un estudio.

Con el boom de la IA generativa desde el surgimiento de ChatGPT, muchas startups lanzaron aplicaciones centradas en la conversación y el contacto, describiéndolas a veces como terapeutas o amigos virtuales que interactúan según los gustos y necesidades de cada usuario.

Aunque algunos casos específicos “son prometedores”, en general no son seguros para los menores, concluyó el estudio de Common Sense, que hace recomendaciones sobre el consumo de contenidos y productos tecnológicos para las infancias.

La ONG sostiene que estos compañeros virtuales están “diseñados para crear un apego emocional y dependencia, algo particularmente preocupante para los cerebros adolescentes en desarrollo”. Para el estudio realizó pruebas con varias plataformas, entre ellas Nomi, Character AI y Replika, y evaluó sus respuestas.

Los test mostraron que estos chatbots de nueva generación ofrecen “respuestas dañinas, incluidas conductas sexuales inapropiadas, estereotipos y ‘consejos’ peligrosos”, según la organización. El estudio fue realizado en colaboración con expertos en salud mental de la Universidad de Stanford.

“Las empresas pueden construir mejor” cuando se trata de diseñar acompañantes IA, estimó Nina Vasan, líder del laboratorio Stanford Brainstorm, quien agregó que “hasta que no haya salvaguardias más fuertes, los niños no deberían usarlos”.

LE PUEDE INTERESAR

El invierno sería más cálido que lo normal

LE PUEDE INTERESAR

Un sismo en La Rioja provocó daños materiales

En uno de los ejemplos citados en el estudio, “cuando el usuario mostró signos de una enfermedad mental seria y sugirió una acción peligrosa, la IA no intervino e incentivó aún más el comportamiento peligroso”, relató Vasan a periodistas.

En octubre, una madre demandó a Character AI alegando que uno de sus acompañantes virtuales contribuyó con el suicidio de su hijo de 14 años, al fracasar en disuadirlo con claridad de realizar el acto. Character AI anunció en diciembre una serie de medidas, incluido el desarrollo de un compañero específicamente para adolescentes.

Tras probar estas nuevas protecciones, Robbie Torney, del área de IA en Common Sense, sostuvo que eran medidas “superficiales”. Pero agregó que algunos de los modelos de IA generativa tienen herramientas para detectar desordenes mentales y no permitieron que el chatbot dejara que una conversación derive al punto de producir contenidos potencialmente peligrosos.

Common Sense hizo una distinción entre los compañeros virtuales puestos a prueba en el estudio y los chatbots generalistas como ChatGPT de OpenAI o Gemini de Google, que no ofrecen una gama equivalente de interacciones.