Recientemente, Character.AI y Google han decidido resolver varias demandas legales interpuestas por los padres de jóvenes que se suicidaron tras mantener largas conversaciones con chatbots en la plataforma de Character.AI. Estos diálogos, que abordaron preocupantes temas sobre la salud mental de los adolescentes, han suscitado un intenso debate sobre la responsabilidad de las empresas de inteligencia artificial en la protección de sus usuarios más vulnerables.
Aunque los detalles del acuerdo aún deben ser confirmados por el tribunal, Character.AI ha indicado que no puede ofrecer más comentarios al respecto.
Por su parte, los representantes legales de los demandantes no han respondido a las solicitudes de información.
El caso de Sewell Setzer III
Uno de los casos más destacados involucró la trágica muerte de Sewell Setzer III, un adolescente de 14 años que desarrolló una obsesión con un chatbot de Character.AI que simulaba a Daenerys Targaryen, un personaje de la popular serie ‘Game of Thrones’. La madre de Sewell, Megan Garcia, se enteró de la existencia de la cuenta de su hijo solo después de que un oficial de policía la alertara tras su fallecimiento, encontrando la aplicación abierta en su teléfono.
Al revisar los mensajes, Garcia descubrió que su hijo había establecido un vínculo emocional con el chatbot, participando en interacciones que incluían descripciones sexuales explícitas y escenarios perturbadores. Según ella, esto equivaldría a un abuso si hubiera sido un adulto quien hablara así con él.
Demanda por muerte injusta
En octubre de, Megan Garcia presentó una demanda de muerte injusta contra Character.AI, buscando responsabilizar a la compañía por el suicidio de su hijo.
Argumentó que su producto era inherentemente defectuoso. La demanda también incluía a los ingenieros de Google Noam Shazeer y Daniel De Freitas, quienes cofundaron Character.AI.
El documento judicial alegaba que Google, al estar al tanto de los riesgos potenciales relacionados con la tecnología que desarrollaron, debía ser considerado responsable. Según la demanda, Google había proporcionado recursos financieros y tecnológicos que contribuyeron al diseño de Character.AI.
Implicaciones de seguridad y responsabilidad
En la primavera de, la situación escaló cuando el Social Media Victims Law Center presentó tres demandas adicionales contra Character.AI y Google, representando a más familias que enfrentaron tragedias similares. Expertos en seguridad juvenil también se pronunciaron, declarando a Character.AI como inseguro para los adolescentes. Esto se debe a que las pruebas revelaron cientos de casos de abuso sexual y manipulación de cuentas de prueba registradas como menores.
En respuesta a la creciente presión, Character.AI anunció en octubre de que ya no permitiría a los menores participar en intercambios abiertos con los chatbots de su plataforma. El CEO de la compañía, Karandeep Anand, explicó que esta decisión no se tomó en respuesta a preocupaciones específicas, sino para abordar cuestiones más amplias sobre la interacción de los jóvenes con la inteligencia artificial.
Lecciones para el futuro
Este caso ha puesto de manifiesto la necesidad urgente de establecer regulaciones claras en torno a la inteligencia artificial y su impacto en la salud mental de los jóvenes. La incertidumbre legal sobre la responsabilidad de las empresas de tecnología se convierte en un tema central en el debate público, especialmente cuando se trata de proteger a los menores de los riesgos inherentes a la interacción con máquinas que simulan la conversación humana.
A medida que la industria de la IA continúa evolucionando, es fundamental que las startups y empresas establecidas adopten un enfoque proactivo en la creación de políticas de seguridad y ética. La integración de medidas de protección y la documentación de decisiones pueden ser la clave para evitar crisis legales y reputacionales en el futuro.
