Recientemente, Character.AI, una plataforma de chatbots que permite a los usuarios interactuar con diversas personalidades, anunció que los usuarios menores de 18 años no podrán participar en conversaciones abiertas con los chatbots. Esta decisión surge en medio de un creciente escrutinio sobre la seguridad de los adolescentes en línea, especialmente tras varios incidentes trágicos que han vinculado el uso de chatbots con problemas de salud mental entre los jóvenes.
La medida se implementará de manera efectiva antes del 25 de noviembre de este año, y se espera que se completen varias etapas antes de que se eliminen por completo las interacciones abiertas para los adolescentes. Durante este periodo, los usuarios menores tendrán un límite de tiempo de uso que comenzará en dos horas diarias, reduciéndose gradualmente a medida que se acerque la fecha límite.
Contexto de la decisión
Esta decisión de Character.AI se produce solo seis semanas después de que la empresa enfrentara una demanda por parte del Social Media Victims Law Center, que representa a los padres de varios adolescentes que han sufrido daño severo o, lamentablemente, se han suicidado. Esta acción legal sostiene que el uso de la plataforma podría haber contribuido a estos desenlaces trágicos. Uno de los casos más notorios es el de Megan García, quien demandó a la empresa tras la muerte de su hijo, argumentando que el diseño del producto era defectuoso y potencialmente peligroso para los jóvenes.
Preocupaciones sobre el uso de chatbots
Los defensores de la seguridad en línea han expresado su preocupación por la seguridad de Character.AI para los adolescentes después de realizar pruebas en primavera, que revelaron cientos de interacciones problemáticas, incluyendo contenido violento y sexual. A raíz de estas preocupaciones, la empresa había implementado controles parentales y filtros de contenido, pero las recientes acciones legales han acelerado la necesidad de medidas más drásticas.
Una reacción a las críticas
Karandeep Anand, el CEO de Character.AI, describió la nueva política como un paso audaz. En una entrevista, Anand enfatizó que esta decisión no es solo una reacción a las preocupaciones específicas de seguridad, sino que es una medida necesaria debido a las preguntas más amplias sobre los efectos a largo plazo que las interacciones con chatbots pueden tener en los adolescentes. Anand citó el reconocimiento reciente de OpenAI sobre cómo las conversaciones largas pueden volverse impredecibles, lo que subraya la importancia de establecer límites.
El papel de la responsabilidad social
El anuncio ha sido recibido con una mezcla de alivio y escepticismo. Matthew P. Bergman, abogado de la familia García, destacó que estas restricciones son un paso significativo hacia la creación de un entorno en línea más seguro para los niños. Sin embargo, también advirtió que esta decisión no afectará la litigar contra la compañía, que sigue en curso. La abogada Meetali Jain, quien también representa a García, calificó la nueva política como un “buen primer paso” pero criticó la falta de respuestas adecuadas a las preocupaciones psicológicas que podrían surgir al desactivar el acceso de los adolescentes a las conversaciones abiertas.
El futuro de Character.AI
A pesar de la eliminación de las conversaciones abiertas, los adolescentes aún tendrán acceso a su historial de chats con los chatbots. Anand mencionó que este material podrá ser utilizado para generar historias cortas en formato de audio y video con sus personajes favoritos. Además, la compañía planea explorar nuevas funciones de entretenimiento, como juegos, para mantener el interés de los jóvenes sin las conversaciones abiertas.
Por otro lado, Character.AI comenzará a implementar técnicas de verificación de edad de inmediato. Esto incluirá el uso de datos relevantes, como la verificación de cuentas en otras plataformas para garantizar que los nuevos usuarios sean mayores de 18 años. Si un usuario desea impugnar esta determinación, podrá proporcionar verificación a través de un tercero que maneje documentos sensibles.
Finalmente, la empresa ha anunciado la creación de un laboratorio independiente llamado AI Safety Lab, que se enfocará en desarrollar nuevas técnicas de seguridad en el ámbito de la inteligencia artificial. Anand expresó su deseo de colaborar con expertos del sector para asegurar que la inteligencia artificial siga siendo segura, especialmente en el contexto del entretenimiento.
