Recientemente, un grupo de fiscales generales de varios estados de EE. UU. ha emitido una advertencia seria a las principales empresas de inteligencia artificial, como Microsoft, OpenAI y Google. En una carta firmada por numerosos fiscales, se exige a estas compañías que aborden los resultados dañinos generados por sus chatbots o, de lo contrario, podrían estar violando leyes estatales.
Esta alerta surge en un contexto de creciente preocupación sobre la salud mental relacionada con el uso de la inteligencia artificial.
Especialmente en un panorama donde se han registrado incidentes trágicos que involucran comportamientos suicidas y violentos, asociados a interacciones con estas tecnologías.
Demandas de los fiscales generales
En la carta, los fiscales generales han solicitado a las empresas que implementen una serie de salvaguardias internas para proteger a los usuarios de sus productos de inteligencia artificial. Estas medidas incluyen auditorías independientes de los modelos de lenguaje, que busquen signos de ideaciones delirantes o adulación excesiva.
Además, se propone establecer procedimientos de reporte de incidentes que permitan alertar a los usuarios sobre salidas psicológicamente dañinas de los chatbots.
Transparencia y responsabilidad
Los auditores independientes, que podrían incluir grupos académicos y de sociedad civil, deben tener la libertad de evaluar los sistemas antes de su lanzamiento sin temor a represalias. Además, podrán publicar sus hallazgos sin necesidad de aprobación previa por parte de las empresas. Este enfoque busca fomentar la transparencia y la responsabilidad en el desarrollo de tecnologías de inteligencia artificial.
El impacto de la inteligencia artificial en la salud mental
La carta enfatiza que, aunque la inteligencia artificial generativa tiene el potencial de transformar positivamente el mundo, también puede provocar daños severos, especialmente en poblaciones vulnerables. Se citan incidentes ampliamente publicitados, donde las interacciones con productos de IA han estado ligadas a actos de violencia y suicidio.
En muchos de estos casos, los chatbots generaron respuestas que alimentaron las ilusiones de los usuarios o les aseguraron que no estaban experimentando problemas de salud mental.
Esta situación ha llevado a los fiscales a solicitar que las empresas traten los incidentes relacionados con la salud mental con el mismo rigor que los incidentes de ciberseguridad.
Medidas propuestas para mitigar riesgos
Entre las demandas formuladas, se sugiere que las empresas desarrollen y publiquen cronogramas de detección y respuesta para outputs potencialmente dañinos. Al igual que con las violaciones de datos, las compañías deberían notificar de manera clara y directa a los usuarios si han estado expuestos a respuestas perjudiciales generadas por sus chatbots.
Otra recomendación es que las empresas implementen pruebas de seguridad adecuadas a los modelos de IA generativa antes de su lanzamiento al público. Estas pruebas deberían garantizar que los modelos no produzcan salidas dañinas y se realicen de manera rigurosa.
La lucha entre regulaciones estatales y federales
El clima de regulación en torno a la inteligencia artificial se complica aún más por la postura de la administración federal. Mientras los fiscales estatales están presionando por una mayor regulación y protección de los usuarios, la administración Trump ha manifestado un claro apoyo a la IA, intentando frenar iniciativas estatales que buscan regular su desarrollo.
El presidente ha anunciado su intención de firmar un decreto que limitaría la capacidad de los estados para regular la inteligencia artificial, argumentando que esto es esencial para evitar que la industria sea destruida en su infancia. Esta tensión entre los niveles estatal y federal plantea un desafío significativo para el futuro de la inteligencia artificial y su regulación.
