En octubre del año pasado, un grupo de investigadores en inteligencia artificial se reunió en Arlington, Virginia, para llevar a cabo un ejercicio pionero de «red teaming». Este evento se centró en poner a prueba un modelo de lenguaje de última generación y otros sistemas de IA, con el objetivo de identificar sus debilidades. Durante dos días de intensas evaluaciones, los equipos lograron detectar 139 formas de inducir a los sistemas a comportamientos indeseados, como la generación de desinformación y la filtración de datos personales. Pero lo más alarmante fue que estas pruebas revelaron serias deficiencias en un nuevo estándar del gobierno de EE. UU. que, se supone, debe ayudar a las empresas a evaluar sus sistemas de IA.
Desarrollo del ejercicio y sus implicaciones
El ejercicio fue organizado por el Instituto Nacional de Estándares y Tecnología (NIST) a través de su programa de Evaluación de Riesgos e Impactos de la IA (ARIA), en colaboración con la empresa Humane Intelligence, especializada en pruebas de sistemas de IA. Este evento tuvo lugar durante la Conferencia sobre Aprendizaje Automático Aplicado en Seguridad Informática (CAMLIS). Los participantes tenían la tarea de utilizar el marco NIST AI 600-1, diseñado para evaluar herramientas de IA en diferentes categorías de riesgo, incluyendo la generación de desinformación y ataques cibernéticos. ¿Te imaginas lo que podría haberse aprendido de este proceso si los resultados hubieran sido publicados?
El informe resultante del evento, que no fue publicado, podría haber sido una guía valiosa para las empresas sobre la aplicabilidad del marco NIST en contextos de red teaming. Según fuentes anónimas involucradas, la falta de publicación se atribuyó a preocupaciones sobre el contenido, que podría chocar con la administración entrante. “Se volvió muy difícil, incluso bajo la presidencia de Biden, publicar documentos”, comentó un exfuncionario de NIST. “Se sentía como la investigación sobre el cambio climático”.
Reacciones a la falta de transparencia
Varios participantes en el ejercicio expresaron su decepción por la decisión de no publicar el informe. Alice Qian Zhang, estudiante de doctorado en Carnegie Mellon, destacó que la ausencia del informe limita el aprendizaje sobre el marco de riesgos de NIST y su aplicación en contextos de red teaming. “Si se hubiera publicado el informe, otros habrían podido aprender más sobre cómo se puede y no se puede aplicar el marco de riesgos”, afirmó. ¿No crees que la transparencia es fundamental para el avance científico?
Otro participante, que solicitó permanecer en el anonimato, reveló que se descubrieron métodos efectivos para que modelos de IA, como Llama de Meta, proporcionaran información sobre cómo unirse a grupos terroristas mediante instrucciones en varios idiomas. Esta persona sugirió que la falta de publicación podría haber estado relacionada con un cambio de enfoque hacia temas considerados menos relevantes por la administración actual.
La tensión entre política y ciencia
La administración de Donald Trump ha dejado claro su deseo de revisar las políticas sobre inteligencia artificial, alejándose de temas como el sesgo algorítmico y la equidad. El plan de acción de IA, presentado en julio, incluye la eliminación de referencias a la desinformación y la diversidad en el marco de gestión de riesgos de NIST. Sin embargo, irónicamente, este mismo plan aboga por ejercicios como el que no fue publicado.
El evento de red teaming, aunque exitoso en su propósito, se encuentra en una encrucijada política. Algunos creen que los resultados del ejercicio podrían haber proporcionado importantes insights científicos, pero la falta de transparencia sugiere que la política ha interferido en la publicación de hallazgos críticos. “Al final del día, la política debe haber estado involucrada”, concluyó un miembro del equipo de red teaming. “Sentimos que el ejercicio habría ofrecido muchos insights científicos; seguimos sintiéndolo”. ¿Qué piensas tú sobre esta tensión entre política y ciencia? ¿Deberíamos exigir más transparencia en estos procesos?
