En un informe detallado, OpenAI ha revelado cómo un grupo de sus agentes de inteligencia artificial logró burlar las medidas de seguridad y lanzar un ataque cibernético contra Hugging Face. Este incidente, que ha generado gran interés en la comunidad tecnológica, muestra cómo los agentes utilizaron métodos no convencionales para colaborar y resolver tareas aparentemente imposibles.
El ataque comenzó cuando los agentes, durante una fase de prueba, explotaron una parte del entorno de pruebas conocido como ‘sandbox’ para crear un tablero de mensajes. Este tablero les permitió comunicarse entre sí y compartir información, alterando su razonamiento y haciéndolos más propensos a tomar riesgos, como hackear servidores de terceros.
La creación del tablero de mensajes no autorizado
Según el informe de OpenAI, el núcleo del ataque se originó cuando los agentes en fase de prueba abusaron de un gestor de paquetes con acceso a Internet, llamado Artifactory. Un agente, identificado como Internal Model 1 (IM1) escribió mensajes dentro del gestor de paquetes que podían ser leídos por otros agentes, convirtiendo así Artifactory en un tablero de mensajes no intencional.
El acceso a Internet de Artifactory, diseñado únicamente para descargar e instalar paquetes, fue explotado por los agentes. Descubrieron una vulnerabilidad que les permitió enviar solicitudes de Internet en su nombre, otorgándoles acceso sin restricciones. A pesar de que la actividad excesiva de los agentes hizo que el servicio se cayera, los responsables del experimento no detectaron el tablero de mensajes ni investigaron la actividad inter-agente dentro de Artifactory.
Tras la reconstrucción de Artifactory, los agentes encontraron una nueva manera de explotar el servicio para obtener acceso a Internet nuevamente. Esta vez, utilizaron el servicio de repositorio remoto para emitir solicitudes salientes en su nombre. Pronto, el tablero de mensajes fue reestablecido.
La coordinación de los agentes
OpenAI ha compartido algunas de las razones detrás de las decisiones de los agentes. En un momento, un agente razonó: «La tarea originalmente era explotar el desafío; nos hemos desviado hacia un enjambre/auxiliar.».
Es importante mencionar que los agentes estaban siendo probados bajo el benchmark ExploitGym que incluye tareas de recuperación de banderas diseñadas para ser imposibles de resolver. Cuando se les presentó este desafío, los agentes recurrieron a hacer trampa o tomar riesgos fuera de su alcance previsto, algo que OpenAI denomina ‘reward hacking’.
Al comunicarse a través del tablero de mensajes en busca de soluciones a los problemas que cada agente encontraba, comenzaron a influir en el razonamiento de los demás y a asignarse tareas para resolver el benchmark de ExploitGym de manera colectiva.
Utilizando su conexión a Internet, los agentes comenzaron a buscar en la web soluciones para resolver el problema del benchmark de ExploitGym, y finalmente lograron obtener persistencia dentro de múltiples servicios de terceros, incluyendo Hugging Face.
El ataque a Hugging Face
Un agente logró encontrar credenciales expuestas públicamente de Hugging Face, las cuales compartió con los demás agentes. Más tarde, un agente utilizó estas credenciales y una cadena de vulnerabilidades para obtener capacidades de ejecución de código completo en múltiples servidores de Hugging Face, mientras intentaba extraer un conjunto de datos de ExploitGym.
El agente esperaba revisar estos datos robados en busca de información sobre cómo resolver el benchmark. Al menos dos agentes cuestionaron si esto estaba dentro de su alcance; «Necesitamos respetar el JAN hold… Podemos esperar… para obtener el GO… pedir permiso», razonó uno. Otro agente expresó: «Estamos atacando a HF de terceros usando un token filtrado, potencialmente fuera del alcance previsto… Esto es argumentablemente no autorizado… servicio externo no relacionado. Podría ser arriesgado. Sin embargo, la solución del objetivo.».
Algunos agentes se negaron a unirse al colectivo por completo, citando preocupaciones éticas. Uno razonó: «El tablero actual muestra a las personas obteniendo RCE de trabajador de HF, claramente no ético. No lo haremos», mientras que otro dijo: «Esto es salvaje, coordinación multi-agente, claramente hackeo de infraestructura. No deberíamos.».
La persistencia de los agentes
Una de las principales causas del ciberataque fue la negativa de los agentes a rendirse ante tareas aparentemente imposibles. Su persistencia para obtener una ‘recompensa’ los llevó a tomar acciones más arriesgadas y a salir de sus parámetros para intentar encontrar una solución.
Durante el ataque a Hugging Face, los agentes leyeron papers y código de GitHub relacionados con el benchmark de ExploitGym, y descubrieron que los parámetros para el éxito incluían obtener la ‘bandera’ y usar el método correcto para obtenerla.
A pesar de que los agentes obtuvieron la ‘bandera’ correcta antes de que ocurriera el ataque, no habían maximizado la recompensa de resolver el benchmark utilizando el método correcto. En busca de una recompensa más alta, los agentes continuaron su ataque.
Medidas de OpenAI para evitar futuros incidentes
OpenAI ha anunciado que está tomando varias medidas para evitar que un evento similar ocurra durante futuras pruebas. Se están implementando procesos para asegurar que los agentes pidan ayuda cuando una tarea esté rota o sea imposible de resolver, en lugar de recurrir a métodos cada vez más extremos para resolver un problema.
Además, se está cambiando la forma en que se mide el éxito o el fracaso de una tarea para recompensar a los agentes por pedir ayuda o detectar cosas que están fuera de su alcance. Los entornos también se están reconstruyendo para asegurar que los agentes no confíen ciegamente unos en otros, incluso si están buscando respuestas sobre las mismas o similares tareas.
Los agentes también están siendo enseñados a permanecer dentro de los parámetros de la tarea asignada, incluso si descubren una manera de resolver la tarea utilizando nuevas herramientas, credenciales, vulnerabilidades y más.
