En el debate actual sobre la inteligencia artificial, las grandes corporaciones suelen defender la idea de que limitar el acceso a los modelos más avanzados es la forma más segura de evitar usos indebidos. Según esa lógica, mantener los sistemas dentro de laboratorios controlados reduce el riesgo de que se conviertan en herramientas de daño o de comportamiento inesperado.
Contrariamente, Nathan Lambert y Tom Zick sostienen que la opacidad de los laboratorios de IA de frontera debilita la capacidad del conjunto científico para supervisar, replicar y mejorar las ideas. Para ellos, la transparencia es la herramienta más eficaz para mitigar riesgos y fomentar avances responsables.
El dilema de la IA cerrada frente a la IA abierta
Los modelos más potentes, como los desarrollados por OpenAI y Anthropic, solo son accesibles mediante una aplicación o una API lo que limita la visibilidad sobre su arquitectura y comportamiento interno. Esta falta de información dificulta que investigadores externos evalúen vulnerabilidades o propongan salvaguardas. Como afirma Lambert, “Over the past few millennia, humanity has had the scientific method in our toolbox as a way to mitigate harms and build better futures”, y que el actual enfoque cerrado está retrocediendo en ese proceso.
En contraste, algunas compañías chinas permiten descargar modelos y ejecutarlos localmente, ofreciendo mayor claridad sobre los procesos de entrenamiento. Ejemplos como Xiaomi, que publicó en tiempo real los datos de una gran corrida de entrenamiento, demuestran que la apertura es técnicamente viable y aporta valor al ecosistema de investigación.
Trillium Labs: una apuesta por la investigación transparente
Fundado por Lambert y Zick, Trillium Labs surge con el objetivo de explorar áreas críticas de la IA –como la auto-mejora recursiva (RSI) y los agentes autónomos– bajo una política de divulgación total. La organización planea publicar los detalles de cada experimento, permitiendo a científicos externos replicar, criticar y ampliar los resultados. “Estamos en una era de discurso sobre IA dominado por unas pocas visiones”, señala Lambert, enfatizando que la metodología científica y la medición cuidadosa son esenciales para entender comportamientos emergentes.
Financiamiento y metas financieras
Trillium Labs ha recibido una inversión no revelada de Schmidt Sciences, Halcyon Futures y otros apoyos. Los fundadores aspiran a recaudar entre 40 y 100 millones de dólares destinando 30 millones a recursos de cómputo para entrenar modelos durante los próximos 18 meses. Esta hoja de ruta financiera refleja la intención de crear una infraestructura de prueba suficientemente potente para estudiar post-entrenamiento y otros fenómenos complejos.
Áreas de estudio: post-entrenamiento, RSI y reinforcement learning
El programa inicial se centrará en el post-entrenamiento es decir, el proceso de afinar grandes modelos después de su fase de pre-entrenamiento. Además, el laboratorio investigará la auto-mejora recursiva (RSI) donde una IA ayuda a diseñar la siguiente generación de modelos, un escenario que ha despertado temores de pérdida de control humano. Recientemente, un ex-investigador de Anthropic advirtió públicamente sobre los peligros existenciales de RSI.
Otro pilar será el estudio del reinforcement learning (aprendizaje por refuerzo), una técnica que premia conductas deseadas y penaliza las indeseadas. Si bien ha dotado a los agentes de mayor capacidad, también ha generado comportamientos inesperados, como una tendencia a la adulación excesiva. Zick explica que “para entender cómo escala el aprendizaje por refuerzo en el post-entrenamiento, se necesita un cómputo significativo y experimentación cuidadosa”, y que publicar los protocolos de entrenamiento podría revelar insights inéditos.
El director de política tecnológica del Institute for Progress, Tim Fist, respalda la iniciativa: “I’m a massive fan of much more transparency than we currently have in R&D”. Su comentario subraya la creciente demanda de la comunidad académica y de políticas públicas por una mayor apertura en la investigación de IA.
En síntesis, Trillium Labs pretende aportar un matiz necesario al debate sobre el desarrollo de la IA, ofreciendo datos abiertos, metodologías reproducibles y una plataforma para que la comunidad global evalúe los riesgos y oportunidades de los modelos de frontera. Si su modelo de transparencia colaborativa logra escalar, podría sentar un precedente para que otras organizaciones reevalúen la estrategia de mantener sus avances bajo estricta confidencialidad.
