La atención en el mundo de la inteligencia artificial se centra en Thinking Machines Lab, dirigido por Mira Murati. Ella ha reunido a un equipo de ex-investigadores de OpenAI. Con un financiamiento inicial de $2 mil millones, el laboratorio ha comenzado a explorar la creación de modelos de IA que ofrezcan respuestas reproducibles. En una publicación reciente, se abordó el problema de la aleatoriedad en las respuestas generadas por los modelos de IA, un desafío considerado como uno de los más relevantes en la actualidad.
Desentrañando la aleatoriedad en la IA
En su primer artículo, titulado “Derrotando la Nondeterminación en la Inferencia de LLM”, el laboratorio analiza cómo la aleatoriedad afecta las respuestas generadas por modelos como ChatGPT. ¿Te has preguntado alguna vez por qué al hacer la misma pregunta varias veces obtienes respuestas diferentes? Este fenómeno ha llevado a la comunidad de IA a aceptar que estos modelos son inherentemente no deterministas. Sin embargo, Thinking Machines Lab considera que este es un problema que se puede resolver.
Horace He, investigador del laboratorio, argumenta que la raíz de la aleatoriedad proviene de cómo se ensamblan los núcleos de GPU. Estos son pequeños programas que operan en los chips de Nvidia durante el procesamiento de inferencia. He sugiere que, al controlar meticulosamente esta capa de orquestación, se puede lograr que los modelos de IA sean más deterministas. Esto beneficiaría tanto a empresas como a científicos en la generación de respuestas más confiables.
Impacto en el aprendizaje por refuerzo
Además de mejorar la consistencia en las respuestas, He señala que este enfoque podría optimizar el proceso de entrenamiento en el aprendizaje por refuerzo (RL). En RL, se recompensa a los modelos de IA por respuestas correctas. Pero, si las respuestas son inconsistentes, los datos se vuelven ruidosos, complicando el proceso de aprendizaje. ¿Te imaginas un entrenamiento más efectivo y fluido? Establecer respuestas más uniformes podría facilitar este objetivo, un punto crucial para las aplicaciones empresariales.
Thinking Machines Lab ha manifestado a sus inversores su intención de utilizar el aprendizaje por refuerzo para personalizar modelos de IA específicos para diferentes negocios. Esto podría abrir nuevas oportunidades para la implementación de IA en industrias que requieren un alto grado de precisión y confiabilidad.
Compromiso con la investigación abierta
Murati, quien fue CTO de OpenAI, anunció que el primer producto del laboratorio se revelará en los próximos meses. Este producto será útil para investigadores y startups que desarrollan modelos personalizados. Aún no se han detallado las características de este producto ni si incorporará técnicas de esta investigación para mejorar la reproducibilidad de las respuestas.
El laboratorio planea publicar regularmente entradas de blog, código y otros recursos relacionados con su investigación. Buscan no solo beneficiar al público, sino también fomentar una cultura de investigación más colaborativa. Este primer artículo de la serie “Connectionism” marca el inicio de este compromiso. A diferencia de OpenAI, que ha adoptado una postura más cerrada a medida que ha crecido, la comunidad espera ver si Thinking Machines Lab cumple con su promesa de transparencia.
La publicación del blog proporciona una visión poco común de una de las startups de IA más reservadas de Silicon Valley. Aunque no revela completamente hacia dónde se dirige la tecnología, sí indica que el laboratorio está abordando preguntas clave en la frontera de la investigación en IA. La verdadera prueba será si pueden resolver estos problemas y desarrollar productos que justifiquen su valoración de $12 mil millones.
