En los últimos meses la combinación de modelos avanzados de IA generativa y entornos de simulación ha permitido acelerar proyectos que antes requerían semanas de trabajo técnico. Un entusiasta de la robótica decidió aplicar GPT-6 Sol a un avatar virtual del Microduck, una pequeña unidad robótica desarrollada por Pollen Robotics y Hugging Face, con el objetivo de que identificara a su gato bengala y le entregara una golosina. En apenas unas horas el modelo logró que el pato virtual caminara sin caerse y localizara al felino, proceso que antes habría consumido una cantidad significativa de tiempo y conocimientos especializados.
El reto consistía en traducir la percepción visual del robot en acciones físicas dentro de un entorno digital que reprodujera con precisión la geometría de una habitación real. Para ello se utilizó un agente Hermes de Nous Research y una estación Nvidia DGX Spark, cuya capacidad de cómputo permitió ejecutar rápidamente iteraciones de entrenamiento. Además, Isaac Sim de Nvidia sirvió de puente entre el código generado por GPT-6 Sol y la retroalimentación visual: el modelo observaba vídeos de la simulación, evaluaba su desempeño y sugería ajustes, logrando que el Microduck mantuviera el equilibrio y siguiera al gato de forma fiable.
Entrenamiento del Microduck con IA generativa
El proceso comenzó con una breve instrucción: “caminar por la habitación y buscar cualquier gato bengala”. GPT-6 Sol interpretó la petición, creó un plan de acción y, mediante Isaac Sim, construyó una simulación 3D que incluía la iluminación, el material del suelo y la posición de la cámara. En menos de una hora el robot virtual estaba listo para probarse, y la IA ajustó automáticamente los parámetros de control hasta que el movimiento resultó estable. Cuando se intentó enseñar al pato a realizar un moonwalk inspirado en Michael Jackson, el resultado fue un trote curioso pero sin la gracia esperada, lo que reveló los límites actuales de la IA en la captura de estilos de movimiento complejos.
Colaboración entre la UC Berkeley y Nvidia
Astra y el motor Newton
Paralelamente, el profesor Ken Goldberg de la Universidad de California, Berkeley, y su equipo exploraban cómo Astra, la herramienta de OpenAI lanzada el pasado septiembre, podía generar simulaciones a partir de vídeos de robots reales. Al proporcionar a Astra un fragmento de video y acceso a Newton, el motor de renderizado de Nvidia, la IA produjo en una hora una escena completa con cámara, luces y materiales configurados automáticamente. Goldberg destacó que este nivel de automatización elimina gran parte del trabajo tedioso asociado al ajuste manual de parámetros en simulaciones de alta fidelidad.
Además, los investigadores combinaron Astra con el framework Aspire, recién abierto por Nvidia y el laboratorio de Goldberg. Aspire permite a un robot descubrir y refinar habilidades de forma autónoma; un ejemplo presentado mostró a un par de brazos manipuladores resolver un cubo de Rubik tras múltiples intentos de ajuste de ángulos. Jim Fan, investigador de Nvidia, explicó que estos sistemas actúan como agentes de software capaces de ejecutar modelos de visión-lenguaje-acción (VLA) para controlar directamente los actuadores físicos.
Demostraciones en CoRL: de Rubik a la pintura
Durante la Conferencia on Robot Learning (CoRL), celebrada en Austin, Texas, Fan presentó una serie de demostraciones que subrayan la capacidad de la IA para orquestar tareas complejas sin intervención humana constante. En una de ellas, Astra tomó el control de un brazo robótico y, usando pinceles y pintura encontrados en la sala, recreó una imagen del Puente Golden Gate. En otra prueba, el mismo modelo guió al Microduck para que identificara a un gato y descargara una golosina desde una cámara impresa en 3D colocada sobre su cabeza. Aunque la visión del pato aún necesita mejoras antes de pasar a producción, los resultados confirman que la barrera para construir prototipos funcionales está disminuyendo rápidamente.
El conjunto de avances —desde la generación automática de entornos simulados hasta la capacidad de los robots para aprender habilidades novedosas bajo la supervisión de modelos de lenguaje— sugiere que la combinación de IA generativa y plataformas de simulación podría transformar industrias como la manufactura y el comercio electrónico. A medida que más desarrolladores hobby y empresas especializadas adopten estas herramientas, es posible que pronto veamos una ola de “vibe robotics” donde programar y entrenar robots sea tan sencillo como escribir código en alto nivel.
