A principios de este año, DeepSeek, una firma china de inteligencia artificial relativamente desconocida, presentó su última creación: el chatbot R1. Este desarrollo ha llamado la atención, especialmente porque la empresa sostiene que su chatbot puede competir con las ofertas de grandes actores del sector, utilizando considerablemente menos potencia computacional y recursos. La reacción del mercado fue inmediata; las acciones de compañías tecnológicas consolidadas experimentaron una fuerte caída, destacando Nvidia, que sufrió su mayor pérdida en un solo día en la historia.
No obstante, la emoción generada por el anuncio de DeepSeek también suscitó controversia. Surgieron alegaciones que sugieren que la compañía pudo haber utilizado técnicas de distilación de conocimiento para obtener información del modelo propietario de OpenAI, conocido como o1. Varios medios de comunicación presentaron estas acusaciones como una revelación trascendental que podría cambiar el panorama del desarrollo de la inteligencia artificial, insinuando que DeepSeek podría haber descubierto un método más eficiente para construir IA.
El concepto de distilación de conocimiento
A pesar de la cobertura sensacionalista, es fundamental entender que la destilación del conocimiento no es un concepto nuevo; se trata de una técnica bien reconocida en el ámbito del aprendizaje automático desde hace casi una década. Según Enric Boix-Adsera, investigador especializado en este campo en la Wharton School de la Universidad de Pennsylvania, la destilación es un método esencial que mejora la eficiencia de los modelos en toda la industria.
Orígenes y evolución de la destilación
El fundamento para la destilación del conocimiento se estableció en una publicación de 2015, elaborada por un equipo de investigadores de Google, que incluía al renombrado pionero en inteligencia artificial Geoffrey Hinton, quien más tarde recibiría un Premio Nobel. En ese momento, los profesionales de la IA utilizaban con frecuencia conjuntos de modelos, es decir, múltiples modelos trabajando en conjunto para mejorar el rendimiento predictivo. Sin embargo, este enfoque resultaba ser engorroso y requería muchos recursos.
En su investigación, los autores identificaron una falla en los algoritmos de aprendizaje automático tradicionales: tendían a tratar todas las predicciones incorrectas como igualmente erróneas. Por ejemplo, en una tarea de clasificación de imágenes, identificar erróneamente a un perro como un zorro se penalizaba de la misma manera que confundirlo con una pizza. Esto llevó a los investigadores a explorar si podían aprovechar el conocimiento incrustado en los modelos de conjunto para informar mejor a un modelo más pequeño y eficiente.
Implementación y relevancia en la IA
Hinton se refirió a este conocimiento adicional como conocimiento oscuro, comparándolo con el concepto de materia oscura en cosmología. El equipo propuso un método en el que un modelo más grande y complejo (el ‘maestro’) podría proporcionar a un modelo más pequeño (el ‘estudiante’) información más matizada sobre clasificaciones de imágenes. En lugar de simplemente ofrecer una respuesta binaria, el modelo maestro transmitiría probabilidades; por ejemplo, un 30% de probabilidad de que una imagen representara un perro y un 20% de que fuera un gato, lo que permitiría al modelo estudiante aprender de manera más eficiente.
A pesar de que este enfoque innovador fue inicialmente recibido con escepticismo—no logró ser aceptado en una conferencia—, su llegada coincidió con un periodo de rápidos avances en inteligencia artificial. A medida que los ingenieros alimentaban más datos a las redes neuronales, sus capacidades y tamaño crecieron exponencialmente, junto con los costos operativos.
Aplicaciones en el mundo real y crecimiento
En 2018, Google presentó un modelo de lenguaje avanzado llamado BERT, que rápidamente se convirtió en una herramienta clave para procesar grandes volúmenes de datos de búsqueda en la web. Sin embargo, debido a su tamaño y los costos asociados, al año siguiente se desarrolló una versión más ligera, conocida como DistilBERT. Esta variante ha ganado una notable aceptación tanto en el ámbito comercial como académico. Desde entonces, la destilación del conocimiento se ha vuelto común en la industria, con empresas importantes como Amazon y OpenAI integrándola en sus servicios.
En respuesta a las preocupaciones sobre el posible uso no autorizado del modelo de OpenAI por parte de DeepSeek, es importante señalar que la destilación del conocimiento generalmente requiere acceso autorizado a la arquitectura del modelo docente. No obstante, un modelo de estudiante puede obtener información valiosa al formular preguntas específicas al docente, lo que refleja un método socrático de indagación.
Direcciones futuras y avances en la investigación
La investigación sigue revelando nuevas aplicaciones para la destilación de conocimientos. En enero, el laboratorio NovaSky de UC Berkeley demostró que la destilación es efectiva para entrenar modelos que participan en razonamiento encadenado, una técnica clave para abordar consultas complejas. El laboratorio informó que su modelo de código abierto Sky-T1, entrenado por menos de $450, logró resultados comparables a modelos mucho más grandes.
En conclusión, aunque el chatbot R1 de DeepSeek ha generado gran expectación y ha suscitado interrogantes sobre la ética en el desarrollo de la inteligencia artificial, comprender las bases establecidas de la destilación de conocimientos revela que esta práctica es un aspecto común y esencial de la industria de la IA. A medida que el panorama continúa evolucionando, las implicaciones de estos avances sin duda darán forma al futuro de la tecnología de IA.
