Un escándalo inesperado
Recientemente, Meta se vio envuelta en una controversia tras utilizar una versión experimental de su modelo Llama 4 Maverick para obtener una puntuación alta en el benchmark crowdsourced, LM Arena. Este incidente llevó a los mantenedores de LM Arena a disculparse y modificar sus políticas, así como a puntuar el modelo Maverick sin modificaciones. Los resultados fueron sorprendentes: el modelo no se mostró competitivo en comparación con otros modelos de inteligencia artificial.
Rendimiento decepcionante
El modelo no modificado, conocido como “Llama-4-Maverick-17B-128E-Instruct”, se posicionó por debajo de otros modelos destacados, como GPT-4o de OpenAI, Claude 3.5 Sonnet de Anthropic y Gemini 1.5 Pro de Google. Este rendimiento ha suscitado preguntas sobre la efectividad real del modelo de Meta, especialmente considerando que muchos de estos modelos competidores tienen meses de antigüedad.
Optimización y sus implicaciones
La razón detrás de este bajo rendimiento parece estar relacionada con las optimizaciones realizadas en el modelo experimental de Meta, que se centraron en mejorar su capacidad conversacional. Aunque estas optimizaciones resultaron efectivas en LM Arena, la comunidad tecnológica ha señalado que adaptar un modelo a un benchmark puede ser engañoso y dificultar la predicción de su rendimiento en contextos diversos. Un portavoz de Meta afirmó que la empresa experimenta con “todo tipo de variantes personalizadas” y que están ansiosos por ver cómo los desarrolladores personalizan Llama 4 para sus propios casos de uso.
