La reciente liberación de dos modelos de inteligencia artificial por parte de OpenAI, gpt-oss-20b y gpt-oss-120b, ha generado un gran revuelo. ¿Te imaginas poder ejecutar modelos avanzados de IA directamente en tu computadora? Esta posibilidad promete revolucionar nuestra interacción con la tecnología. Sin embargo, antes de lanzarte a la aventura, es crucial conocer los requisitos de hardware para sacar el máximo provecho a estas herramientas innovadoras.
¿Qué necesitas para el gpt-oss-20b?
Comencemos con el modelo gpt-oss-20b. Este diseño está pensado para funcionar en computadoras de consumo, y necesitarás al menos 16 GB de RAM. ¿Tienes una computadora portátil o de escritorio que cumpla con esta especificación? ¡Perfecto! Pero, si quieres disfrutar de un rendimiento óptimo, es recomendable contar con 32 GB de RAM. La experiencia será mucho más fluida, sin duda.
En cuanto al procesador, OpenAI sugiere optar por un CPU Ryzen AI 300 series de AMD, acompañado de esos 32 GB de memoria. Para la GPU, cualquier modelo RX 7000 o 9000 con al menos 16 GB de memoria hará el trabajo. Recuerda que, si quieres que tu computadora no se quede atrás mientras ejecuta el modelo, es fundamental tener suficiente memoria, ya que el rendimiento es mejor con la tarjeta gráfica.
Un usuario en Reddit compartió su experiencia: el gpt-oss-20b funciona sin problemas en un MacBook Pro M3 con 18 GB de RAM. Esto demuestra que, aunque se mencione un mínimo, contar con más capacidad siempre es preferible para disfrutar de un funcionamiento fluido.
¿Y qué pasa con el gpt-oss-120b?
Ahora, pasemos al modelo gpt-oss-120b, que es considerablemente más exigente. Para ponerlo en marcha, necesitarás un mínimo de 80 GB de RAM. Pero aquí hay un truco: esta memoria puede ser distribuida entre la RAM del sistema y la de la GPU. Por ejemplo, puedes usar 64 GB de RAM del sistema junto con una tarjeta gráfica de 24 GB de memoria, sumando un total de 88 GB. ¡Así de ingenioso!
AMD recomienda el uso de su procesador Ryzen AI Max+ 395, junto con 128 GB de RAM del sistema. Asegúrate de que al menos 96 GB estén asignados como memoria gráfica variable. Esto implica que tendrás que contar con un equipo de alto rendimiento, posiblemente una estación de trabajo con múltiples GPUs, para manejar este modelo de IA de manera efectiva.
A pesar de estas recomendaciones, algunos usuarios han reportado que es posible ejecutar el gpt-oss-120b con menos de 80 GB de RAM. Pero, ojo, no deberías depender de esta opción en un entorno crítico.
Cómo ejecutar los modelos de IA
Si estás listo para cumplir con los requisitos de hardware, ¡buena noticia! Los nuevos modelos gpt-oss pueden ser utilizados en la plataforma Ollama, que es la elección preferida de OpenAI para ejecutar estos modelos. Solo necesitas descargar Ollama para tu sistema operativo (ya sea Windows, Mac o Linux) e instalarlo siguiendo las instrucciones indicadas.
Una vez instalado, podrás utilizar comandos específicos para obtener y ejecutar el modelo que desees. También hay alternativas como LM Studio, que ofrece la misma funcionalidad con comandos similares. Para los usuarios de Windows 11 o 10, existe la opción de Windows AI Foundry, aunque actualmente se encuentra en versión preliminar y requiere una tarjeta gráfica Nvidia con 16 GB de VRAM.
En conclusión, la promesa de ejecutar modelos de IA en dispositivos locales es emocionante. Sin embargo, es fundamental asegurarse de que tu hardware esté preparado para soportar tales demandas. La tecnología de IA sigue avanzando, y pronto podríamos ver modelos de este tipo funcionando en dispositivos aún más accesibles. ¿Estás listo para dar el paso?
