Tener inteligencia artificial local en un ordenador con un buen rendimiento es el objetivo actual de las grandes compañías y esto se ve claramente en los objetivos que tiene Microsoft con Windows 12 y Copilot e incluso las MacBook con Apple Intelligence. Pues bien, esta tecnología está llegando también a la industria gaming y de una manera que muchos expertos temen. Por ejemplo, se pueden crear juegos con IA desde cero sin saber nada de programación o usar emuladores capaces de ejecutar GTA VI en ordenador, entonces imagina lo que podría hacer una consola como PlayStation 5 o Xbox Series X con IA integrada.
Con tecnologías como DLSS 5 ya se puede ver lo increíble que puede llegar a ser la inteligencia artificial cuando se trata de generar videojuegos en tiempo real y mejorar las capacidades del equipo. De hecho, existen proyectos que permiten abrir títulos AAA en una página web y todo gracias a los LLM. Ahora, las cosas que se pueden lograr son cada vez más impresionantes porque han logrado ejecutar una IA actual con 9.000 millones de parámetros en una PS4 sin necesidad de PC ni internet, y lo curioso es que forma parte de un proyecto de Alibaba.
¿Cómo ha conseguido ejecutar Qwen3.5-9B en una PlayStation 4 con solo 8 GB de memoria?
Múltiples proyectos siguen en marcha con el objetivo de tener una buena IA local en PC y es que constantemente se han hecho pruebas en diversas propuestas que llaman la atención de cualquiera, especialmente porque esta manera de usar asistentes virtuales requiere de una alta exigencia de hardware.
Hay que recordar que este uso de modelos no recae en la calidad de Internet como lo haces normalmente cuando entras a la app o la página de ChatGPT, Gemini, Copilot, Claude, DeepSeek o cualquier otra inteligencia artificial que vale la pena.
En este caso, en vez de intentarlo desde un ordenador gama alta de última generación, se han enfocado en una consola de Sony. PlayStation 4 cuenta con apenas 8 GB de memoria GDDR5 compartida entre CPU y GPU. Ejecutar un modelo de lenguaje con 9.000 millones de parámetros en esas condiciones parecía inviable.
Para lograrlo, Leonardo Alegría desarrolló Garlic LLM, una solución de código abierto diseñada específicamente para aprovechar al máximo el hardware de la consola. El programador creó sus propios núcleos gráficos en OpenCL C adaptados a la antigua arquitectura AMD GCN utilizada por la PS4 y decidió prescindir de los controladores gráficos convencionales, tal y como se explica en Hugging Face.
La comunicación con la GPU se realiza mediante búferes de comandos PM4 creados específicamente para este propósito, una aproximación poco habitual que permite exprimir recursos que normalmente permanecen fuera del alcance de aplicaciones convencionales.
La optimización fue tan agresiva que consiguió reducir el tamaño efectivo del modelo hasta aproximadamente 4,5 GB. Para ello, Qwen3.5-9B se ejecuta con cuantización de 4 bits, las matrices MLP de mayor tamaño se comprimen a 3 bits y la caché KV también utiliza formato de 4 bits.
Gracias a esto, el sistema puede operar dentro de los límites de memoria de la consola sin sacrificar completamente la funcionalidad del modelo.
El rendimiento del proyecto ha terminado sorprendiendo a toda la industria
La activación de la decodificación optimizada permitió aumentar la velocidad de generación de texto durante tareas de programación de 22 a 43 tokens por segundo. Aunque estas cifras quedan lejos de aceleradores de IA modernos o tarjetas gráficas diseñadas específicamente para inferencia, representan un rendimiento muy llamativo para una consola doméstica de trece años de antigüedad y plantean la pregunta del potencial que tiene PS5 en estas tareas.
Garlic LLM se encuentra disponible a través de Hugging Face y este enfoque abierto también convierte al proyecto en una referencia para quienes investigan nuevas formas de ejecutar modelos de lenguaje en dispositivos limitados.
La demostración de Leonardo Alegría no convierte a la PS4 en una alternativa real a los sistemas de IA actuales, pero sí deja claro que muchas de las limitaciones que se consideran insalvables dependen más del software que del hardware.


Deja una respuesta