La IA local necesita más memoria: así cambia el hardware para ejecutar modelos en el PC

La memoria empieza a ser tan importante como la potencia de cálculo para ejecutar modelos de inteligencia artificial (IA) en un ordenador. La memoria unificada, los modelos abiertos y los nuevos motores de inferencia están ampliando las posibilidades de los equipos domésticos y profesionales, hasta el punto de que varias máquinas pueden trabajar juntas para ejecutar modelos demasiado grandes para un único PC. Sin embargo, disponer de más memoria no garantiza por sí solo una mayor velocidad: también importan el ancho de banda, la arquitectura del procesador y la optimización del software.

Las claves de la IA local en 20 segundos

  • La memoria unificada permite compartir memoria física entre la CPU y la GPU.
  • Los modelos abiertos, como Qwen, pueden ejecutarse en local con herramientas compatibles.
  • AMD ha documentado una prueba con cuatro equipos de 128 GB de memoria para ejecutar Kimi K2.5.
  • ArcLight busca mejorar la inferencia en procesadores con muchos núcleos.
  • La ejecución local reduce la dependencia de servicios externos, pero exige ajustar el modelo al hardware disponible.

La evolución responde a una limitación técnica habitual: los modelos de lenguaje de gran tamaño necesitan memoria para almacenar sus parámetros y mantener el contexto de cada conversación. Cuando el modelo supera la capacidad disponible en la memoria gráfica, el sistema debe recurrir a otras alternativas, como repartir el trabajo entre CPU y GPU, utilizar modelos cuantizados o distribuir la inferencia entre varios equipos.

En ese escenario, la memoria unificada ofrece una vía distinta a la de los ordenadores que dependen de una tarjeta gráfica con memoria dedicada. Su utilidad, no obstante, depende de la plataforma y de cómo aproveche el software los recursos disponibles.

Memoria unificada: más capacidad disponible, pero no siempre más velocidad

En una arquitectura con memoria unificada, diferentes unidades de procesamiento pueden acceder a una misma memoria física. Esto evita tener que mantener necesariamente copias separadas de los datos en la memoria del sistema y en la memoria gráfica, aunque el comportamiento concreto depende de la implementación.

En los equipos tradicionales, la memoria RAM y la VRAM de una GPU dedicada son recursos distintos. Si un modelo no cabe en la memoria de la tarjeta gráfica, el sistema puede distribuir sus componentes entre varios tipos de memoria, pero ese reparto puede reducir el rendimiento. El acceso a la RAM a través de la CPU no ofrece las mismas condiciones que trabajar directamente con la memoria de la GPU.

La memoria unificada permite que determinados equipos con GPU integrada destinen una parte considerable de la memoria del sistema a tareas de inteligencia artificial. Esto puede resultar útil para cargar modelos más grandes sin instalar una tarjeta gráfica dedicada con una cantidad equivalente de VRAM.

Pero la capacidad no es el único factor. La velocidad de la memoria, el número de canales, la arquitectura de la GPU y el rendimiento de los núcleos de cálculo condicionan la generación de tokens. También influye el tamaño del contexto, porque la memoria necesaria para atender conversaciones largas puede crecer de forma importante.

Por eso, comparar dos ordenadores únicamente por la cantidad de RAM puede llevar a conclusiones equivocadas. Un equipo con mucha memoria puede cargar un modelo que no cabe en otro sistema, pero no necesariamente responderá más rápido. Además, los recursos destinados al sistema operativo y a otras aplicaciones reducen la memoria realmente disponible para la inferencia.

AMD demuestra que varios PC pueden ejecutar un modelo de gran tamaño

Uno de los ejemplos técnicos más llamativos procede de AMD. En un artículo publicado el 25 de febrero de 2026, la compañía documentó cómo construir un pequeño clúster de inferencia con cuatro equipos Framework Desktop equipados con procesadores AMD Ryzen AI Max+ 395 y 128 GB de memoria cada uno.

La prueba utilizó Ubuntu 24.04.3 LTS, ROCm y una versión de llama.cpp con soporte para comunicación entre máquinas mediante RPC. El modelo elegido fue Kimi K2.5, de Moonshot AI, con una versión cuantizada de aproximadamente 375 GB.

La configuración distribuyó el trabajo entre los cuatro sistemas y utilizó una conexión Ethernet de 5 Gbps. Según la documentación, el objetivo era tratar los equipos como un acelerador lógico para ejecutar localmente un modelo de la clase de un billón de parámetros.

La prueba muestra que un modelo que no cabe en un único equipo puede ejecutarse mediante una arquitectura distribuida. No significa, sin embargo, que cualquier ordenador con 128 GB de RAM pueda hacerlo de forma independiente ni que cuatro equipos de estas características equivalgan a una GPU profesional de altas prestaciones.

La configuración requiere ajustes específicos de memoria, controladores y software. AMD explica, además, cómo aumentar la memoria gráfica utilizable mediante parámetros del sistema Linux. Se trata de una demostración técnica publicada por el fabricante, no de una comparativa independiente que permita extrapolar el rendimiento a todos los escenarios.

Para desarrolladores y equipos de investigación, este tipo de montaje permite experimentar con modelos grandes sin depender necesariamente de una infraestructura de GPU dedicada. A cambio, introduce nuevas variables: la comunicación entre nodos, el consumo energético, la configuración de red y la complejidad de mantener varios equipos funcionando de forma coordinada.

Los motores de inferencia y los modelos abiertos también cuentan

El hardware es solo una parte de la ecuación. La evolución de los motores de inferencia permite aprovechar mejor los procesadores convencionales y las arquitecturas con memoria compartida.

Uno de los proyectos que trabaja en esta dirección es ArcLight en GitHub, un motor de inferencia escrito en C y C++ que se orienta a sistemas con memoria unificada y procesadores con muchos núcleos. Su versión 1.0 incorpora optimizaciones para plataformas con múltiples nodos de acceso a memoria (NUMA), una arquitectura en la que la latencia puede variar según dónde se encuentren los datos respecto al núcleo que los necesita.

ArcLight afirma que su sistema puede alcanzar hasta un 50 % más de rendimiento de generación que llama.cpp con el mismo número de núcleos, y llegar a duplicar el rendimiento en determinados equipos. Esas cifras corresponden a las pruebas comunicadas por sus desarrolladores y no deben interpretarse como una mejora garantizada en cualquier procesador o modelo.

El proyecto utiliza modelos en formato GGUF, el mismo formato popularizado por llama.cpp, y ofrece soporte para procesadores ARM y x86. Su documentación recomienda comenzar con modelos pequeños, como Qwen3-4B, para probar la configuración. El proyecto continúa en desarrollo y todavía señala áreas pendientes de mejora, entre ellas la cobertura de modelos y determinadas optimizaciones del sistema.

En paralelo, los modelos abiertos facilitan que los usuarios puedan elegir el tamaño y el formato adecuados para su equipo. El repositorio oficial de Qwen3 incluye instrucciones para ejecutar modelos en local mediante herramientas como llama.cpp y LM Studio, además de documentación para despliegues de inferencia de mayor escala.

La cuantización también tiene un papel importante. Esta técnica reduce la precisión con la que se representan los parámetros del modelo y, con ello, su consumo de memoria. El ahorro puede permitir ejecutar modelos más grandes en el mismo hardware, aunque el resultado depende del método empleado y de sus efectos sobre la calidad y el rendimiento.

Otro enfoque consiste en repartir un modelo entre varios ordenadores. Un estudio publicado en arXiv en agosto de 2026, titulado Pre-Compiled Pipeline Shards for Distributed LLM Inference on Intel AI PC Fleets, describe una arquitectura que divide un modelo en etapas y distribuye su ejecución entre equipos con procesadores Intel.

Los autores indican que dos equipos pudieron ejecutar una canalización de Llama 3.1 8B cuantizado a INT4 con dos usuarios concurrentes y un rendimiento agregado 1,79 veces superior al de una configuración de referencia con un único usuario. El trabajo también describe una configuración de cuatro equipos para ejecutar un modelo de 70.000 millones de parámetros a una velocidad que los autores consideran interactiva. Son resultados experimentales de una arquitectura concreta, no una garantía de rendimiento para cualquier red doméstica.

Qué cambia para los desarrolladores y las empresas

La combinación de memoria abundante, modelos abiertos y motores optimizados amplía las opciones para ejecutar IA sin enviar todas las consultas a un proveedor externo. Puede resultar útil en el desarrollo de software, el análisis de documentos internos o las pruebas con modelos que deben trabajar con datos que no conviene sacar de la organización.

La ejecución local también permite trabajar sin conexión a Internet, siempre que el modelo y las herramientas necesarias estén instalados. Aun así, no elimina automáticamente todos los riesgos de privacidad: el software local puede enviar telemetría o conectarse a servicios externos si así está configurado, por lo que conviene revisar el funcionamiento de cada aplicación.

Para escoger un equipo, la memoria debe valorarse junto con el ancho de banda, el rendimiento de CPU y GPU, la compatibilidad del motor de inferencia y el tamaño del modelo. También conviene comprobar la memoria necesaria para el contexto previsto y para mantener varias sesiones simultáneas.

La tendencia no apunta a que todos los usuarios necesiten un ordenador de 128 GB o un clúster doméstico. Los modelos pequeños y cuantizados pueden cubrir muchas tareas con requisitos mucho más modestos. Las configuraciones con memoria abundante o varios nodos tienen sentido cuando el tamaño del modelo, el contexto o las necesidades de experimentación justifican el coste y la complejidad adicionales.

Preguntas frecuentes

¿Qué ventaja tiene la memoria unificada para ejecutar modelos de IA?

Permite que la CPU y la GPU compartan memoria física, lo que puede ayudar a cargar modelos que no cabrían en la memoria gráfica dedicada de un equipo convencional. El rendimiento final también depende del ancho de banda y de la arquitectura del hardware.

¿Se puede ejecutar Kimi K2.5 en un ordenador doméstico?

La demostración documentada por AMD utiliza cuatro equipos con 128 GB de memoria cada uno y una configuración específica de software y red. No demuestra que el modelo pueda ejecutarse con las mismas condiciones en un único ordenador doméstico.

¿Qué es ArcLight y para qué sirve?

ArcLight es un motor de inferencia de código abierto orientado a sistemas con memoria unificada y procesadores con muchos núcleos. Sus desarrolladores publican mejoras de rendimiento frente a llama.cpp en determinadas configuraciones, aunque los resultados dependen del hardware y del modelo.

¿Qué necesito para ejecutar Qwen en local?

Depende del modelo elegido y de los recursos del ordenador. La documentación oficial de Qwen3 ofrece instrucciones para utilizar herramientas como llama.cpp y LM Studio, además de opciones para despliegues de inferencia más amplios.

encuentra artículos

newsletter

Recibe toda la actualidad del sector tech y cloud en tu email de la mano de RevistaCloud.com.

Suscripción boletín

LO ÚLTIMO