--- title: "Los modelos de billones de parámetros reabren la batalla por la memoria de la IA" description: "Los modelos abiertos de inteligencia artificial han vuelto a crecer hasta cifras que hace pocos años parecían difíciles de gestionar: Kimi K3 alcanza 2,8 billones de parámetros y DeepSeek-V4-Pro llega..." url: https://revistacloud.com/los-modelos-de-billones-de-parametros-reabren-la-batalla-por-la-memoria-de-la-ia/ date: 2026-09-12 modified: 2026-08-31 author: "Nota de Prensa" image: https://revistacloud.com/wp-content/uploads/2026/08/low-latency-dram-d-matrix-scaled.jpg categories: ["Empresas", "Noticias"] tags: ["d-matrix", "Inteligencia Artificial", "memoria"] type: post lang: es --- # Los modelos de billones de parámetros reabren la batalla por la memoria de la IA Los modelos abiertos de inteligencia artificial han vuelto a crecer hasta cifras que hace pocos años parecían difíciles de gestionar: **Kimi K3 alcanza 2,8 billones de parámetros y DeepSeek-V4-Pro llega a 1,6 billones**. El avance de las arquitecturas Mixture of Experts (MoE) permite que solo una pequeña parte del modelo se active para procesar cada token, pero no elimina un problema físico: todos esos parámetros tienen que estar almacenados y disponibles. Para d-Matrix, esa nueva carrera está convirtiendo la memoria, y no únicamente la capacidad de cálculo, en una de las principales limitaciones de la inferencia. **Las claves de la nueva carrera por la memoria de IA en 20 segundos** - Kimi K3 alcanza 2,8 billones de parámetros, aunque activa 104.000 millones por token. - DeepSeek-V4-Pro utiliza 1,6 billones en total y 49.000 millones activos. - Los modelos MoE reducen el cálculo necesario, pero sus pesos siguen necesitando memoria. - HBM aporta capacidad y ancho de banda, mientras SRAM prioriza velocidad. - d-Matrix apuesta por apilar DRAM directamente junto al cómputo. La paradoja es que los modelos pueden necesitar calcular sobre relativamente pocos parámetros en cada instante y, al mismo tiempo, exigir una infraestructura capaz de mantener una biblioteca de pesos gigantesca disponible para cuando sea necesaria. Kimi K3 lo muestra con claridad. Moonshot AI especifica **2,8 billones de parámetros totales y 104.000 millones activados por token**, alrededor del 3,7 % del modelo. Su arquitectura contiene 896 expertos y selecciona 16 para cada token. DeepSeek-V4-Pro sigue una idea similar a otra escala: **1,6 billones de parámetros totales, de los cuales se activan 49.000 millones** durante el procesamiento de cada token. Es precisamente esta diferencia entre parámetros almacenados y parámetros activos la que está cambiando la forma de diseñar los aceleradores. ## Los modelos MoE ahorran cálculo, pero no hacen desaparecer los pesos Mixture of Experts permite construir modelos muy grandes sin ejecutar todas sus redes internas en cada operación. En lugar de utilizar siempre todos los parámetros, un mecanismo de selección decide qué expertos deben intervenir para cada token. El resultado puede reducir considerablemente el trabajo matemático respecto a un modelo denso de tamaño equivalente. Pero los expertos que no participan en un token determinado no desaparecen. Siguen formando parte del modelo. Cuando otro token requiera uno de ellos, el sistema tiene que poder acceder rápidamente a sus parámetros. Eso obliga a mantener cantidades enormes de información en memoria o a diseñar mecanismos capaces de trasladarla desde capas más lentas sin detener la inferencia. Aquí aparece la denominada **memory wall**, o muro de la memoria. Un acelerador puede disponer de enormes cantidades de unidades matemáticas y, aun así, tenerlas parcialmente esperando porque la memoria no consigue entregar datos con suficiente rapidez. En inferencia generativa el problema resulta particularmente visible durante la fase de *decode*, cuando el modelo va generando los tokens de la respuesta uno detrás de otro. Añadir más capacidad de cálculo no soluciona necesariamente esa espera. ## HBM, SRAM y DRAM resuelven problemas diferentes La industria dispone de varias tecnologías para construir la jerarquía de memoria de un sistema de IA, pero ninguna reúne simultáneamente capacidad enorme, ancho de banda extremo, baja latencia, bajo consumo y coste reducido. | Tecnología | Principal ventaja | Principal limitación | | --- | --- | --- | | SRAM | Latencia muy baja y enorme ancho de banda | Capacidad limitada y elevado coste por bit | | HBM | Mucho ancho de banda con una capacidad elevada | Coste, consumo, encapsulado y capacidad limitada por acelerador | | DRAM convencional | Alta capacidad a un coste menor | Menor proximidad y ancho de banda respecto al acelerador | | 3D DRAM junto al cómputo | Reduce distancia y puede elevar el ancho de banda | Mayor complejidad de fabricación, temperatura e integración | SRAM es extremadamente rápida y puede colocarse muy cerca de las unidades de cálculo. El problema es que ocupa mucha superficie de silicio. Construir cientos de gigabytes o terabytes de SRAM alrededor de un acelerador sería difícilmente viable. HBM ha sido la respuesta de la industria para las GPU destinadas a IA. Varias pilas de DRAM se colocan junto al procesador y se conectan mediante interfaces muy anchas, proporcionando varios terabytes por segundo. Pero los modelos están creciendo más rápido que la memoria disponible en cada acelerador. La solución habitual consiste entonces en repartir el modelo entre más GPU. Y eso introduce un nuevo coste: **la comunicación entre aceleradores**. ## Más GPU también significa mover más datos Distribuir un modelo gigantesco entre decenas de tarjetas permite conseguir la capacidad necesaria, pero obliga a que esas tarjetas intercambien continuamente información. La red interna pasa a formar parte del camino crítico de la inferencia. NVLink, InfiniBand, Ethernet de alta velocidad y otras tecnologías intentan reducir ese problema, pero mover un dato hasta otra tarjeta continúa siendo más costoso que encontrarlo dentro del mismo acelerador. d-Matrix plantea que aumentar la cantidad de memoria disponible cerca del cómputo puede reducir esos desplazamientos. La empresa lleva varios años desarrollando aceleradores específicos para inferencia y ahora trabaja con **DRAM apilada directamente sobre la lógica de cálculo**. Su futura arquitectura Raptor utiliza precisamente este enfoque 3D para reducir la distancia física entre los datos y las unidades que los procesan. La idea tiene una consecuencia sencilla: si una tarjeta puede mantener localmente una porción mucho mayor del modelo, hacen falta menos saltos entre aceleradores. No significa que la red deje de ser necesaria. Los modelos de varios billones de parámetros continúan requiriendo sistemas distribuidos. Pero reducir cada transferencia innecesaria puede mejorar latencia, consumo y utilización del hardware. ## Kimi K3 muestra hasta dónde está creciendo el problema El tamaño de Kimi K3 permite poner el problema en perspectiva. Moonshot AI presentó en julio un modelo de **2,8 billones de parámetros**, 896 expertos y 104.000 millones de parámetros activos por token. También cuenta con una ventana de contexto de aproximadamente un millón de tokens. Su diseño utiliza cuantización MXFP4 para los pesos, lo que reduce considerablemente la memoria necesaria respecto a almacenar cada parámetro en FP16 o BF16. Aun así, desplegar un modelo de este tamaño continúa requiriendo una infraestructura considerable. La cuantización reduce el número de bits empleados por parámetro, pero no cambia una realidad básica: **2,8 billones de parámetros son muchos datos incluso cuando cada uno ocupa pocos bits**. Y la memoria necesaria durante inferencia tampoco se limita a los pesos. Hay que añadir activaciones, buffers internos y especialmente la **KV cache**, cuya utilización puede crecer conforme aumenta el contexto y el número de solicitudes concurrentes. Esto explica por qué la próxima competición entre aceleradores probablemente no pueda resumirse únicamente con FLOPS. ## El throughput y la latencia pueden tirar en direcciones opuestas Existe otro problema para quienes operan servicios de IA. Las GPU pueden procesar muchas solicitudes juntas utilizando *batching*. Agrupar peticiones aumenta la utilización del hardware y suele mejorar el número total de tokens procesados por segundo. Pero esperar a llenar lotes y procesarlos puede aumentar la latencia percibida por cada usuario. Los proveedores intentan así equilibrar dos métricas diferentes: **throughput**, o cuántos tokens puede producir toda la infraestructura, y **latencia**, cuánto tarda cada usuario en recibirlos. d-Matrix centra buena parte de su arquitectura precisamente en inferencia con baja latencia y lotes pequeños. La compañía sostiene que acercar la memoria al cálculo permite mantener un mayor flujo de datos sin depender tanto de grandes lotes para utilizar eficientemente las unidades de procesamiento. Es una propuesta del fabricante que deberá compararse con productos comerciales equivalentes conforme Raptor llegue al mercado. La compañía ha mostrado ya silicio inicial de su tecnología 3D DRAM y trabaja con Alchip en su integración comercial. ## Apilar memoria introduce sus propios problemas Acercar físicamente DRAM y cómputo parece una solución evidente hasta que se intenta fabricar. La lógica de un acelerador genera bastante calor. La DRAM, por su parte, es sensible a la temperatura porque sus celdas necesitan conservar la carga eléctrica que representa los datos. Colocar una encima de otra obliga a controlar cuidadosamente refrigeración, refresco de memoria y fiabilidad. También hay que conectar las capas mediante una enorme cantidad de enlaces microscópicos y conseguir que el conjunto pueda fabricarse con rendimientos económicamente aceptables. El trabajo académico sobre el silicio inicial de Raptor describe técnicas específicas para gestionar temperatura, redundancia, corrección de errores y refresco de la DRAM. Por eso la propuesta es bastante más compleja que simplemente «poner memoria encima del chip». El beneficio potencial procede precisamente de aceptar esa complejidad de fabricación para simplificar otra parte del sistema: el movimiento de los datos. ## La carrera ya no consiste únicamente en fabricar una GPU más rápida Durante buena parte del auge de la IA generativa, el rendimiento de la infraestructura se ha explicado mediante el número y tipo de GPU disponibles. La evolución de los modelos está haciendo esa descripción cada vez menos completa. Una instalación puede disponer de una capacidad matemática enorme y seguir limitada por memoria, interconexión o consumo eléctrico. Los nuevos modelos MoE acentúan esa situación. Kimi K3 solo activa 104.000 millones de sus 2,8 billones de parámetros por token. DeepSeek-V4-Pro activa 49.000 millones de 1,6 billones. Es una forma muy eficiente de evitar realizar cálculos innecesarios, pero obliga a mantener un conjunto de pesos muchísimo mayor preparado para ser utilizado. La industria está respondiendo desde varias direcciones. HBM sigue aumentando capacidad y velocidad. High Bandwidth Flash intenta crear una nueva capa de gran capacidad entre HBM y los SSD. Los fabricantes de interconexiones elevan el ancho de banda entre aceleradores. Otros diseños utilizan SRAM especializada. d-Matrix apuesta por modificar la disposición física de la memoria. Ninguna de estas tecnologías tiene por qué sustituir completamente a las demás. Es más probable que los futuros sistemas de IA terminen utilizando **varias capas de memoria, cada una destinada a los datos que encajan mejor con sus características de capacidad, latencia y ancho de banda**. El regreso de modelos con más de un billón de parámetros demuestra por qué esta cuestión está ganando importancia. Las técnicas MoE han permitido que esos tamaños vuelvan a ser utilizables sin ejecutar billones de parámetros para producir cada token. Ahora el problema se ha desplazado. Ya no consiste únicamente en disponer de suficientes operaciones por segundo, sino en conseguir que el parámetro correcto llegue al lugar correcto justo cuando el acelerador lo necesita. ## Preguntas frecuentes ### ¿Cuántos parámetros tiene Kimi K3? Kimi K3 tiene **2,8 billones de parámetros totales**, según Moonshot AI. Su arquitectura Mixture of Experts activa aproximadamente 104.000 millones para procesar cada token. ### ¿Cuántos parámetros tiene DeepSeek-V4-Pro? DeepSeek especifica **1,6 billones de parámetros totales y 49.000 millones activos por token** en DeepSeek-V4-Pro. ### ¿Por qué un modelo MoE necesita tanta memoria si utiliza pocos parámetros? Porque todos los expertos forman parte del modelo y deben permanecer accesibles aunque únicamente algunos se activen para cada token. MoE reduce principalmente el cálculo, pero no elimina la necesidad de almacenar los pesos. ### ¿Qué aporta apilar DRAM directamente sobre un acelerador? Reduce la distancia física que deben recorrer los datos y puede aumentar enormemente el ancho de banda disponible para el cálculo. A cambio, aumenta la complejidad del encapsulado, la refrigeración y la gestión de la memoria. fuente: [d-matrix.ai](https://www.d-matrix.ai/model-sizes-are-exploding-and-new-memory-architectures-are-the-way-forward/)