La carrera por acelerar la inteligencia artificial ya no depende únicamente de fabricar GPU más potentes. d-Matrix ha detallado Raptor, su próxima arquitectura para inferencia, que utilizará memoria DRAM apilada directamente con la lógica para alcanzar hasta 100 TB/s de ancho de banda con 32 GB de capacidad, según las especificaciones presentadas por la compañía. La propuesta busca reducir uno de los grandes costes de los modelos actuales: mover continuamente enormes cantidades de datos entre memoria y unidades de cálculo.
Las claves de Raptor y la memoria 3D DRAM en 20 segundos
- d-Matrix plantea 32 GB de 3D DRAM y alrededor de 100 TB/s de ancho de banda.
- La compañía mide un consumo de transferencia cercano a 0,37 pJ/bit en su tecnología.
- La lógica se coloca directamente sobre la DRAM mediante integración 3D.
- El objetivo es acercarse al ancho de banda de SRAM con mucha más capacidad.
- Raptor está pensado específicamente para inferencia de modelos de IA.
La tecnología no aparece de la nada. d-Matrix presentó su concepto 3DIMC en 2025 y posteriormente fabricó Pavehawk, un chip experimental con el que afirma haber validado el funcionamiento de la memoria DRAM apilada dentro de sus objetivos de consumo y rendimiento. Raptor será el producto comercial que intentará llevar esa arquitectura al centro de datos.
El planteamiento resulta especialmente interesante porque aborda un problema que está creciendo al mismo tiempo que los propios modelos: los aceleradores necesitan almacenar pesos cada vez mayores y mantener cachés KV (Key-Value) que aumentan con la longitud del contexto y el número de usuarios concurrentes.
Una de las diapositivas mostradas por d-Matrix ilustra el problema con Kimi K3. Asumiendo pesos de 8 bits, la compañía calcula un tamaño de unos 2.800 GB para el modelo. En su ejemplo de caché KV, un contexto de un millón de tokens supone 14,6 GB para un usuario; con 64 usuarios concurrentes, la cifra rondaría los 935 GB.
El mensaje es sencillo: la memoria se está convirtiendo en una de las principales restricciones físicas de la inferencia de IA.
Entre la SRAM y la HBM aparece una tercera opción
Las arquitecturas actuales tienen que convivir con un compromiso difícil.
La SRAM es extremadamente rápida y puede integrarse muy cerca de las unidades de cálculo. El actual acelerador Corsair de d-Matrix, por ejemplo, utiliza una arquitectura basada en SRAM precisamente para conseguir baja latencia en inferencia.
La compañía sitúa el ancho de banda de un par de tarjetas Corsair en torno a 300 TB/s, con una latencia aproximada de 1 nanosegundo.
El problema es la capacidad.
Una celda SRAM convencional 6T ocupa mucho más espacio que una celda DRAM y su densidad resulta insuficiente para almacenar los enormes modelos que están apareciendo. d-Matrix sitúa el límite práctico de su solución SRAM alrededor de 4 GB por pareja de tarjetas.
La HBM (High Bandwidth Memory) resuelve parcialmente ese problema.
Apilando múltiples chips DRAM y conectándolos mediante interposers, los fabricantes pueden ofrecer cientos de gigabytes junto a GPU y aceleradores. NVIDIA, AMD y prácticamente toda la industria de aceleración de IA dependen actualmente de esta arquitectura.
Pero HBM también tiene límites físicos.
El número de pilas que pueden colocarse alrededor del procesador está condicionado por el espacio disponible en el encapsulado, mientras que aumentar el ancho de banda implica incrementar el número y velocidad de las conexiones.
d-Matrix estima que las configuraciones basadas en HBM4 estarán alrededor de los 20 TB/s en sistemas de próxima generación, muy por debajo del ancho de banda que puede proporcionar SRAM.
Su respuesta consiste en cambiar la geometría del problema.
En lugar de colocar la memoria alrededor del procesador, Raptor coloca la lógica directamente encima de la DRAM.
100 TB/s sin recurrir a una interfaz HBM tradicional
La arquitectura 3DIMC (3D In-Memory Compute) utiliza conexiones verticales extremadamente cortas entre memoria y cálculo.
d-Matrix explica que esto permite eliminar buena parte de las interfaces físicas necesarias cuando los datos deben desplazarse entre chips separados.
Su documentación previa ya anticipaba aproximadamente 20 TB/s por stack, alrededor de diez veces el ancho de banda por pila que la compañía utiliza como referencia para HBM4, con un consumo situado entre 0,3 y 0,4 pJ/bit.
Raptor amplía ese planteamiento.
La configuración presentada combina un die lógico fabricado mediante el proceso N4 de TSMC con DRAM personalizada, unidos mediante un enlace face-to-face con un paso de aproximadamente 36 micras.
La compañía plantea una configuración de 32 GB capaz de proporcionar alrededor de 100 TB/s de ancho de banda.
La cifra energética presentada es igualmente relevante: 0,37 picojulios por bit.
Como comparación, d-Matrix utiliza como referencia una configuración HBM4 de aproximadamente 192 GB y 18-20 TB/s, con un consumo de varios picojulios por bit.
Las comparaciones deben tomarse con cierta cautela. Se trata de arquitecturas distintas, con capacidades diferentes y métricas presentadas por el propio fabricante. Además, Raptor todavía está en desarrollo y no existe una plataforma comercial desplegada que permita contrastar todas estas cifras en aplicaciones independientes.
d-Matrix sí dispone de silicio experimental. La empresa asegura que Pavehawk ha validado su tecnología 3D DRAM y que las pruebas realizadas en diferentes voltajes y temperaturas han registrado aproximadamente 0,4 pJ/bit incluso en los escenarios más desfavorables estudiados.
El gran ahorro viene de mover menos los datos
El consumo energético asociado a la memoria se está convirtiendo en un problema importante para los centros de datos de IA.
No basta con medir cuánta energía necesita una multiplicación matricial. También hay que contar la energía necesaria para buscar los datos en memoria, transportarlos hasta el procesador y devolver los resultados.
Cuanto más lejos están físicamente memoria y cálculo, mayor resulta generalmente ese coste.
d-Matrix calcula que una hipotética arquitectura HBM capaz de alcanzar 100 TB/s con un consumo de 2,4 pJ/bit necesitaría cerca de 1,92 kW solamente para mover los datos de la memoria.
La arquitectura 3D reduce radicalmente la distancia.
Los bancos de DRAM pueden conectarse directamente con los motores tensoriales situados encima. Raptor incorpora 256 motores tensoriales por chiplet, según la información técnica presentada.
La compañía busca además hacer coincidir físicamente los bancos de memoria con esos motores para reducir todavía más los desplazamientos internos.
Ese enfoque explica por qué d-Matrix habla de computación centrada en memoria. El objetivo no consiste simplemente en fabricar una DRAM más rápida, sino en rediseñar conjuntamente memoria, cálculo y conexiones.
El apilamiento 3D también crea nuevos problemas
Colocar lógica y memoria una encima de otra elimina algunas limitaciones, pero introduce otras.
Una de las principales es la temperatura.
Los circuitos de cálculo generan bastante más calor que una memoria DRAM convencional. Si el procesador se colocara debajo, ese calor tendría que atravesar las capas de memoria antes de llegar al sistema de refrigeración.
d-Matrix ha optado por situar la lógica en la parte superior, facilitando el contacto con una placa fría.
Aun así, la DRAM debe funcionar a temperaturas superiores a las habituales. La arquitectura está diseñada para soportar una temperatura de unión de hasta aproximadamente 105 °C.
Eso obliga a modificar el refresco de la memoria.
La DRAM de Raptor realiza ciclos de refresco aproximadamente cada 4 milisegundos, unas ocho veces más frecuentemente, según la presentación técnica. La compañía calcula que este mecanismo consume alrededor del 1,37 % del ancho de banda disponible.
También existe un problema de fabricación.
Una arquitectura 3D solo resulta económicamente viable si los defectos en memoria no obligan a descartar conjuntos completos. d-Matrix introduce bancos de reserva y mecanismos de corrección de errores para aumentar la tolerancia a fallos.
Entre ellos figura un esquema Reed-Solomon T=2 acompañado de CRC, diseñado para corregir errores dentro de los bloques transferidos.
Raptor está pensado para la fase de inferencia
d-Matrix no intenta competir frontalmente con las GPU en todas las cargas.
Su arquitectura está diseñada especialmente para inferencia generativa de baja latencia, un escenario donde la relación entre capacidad de cálculo y ancho de banda de memoria es diferente a la del entrenamiento.
La fase de generación de tokens puede estar fuertemente limitada por memoria. Los pesos del modelo tienen que leerse repetidamente mientras crece la caché KV asociada al contexto de cada usuario.
Cuanto mayor es el modelo, más largo el contexto y mayor el número de usuarios simultáneos, mayor resulta la presión sobre el subsistema de memoria.
Por eso d-Matrix también está desarrollando arquitecturas heterogéneas donde GPU y aceleradores especializados realizan diferentes partes del proceso. La empresa sostiene que combinar Corsair con GPU dentro de pipelines desagregados puede mejorar considerablemente el rendimiento de determinadas cargas de inferencia, aunque esas cifras dependen del modelo y configuración utilizados.
Raptor será la siguiente etapa.
La compañía está desarrollando el acelerador junto con socios tecnológicos como Alchip, mientras que Andes Technology suministrará núcleos RISC-V AX46MPV para tareas de orquestación y cálculo vectorial. d-Matrix ya había confirmado que Raptor será su primer producto comercial basado en 3DIMC.
La cuestión ahora es comprobar cuánto de lo demostrado en silicio experimental puede trasladarse a producción.
Alcanzar 100 TB/s con 32 GB de memoria y alrededor de 0,37 pJ/bit supondría una combinación poco habitual de ancho de banda y eficiencia. Pero Raptor tendrá que demostrar también rendimiento sostenido, fiabilidad, coste de fabricación, rendimiento de los chips por oblea y capacidad para producirse a gran escala.
La industria está buscando precisamente soluciones para ese problema. La siguiente generación de infraestructura de IA no necesitará únicamente más FLOPS. Necesitará alimentar esos FLOPS con cantidades cada vez mayores de datos sin convertir la memoria en el cuello de botella energético y de rendimiento del sistema.
Preguntas frecuentes
¿Qué es la memoria 3D DRAM de d-Matrix?
Es una arquitectura que apila físicamente lógica y memoria DRAM para crear conexiones verticales muy cortas. d-Matrix denomina a su tecnología 3DIMC y pretende utilizarla comercialmente en su acelerador Raptor.
¿Qué ancho de banda promete Raptor?
La configuración presentada por d-Matrix apunta a aproximadamente 100 TB/s con 32 GB de memoria 3D DRAM. Son especificaciones del fabricante para una arquitectura todavía en desarrollo.
¿La 3D DRAM sustituirá a HBM?
No necesariamente. HBM ofrece una capacidad muy elevada y cuenta con un amplio ecosistema industrial. d-Matrix plantea su 3D DRAM como una alternativa especialmente orientada a cargas de inferencia donde el ancho de banda y el consumo asociado al movimiento de datos tienen mucho peso.
¿Cuánta energía consume la memoria de Raptor?
d-Matrix ha presentado una cifra de aproximadamente 0,37 pJ/bit, mientras que sus pruebas anteriores con Pavehawk habían validado valores cercanos a 0,4 pJ/bit. El comportamiento de la plataforma comercial completa tendrá que comprobarse cuando Raptor esté disponible.
vía: wccftech
