d-Matrix ha presentado en Hot Chips 2026 nuevos detalles de Raptor, su próxima generación de aceleradores para inferencia de inteligencia artificial, basada en una arquitectura poco habitual: colocar el chip de cómputo directamente sobre una DRAM diseñada a medida. El resultado prometido es hasta 100 TB/s de ancho de banda por tarjeta con 32 GB de memoria, una cifra que busca atacar uno de los grandes límites actuales de la inferencia generativa: mover los datos hasta las unidades de cálculo con suficiente rapidez y sin disparar el consumo energético.
Las claves de Raptor y su memoria 3D en 30 segundos
- Raptor apila un die de cómputo de 4 nm sobre DRAM mediante unión cara a cara con conexiones de 36 micras.
- La arquitectura alcanza hasta 100 TB/s de ancho de banda por tarjeta con 32 GB.
- d-Matrix mide un consumo de 0,37 pJ/bit en la interfaz vertical.
- Un trabajo presentado en ISCA calcula hasta 4,71 veces más throughput que una variante basada en HBM.
- El diseño está pensado específicamente para inferencia generativa, no para sustituir de forma general a las GPU de entrenamiento.
La propuesta es relevante porque buena parte del debate sobre aceleradores de IA se ha concentrado durante los últimos años en aumentar la capacidad y velocidad de HBM (High Bandwidth Memory). d-Matrix plantea una solución distinta: acercar todavía más la memoria al cálculo hasta convertir ambos elementos prácticamente en una única estructura tridimensional.
La compañía ya había mostrado su tecnología 3DIMC en 2025 mediante el chip experimental Pavehawk. Raptor será la primera implementación comercial de esa arquitectura y sucederá a Corsair, el acelerador de inferencia que d-Matrix tiene actualmente en producción.
El problema que Raptor intenta resolver no es solo calcular más rápido
La generación token a token de un modelo de lenguaje tiene una característica incómoda para los diseñadores de hardware.
Durante buena parte de la fase de decode, las unidades matemáticas del acelerador pueden disponer de capacidad de cálculo suficiente, pero necesitan recibir continuamente pesos, cachés y otros datos desde memoria.
El cuello de botella se desplaza entonces desde las operaciones aritméticas hacia el ancho de banda de memoria.
El artículo académico Early Silicon of Raptor: The First 3D-DRAM Accelerator for Generative Inference, presentado en el International Symposium on Computer Architecture (ISCA) de 2026, describe precisamente la inferencia generativa como una carga predominantemente limitada por memoria.
SRAM proporciona un ancho de banda enorme, pero integrar grandes capacidades resulta extremadamente caro en superficie de silicio. HBM aumenta mucho la capacidad manteniendo un ancho de banda elevado, aunque sigue necesitando transportar información entre chips separados mediante el encapsulado.
Raptor intenta reducir todavía más esa distancia.
Su die de cálculo se coloca directamente sobre un die DRAM desarrollado específicamente para el acelerador. Ambos quedan unidos cara a cara mediante conexiones de 36 micras de paso, creando una interfaz vertical de muy alta densidad.
La diferencia física puede parecer pequeña, pero mover un bit unos pocos micrómetros consume bastante menos energía que hacerlo a través de enlaces de mayor longitud.
Según Sudeep Bhoja, cofundador y director tecnológico de d-Matrix, el silicio probado por la compañía ha medido alrededor de 0,37 picojulios por bit (pJ/bit) para ese movimiento vertical.
d-Matrix había comunicado previamente valores cercanos a 0,4 pJ/bit durante las pruebas de Pavehawk, por lo que la nueva cifra resulta coherente con la evolución que la propia empresa venía describiendo.
100 TB/s con solo 32 GB: una decisión deliberada
La especificación que más destaca es el ancho de banda.
Cada tarjeta Raptor dispone de 32 GB de memoria y puede alcanzar hasta 100 TB/s.
La cifra supera ampliamente el ancho de banda de las implementaciones HBM actuales, pero existe un matiz importante: Raptor no está buscando competir mediante una enorme capacidad de memoria por tarjeta.
Su apuesta es otra.
| Característica | Raptor 3D-DRAM | Diseño típico con HBM |
|---|---|---|
| Integración memoria-cómputo | DRAM apilada directamente sobre lógica | HBM situada junto al acelerador |
| Capacidad citada por tarjeta | 32 GB | Puede ser considerablemente mayor |
| Ancho de banda | Hasta 100 TB/s | Varios TB/s según implementación |
| Distancia del movimiento de datos | Muy reducida mediante interfaz vertical | Mayor, a través del encapsulado |
| Objetivo principal | Inferencia de baja latencia | Entrenamiento e inferencia general |
| Ventaja buscada | Throughput y eficiencia del movimiento de datos | Capacidad y ancho de banda elevados |
Comparar únicamente los 100 TB/s con una GPU HBM puede llevar a una conclusión equivocada.
Raptor está construido expresamente para un patrón de trabajo concreto. No pretende ofrecer un acelerador generalista donde se puedan alojar todos los modelos y ejecutar cualquier operación de IA del mismo modo que en una GPU convencional.
d-Matrix diseña su arquitectura alrededor de inferencia generativa con lotes pequeños, baja latencia y elevado número de usuarios simultáneos.
La capacidad relativamente limitada de 32 GB obliga además a distribuir modelos grandes entre varias tarjetas.
Es ahí donde entran el software, la organización de memoria y la red interna del sistema.
El dato de 4,71 veces más rendimiento necesita contexto
El artículo académico asociado a Raptor compara la arquitectura 3D-DRAM con versiones hipotéticas del mismo acelerador utilizando HBM y SRAM.
Los investigadores evaluaron modelos como Llama 3.1 70B, DeepSeek-V3, Kimi K2, GPT-OSS, Whisper y Canary.
Según los resultados publicados, la configuración 3D-DRAM proporciona 4,71 veces más throughput que la variante basada en HBM y 2,44 veces más que la basada en SRAM.
Son cifras llamativas, pero no significan que Raptor vaya a ejecutar cualquier modelo 4,7 veces más rápido que una GPU HBM comercial.
La comparación intenta aislar el efecto de la arquitectura de memoria manteniendo otros elementos del diseño bajo unas condiciones determinadas. Es una evaluación académica de la propuesta, no un benchmark independiente contra productos comerciales concretos de NVIDIA, AMD o cualquier otro fabricante.
Además, parte de los resultados proceden de modelado arquitectónico apoyado en caracterización de silicio inicial.
El valor reside precisamente en eso: Raptor ya no es únicamente una simulación. El equipo ha fabricado y medido chips que permiten comprobar parámetros esenciales como consumo, comportamiento térmico y fiabilidad de la interfaz 3D.
Mover datos cuesta cada vez más energía
Uno de los motivos por los que la arquitectura resulta interesante está en el consumo energético.
La potencia de un acelerador no se emplea únicamente en multiplicaciones matriciales.
También hay que transportar los datos.
d-Matrix compara los aproximadamente 0,37 pJ/bit de su interfaz vertical con alrededor de 2,4 pJ/bit para trasladar información hacia el base die de una implementación HBM4.
No son cifras directamente intercambiables para calcular el consumo completo de ambos sistemas. Los recorridos, interfaces y funciones comparadas son diferentes.
Pero muestran el principio físico que persigue la compañía: cuanto menor sea la distancia entre memoria y cálculo, menos energía resulta necesaria para mover cada bit.
En una inferencia que tiene que leer enormes cantidades de datos una y otra vez, esa diferencia puede acumularse rápidamente.
d-Matrix sostiene que su enfoque permite reducir tanto energía como latencia frente a arquitecturas en las que memoria y cálculo están más separados. La empresa ya había utilizado Pavehawk para validar esa hipótesis antes de trasladarla a Raptor.
Una DRAM diseñada específicamente para trabajar debajo del acelerador
La otra particularidad de Raptor es que d-Matrix no está simplemente colocando un chip de memoria comercial debajo de su procesador.
El die DRAM está diseñado específicamente para esta arquitectura.
La compañía no ha identificado públicamente al fabricante de esa memoria, al menos en la información técnica divulgada durante Hot Chips.
Sí ha confirmado que el die de cómputo utiliza un proceso de TSMC de 4 nm.
La integración plantea problemas que un sistema convencional con HBM no tiene que resolver de la misma manera.
Uno es la temperatura.
Colocar lógica activa directamente sobre DRAM significa que la memoria puede trabajar a temperaturas superiores a las habituales. Eso afecta al tiempo durante el cual las celdas conservan los datos y obliga a modificar las políticas de refresco.
El trabajo académico describe mecanismos de refresco consciente de la temperatura, redundancia y códigos de corrección de errores (ECC) intercalados para mantener la fiabilidad.
Otro problema es la enorme cantidad de bancos de memoria que pueden trabajar simultáneamente.
Raptor utiliza una técnica denominada stream-blocking para repartir flujos, incluida la KV cache de los modelos generativos, entre canales configurables de la 3D-DRAM y mantener el paralelismo.
También incorpora una variante de Data Bus Inversion adaptada a la interfaz vertical para reducir el número de transiciones eléctricas y, con ellas, el consumo.
Son detalles menos visibles que los 100 TB/s, pero determinan si la tecnología puede funcionar fuera del laboratorio.
La KV cache encaja especialmente bien con este diseño
La memoria se ha convertido en un problema todavía mayor conforme crecen los contextos de los modelos.
Durante la inferencia, un modelo mantiene una KV cache con información generada durante el procesamiento de los tokens anteriores.
Cuanto mayor es el contexto y mayor el número de usuarios atendidos simultáneamente, más memoria ocupa esa estructura.
Pero también necesita acceder a ella con rapidez.
Raptor está diseñado teniendo precisamente estos flujos en cuenta. El artículo de ISCA describe cómo la KV cache puede distribuirse sobre los canales de memoria sin perder paralelismo entre bancos.
La arquitectura pretende conseguir así dos objetivos que suelen entrar en conflicto: disponer de una cantidad razonable de DRAM y acercarla lo suficiente al cálculo para que pueda funcionar con un ancho de banda más parecido al de SRAM.
Esa combinación explica la expresión que utiliza d-Matrix para describir su propuesta: capacidad comparable a DRAM con localidad y ancho de banda próximos a SRAM.
Raptor sigue necesitando una red cuando el modelo supera una tarjeta
Los 32 GB por tarjeta introducen inevitablemente otra cuestión.
Modelos como Llama 3.1 70B, DeepSeek-V3 o Kimi K2 pueden necesitar mucha más memoria que esa cantidad, incluso después de aplicar diferentes técnicas de cuantización.
Raptor tiene que repartirlos entre múltiples aceleradores.
Esto significa que el rendimiento del sistema completo también depende de cómo se comuniquen las tarjetas.
El estudio sostiene que la arquitectura 3D-DRAM es menos sensible a la latencia y al ancho de banda de red que las alternativas analizadas. Una parte de la explicación se encuentra en el enorme ancho de banda interno: las operaciones locales pueden completarse muy rápidamente y el diseño intenta reducir movimientos externos innecesarios.
Pero la red no desaparece.
En despliegues con modelos grandes sigue siendo necesario coordinar aceleradores, transportar activaciones y dividir el trabajo.
d-Matrix lleva tiempo construyendo su plataforma alrededor de chiplets e interconexiones de alta velocidad. Su actual arquitectura Corsair utiliza precisamente un diseño modular para escalar más allá de un único chip.
RISC-V también estará dentro de Raptor
Raptor incorporará además núcleos basados en RISC-V.
d-Matrix anunció en noviembre de 2025 que había seleccionado AndesCore AX46MPV de Andes Technology como CPU de orquestación y cálculo vectorial para su próxima arquitectura.
Esos núcleos gestionarán distribución de cargas, coordinación de memoria y control del runtime, además de descargar determinadas operaciones como funciones de activación.
El uso de RISC-V es secundario respecto a la innovación de memoria, pero muestra hasta qué punto Raptor se aleja de una GPU convencional.
El sistema combina lógica propia de inferencia, DRAM 3D, núcleos RISC-V y una arquitectura de chiplets diseñada desde el principio alrededor del movimiento de datos.
Eso explica también por qué no resulta apropiado considerarlo simplemente una «GPU más rápida».
La batalla de la inferencia se desplaza hacia la memoria
Raptor llega en un momento en el que la industria está experimentando con varias respuestas al mismo problema.
HBM sigue evolucionando hacia HBM4 y generaciones posteriores.
High Bandwidth Flash propone añadir una capa de enorme capacidad entre HBM y los SSD para determinadas cargas.
Los fabricantes de CPU están incorporando extensiones matriciales.
Y compañías como d-Matrix intentan acercar físicamente cálculo y memoria hasta reducir al mínimo posible el coste de mover información.
Las estrategias pueden coexistir porque resuelven problemas diferentes.
Para entrenar modelos gigantes, las GPU y aceleradores con grandes cantidades de HBM continúan ofreciendo una combinación de capacidad, ancho de banda, interconexión y software difícil de sustituir.
Para inferencia interactiva, donde producir cada token rápidamente para millones de usuarios puede importar más que disponer de un enorme rendimiento FP4 teórico, el equilibrio cambia.
Ahí es donde d-Matrix quiere colocar Raptor.
La compañía todavía tendrá que demostrar en sistemas comerciales que los resultados de su silicio inicial y sus modelos de rendimiento se mantienen cuando la arquitectura escala, ejecuta aplicaciones reales y compite con las próximas generaciones de GPU.
Pero el trabajo presentado en ISCA y Hot Chips aporta una señal importante: la mejora del rendimiento de la IA ya no depende únicamente de fabricar unidades matemáticas más rápidas.
Cada vez importa más cuánto cuesta transportar los datos que esas unidades necesitan.
Raptor lleva esa idea hasta una solución física extrema: colocar la memoria directamente debajo del cómputo y conectar ambas mediante miles de enlaces microscópicos.
Si esa arquitectura consigue trasladar sus 100 TB/s desde las demostraciones técnicas hasta servidores comercialmente competitivos, d-Matrix habrá convertido uno de los mayores problemas de la inferencia generativa, la distancia entre memoria y cálculo, en la característica central de su acelerador.
Preguntas frecuentes
¿Qué es d-Matrix Raptor?
Raptor es la próxima generación de aceleradores de d-Matrix para inferencia de inteligencia artificial. Utiliza una arquitectura 3DIMC que apila directamente lógica de cálculo y DRAM para reducir la latencia y la energía empleadas en mover datos.
¿Cuánto ancho de banda ofrece Raptor?
La arquitectura presentada por d-Matrix alcanza hasta 100 TB/s de ancho de banda por tarjeta, con 32 GB de memoria 3D-DRAM.
¿Es Raptor más rápido que una GPU con HBM?
El estudio presentado en ISCA calcula 4,71 veces más throughput frente a una variante equivalente basada en HBM para las cargas evaluadas. Esa cifra no debe interpretarse como una mejora universal frente a cualquier GPU comercial, ya que depende de la arquitectura y de los escenarios analizados.
¿Qué proceso de fabricación utiliza Raptor?
d-Matrix ha indicado que el die de cómputo utiliza un proceso de TSMC de 4 nm. La compañía no ha identificado públicamente al fabricante de la DRAM personalizada en la información disponible.
