Samsung trabaja en una evolución profunda de la memoria HBM para los aceleradores de inteligencia artificial. Su propuesta culmina en zHBM, una arquitectura que pretende colocar la memoria verticalmente sobre el procesador, reducir las distancias que recorren los datos y eliminar elementos del empaquetado 2.5D actual. El fabricante plantea hasta un 230 % más de ancho de banda y alrededor de un 70 % menos de consumo de la DRAM frente a una configuración HBM4E convencional, aunque se trata todavía de objetivos presentados por Samsung y no de prestaciones de un producto comercial.

Las claves de Samsung zHBM en 20 segundos

• Samsung plantea evolucionar desde HBM convencional hasta una arquitectura tridimensional denominada zHBM.
• La memoria se situaría verticalmente sobre la xPU, como una GPU o acelerador de IA.
• El fabricante estima hasta un 230 % más de ancho de banda y un 70 % menos de consumo de DRAM.
• El desarrollo llegará después de varias etapas intermedias de HBM personalizada y avanzada.

La propuesta fue explicada por Samsung dentro de una presentación técnica sobre la evolución de la base die, el chip situado en la parte inferior de las pilas HBM. La idea central es que este componente deje de limitarse principalmente a comunicaciones, control y pruebas para asumir progresivamente funciones que actualmente residen en el procesador.

El cambio responde a un problema cada vez más evidente en los sistemas de IA: hacer más rápida la GPU sirve de poco si la memoria no puede suministrarle los datos al ritmo necesario.

La HBM actual empieza a encontrarse con límites físicos

High Bandwidth Memory (HBM) nació precisamente para solucionar el problema del ancho de banda. En lugar de colocar chips DRAM convencionales alrededor del procesador, apila varias capas de memoria y utiliza conexiones verticales conocidas como TSV (Through-Silicon Via).

Una pila HBM está formada fundamentalmente por dos elementos. Los core dies o C-die contienen las celdas DRAM donde se almacenan los datos, mientras que el base die o B-die situado debajo gestiona comunicaciones y diferentes funciones de control y prueba.

La pila se comunica después con la GPU, TPU u otro acelerador mediante una interfaz física o PHY.

Samsung identifica precisamente esta zona como uno de los obstáculos para continuar aumentando el rendimiento. El PHY ocupa una superficie considerable del base die y las comunicaciones entre memoria y procesador tienen costes de espacio y energía.

La evolución histórica de HBM muestra hasta qué punto el ancho de banda se ha convertido en la prioridad. Samsung sitúa HBM4 alrededor de los 3 TB/s por pila y proyecta aproximadamente 4 TB/s para HBM4E y más de 6 TB/s para una futura HBM5. Estas últimas generaciones forman parte de una evolución tecnológica todavía en desarrollo, por lo que esas cifras deben entenderse como objetivos de la arquitectura mostrada por el fabricante y no como especificaciones finales disponibles actualmente.

Pero aumentar indefinidamente el número de conexiones, la velocidad de los pines o la cantidad de TSV resulta cada vez más complicado.

La IA agrava además el problema porque ya no aumenta únicamente el tamaño de los modelos. Los contextos más largos y el uso simultáneo por muchos usuarios incrementan enormemente la KV cache, la memoria temporal utilizada durante la inferencia para conservar información de tokens procesados anteriormente.

El resultado es una presión simultánea sobre dos variables: capacidad y ancho de banda.

Samsung quiere convertir la base de HBM en un chip mucho más activo

La estrategia de Samsung se divide en tres grandes fases.

La primera consiste en reducir la superficie ocupada por la interfaz física tradicional.

En la denominada custom HBM (cHBM), Samsung propone sustituir parte de la PHY convencional por conexiones directas die-to-die (D2D). Al reducir la longitud de las conexiones, la compañía espera disminuir el consumo energético y liberar superficie que podría aprovechar el acelerador.

Samsung considera que esta reorganización podría liberar aproximadamente entre un 5 % y un 10 % del área de la xPU, con una mejora potencial de rendimiento del 10 % al 20 % dependiendo del diseño. Son estimaciones de Samsung y no resultados generalizables a cualquier GPU.

La proximidad entre componentes también introduce dificultades térmicas.

Para afrontarlas, Samsung ha presentado su tecnología Heat Path Block (HPB), destinada a crear mejores rutas de evacuación del calor. Según los datos mostrados por la compañía, podría reducir en más de un 35 % la temperatura máxima en determinadas zonas de la interfaz.

El siguiente movimiento resulta todavía más interesante: trasladar algunas funciones desde la GPU hacia el propio base die de HBM.

Una candidata es el controlador de memoria. También podrían incorporarse mecanismos de reparación mediante SRAM, telemetría avanzada, funciones RAS (fiabilidad, disponibilidad y mantenibilidad), pruebas internas y controladores capaces de conectar memoria adicional.

La memoria dejaría así de ser un componente relativamente pasivo situado al lado del procesador.

Pasaría a participar activamente en el funcionamiento del sistema.

AHBM acercaría incluso parte del procesamiento a la memoria

La segunda fase lleva esta idea más lejos.

Samsung estudia incorporar determinados Processing Elements en la memoria, dando lugar a lo que denomina Advanced HBM o AHBM.

La razón está directamente relacionada con uno de los grandes costes de la computación moderna: mover datos consume energía.

Una GPU puede ejecutar operaciones matemáticas extremadamente rápido, pero para hacerlo necesita transportar continuamente información desde la memoria hasta las unidades de cálculo y devolver después los resultados.

Cuanto más cerca pueda realizarse una operación de los datos, menor puede ser ese movimiento.

No significa que HBM vaya a sustituir a una GPU. La propuesta consiste en trasladar determinadas funciones concretas al entorno de la memoria cuando hacerlo permita reducir comunicaciones y consumo.

Samsung también contempla aprovechar el base die para incorporar interfaces de expansión capaces de conectarse con memoria externa. Esta posibilidad resulta especialmente interesante para inferencia de modelos de lenguaje con ventanas de contexto grandes, donde la KV cache puede consumir decenas o cientos de gigabytes.

Todo ello conduce hacia la tercera etapa de la propuesta.

zHBM colocaría la memoria directamente encima del procesador

La arquitectura actual de aceleradores de IA utiliza habitualmente un empaquetado 2.5D.

La GPU y varias pilas HBM se encuentran próximas entre sí y se comunican mediante un interposer. Esta configuración proporciona muchísimo más ancho de banda que instalar memoria convencional fuera del encapsulado, pero continúa obligando a los datos a desplazarse lateralmente entre componentes.

zHBM pretende cambiar esa geometría.

Samsung plantea colocar las pilas de memoria verticalmente sobre la propia xPU. El resultado sería una arquitectura 3D donde procesamiento y memoria quedarían conectados mediante enlaces verticales extremadamente cortos.

Eso permitiría prescindir del interposer 2.5D convencional en esa configuración y distribuir las conexiones de entrada y salida por una superficie mucho mayor.

Samsung estudia para ello tecnologías de empaquetado como Wafer-on-Wafer (WoW) y técnicas de unión híbrida destinadas a conseguir densidades de conexiones muy superiores.

La compañía apunta a un consumo de comunicación cercano a 0,5 picojulios por bit.

Frente a una configuración HBM4E convencional, sus simulaciones y estimaciones para zHBM apuntan a un 230 % más de ancho de banda DRAM, alrededor de un 70 % menos de consumo de la memoria y hasta unos 100 vatios de margen térmico adicional que podrían aprovecharse en otras partes del sistema.

De nuevo, son objetivos tecnológicos presentados por Samsung. zHBM todavía debe superar problemas de fabricación, rendimiento térmico, costes, fiabilidad y producción a gran escala.

La memoria empieza a mezclarse con el procesador

El planteamiento de Samsung forma parte de un cambio más amplio dentro de la industria de semiconductores.

Durante décadas resultaba relativamente sencillo distinguir procesador y memoria. Uno calculaba y la otra almacenaba información.

La inteligencia artificial está haciendo esa separación cada vez menos eficiente.

Los modelos necesitan mover cantidades enormes de información y la energía empleada simplemente en transportar esos datos empieza a representar una parte relevante del consumo total.

Por eso fabricantes de memoria y diseñadores de aceleradores están experimentando con compute-near-memory, processing-in-memory, memoria personalizada y empaquetado tridimensional.

Samsung dispone además de una ventaja particular para abordar este problema: participa simultáneamente en fabricación de DRAM, procesos lógicos y tecnologías avanzadas de empaquetado.

zHBM intenta combinar esas capacidades.

Pero colocar memoria encima de un procesador que puede consumir cientos de vatios tampoco resulta trivial. El calor puede afectar a la retención de datos de la DRAM, aumentar las necesidades de refresco y complicar considerablemente la refrigeración del conjunto.

La fabricación también debe alcanzar rendimientos suficientemente altos. Cuando varios chips se integran verticalmente, un defecto en uno de ellos puede comprometer un conjunto mucho más caro.

Por eso Samsung no plantea saltar directamente desde HBM4 hasta zHBM.

Su propuesta avanza primero hacia custom HBM, continúa incorporando nuevas funciones al base die mediante AHBM y culmina posteriormente con la integración tridimensional de zHBM.

La dirección tecnológica resulta, en cualquier caso, clara: el siguiente salto en aceleradores de IA no dependerá exclusivamente de fabricar GPU más rápidas.

También habrá que conseguir que los datos estén mucho más cerca de donde se procesan.

Preguntas frecuentes

¿Qué es Samsung zHBM?

zHBM es una arquitectura de memoria propuesta por Samsung que integra verticalmente HBM sobre una xPU, como una GPU o acelerador de IA. Su objetivo es reducir las distancias de comunicación y aumentar el ancho de banda con menor consumo.

¿Qué diferencia habría entre HBM4 y zHBM?

HBM4 mantiene una arquitectura en la que procesador y pilas de memoria se encuentran conectados mediante un empaquetado avanzado. zHBM pretende avanzar hacia una integración 3D donde la memoria quede situada directamente sobre el procesador.

¿Cuánto rendimiento ofrecerá zHBM?

Samsung plantea hasta un 230 % más de ancho de banda DRAM y alrededor de un 70 % menos de consumo frente a una configuración HBM4E convencional. Son estimaciones y objetivos de desarrollo, no especificaciones de un producto comercial disponible.

¿Cuándo estará disponible Samsung zHBM?

La información presentada no establece una fecha comercial concreta. Samsung sitúa zHBM como la tercera etapa de una evolución que pasa previamente por custom HBM y Advanced HBM.

vía: wccftech