La memoria HBM que acompaña a las GPU y aceleradores de inteligencia artificial se ha quedado corta en capacidad para la inferencia con agentes y contextos largos, y los fabricantes buscan cómo ampliarla sin depender solo de ella. En el OCP Global Summit 2026, celebrado del 12 al 15 de octubre en San José (California), SK hynix presentó un rack centrado en la memoria y avances en High Bandwidth Flash (HBF), Solidigm y Metrum AI midieron el efecto de usar SSD para la caché de la inferencia y otros proveedores mostraron un módulo con 3,2 TB de LPDDR5X conectado a un procesador.
Las claves de las alternativas a la HBM presentadas en OCP 2026 en 30 segundos
- SK hynix propone MARS, un rack en el que la memoria se comparte entre CPU y GPU mediante CXL.
- HBF apila NAND junto al procesador: hasta 512 GB por paquete y entre 0,4 y 3 TB/s.
- TrendForce resume el equilibrio de HBF en unas 14 veces la capacidad de HBM con la mitad del ancho de banda.
- Solidigm y Metrum AI defienden los SSD como capa para la caché KV.
- Las propuestas están en fases distintas, desde especificaciones publicadas hasta diseños iniciales.
El origen del problema está en cómo trabajan hoy los modelos. Cuando un agente mantiene conversaciones de muchos turnos o procesa documentos enormes, la caché KV (key-value), donde el modelo guarda lo ya calculado para no repetirlo, crece sin parar. Esa caché y los propios parámetros del modelo tienen que estar cerca del acelerador, pero la HBM es cara, escasa y de capacidad limitada. Si no cabe, el sistema descarta la caché y la vuelve a calcular, con el coste en tiempo y energía que eso supone.
SK hynix pone la memoria en el centro del rack
La propuesta más ambiciosa fue la de SK hynix. Hosik Kim, vicepresidente de la compañía, presentó MARS (Memory-centric AI Rack System), un sistema que reúne en un solo rack soluciones de varios socios con la memoria como eje. Según explicó, conecta CPU y GPU mediante CXL (Compute Express Link) para crear una reserva de memoria compartida a nivel de rack y permitir que los datos se compartan sin copias. Kim lo planteó como respuesta al llamado muro de la memoria y al rápido aumento del consumo eléctrico de las arquitecturas centradas en CPU y GPU.
SK hynix enseñó tres demostraciones con socios. En la primera, con Arcee, Liqid y Marvell, varios servidores y GPU compartían una reserva de memoria CXL para transferir y reutilizar caché KV. En la segunda, con AMD, Penguin, Xcena y Arcee, un rack combinaba memoria CXL y memoria híbrida de DRAM y SSD, y precargaba en DRAM las cachés que preveía necesarias según el historial de la conversación. La tercera, con el servicio de agentes personales Pickle, usaba la memoria compartida para acelerar el paso de datos entre varios modelos. La compañía habló de mejoras significativas frente a los métodos basados en red, pero en su nota oficial no dio cifras.
En el mismo stand, SK hynix mostró la segunda generación de su módulo CMM-DDR5, de 256 GB y basado en CXL 3.2, con 80 GB/s de ancho de banda, más del doble que la generación anterior, y en torno a un 30 % más de eficiencia energética, siempre según el fabricante.
HBF: mucha más capacidad a cambio de ancho de banda
La otra pieza de SK hynix es HBF, que aplica a la NAND la misma técnica de apilado con vías a través del silicio (TSV) que usa la HBM. La primera especificación abierta, publicada con Sandisk a través de OCP el 4 de agosto de 2026, contempla hasta 512 GB por paquete en pilas de 8 y 16 capas, tres grados de ancho de banda entre unos 0,4 y 3 TB/s y el estándar UCIe como interfaz con GPU y CPU. Google y Tenstorrent participan en el consorcio de estandarización.
En OCP, SK hynix comparó HBM y HBF con simulaciones internas: la primera encaja donde importa el tiempo de respuesta y la segunda donde hace falta mucha capacidad para atender a muchos usuarios. La consultora TrendForce resume ese equilibrio en unas 14 veces la capacidad de HBM con aproximadamente la mitad de ancho de banda. La cifra coincide con el análisis que OXMIQ Labs presentó en Hot Chips para un rack de 72 aceleradores, en el que pasar de HBM a HBF multiplicaba la capacidad por 14 y reducía el ancho de banda agregado de 1.584 a unos 922 TB/s, como contamos en nuestro análisis de HBF.
SSD compartidos y LPDDR5X fuera del encapsulado
Solidigm y Metrum AI llevan meses defendiendo una vía más sencilla: guardar la caché KV en SSD NVMe en lugar de descartarla. En sus pruebas publicadas con unidades Solidigm D7-PS1010, recuperar la caché desde el SSD redujo el tiempo hasta el primer token de unos 39 segundos a 1,43 segundos en un escenario de análisis de documentos, y Metrum AI habla de hasta 6,8 veces más eficiencia energética por consulta en otro escenario. Son resultados de los propios fabricantes con cargas concretas. Según TrendForce, en OCP ambas compañías midieron qué ocurre con la latencia y el consumo cuando esos SSD se comparten como reserva común.
La tercera vía mantiene la DRAM, pero la saca del encapsulado. TrendForce cita un diseño de la empresa Nallasway y sus socios: un módulo para XPU (el término genérico para GPU y aceleradores a medida) que conecta 3,2 TB de LPDDR5X mediante enlaces SerDes de alta velocidad. No hemos encontrado documentación pública de la empresa sobre ese diseño, así que no es posible precisar ancho de banda, latencia ni calendario. La LPDDR5X ya ha empezado a entrar en servidores con formatos como SOCAMM2, y algunos aceleradores la usan para ganar capacidad a costa de ancho de banda.
Ninguna de estas opciones sustituye a la HBM. Lo que plantean es una jerarquía con varias capas, con la HBM para los datos que se usan constantemente y HBF, memoria CXL, LPDDR5X o SSD para todo lo que tiene que estar cerca pero no se lee a cada instante. Su madurez es muy distinta: HBF tiene especificación publicada pero aún no productos comerciales, MARS es por ahora una demostración y el módulo de 3,2 TB está en una fase inicial de diseño, según TrendForce.
Preguntas frecuentes
¿Por qué no basta con la HBM para la inferencia de IA?
Porque los agentes y los contextos largos hacen crecer la caché KV y los parámetros que deben estar junto al acelerador, y la HBM tiene capacidad limitada y es cara. Si la caché no cabe, hay que recalcularla.
¿Qué es MARS de SK hynix?
Es un sistema de rack centrado en la memoria que conecta CPU y GPU mediante CXL para compartir una reserva de memoria común. SK hynix lo mostró en OCP 2026 con demostraciones junto a socios como AMD, Marvell y Liqid.
¿Cuánta capacidad ofrece HBF frente a HBM?
La especificación permite hasta 512 GB por paquete. TrendForce calcula unas 14 veces la capacidad de HBM con aproximadamente la mitad de ancho de banda.
¿Están disponibles estas tecnologías?
No como productos comerciales generalizados. HBF tiene especificación abierta, MARS es una demostración y el módulo de 3,2 TB de LPDDR5X está en fase de diseño. El uso de SSD para la caché KV sí funciona ya con productos existentes.
Fuentes:
