NVIDIA publica recetas de Dynamo para los grandes modelos abiertos de Corea

Antonio

NVIDIA ha publicado recetas de su framework de inferencia de código abierto NVIDIA Dynamo para desplegar en producción los cuatro grandes modelos abiertos de Corea del Sur: A.X K2 de SK Telecom, K-EXAONE 2.0 de LG AI Research, Solar Open 2 de Upstage y Motif-3 de Motif Technologies. Las recetas están optimizadas para GPU NVIDIA B200 y, según la compañía, ofrecen hasta el doble de rendimiento desde el primer momento, aunque el anuncio no detalla con qué se compara esa cifra.

Las claves de las recetas de NVIDIA Dynamo para los modelos coreanos en 30 segundos

NVIDIA publica recetas de Dynamo para A.X K2, K-EXAONE 2.0, Solar Open 2 y Motif-3.
Están optimizadas para GPU B200 y prometen hasta el doble de rendimiento, sin referencia publicada.
Dynamo es un framework abierto de inferencia distribuida en varios nodos.
Los cuatro modelos compiten en la segunda fase del proyecto nacional coreano de modelos fundacionales.

Una receta, en este contexto, es una configuración de despliegue ya probada: cómo repartir el modelo entre GPU, qué motor de inferencia usar y con qué parámetros, para que un equipo no tenga que descubrirlo por ensayo y error. El problema que resuelven es real. Estos modelos tienen cientos de miles de millones de parámetros y no caben en una sola GPU, de modo que servirlos de forma eficiente exige dividirlos entre varias tarjetas o varios servidores y coordinar la comunicación entre ellos.

Qué es NVIDIA Dynamo

Dynamo es el framework de código abierto de NVIDIA para servir modelos de IA generativa en entornos distribuidos y a escala de centro de datos. Se encarga del enrutado de peticiones y de la comunicación entre GPU, de forma que un modelo dividido entre varias tarjetas mantenga su rendimiento. La compañía lo presenta como sucesor de Triton Inference Server y funciona con los motores de inferencia más extendidos: SGLang, TensorRT-LLM y vLLM.

Su técnica más conocida es la inferencia desagregada, que separa en GPU o nodos distintos la fase de prefill (el procesamiento inicial del texto de entrada, intensiva en cálculo) y la de decodificación (la generación de la respuesta, más dependiente del ancho de banda de memoria), para optimizar cada una por separado. También incorpora un enrutado consciente de la caché KV que evita recalcular contextos ya procesados. El código está en GitHub, escrito en Rust para las partes críticas y en Python para la extensibilidad.

Los cuatro modelos y sus licencias

Los cuatro modelos participan en la segunda fase del proyecto gubernamental coreano de modelos fundacionales y todos se han publicado con pesos abiertos este verano:

A.X K2 (SK Telecom). Mezcla de expertos con 688.000 millones de parámetros en total y unos 33.000 millones activos por token, publicado el 29 de julio en Hugging Face con licencia Apache 2.0.
K-EXAONE 2.0 (LG AI Research). 750.000 millones de parámetros, con unos 37.000 millones activos, publicado a finales de julio también con licencia Apache 2.0 y soporte para 10 idiomas.
Solar Open 2 (Upstage). 250.000 millones de parámetros con unos 15.000 millones activos, orientado a agentes y distribuido con la Upstage Solar License, basada en Apache 2.0.
Motif-3 (Motif Technologies). Modelo de lenguaje de pesos abiertos de la filial de Moreh, centrado en agentes.

Que NVIDIA publique recetas específicas para ellos tiene una lectura clara: estos modelos son la apuesta de Corea por una IA soberana, y la compañía quiere que su despliegue en producción, ya sea en nubes públicas, en centros de datos de operadores o en servicios del programa AI for All, pase por su hardware y su software.

Cómo leer el «hasta 2x»

El dato de rendimiento debe tomarse con cautela. NVIDIA habla de hasta el doble de rendimiento desde el primer momento con GPU B200, pero el blog no publica la configuración de referencia, la carga de trabajo ni el tipo de métrica (peticiones por segundo, tokens por segundo por GPU o latencia). Un «hasta» marca el mejor caso, no el habitual. Quien vaya a desplegar estos modelos hará bien en probar las recetas con sus propios patrones de uso, longitud de contexto y requisitos de latencia antes de dimensionar la infraestructura.

El anuncio forma parte de la ronda de NVIDIA con Corea de esta semana, que incluye la apertura de NVLink Fusion a Rebellions y SK Telecom, en la que Dynamo también tiene papel dentro del programa AI for All, y sus planes de inversión en Upstage y Motif, dos de las empresas cuyos modelos cubren estas recetas.