--- title: "NVIDIA y OpenAI llevan la inferencia a 1,5 millones de tokens por segundo con los modelos gpt-oss sobre la arquitectura Blackwell" description: "NVIDIA y OpenAI han dado un nuevo salto en el rendimiento de la inteligencia artificial con el lanzamiento de los modelos gpt-oss-20b y gpt-oss-120b de código abierto y pesos abiertos, optimizados par..." url: https://revistacloud.com/nvidia-y-openai-llevan-la-inferencia-a-15-millones-de-tokens-por-segundo-con-los-modelos-gpt-oss-sobre-la-arquitectura-blackwell/ date: 2025-08-12 modified: 2025-08-12 author: "Antonio" image: https://revistacloud.com/wp-content/uploads/2025/08/NVIDIA-OpenAI-Inference-oss.jpeg categories: ["Noticias"] tags: ["GPT-OSS", "GPU", "NVIDIA"] type: post lang: es --- # NVIDIA y OpenAI llevan la inferencia a 1,5 millones de tokens por segundo con los modelos gpt-oss sobre la arquitectura Blackwell NVIDIA y OpenAI han dado un nuevo salto en el rendimiento de la inteligencia artificial con el lanzamiento de los[ modelos **gpt-oss-20b** y **gpt-oss-120b**](https://revistacloud.com/tag/gpt-oss/) de código abierto y pesos abiertos, optimizados para la arquitectura **Blackwell**. Según datos de la compañía, el modelo más grande alcanza hasta **1,5 millones de tokens por segundo** (TPS) en un sistema **NVIDIA GB200 NVL72**, lo que equivaldría a dar servicio a unos **50.000 usuarios concurrentes**. Estos modelos, centrados en el razonamiento textual, integran **capacidad de chain-of-thought** y **llamadas a herramientas**, apoyándose en una arquitectura **Mixture of Experts (MoE)** con activaciones **SwigGLU**. Incorporan capas de atención con **RoPE** para contextos de hasta **128.000 tokens**, alternando entre atención completa y una ventana deslizante de 128 tokens. Ambas versiones están disponibles en precisión **FP4**, lo que permite que incluso el modelo de 120B parámetros activos se ejecute en una única GPU de centro de datos con 80 GB de memoria, aprovechando de forma nativa las capacidades de Blackwell. --- ### **Entrenamiento y optimización** El **gpt-oss-120b** requirió más de **2,1 millones de horas de entrenamiento** en GPUs **NVIDIA H100 Tensor Core**, mientras que el **gpt-oss-20b** necesitó aproximadamente diez veces menos. Para maximizar el rendimiento, NVIDIA ha colaborado con **Hugging Face Transformers**, **Ollama**, **vLLM** y su propia **TensorRT-LLM**, implementando mejoras específicas en núcleos de atención, enrutado MoE y preprocesamiento optimizado. ![nvidia select compute gpu](https://revistacloud.com/wp-content/uploads/2025/08/nvidia-select-compute-gpu-1024x387.jpeg)*Screenshot* Entre las optimizaciones clave se incluyen: - **TensorRT-LLM Gen** para prefill y decode de atención, y MoE de baja latencia. - **CUTLASS MoE kernels** para Blackwell. - **XQA kernel** especializado para Hopper. - Librería **FlashInfer** para servir LLMs con atención optimizada y enrutado MoE acelerado. - Compatibilidad con **OpenAI Triton kernel** para MoE en TensorRT-LLM y vLLM. --- ### **Despliegue flexible: del data center al PC local** **En centros de datos:** - Con **vLLM**, los desarrolladores pueden lanzar un servidor web compatible con OpenAI descargando el modelo de forma automática con un simple comando. - Con **TensorRT-LLM**, NVIDIA proporciona guías, contenedores Docker y configuraciones para maximizar el rendimiento tanto en baja latencia como en alto rendimiento. **En infraestructuras empresariales:** - **NVIDIA Dynamo**, plataforma open source de inferencia, mejora hasta 4x la interactividad para secuencias largas (32k ISL) en Blackwell gracias a la **inferencia desagregada**, separando fases de cálculo en distintas GPUs. - Los modelos se ofrecen como **microservicios NVIDIA NIM**, listos para desplegar en cualquier infraestructura acelerada por GPU, con control sobre privacidad y seguridad. **En entornos locales:** - El **gpt-oss-20b** puede ejecutarse en cualquier PC con **GPU NVIDIA GeForce RTX** y al menos 16 GB de VRAM, o en estaciones profesionales con **RTX PRO GPUs**. Es compatible con **Ollama**, **Llama.cpp** y **Microsoft AI Foundry Local**. - Los desarrolladores pueden probarlos en **RTX AI Garage** con entornos preconfigurados. --- ### **Una arquitectura diseñada para escalar** El sistema **GB200 NVL72** combina **72 GPUs Blackwell** con quinta generación de **NVLink** y **NVLink Switch**, funcionando como una única GPU de gran escala. El motor Transformer de segunda generación con Tensor Cores FP4, junto con un ancho de banda masivo, permite alcanzar picos de inferencia hasta ahora inalcanzables en modelos de este tamaño. Según NVIDIA, este avance refuerza la capacidad de la plataforma para servir **modelos de última generación desde el día cero**, con **alto rendimiento y bajo coste por token**, tanto en entornos cloud como on-premise. --- ### **Ficha técnica de los modelos gpt-oss** | Modelo | Bloques Transformer | Parámetros totales | Parámetros activos por token | Nº de expertos | Expertos activos por token | Contexto máximo | | --- | --- | --- | --- | --- | --- | --- | | gpt-oss-20b | 24 | 20B | 3,6B | 32 | 4 | 128K | | gpt-oss-120b | 36 | 117B | 5,1B | 128 | 4 | 128K | --- ### **Conclusión** La colaboración entre NVIDIA y OpenAI en los modelos gpt-oss marca un nuevo punto de referencia en la inferencia de modelos de lenguaje de gran escala, no solo por el salto de rendimiento, sino también por la **flexibilidad de despliegue**: desde entornos cloud a PCs de escritorio, pasando por microservicios listos para producción. Con un ecosistema optimizado que integra hardware, kernels y frameworks, el objetivo es claro: **acercar la IA de alto rendimiento a cualquier desarrollador, en cualquier entorno**. vía: [developer.nvidia.com](https://developer.nvidia.com/blog/delivering-1-5-m-tps-inference-on-nvidia-gb200-nvl72-nvidia-accelerates-openai-gpt-oss-models-from-cloud-to-edge/)