La conversación pública sobre Inteligencia Artificial suele quedarse en lo visible: modelos que escriben, crean imágenes o programan. Pero debajo, en la sala de máquinas, la discusión real es otra: qué GPU se compra, se alquila o se despliega para que todo eso funcione sin que los costes se disparen, sin que la latencia se vuelva insoportable y sin que el rendimiento quede “capado” por un cuello de botella inesperado.
En esa liga, tres nombres se repiten en prácticamente cualquier proyecto serio: NVIDIA A100, NVIDIA H100 y NVIDIA H200. A simple vista, parecen una escalera lógica de potencia. En la práctica, la elección es más incómoda: no siempre gana la GPU “más nueva”, porque lo que manda no es el marketing, sino el tipo de carga (entrenamiento, inferencia, tamaño del modelo, contexto largo, paralelismo, etc.).
Lo que cambia el tablero es que estas GPUs no se diferencian solo por “ser más rápidas”. En el mundo real, el rendimiento se decide por tres factores que a menudo compiten entre sí:
- Cómputo (cuánta “fuerza bruta” tiene para multiplicaciones/matrices).
- Memoria (capacidad de VRAM y, sobre todo, ancho de banda).
- Interconexión (cómo escala cuando no basta con una GPU y hay que usar varias).
El punto clave: el cuello de botella no siempre está donde crees
Para entender por qué A100, H100 y H200 pueden comportarse de forma tan distinta, conviene una traducción a lenguaje de calle:
- Si el trabajo está limitado por cómputo, la GPU es como una cocina: más “fogones” y mejor “motor” cocinan más rápido.
- Si el trabajo está limitado por memoria, la GPU es como un almacén y un pasillo de carga: da igual tener una cocina enorme si los ingredientes llegan tarde o no caben.
En modelos grandes (LLM), especialmente en inferencia, el sistema puede pasar más tiempo moviendo pesos y activaciones desde memoria que “calculando” como tal. Por eso, dos GPUs con cómputo similar pueden rendir muy diferente si una tiene más ancho de banda o mucha más VRAM.
Especificaciones que importan (sin perderse en la ficha técnica)
Hay una comparación que resume bien el salto generacional: A100 es una referencia sólida, H100 aumenta drásticamente el rendimiento y añade capacidades nuevas, y H200 mantiene la base de H100 pero empuja fuerte la memoria.
Resumen (valores típicos en plataformas de servidor):
| GPU | Memoria | Tipo de memoria | Ancho de banda aprox. | NVLink (aprox.) |
|---|---|---|---|---|
| NVIDIA A100 | 80 GB | HBM2e | 2,0 TB/s | 600 GB/s |
| NVIDIA H100 | 80 GB | HBM3 | 3,35 TB/s | 900 GB/s |
| NVIDIA H200 | 141 GB | HBM3e | 4,8 TB/s | 900 GB/s |
Estos números no son “decoración”: explican por qué una GPU puede ir sobrada en un modelo de 8B parámetros y, sin embargo, sufrir con uno de 70B cuando se necesita contexto largo, mucha concurrencia o un KV cache grande.
A100: la veterana que sigue “dando la talla” (si no le pides milagros)
A100 ha sido el caballo de batalla de la IA durante años por una razón simple: equilibrio. En muchos escenarios de inferencia y entrenamiento medio, sigue siendo perfectamente válida, sobre todo si el modelo cabe cómodo en VRAM y no exige un ancho de banda extremo.
Pero el mundo ha cambiado: los LLM actuales y sus despliegues (RAG, contextos largos, agentes, lotes grandes, latencia baja) tienden a castigar las limitaciones de memoria y ancho de banda. En ese punto, A100 no “falla”, pero deja más rendimiento en la mesa.
H100: el salto que no es solo velocidad, es “otra forma de correr”
H100 no es únicamente “A100 pero más rápida”. Su atractivo está en que fue diseñada para exprimir cargas modernas, especialmente transformadores, y trae consigo un elemento que marca diferencias en entornos reales: FP8 y el ecosistema alrededor.
Dicho sin florituras: FP8 permite reducir el coste de mover datos y aumentar el rendimiento en determinados escenarios, pero no es magia. Requiere software y flujos de trabajo que lo aprovechen correctamente, y no todos los proyectos pueden (o quieren) cambiar precisión, calibrar, cuantizar o asumir trade-offs.
Para equipos que sí pueden aprovecharlo, H100 suele ser el “punto dulce”: rendimiento alto, disponibilidad amplia en infra y una mejora clara frente a A100.
H200: la “H100 con esteroides” en memoria (y esa frase lo explica casi todo)
Aquí está la trampa que muchos pasan por alto: H200 no es un cambio de arquitectura radical respecto a H100; el golpe está en la memoria: más capacidad y más ancho de banda.
¿En qué se nota?
- Modelos grandes que, por VRAM, obligarían a usar más GPUs con H100.
- Contextos largos (16K, 32K o más) donde el KV cache crece y se come la memoria.
- Mayor concurrencia sin degradar tanto la latencia.
- Menos complejidad: si necesitas menos GPUs para lo mismo, reduces sincronización, comunicación y puntos de fallo.
Es decir: H200 brilla cuando el límite no es “calcular”, sino encajar y mover datos.
La pregunta incómoda: ¿cuándo pagar por H200 y cuándo quedarse en H100?
En el mundo real, la decisión suele caer por su propio peso si se responde con honestidad a tres preguntas:
- ¿Tu modelo cabe “bien” en 80 GB con margen para KV cache y activaciones?
Si sí, H100 suele ser la opción más racional. - ¿Vas a servir contextos largos o cargas con mucha concurrencia?
Si sí, H200 empieza a justificar su existencia. - ¿Tu despliegue exige muchas GPUs solo por memoria (no por cómputo)?
Si la respuesta es sí, H200 puede ser más barato en coste total porque simplifica el paralelismo y reduce el número de GPUs necesarias.
Este último punto explica por qué, en algunos proyectos, la decisión no es “H200 es cara”, sino “H200 evita que tenga que usar el doble de H100”.
La lectura de fondo: la IA está empujando el hardware hacia un nuevo límite
Este debate no es un capricho de ingenieros. Es una señal de época: la IA está llevando la infraestructura a un régimen donde el “mejor chip” no basta. Importan tanto o más la memoria, el consumo, la refrigeración, la disponibilidad y el coste operativo.
Y por eso la comparación A100 vs H100 vs H200 no se resuelve con un ranking simple. Se resuelve con una idea más incómoda, pero más útil: elige la GPU que ataque tu cuello de botella, no la que tenga el nombre más nuevo.
Preguntas frecuentes
¿Qué GPU conviene para inferencia de LLM con contextos largos (16K o más)?
Cuando el contexto crece, el KV cache consume mucha VRAM. En esos casos, H200 suele tener ventaja por sus 141 GB y su mayor ancho de banda, porque reduce el riesgo de quedarte sin memoria o recortar concurrencia.
¿Cuál es la diferencia práctica entre HBM3 y HBM3e en IA?
Más allá del “nombre”, lo importante es que HBM3e suele aportar más ancho de banda y, según configuración, más capacidad. Eso se nota especialmente en inferencia de modelos grandes, donde el movimiento de datos desde memoria condiciona tokens por segundo.
¿Qué significa FP8 y por qué se asocia tanto a H100/H200?
FP8 es un formato de menor precisión que puede mejorar rendimiento y eficiencia en cargas compatibles. H100 y H200 se apoyan en software específico (como Transformer Engine) para hacerlo viable en escenarios reales.
¿A100 sigue siendo buena opción en 2026?
Sí, si el modelo y el caso de uso no están dominados por límites de memoria/ancho de banda. Para inferencia de modelos moderados o cargas donde el coste manda y el rendimiento es suficiente, A100 puede seguir encajando.
