La inteligencia artificial generativa ha hecho que empezar a utilizar IA sea más sencillo que nunca. Basta con abrir ChatGPT, Claude o Gemini para generar código, analizar documentos o resolver problemas. Trabajar como ingeniero de IA exige entender una capa bastante menos visible: la estadística que determina cómo aprenden, se evalúan y fallan los modelos. Distribuciones, varianza, muestreo, entropía o calibración siguen siendo conocimientos útiles incluso en una industria dominada por grandes modelos de lenguaje (LLM), agentes y modelos multimodales.

Las claves de la estadística para ingeniería de IA en 30 segundos

• Los modelos de machine learning aprenden relaciones estadísticas a partir de los datos, por lo que comprender sus distribuciones ayuda a detectar problemas antes del entrenamiento.
• Bayes permite entender cómo cambia una probabilidad cuando aparece nueva información.
• Varianza, muestreo y sesgos explican por qué un modelo puede funcionar bien en laboratorio y fallar en producción.
• Entropía, entropía cruzada y divergencia KL aparecen directamente en numerosas técnicas de entrenamiento.
• La calibración permite comprobar si puede confiarse realmente en probabilidades como “80 % de confianza”.

La diferencia entre utilizar una API de IA y desarrollar un sistema fiable aparece precisamente cuando las cosas dejan de funcionar.

Una pérdida que disminuye durante el entrenamiento no garantiza que el modelo vaya a generalizar. Un 95 % de precisión puede esconder un problema de clases desequilibradas. Una mejora del 0,3 % en un benchmark puede ser ruido estadístico. Y un modelo que asigna un 90 % de probabilidad a una respuesta tampoco tiene necesariamente un 90 % de posibilidades de acertar.

Entender estas situaciones requiere algo más que conocer la última arquitectura de moda.

1. Distribuciones: entender los datos antes de entrenar

Una distribución de probabilidad describe cómo aparecen los diferentes valores dentro de los datos: cuáles son frecuentes, cuáles excepcionales, dónde se concentran y cuánto varían.

Es una idea básica, pero aparece continuamente en aprendizaje automático.

La distribución normal o gaussiana describe numerosos valores continuos concentrados alrededor de una media. Bernoulli representa resultados binarios. La binomial permite trabajar con el número de éxitos obtenido en varios ensayos.

Las distribuciones categóricas o multinomiales aparecen cuando existen diferentes clases posibles, mientras Poisson resulta útil para modelar el número de eventos que aparecen durante determinado intervalo.

No todos los ingenieros tendrán que ajustar manualmente una distribución en cada proyecto. Lo importante es comprender que los datos tienen una estructura estadística y que el modelo terminará aprendiendo de ella.

Esto se vuelve especialmente visible cuando aparece distribution shift: los datos que llegan a producción dejan de parecerse a los utilizados durante el entrenamiento.

El modelo puede seguir funcionando perfectamente desde el punto de vista técnico mientras sus predicciones empeoran.

2. Bayes: cambiar una predicción cuando aparecen nuevos datos

El teorema de Bayes formaliza una idea sencilla: una probabilidad inicial debe actualizarse cuando aparece nueva evidencia.

Un filtro antispam permite entenderlo rápidamente.

Existe inicialmente determinada probabilidad de que un correo sea basura. Después se analiza el remitente, determinadas palabras, enlaces y otras características. Esas evidencias modifican la estimación inicial.

Se pasa así de una probabilidad previa (prior) a una posterior (posterior).

El valor de Bayes para un ingeniero de IA está más en entender este mecanismo que en memorizar inmediatamente su ecuación.

Los sistemas inteligentes trabajan constantemente con información incompleta e incertidumbre. Poder razonar sobre cómo una nueva evidencia modifica una probabilidad resulta útil mucho más allá de los modelos explícitamente bayesianos.

3. Esperanza y varianza explican por qué un modelo puede fallar

La esperanza matemática representa el valor medio esperado de una variable aleatoria. La varianza mide cuánto se dispersan los valores respecto a su media.

En machine learning, la varianza aparece por todas partes.

El conocido equilibrio entre sesgo y varianza ayuda a comprender underfitting y overfitting. Un modelo demasiado sencillo puede no aprender suficientemente bien los patrones. Otro excesivamente ajustado al conjunto de entrenamiento puede aprender hasta sus particularidades y errores.

El segundo consigue resultados excelentes con los datos conocidos y empeora cuando recibe otros nuevos.

También existe varianza durante la optimización. Los gradientes calculados sobre diferentes batches pueden variar considerablemente, lo que ayuda a explicar por qué el tamaño del lote influye en la estabilidad y dinámica del entrenamiento.

Aquí aparece además la función de pérdida.

Una loss function mide de alguna manera cuánto se está equivocando el modelo. El error cuadrático medio es habitual en determinados problemas de regresión, mientras la entropía cruzada tiene un peso enorme en clasificación y modelos de lenguaje.

La pérdida no es simplemente un número que tiene que bajar. Su elección introduce supuestos sobre qué errores importan y cómo deben penalizarse.

4. Correlación, causalidad y el peligro de aprender el patrón equivocado

Los modelos de aprendizaje automático son extraordinariamente buenos encontrando correlaciones.

Eso puede convertirse también en un problema.

Que dos variables aparezcan relacionadas estadísticamente no demuestra que una provoque la otra. Las ventas de helados y las quemaduras solares aumentan durante el verano, pero una variable no causa la otra. La temperatura y la exposición solar ayudan a explicar ambas.

Estos factores de confusión son especialmente importantes cuando el modelo aprende relaciones que funcionan dentro de los datos históricos pero desaparecen al cambiar las condiciones.

Aquí aparecen problemas muy conocidos entre los equipos de datos.

El data leakage puede hacer que el modelo disponga durante el entrenamiento de información que nunca tendrá en producción. El sesgo de supervivencia puede dejar fuera precisamente los casos que fracasaron. La paradoja de Simpson puede incluso provocar que una tendencia observada en los datos agregados cambie al estudiar separadamente diferentes grupos.

El modelo no necesita entender ninguno de estos problemas para aprovechar las correlaciones.

El ingeniero sí.

5. Un 0,3 % más en un benchmark puede no significar nada

La industria de IA vive pendiente de tablas donde unas décimas pueden separar un modelo de otro.

La estadística obliga a introducir una pregunta adicional: ¿esa diferencia es realmente significativa o puede explicarse por la variabilidad de la prueba?

Supóngase que un modelo consigue un 90 % de precisión y una nueva versión alcanza el 90,3 % sobre 500 ejemplos.

No basta con mirar ambos números para concluir que el segundo es realmente superior.

Los contrastes de hipótesis proporcionan herramientas para estudiar estas diferencias. Conceptos como hipótesis nula, p-valor, intervalos de confianza y potencia estadística ayudan a determinar qué evidencia existe detrás del resultado.

El p-valor merece especial cuidado. No indica la probabilidad de que la hipótesis nula sea verdadera. Expresa, bajo los supuestos del contraste, cómo de compatible resulta el resultado observado con esa hipótesis.

También aparece el problema de las comparaciones múltiples.

Si un laboratorio prueba suficientes configuraciones, datasets, semillas y métricas, aumenta la posibilidad de encontrar alguna mejora aparente simplemente por azar.

Esto convierte el diseño de los benchmarks y evaluaciones en una parte importante de la ingeniería de IA, no en un trámite posterior al entrenamiento.

6. Sampling: un dataset puede mentir sin contener datos falsos

Un conjunto de datos puede contener información perfectamente correcta y representar mal el problema.

Ese matiz explica muchos fallos de sistemas desplegados.

El sesgo de selección aparece cuando la muestra no representa adecuadamente la población sobre la que posteriormente funcionará el modelo.

El desequilibrio de clases proporciona otro ejemplo clásico. En un dataset donde el 95 % de los casos son negativos, un modelo que siempre responda “negativo” obtiene un 95 % de precisión.

La métrica parece excelente. El modelo puede ser completamente inútil.

También está la suposición de datos independientes e idénticamente distribuidos (i.i.d.), habitual en muchos métodos estadísticos.

En producción esa independencia puede romperse fácilmente. Los eventos de una serie temporal están relacionados, igual que las acciones consecutivas de un mismo usuario o las solicitudes pertenecientes a una sesión.

Por eso dividir aleatoriamente un dataset entre entrenamiento y prueba tampoco es siempre la solución correcta.

Un modelo puede aprender perfectamente unos datos que fueron muestreados incorrectamente.

7. Entropía y KL: la teoría de la información está dentro de la IA moderna

Tres términos aparecen constantemente cuando se estudia cómo aprenden los modelos: entropía, entropía cruzada y divergencia de Kullback-Leibler (KL).

La entropía permite cuantificar la incertidumbre de una distribución de probabilidad.

La entropía cruzada compara las probabilidades producidas por un modelo con la distribución objetivo. Es una de las funciones de pérdida fundamentales en clasificación y entrenamiento de modelos de lenguaje.

La divergencia KL permite medir cuánto se diferencia una distribución de otra, aunque no constituye una distancia convencional porque no es simétrica.

Su aplicación aparece en técnicas como autoencoders variacionales, destilación y diferentes procedimientos de entrenamiento y ajuste de modelos.

No hace falta desarrollar un LLM desde cero para encontrarse con estos conceptos. Comprenderlos permite interpretar mucho mejor qué está intentando conseguir el entrenamiento cuando modifica millones o miles de millones de parámetros.

8. Calibración: ¿puede una IA saber cuándo probablemente se equivoca?

Este es uno de los conceptos más útiles y, al mismo tiempo, fáciles de ignorar.

Supóngase que un clasificador tiene un 95 % de precisión global.

Ahora se seleccionan 1.000 predicciones en las que ha indicado aproximadamente un 80 % de confianza.

Si está bien calibrado debería acertar alrededor del 80 % de esos casos. Si solamente acierta el 60 %, está sobreestimando su confianza. Si acierta el 95 %, está siendo demasiado conservador.

Por tanto:

Accuracy: cuántas veces acierta.

Calibration: hasta qué punto puede confiarse en la probabilidad que proporciona.

Herramientas como los diagramas de fiabilidad y métricas como Expected Calibration Error (ECE) permiten analizar esta diferencia.

Resulta especialmente importante cuando la predicción no representa el final del proceso.

Una aplicación puede establecer que los casos con una probabilidad superior al 95 % se procesen automáticamente, mientras aquellos con menor confianza se envían a revisión humana.

Si esas probabilidades están mal calibradas, toda la lógica construida posteriormente sobre ellas también estará mal planteada.

La estadística sigue importando en la era de los LLM y los agentes

La ingeniería de IA está cambiando rápidamente. Un profesional puede trabajar actualmente con modelos ya entrenados, RAG (Retrieval-Augmented Generation), agentes, embeddings, ajuste fino o API sin entrenar nunca una gran red neuronal desde cero.

Eso no elimina la estadística.

Simplemente cambia dónde aparece.

Está en la evaluación de modelos, en el diseño de experimentos, en la selección de datos, en las métricas, en los sistemas de recomendación, en la detección de anomalías y en la interpretación de probabilidades.

También permite hacer mejores preguntas cuando algo falla.

¿Ha cambiado la distribución de los datos? ¿Cuál es la tasa base? ¿Existe una variable de confusión? ¿La mejora supera realmente el ruido estadístico? ¿Está calibrado el modelo? ¿El conjunto de evaluación representa producción?

Son preguntas menos llamativas que anunciar un nuevo modelo con miles de millones de parámetros, pero muchas veces son las que separan una demo de IA que funciona durante cinco minutos de un sistema que puede mantenerse funcionando en producción.

No hace falta memorizar un manual completo de estadística para empezar a desarrollar inteligencia artificial. Sí conviene entender qué representan los números que produce un experimento.

Porque “la pérdida ha bajado” o “el nuevo modelo consigue un 2 % más de precisión” deberían ser el comienzo del análisis, no su conclusión.

Preguntas frecuentes

¿Hace falta estudiar estadística para trabajar como ingeniero de IA?

Depende del puesto, pero conocer sus fundamentos resulta muy útil para evaluar modelos, trabajar con datos y comprender problemas de generalización, incertidumbre y experimentación.

¿Qué conceptos estadísticos debería aprender primero un desarrollador de IA?

Distribuciones, probabilidad, esperanza, varianza y muestreo constituyen una buena base. Después conviene estudiar contrastes de hipótesis, teoría de la información y calibración.

¿Por qué importa la estadística si se utilizan modelos ya entrenados?

Porque todavía es necesario evaluar sus resultados, diseñar pruebas, seleccionar datos y decidir cuándo puede confiarse en sus predicciones. Utilizar una API no elimina estos problemas.

¿Qué diferencia hay entre accuracy y calibración?

Accuracy indica con qué frecuencia acierta un modelo. La calibración determina si sus probabilidades de confianza se corresponden con la frecuencia real con la que acierta.