Gartner ha advertido de que aplicar las mismas reglas de gobierno a todos los agentes de Inteligencia Artificial puede llevar al fracaso de muchos proyectos empresariales. La firma sostiene que las organizaciones están cometiendo un error al tratar estos sistemas como si todos tuvieran el mismo nivel de autonomía, los mismos permisos y el mismo riesgo operativo.

La previsión es contundente: para 2027, el 40 % de las empresas degradará o retirará agentes autónomos de Inteligencia Artificial por brechas de gobierno detectadas después de incidentes en producción. El problema, según Gartner, suele aparecer cuando no se distingue entre la capacidad del agente para actuar y el alcance real de acceso que se le concede.

El error de gobernar todos los agentes por igual

El despliegue de agentes de Inteligencia Artificial se ha acelerado en muchas empresas, pero su control interno no siempre ha evolucionado al mismo ritmo. Gartner señala que algunas organizaciones aplican un enfoque binario: o bloquean demasiado los agentes, o confían en ellos en exceso.

Ambos extremos generan problemas. Si se restringe demasiado a agentes simples, los equipos pierden agilidad, se ralentizan los proyectos y pueden aparecer desarrollos paralelos fuera del control oficial. Si se permite actuar con demasiada libertad a agentes más autónomos, aumentan los riesgos operativos, de seguridad y de cumplimiento normativo.

Shiva Varma, analista sénior de Gartner, resume el problema al señalar que los agentes operan con distintos niveles de autonomía y dentro de límites de confianza diferentes. Por eso, las mismas reglas no deberían aplicarse de forma indiscriminada.

La clave está en clasificar los agentes según lo que pueden hacer, a qué sistemas acceden y qué consecuencias tendría un error. No tiene el mismo riesgo un asistente que resume documentos que un agente capaz de modificar configuraciones, enviar comunicaciones o ejecutar cambios en sistemas de producción.

Cuatro niveles de autonomía

Gartner propone un modelo proporcional dividido en cuatro niveles. El primero es el de observación. En este caso, el agente solo tiene acceso de lectura a fuentes concretas de datos y sus resultados son visibles para el usuario que hizo la solicitud. Se usa, por ejemplo, para resumir documentos, recuperar conocimiento interno o explicar código.

En este nivel, los controles deben ser ligeros pero claros: autenticación de usuarios, acceso limitado a datos, registro de uso y pruebas básicas de seguridad y funcionamiento. El riesgo principal está en la exposición de información y en la precisión de las respuestas.

El segundo nivel es el de asesoramiento. Aquí el agente genera recomendaciones, borradores o propuestas, pero no ejecuta acciones. Una persona revisa el resultado y decide si lo utiliza. Este tipo de agentes puede emplearse para redactar correos, crear informes, generar código o apoyar decisiones.

Aunque el humano conserva la ejecución final, Gartner advierte de un riesgo frecuente: la confianza excesiva en las respuestas automáticas. Por eso recomienda pruebas de precisión, evaluación de alucinaciones, controles de calidad por dominio y formación para que los usuarios sepan cuándo deben apoyarse en el agente y cuándo revisar con más cuidado.

Cuando el agente empieza a actuar

El tercer nivel es el de acción con aprobación. En este escenario, el agente puede escribir datos, enviar mensajes o modificar configuraciones, pero cada acción requiere una autorización humana explícita antes de ejecutarse.

Este modelo puede parecer seguro, pero Gartner advierte de que la aprobación humana solo funciona si sigue siendo un control real. Si los flujos son confusos, si no hay trazabilidad o si los responsables aprueban por cansancio, la revisión puede convertirse en un trámite sin valor. Para este nivel hacen falta pruebas de seguridad más sólidas, procesos de aprobación bien definidos, auditoría y planes de respuesta ante incidentes específicos para agentes.

El cuarto nivel es el más delicado: agentes que actúan de forma autónoma dentro de unos límites definidos. En este caso, las personas ya no revisan cada acción una por una, sino excepciones, registros y resultados agregados.

Cuando un agente opera a esa escala, puede ejecutar acciones a una velocidad que supera la supervisión humana directa. Gartner recomienda controles más exigentes: monitorización continua, barreras automáticas, mecanismos rápidos de reversión, interruptores de parada cuando se superen ciertos umbrales y responsables claramente asignados para el comportamiento del agente.

La advertencia llega en un momento en el que muchas empresas quieren pasar de pruebas controladas a agentes integrados en procesos reales. El mensaje de Gartner es claro: la autonomía debe ganarse con controles proporcionales, no concederse por defecto.

Preguntas frecuentes

¿Qué riesgo ve Gartner en los agentes de Inteligencia Artificial?
El principal riesgo es aplicar el mismo gobierno a agentes con niveles de autonomía y acceso muy diferentes, lo que puede causar bloqueos innecesarios o incidentes en producción.

¿Cuáles son los niveles de autonomía propuestos por Gartner?
Gartner distingue cuatro niveles: observar, asesorar, actuar con aprobación humana y actuar de forma autónoma dentro de límites definidos.

¿Por qué no basta con que una persona apruebe las acciones del agente?
Porque la aprobación puede perder valor si no hay trazabilidad, criterios claros o revisión real. Gartner advierte del riesgo de fatiga de aprobación en tareas repetitivas o bajo presión.

vía: gartner