La inteligencia artificial generativa no solo está cambiando la forma en que las empresas programan, automatizan procesos o atienden a sus clientes. También está alterando la velocidad, la escala y la naturaleza de los ataques informáticos. Gartner ha identificado cuatro amenazas que, a su juicio, requieren mejoras urgentes por parte de los responsables de ciberseguridad: el compromiso de aplicaciones de IA, la suplantación de identidad con deepfakes, la prompt injection y los ataques a la cadena de suministro de software.

El diagnóstico es relevante porque sitúa el problema más allá del ruido comercial que rodea a la seguridad con IA. No se trata simplemente de añadir una herramienta más al SOC o de bloquear el uso de ChatGPT en la empresa. La superficie de ataque se está desplazando hacia aplicaciones generativas conectadas a datos internos, agentes con capacidad de acción, reuniones digitales donde ya no siempre se puede confiar en una voz o una imagen, y pipelines de desarrollo cada vez más dependientes de componentes externos.

John Watts, vicepresidente analista de Gartner, lo resume con una advertencia clara: las iniciativas de seguridad lanzadas por las compañías de IA de frontera están generando mucho ruido en un entorno ya saturado. Para los CISO, el reto está en encontrar la señal real dentro de ese ruido y reaccionar a los cambios del mapa de amenazas antes de que el atacante tome ventaja.

La IA empresarial ya no es un experimento aislado

La primera amenaza señalada por Gartner es el compromiso de aplicaciones de IA. Muchas compañías han pasado en muy poco tiempo de probar asistentes generativos a desplegar herramientas internas, copilotos, chatbots corporativos y agentes conectados a sistemas reales. Esa aceleración tiene ventajas evidentes, pero también abre puertas nuevas.

Una aplicación de IA empresarial puede tener acceso a documentos confidenciales, tickets de soporte, CRM, bases de datos, repositorios de código, calendarios, plataformas de automatización o herramientas de recursos humanos. Si no se controlan bien los permisos, los conectores, las identidades y el flujo de datos, el modelo deja de ser una interfaz inocua y se convierte en una nueva capa de riesgo.

Gartner recomienda que los equipos de seguridad amplíen sus programas más allá de la protección tradicional del software. Eso implica mapear la superficie de ataque generada por modelos de IA generativa y herramientas agénticas, aplicar prácticas de ciclo de vida seguro al desarrollo de aplicaciones de IA, realizar modelado de amenazas específico y reforzar la seguridad de los datos mediante clasificación, control de acceso por propósito y monitorización en tiempo de ejecución.

La idea de fondo es sencilla: una aplicación de IA no debe tratarse como un chatbot decorativo si tiene acceso a datos sensibles o puede ejecutar acciones. Necesita gobierno, trazabilidad, pruebas de seguridad y límites claros sobre qué puede hacer, para quién y en qué contexto.

Deepfakes y prompt injection: dos riesgos que atacan la confianza

La segunda amenaza es la suplantación de identidad mediante deepfakes. La mejora de los modelos de voz, vídeo e imagen ha hecho que crear una identidad falsa sea más barato, más rápido y más convincente. Lo que antes requería recursos avanzados hoy puede generarse con herramientas accesibles y utilizarse en fraudes, phishing, procesos de selección, videollamadas o ataques contra sistemas biométricos.

El riesgo no se limita a un vídeo manipulado que circula por redes sociales. En el entorno corporativo, un atacante puede simular la voz de un directivo, aparecer en una reunión remota con una imagen sintética, presionar a un empleado para autorizar una transferencia o intentar superar verificaciones de identidad en procesos digitales. La confianza visual y auditiva, que durante años fue una parte informal de la seguridad empresarial, ya no basta.

Gartner advierte de que no existe un único control capaz de resolver el problema. Los detectores de deepfakes pueden ayudar, pero deben combinarse con procesos reforzados, autenticación fuerte, análisis de metadatos, señales contextuales y procedimientos de doble validación para operaciones sensibles. La seguridad de las reuniones online, por ejemplo, tendrá que apoyarse más en identidad verificada y menos en “reconocer” una cara en pantalla.

La tercera amenaza, la prompt injection, afecta directamente a sistemas basados en grandes modelos de lenguaje. Un atacante puede manipular una entrada para alterar el comportamiento del modelo, hacer que ignore instrucciones del sistema, revele información confidencial o ejecute acciones no autorizadas. El riesgo aumenta cuando el modelo puede leer documentos externos, navegar por páginas web, consultar bases de datos o interactuar con herramientas corporativas.

El problema de la prompt injection es que rompe una frontera tradicional. En una aplicación clásica, el código y los datos están más separados. En los LLM, una instrucción maliciosa puede aparecer dentro de un documento, un correo, un ticket o una página web que el agente está procesando. El modelo puede interpretarla como parte de la tarea si el sistema no está bien diseñado.

La defensa pasa por varias capas: validación y saneamiento de entradas, pruebas específicas de prompt injection durante el desarrollo, guardrails en tiempo de ejecución, monitorización de comportamientos anómalos y alertas cuando el modelo actúa fuera de lo esperado. La premisa debe ser que el modelo puede ser engañado; por eso el sistema completo debe limitar el impacto de ese engaño.

La cadena de suministro de software se vuelve aún más delicada

La cuarta amenaza identificada por Gartner es la cadena de suministro de software. El desarrollo moderno depende de librerías open source, imágenes de contenedor, paquetes externos, pipelines CI/CD, repositorios compartidos, modelos de IA y herramientas de automatización. Esa dependencia ya era compleja antes de la IA generativa. Ahora lo es más.

Los asistentes de código pueden acelerar la creación de software, pero también pueden introducir dependencias inseguras, sugerir paquetes inexistentes o maliciosos, replicar patrones vulnerables o generar código que nadie revisa con suficiente atención. Además, los agentes de desarrollo pueden interactuar con sistemas de build, repositorios y entornos de despliegue, lo que amplía el riesgo si sus permisos no están bien controlados.

Gartner recomienda construir inventarios completos de activos de software y aplicar controles en cada fase del desarrollo. Entre las medidas que propone están exigir SBOM y AIBOM a los proveedores, evaluar componentes antes de desplegarlos, usar repositorios curados para código, contenedores y modelos de IA, proteger ramas en repositorios, firmar artefactos durante la construcción, aplicar mínimo privilegio a sistemas de build y monitorizar la actividad de herramientas agénticas en producción.

El concepto AIBOM gana peso en este contexto. Si el SBOM permite saber qué componentes de software forman parte de una aplicación, el AIBOM busca identificar modelos, datasets, dependencias y elementos de IA utilizados en un sistema. Sin ese inventario, resulta difícil responder a preguntas básicas: qué modelo se usa, con qué datos se alimenta, qué proveedores intervienen o qué riesgo introduce una actualización externa.

El CISO necesita menos ruido y más control operativo

Las cuatro amenazas señaladas por Gartner tienen un elemento común: erosionan supuestos básicos de la seguridad empresarial. Antes se podía confiar más en la separación entre aplicación y usuario, en la identidad visual de una persona, en la estabilidad de una cadena de dependencias o en que un sistema respondiera solo a instrucciones previstas. La IA generativa debilita parte de esas certezas.

Esto no significa que las empresas deban frenar la adopción de IA. La productividad, la automatización y la mejora de procesos son demasiado importantes como para tratar la tecnología solo como un riesgo. Pero la adopción debe ir acompañada de controles diseñados desde el inicio, no añadidos después de un piloto que ya se ha convertido en producción.

Para los equipos de seguridad, el cambio será cultural y técnico. Habrá que trabajar más cerca de desarrollo, datos, legal, compras y negocio. También habrá que revisar procesos de identidad, gobierno de agentes, permisos, inventarios de componentes y monitorización en tiempo real. La ciberseguridad de la IA no será una categoría aislada; acabará atravesando toda la arquitectura tecnológica de la empresa.

El mensaje de Gartner apunta en esa dirección. Las amenazas no son hipotéticas ni pertenecen a un futuro lejano. Ya están entrando en aplicaciones, reuniones, pipelines y flujos de trabajo. Las organizaciones que esperen a tener un incidente para actuar descubrirán que los atacantes ya han entendido antes que ellas cómo usar la IA para moverse más rápido.

Preguntas frecuentes

¿Cuáles son las cuatro amenazas destacadas por Gartner?
Gartner identifica el compromiso de aplicaciones de IA, la suplantación de identidad mediante deepfakes, la prompt injection y los ataques a la cadena de suministro de software.

¿Por qué las aplicaciones de IA son una nueva superficie de ataque?
Porque muchas se conectan a datos sensibles, herramientas internas, credenciales y sistemas de terceros. Si los permisos y controles son débiles, pueden exponer información o permitir acciones no autorizadas.

¿Qué es la prompt injection?
Es una técnica que manipula las entradas de un modelo de lenguaje para alterar su comportamiento, saltarse instrucciones, filtrar datos o ejecutar acciones indebidas.

¿Qué deben hacer las empresas para reducir estos riesgos?
Deben aplicar seguridad desde el diseño, inventariar componentes, reforzar identidad y accesos, probar sus aplicaciones de IA frente a prompt injection, vigilar deepfakes y monitorizar agentes y modelos en producción.

vía: Open Security