La seguridad de la inteligencia artificial está entrando en una nueva fase. Ya no basta con proteger el modelo o filtrar sus respuestas: los agentes pueden ejecutar código, consultar bases de datos, acceder a herramientas empresariales y actuar con permisos reales. Para responder a ese escenario, NVIDIA, Microsoft, Cisco, Cloudflare, CrowdStrike, Hugging Face, IBM, Mistral, Red Hat y decenas de compañías han creado la Open Secure AI Alliance, una iniciativa destinada a desarrollar herramientas abiertas para proteger modelos, agentes y cadenas de suministro de software.
Las claves de la Open Secure AI Alliance en 30 segundos
- Más de 50 empresas y organizaciones participan en la nueva alianza.
- El objetivo es crear una pila defensiva abierta para agentes, modelos y software.
- NVIDIA aporta NOOA, un framework para probar, rastrear y auditar agentes.
- La iniciativa también trabajará en identidad, aislamiento, formatos seguros y análisis de vulnerabilidades.
- El reto será convertir una coalición tan amplia en estándares interoperables y proyectos realmente adoptados.
La alianza parte de una idea técnica bastante concreta: un agente de IA no es solo un modelo de lenguaje. Es un sistema formado por el modelo, el framework que lo controla, las herramientas a las que puede llamar, los permisos que recibe, los registros que genera y las políticas que limitan su comportamiento.
Ese conjunto amplía la superficie de ataque. Un fallo puede aparecer en el propio modelo, pero también en el harness del agente, en una llamada a una API, en el sistema de identidad, en un plugin, en el formato de los pesos o en una dependencia de código abierto.
De la seguridad del modelo a la seguridad de toda la pila
Durante los últimos años, buena parte del debate se ha centrado en si los modelos deben ser abiertos o cerrados. La Open Secure AI Alliance intenta desplazar la conversación hacia una cuestión más práctica: qué controles necesita un agente para operar de forma segura en producción.
La respuesta incluye varias capas:
- identidad verificable para agentes y servicios;
- permisos mínimos;
- aislamiento de procesos;
- trazabilidad de acciones;
- logs completos;
- formatos de modelos seguros;
- análisis de código y vulnerabilidades;
- evaluación continua;
- controles sobre herramientas y conectores;
- protección de la cadena de suministro.
Esta visión se parece más a la seguridad cloud o al enfoque zero trust que a la moderación tradicional de modelos. El problema ya no es únicamente qué responde una IA, sino qué puede hacer cuando tiene acceso a sistemas internos.
Un agente conectado a GitHub, SAP, Salesforce o una base de datos corporativa puede actuar con impacto real. Por eso, los mecanismos de seguridad deben estar integrados en todo el flujo, desde la identidad de la carga hasta el registro de cada acción.
Por qué la alianza defiende herramientas abiertas
Los promotores de la iniciativa sostienen que los equipos de ciberseguridad necesitan herramientas que puedan inspeccionar, adaptar y ejecutar dentro de su propia infraestructura.
En una investigación forense, por ejemplo, una empresa puede manejar logs sensibles, código propietario o datos de clientes. Depender de un servicio cerrado y externo puede limitar el análisis o introducir restricciones de confidencialidad.
Además, algunos modelos comerciales bloquean tareas relacionadas con malware, explotación o ingeniería inversa porque no pueden distinguir con suficiente precisión entre uso ofensivo y defensivo. Ese tipo de limitación puede ser razonable en servicios generales, pero también puede dificultar el trabajo de un equipo de respuesta a incidentes.
La alianza defiende que los modelos abiertos y los sistemas desplegables en infraestructura propia permiten:
- personalizar políticas;
- mantener los datos dentro de la organización;
- auditar el comportamiento;
- adaptar el sistema a un entorno concreto;
- evitar un único proveedor;
- reducir puntos de fallo comunes.
Esto no elimina los riesgos. Un modelo abierto también puede modificarse para quitar protecciones o utilizarse con fines ofensivos. La propuesta del grupo no consiste en ignorar ese problema, sino en combinar apertura con evaluaciones, controles y procesos de corrección.
NOOA, el framework de NVIDIA para agentes auditables
NVIDIA ha presentado NVIDIA Labs Object-Oriented Agents, o NOOA, como una de sus primeras contribuciones.
El proyecto intenta simplificar la forma en que se define un agente. En lugar de repartir el estado, las herramientas, los prompts y las capacidades entre múltiples archivos o componentes, NOOA propone una estructura orientada a objetos donde esos elementos quedan agrupados.
El objetivo es hacer más fácil:
- comprobar qué herramientas tiene disponibles el agente;
- seguir el flujo de ejecución;
- registrar decisiones;
- probar comportamientos;
- limitar capacidades;
- revisar qué permisos se han utilizado.
La idea resulta útil porque muchos frameworks de agentes han evolucionado rápidamente y no siempre ofrecen una visión clara de todo lo que ocurre durante una ejecución. En entornos empresariales, esa falta de transparencia complica auditorías, cumplimiento y respuesta a incidentes.
NOOA todavía es un proyecto inicial, así que su valor real dependerá de la compatibilidad con modelos y plataformas, la calidad de su documentación y la adopción por parte de desarrolladores.
Identidad, modelos seguros y escaneo multiagente
La alianza reúne proyectos que cubren distintas capas de seguridad.
HPE contribuye al ecosistema SPIFFE y SPIRE, orientado a proporcionar identidades criptográficas a cargas de trabajo y servicios. Aplicado a agentes de IA, esto permitiría verificar qué componente realiza una petición y si está autorizado.
Hugging Face aporta Safetensors, un formato de almacenamiento de pesos diseñado para reducir riesgos asociados a mecanismos de serialización capaces de ejecutar código.
Microsoft trabaja en MDASH, un harness que coordina varios agentes especializados para buscar y validar vulnerabilidades. Este enfoque multiagente pretende mejorar el análisis mediante modelos que revisan, discuten y comprueban los resultados de otros.
IBM y Red Hat aportan trabajos relacionados con parches firmados digitalmente y seguridad de la cadena de suministro. El objetivo es garantizar que una actualización procede de una fuente legítima y no ha sido modificada.
La combinación muestra que la alianza no gira en torno a un único modelo de ciberseguridad. Aspira a construir una infraestructura defensiva formada por herramientas, estándares y formatos reutilizables.
El problema de la interoperabilidad
La lista de miembros es amplia: NVIDIA, Adobe, Cisco, Cloudflare, CrowdStrike, Databricks, Dell, Elastic, Fortinet, GitHub, HPE, IBM, Microsoft, Mistral, NetApp, Nokia, Palantir, Palo Alto Networks, Red Hat, Salesforce, SAP, ServiceNow, Siemens, Snowflake, Synopsys, Uber y Zscaler, entre otros.
Esa diversidad aporta experiencia en prácticamente todas las capas del stack, pero también complica la coordinación.
Para que la iniciativa tenga impacto deberá resolver varias preguntas:
- qué especificaciones serán comunes;
- qué proyectos tendrán prioridad;
- cómo se gobernarán los repositorios;
- qué licencias se utilizarán;
- cómo se gestionará la divulgación de vulnerabilidades;
- cómo se validará la interoperabilidad;
- qué requisitos deberá cumplir una herramienta para considerarse compatible.
El riesgo es terminar con una colección de proyectos independientes sin una arquitectura compartida. La seguridad de los agentes necesita componentes que puedan trabajar juntos, no solo herramientas aisladas.
Una respuesta al crecimiento de los agentes autónomos
El momento del anuncio no es casual.
Las empresas están pasando de los chatbots a agentes capaces de actuar sobre sistemas reales. Esto introduce nuevos riesgos:
- prompt injection;
- escalada de privilegios;
- abuso de herramientas;
- exposición de secretos;
- ejecución de código;
- manipulación de resultados;
- suplantación de agentes;
- acceso lateral a servicios internos.
En un entorno así, las defensas tradicionales no son suficientes. Un firewall de aplicaciones web no entiende necesariamente la lógica de un agente. Un sistema de identidad clásico puede saber quién es el usuario, pero no siempre qué agente está actuando en su nombre.
La alianza intenta cubrir ese vacío con controles específicamente diseñados para arquitecturas agentic.
Modelos abiertos y cerrados deberán convivir
La Open Secure AI Alliance no plantea que todos los modelos deban ser abiertos.
Sus promotores defienden una combinación de ambos enfoques. Los modelos cerrados pueden ofrecer mayor rendimiento, soporte comercial y controles gestionados. Los abiertos permiten inspección, despliegue local y adaptación.
En ciberseguridad, la elección dependerá del caso de uso.
Una empresa puede utilizar un modelo comercial para tareas generales y un modelo abierto dentro de su SOC para analizar datos sensibles. También puede combinar varios modelos y asignar a cada uno un nivel distinto de acceso.
Este enfoque multimodelo reduce la dependencia de un único proveedor, pero añade complejidad. Cada modelo puede tener capacidades, políticas y riesgos diferentes. Por eso, los harnesses y las capas de control adquieren tanta importancia.
El siguiente paso será demostrar resultados
El anuncio reúne a muchos de los nombres más relevantes de la industria, pero el éxito no dependerá del número de logotipos.
La alianza tendrá que publicar código útil, definir estándares claros y demostrar que sus herramientas funcionan en entornos reales. También deberá evitar duplicar iniciativas ya existentes dentro de OpenSSF, la Linux Foundation y otras comunidades de seguridad de IA.
La aparición de esta coalición confirma, en cualquier caso, que la seguridad de agentes ya se considera un problema de infraestructura y no solo de modelos.
La IA empresarial está evolucionando hacia sistemas con capacidad de acción. Protegerlos exigirá identidades, permisos, observabilidad, aislamiento y herramientas de evaluación comparables a las utilizadas en cloud y software tradicional.
La Open Secure AI Alliance quiere que esa base se construya de forma abierta. Ahora debe demostrar que puede convertir esa ambición en una pila defensiva que desarrolladores y equipos de seguridad puedan desplegar.
Preguntas frecuentes
¿Qué es la Open Secure AI Alliance?
Es una iniciativa formada por empresas tecnológicas, compañías de ciberseguridad y organizaciones de código abierto para desarrollar herramientas abiertas de seguridad para modelos y agentes de IA.
¿Qué problema intenta resolver?
Busca proteger toda la pila de un agente, incluidos identidad, permisos, herramientas, logs, modelos, formatos y cadenas de suministro.
¿Qué es NVIDIA NOOA?
Es un framework abierto para estructurar agentes de IA de forma más trazable, auditable y fácil de probar.
¿La alianza apuesta solo por modelos abiertos?
No. Defiende la convivencia de modelos abiertos y cerrados, con la posibilidad de elegir según requisitos de seguridad, rendimiento, privacidad y control.
Fuente: Noticias Inteligencia Artificial
