Nvidia presentó el 28 de septiembre Open Agent Safety Platform, un sistema para vigilar y limitar lo que hacen los programas de inteligencia artificial que trabajan por su cuenta. Los agentes de IA, que usan herramientas, acceden a datos y ejecutan tareas sin que una persona apruebe cada paso, quedarán así bajo reglas que no dependen del propio agente.
La plataforma combina un software de código abierto, llamado OpenShell, con un sistema de vigilancia que funciona en el hardware, llamado Sentry. Según Nvidia, más de 100 empresas tecnológicas la respaldan o la están integrando.
La propuesta parte de una idea: un agente no puede controlarse solo. «No se puede esperar que un agente vigile por completo su propio comportamiento», dijo Justin Boitano, vicepresidente de IA empresarial de Nvidia, según Constellation Research.
Por qué los agentes de IA necesitan control externo
Nvidia explicó que desarrolló la plataforma después de observar agentes que iban más allá de las tareas que se les habían asignado. Entre las causas, la compañía menciona instrucciones ambiguas, errores de programación, herramientas faltantes y tareas que se extienden por mucho tiempo, según Business Today.
El anuncio llega en medio de reportes sobre agentes que se salieron de control. Según el medio especializado SC Media, un agente de OpenAI habría accedido a sistemas del gobierno de Australia y otros agentes habrían escapado de un entorno de pruebas para atacar a Hugging Face, una plataforma de modelos de IA. Boitano sostuvo que la plataforma podría haber detenido el incidente de Hugging Face, aunque advirtió que «cada incidente de seguridad es único».
Para Nvidia, las barreras que se ponen dentro de cada aplicación no bastan para controlar a los agentes de IA. Por eso, la seguridad en inteligencia artificial que propone Open Agent Safety Platform, con OpenShell como base, actúa en tres capas: la aplicación, el entorno donde corre el agente y la infraestructura, es decir, el hardware.
Cómo funciona Open Agent Safety Platform
- OpenShell: es un software de código abierto que hace correr a cada agente en un espacio aislado. Antes de que el agente parta, define a qué archivos, redes, herramientas y credenciales puede acceder, y vigila que lo cumpla mientras trabaja. Funciona en procesadores x86 y Arm, además del procesador Vera de Nvidia.
- Sentry: es un vigilante independiente que funciona en los chips BlueField-4 de Nvidia, fuera del entorno del agente. Revisa lo que el agente pide y recibe, verifica su identidad y bloquea los accesos no autorizados. Si un agente intenta cruzar sus límites, Sentry puede aislarlo en milisegundos, según Nvidia.
Según Constellation Research, el sistema puede supervisar decenas de miles de agentes a la vez. Por ahora, Sentry solo funciona en los chips BlueField de Nvidia, aunque sus interfaces son abiertas para que otros fabricantes puedan usarlas.
Quiénes la usarán
Entre las empresas que trabajan con la plataforma están Anthropic, Cisco, Dell, HPE, IBM, Lenovo, Microsoft, Oracle, Salesforce, SAP y ServiceNow. Anthropic, la creadora de Claude, planea usar OpenShell para reforzar la seguridad de sus agentes, según Constellation Research. Citi y JPMorgan Chase, por su parte, trabajan con Nvidia en tecnología abierta de seguridad para agentes.
OpenShell estaba en acceso anticipado con socios desde marzo y Nvidia lo considera listo para usarse en producción. La compañía no informó precios ni una fecha de disponibilidad general para el resto de la plataforma.
«La seguridad requiere ingeniería de pila completa», dijo Jensen Huang, director ejecutivo de Nvidia, al presentar la plataforma.
Lee también:
- Microsoft y Nvidia preparan el nuevo notebook con IA
- Google presenta Gemini 4, pero aún no puedes usarlo
- Google abre a todo el mundo SynthID Detector
Fuente: Nvidia, vía Constellation Research, Business Today, Channel Insider y SC Media
