Nvidia lança nova plataforma para controlar agentes de IA fora de controle

A Nvidia apresentou a Open Agent Safety Platform, um conjunto de software e hardware criado para manter agentes de IA dentro de seus ambientes de teste, mesmo quando tentam escapar. A plataforma combina o OpenShell, que controla o acesso dos agentes, com o Sentry, um sistema de monitoramento independente executado nas unidades de processamento BlueField-4. Segundo a Nvidia, essa separação permite monitorar continuamente o comportamento dos agentes e colocar em quarentena, em milissegundos, aqueles que tentarem ultrapassar seus limites.

A empresa afirmou que a plataforma teria impedido incidentes recentes envolvendo modelos de Anthropic, Google, OpenAI e Meta. Anthropic, Arm, Microsoft, Oracle e SpaceX estão entre as empresas que apoiam a iniciativa e usam a plataforma de código aberto; a OpenAI não aparece na lista de participantes. A Nvidia defende que controles de segurança externos ao agente respondem ao problema sem desacelerar o desenvolvimento ou criar novas regulamentações para o setor.