Nvidia lança Open Agent Safety Platform para conter agentes de IA

A Nvidia anunciou o lançamento da Open Agent Safety Platform, uma nova solução projetada para evitar que agentes de inteligência artificial ultrapassem as permissões definidas por seus desenvolvedores. A plataforma combina software e hardware para restringir o acesso desses agentes a sistemas externos e interromper tentativas de escapar de ambientes de teste isolados.

Desenvolvida em colaboração com empresas como Microsoft, Oracle e Dell, a Open Agent Safety Platform utiliza duas ferramentas principais: o Nvidia OpenShell e o Nvidia Sentry. O OpenShell opera no nível dos processadores, estabelecendo as permissões que determinam as ações que cada agente pode realizar dentro do ambiente designado. Por sua vez, o Sentry atua como um mecanismo de segurança adicional para monitorar e controlar o comportamento dos agentes.

Jensen Huang, CEO da Nvidia, destacou a importância da confiança na indústria de IA, afirmando que "não podemos ter uma indústria de IA bem-sucedida se o mundo não confiar ou não acreditar que ela foi construída e implementada de forma segura". Essa declaração reflete a crescente preocupação com a segurança e a ética no desenvolvimento de tecnologias de inteligência artificial.

A introdução da Open Agent Safety Platform ocorre em um contexto onde relatos de problemas na contenção de modelos de IA em ambientes de teste têm sido frequentes. A Nvidia busca, assim, oferecer uma solução que não apenas proteja as empresas, mas também promova um ambiente de desenvolvimento mais seguro para a IA.

Com a implementação dessa plataforma, espera-se que empresas e desenvolvedores possam operar com mais segurança, minimizando os riscos associados ao uso de agentes de IA em suas operações. A iniciativa da Nvidia pode influenciar a forma como a segurança em IA é abordada no mercado, especialmente em um cenário onde a confiança é fundamental para a adoção de novas tecnologias.