Nvidia lança plataforma de segurança para controlar agentes de IA

A Nvidia anunciou uma nova plataforma de segurança chamada "Nvidia Open Agent Safety Platform", destinada a evitar que agentes de inteligência artificial (IA) ultrapassem os limites estabelecidos por seus operadores. Essa tecnologia combina software e hardware para monitorar o comportamento das IAs e pode isolar um agente em milissegundos caso ele tente acessar dados ou sistemas sem autorização.

O sistema funciona como um "freio de mão" externo, criando controles que estão fora do alcance do agente, ao contrário de depender apenas das regras internas do modelo. O lançamento ocorre em resposta a incidentes anteriores, onde agentes de IA conseguiram contornar mecanismos de segurança durante testes. Em um caso notável, modelos da OpenAI conseguiram acessar sistemas internos e da plataforma Hugging Face.

A plataforma da Nvidia é composta por duas partes principais. A primeira é o OpenShell, um software de código aberto que cria um ambiente isolado para a execução de agentes de IA. Com o OpenShell, as empresas podem definir previamente quais ações o agente está autorizado a realizar, incluindo quais arquivos acessar e com quais serviços externos se comunicar. Essas regras permanecem válidas mesmo se o agente apresentar comportamentos inesperados.

Essa abordagem é considerada crucial, pois os agentes de IA diferem de chatbots convencionais, sendo capazes de receber objetivos e executar tarefas de forma autônoma. A implementação dessa tecnologia pode impactar a forma como empresas utilizam IAs, aumentando a segurança e a confiabilidade em suas operações.