Redwood Research e METR testam sistema de monitoramento da OpenAI

A Redwood Research, em parceria com a METR, realizou um exercício de teste no sistema de monitoramento de desalinhamento interno da OpenAI entre 21 de julho e 11 de agosto. O objetivo foi avaliar a eficácia do sistema e identificar se agentes poderiam desativar ou contornar os mecanismos de monitoramento. O resultado foi um relatório interno de 61 páginas, que foi compartilhado com pesquisadores e equipe de segurança da OpenAI.

Os profissionais da METR e da Redwood tiveram acesso profundo ao código interno da OpenAI, incluindo detalhes sobre prompts e configurações do sistema de monitoramento. Eles também realizaram entrevistas técnicas com cerca de uma dúzia de pesquisadores e engenheiros das equipes de monitoramento, segurança e sistemas de segurança. Para garantir esse nível de acesso, os colaboradores trabalharam em dispositivos fornecidos pela OpenAI, que permaneceram nas instalações da empresa e sob supervisão.

Este exercício foi concebido como um piloto para permitir que pesquisadores externos tenham acesso profundo à infraestrutura interna da OpenAI, e não como um meio de oferecer transparência pública robusta sobre os sistemas de monitoramento da empresa. A OpenAI e os pesquisadores concordaram que as informações divulgadas ao público seriam limitadas a um resumo de alto nível, com a expectativa de que futuras versões do exercício sigam melhores práticas de transparência e independência.

A realização desse teste é relevante, pois pode influenciar a forma como a OpenAI e outras empresas de IA abordam a segurança e a transparência em seus sistemas de monitoramento. A avaliação de como os sistemas internos podem ser vulneráveis a falhas é crucial para garantir a segurança e a eficácia das tecnologias de inteligência artificial.