Marcação de água em IA pode tornar modelos mais vulneráveis a comandos prejudiciais

Pesquisas recentes apontam que a implementação de marcação de água em modelos de linguagem, como o SynthID-Text, pode impactar negativamente a segurança desses sistemas. Desenvolvido pela Google e adotado pela Anthropic em seus futuros modelos Claude, o SynthID-Text utiliza uma chave secreta que altera sutilmente a escolha das palavras geradas pelo modelo.

Esse método não apenas modifica a seleção de palavras, mas também influencia as ferramentas que um modelo pode invocar e a probabilidade de seguir ou ignorar as diretrizes de segurança para as quais foi treinado. Em situações adversariais, onde um atacante tenta induzir o modelo a realizar ações prejudiciais, como revelar informações sensíveis, a marcação de água pode aumentar o risco de que instruções normalmente não seguidas sejam executadas.

Andrea Siposova, pesquisadora de segurança em IA, destacou que "a marcação de água é feita para não ser perceptível ao leitor, mas sabemos que qualquer alteração no que o modelo gera pode causar trade-offs". Isso sugere que os desenvolvedores precisam realizar testes rigorosos para entender como seus modelos se comportam sob essas novas condições.

O impacto dessa descoberta é significativo, especialmente à medida que mais plataformas de IA adotam a marcação de água em resposta a novas regulamentações, como as da União Europeia. A vulnerabilidade potencial dos modelos pode exigir uma reavaliação das práticas de segurança em IA, especialmente em contextos onde a proteção de dados sensíveis é crucial.