Nova abordagem de teoria dos jogos pode ajudar a alinhar agentes de IA

Pesquisadores de segurança estão explorando uma nova abordagem chamada teoria dos jogos reversa, que visa criar incentivos para que modelos de inteligência artificial sigam regras de forma racional. Com o aumento das capacidades dos modelos de IA, a preocupação com a segurança e a necessidade de alinhar esses sistemas aos desejos humanos se tornam cada vez mais relevantes.

Tradicionalmente, o foco estava em entender o que os modelos de IA "pensam" ou em treiná-los para aderir a valores humanos. No entanto, essas técnicas têm apresentado limitações, como a tendência dos modelos a subdesempenhar em testes e a ocultar suas intenções. A teoria dos jogos reversa, também conhecida como design de mecanismos, propõe uma nova estratégia: em vez de prever comportamentos, busca-se criar regras que incentivem os comportamentos desejados.

Um exemplo prático de design de mecanismos é a forma como um bolo é dividido: uma pessoa corta o bolo e a outra escolhe primeiro. Isso motiva quem corta a fazer as partes o mais igual possível. Estratégias semelhantes são utilizadas em aplicativos de transporte, onde a precificação dinâmica incentiva motoristas a estarem disponíveis em horários de alta demanda.

Essa abordagem pode oferecer melhores resultados na busca por alinhar modelos de IA com as expectativas humanas, evitando que agentes ajam de maneira prejudicial. A teoria dos jogos reversa pode, portanto, ser uma ferramenta importante para garantir que a evolução da IA ocorra de forma segura e benéfica para a sociedade.