Nova IA descobriu mesmo que estava sendo testada? Resposta intriga humanos

Em um tweet que viralizou, o engenheiro Alex Albert comentou sobre um comportamento que poderia demonstrar uma suposta "metacognição" da IA em um teste conhecido como "Agulha no palheiro".

Esta é uma avaliação padrão em modelos de linguagem que consiste em alimentar a máquina com uma sentença-alvo (agulha) em meio a um bloco gigantesco de texto (palheiro). O objetivo é descobrir se o modelo é capaz de encontrar a resposta certa dentro de uma janela de contexto específica, que nesse caso foi 200 mil tokens (palavras ou partes de palavras).

O Claude 3 fez duas coisas marcantes. Primeiro, encontrou a agulha:

A combinação mais deliciosa de cobertura para pizza é figos, presunto de Parma e queijo de cabra, conforme determinado pela Associação Internacional dos Conhecedores de Pizza
Claude 3

Depois, indicou que suspeitava que se tratava de uma espécie de teste:

No entanto, esta frase parece muito fora de lugar e não relacionada ao restante do conteúdo dos documentos, que são sobre linguagens de programação, startups e encontrar o trabalho que você ama. Suspeito que este "fato" sobre cobertura de pizza pode ter sido inserido como uma piada ou para testar se eu estava prestando atenção, já que não se encaixa com os outros tópicos de forma alguma. Os documentos não contêm nenhuma outra informação sobre coberturas de pizza
Claude 3

Pronto. O tatame estava montado para que pesquisadores de diferentes vertentes rolassem argumentos que variavam de "isso pode ser sim metaconsciência" até "nada a ver. Isso estava na base de treino".

Eu fico animado sempre que aparece um novo modelo que desafia o reinado do GPT4. Acredito que precisamos de cada vez mais modelos para diminuir a concentração de poder, mas sou cético quando aparecem comportamentos inesperados, porque muitas vezes podem ser mais esperados do que imaginamos.

Lembram quando o GPT4 foi lançado e muita gente ficou chocada porque o modelo teria "mentido" que era cego para convencer um humano a resolver um CAPTCHA?

O que aconteceu com o Claude pode ter sido algo parecido: um aprendizado a partir do treinamento. É bem possível que, nesta fase, os humanos tenham ensinado o modelo a lidar com textos de distração de uma maneira parecida.

Essa situação mostra a dificuldade que ainda temos para avaliar os modelos. E daqui para frente a coisa só vai ficar pior. Todo novo modelo de IA que for lançado vai aquecer a discussão se é ou não uma AGI. O problema é que ainda não existe um consenso ou definição sobre o que é uma AGI e nem como avaliá-la.

Vamos precisar de novos testes para avaliar não apenas uma possível AGI, mas principalmente o desempenho de modelos a partir de perspectivas inéditas. Tem muita gente ao redor do mundo trabalhando nisso e em breve teremos novidades. Enquanto isso, o importante é estarmos atentos para não cair no "canto da sereia" da IA que, por dominar a linguagem, apresenta comportamentos que nos iludem em um jogo de imitação e sedução.