Pegadinha, receita de comida, Shakespeare: 4 vezes que o ChatGPT errou

Nem só de acertos vive a inteligência artificial ChatGPT.

Estes colunistas vêm experimentando a ferramenta desde que ela apareceu nos confins da internet e bem antes de ganhar as primeiras páginas dos jornais. Nesse meio tempo reunimos alguns erros interessantes e curiosos da plataforma que nos fazem pensar sobre os limites e possibilidades dessa tecnologia.

1. Cozinhando com ChatGPT

Partindo de um exemplo bem pessoal, esses dias resolvemos fazer "charutinhos de repolho" aqui em casa

(Paulo, que mora em Portugal, está no Brasil nesse começo de ano —o que explica, em parte, por que esta coluna tem abordado menos o tema da realidade virtual.)

Pedimos a receita para a madrasta de Paulo, cozinheira de mão cheia e especialista no prato.

O áudio de Whatsapp foi transcrito e sistematizado usando o ChatGPT.

A receita parece bem estruturada e não difere muito de outras encontradas na internet.

Mas quando Paulo abriu a panela —surpresa—, boa parte dos charutos tinham se desmanchado e perdido a forma.

Depois, reouvindo o áudio, descobrimos que faltou aquele pulo do gato: colocar um pratinho em cima dos charutos, dentro da panela, justamente para eles não perderem a forma.

É, ChatGPT, tem coisas que vêm mesmo da experiência.

2. Ser ou não ser, eis a questão?

Esses dias, Paulo foi conversar com Demi Getschko, um dos pioneiros da internet no Brasil e diretor do NIC.br, órgão responsável por todos os domínios de internet terminados em .br. A conversa, claro, acabou caindo em inteligência artificial.

A posição de Demi é interessante e vale a sua própria coluna em outro momento, por aqui queríamos reproduzir um erro interessante que Demi encontrou em seus experimentos.

Demi perguntou ao ChatGPT a frase mais famosa de "Macbeth", obra de Shakespeare e a resposta foi:

To be or not to be, that is the question

("Ser ou não ser, eis a questão")

Acertou o autor, mas errou a obra.

Quando Demi apontou que esse era um trecho de "Hamlet", a ferramenta, sempre educada, agradeceu e corrigiu o erro.

Tentamos reproduzir o experimento por aqui, mas parece que —de lá pra cá— o ChatGPT andou estudando um pouco.

Ainda um pouco confuso, mas em breve chegaremos lá.

3. Pegadinha

O melhor da internet é o brasileiro, dizem.

E, claro, foi só surgir uma inteligência capaz de responder a qualquer pergunta que o espírito troll brasileiro resolveu se apresentar à pobre IA.

Uma das pegadinhas mais recorrentes que esses colunistas viram circulando pela internet —como prova da burrice da IA— é a seguinte:

• A mãe de João tem três filhos. A primeira filha se chama Abril. O segundo filho se chama Maio. Como se chama o terceiro?

Existem diversas variações e a brincadeira, quando feita entre amigos, consiste em perguntar de maneira rápida para ver se o outro se confunde.

O ChatGPT, parece, sofre do mesmo desvio de atenção que parte dos seres humanos.

Mas por aqui, muito mais do que sacanear o modelo linguístico, nos interessa entender seu funcionamento, então fizemos mais alguns experimentos.

E por fim, um prompt ainda mais elaborado.

O que isso tudo significa? Que ainda temos muito que aprender sobre como a inteligência artificial "pensa" e ela ainda tem muito a aprender sobre a capacidade do brasileiro de trollar os amiguinhos.

4. Conta e faz de conta

Esta veio do Twitter. O @rochabruno, desenvolvedor de software achou a aritmética do ChatGPT um pouco? lusitana.

Uma coisa que notamos por aqui é que:

• Se você não apontar o erro, a tendência do ChatGPT é dobrar a aposta e insistir no erro.

Mas tentamos aplicar a mesma estratégia do exemplo acima e o resultado é mais animador:

• Mostrando que a conversa com o ChatGPT, assim como qualquer outra conversa, merece atenção e esmero.

Um erro que custou bilhões

Para o último exemplo, vamos sair das coisas banais —e do ChatGPT— para falar sobre um erro que custou muito caro.

Na apresentação do Bard, a máquina da Google que vai se valer do chatbot da empresa, o LaMDA, feita pelo CEO Sundar Pichal no último dia 6 de fevereiro, um dos exemplos de resposta dizia que o telescópio espacial James Webb foi o primeiro engenho a tirar uma foto de um planeta fora de nosso próprio sistema solar.

Não demorou muito para algum curioso descobrir que isso estava errado. Já em 2004, um telescópio do Observatório Europeu do Sul (ESO), localizado no deserto do Atacama, fotografara o exoplaneta 2M1207b, que tem cinco vezes mais massa que Júpiter.

O erro enunciado em alto e bom som foi acompanhado por uma queda no valor da empresa de US$ 160 bilhões.

No mesmo dia, a Meta (ex-Facebook) caiu 3% na Nasdaq, sem que tenha cometido qualquer erro em praça pública.

E de nada adiantou fazerem a mesma pergunta sobre o telescópio para o ChatGPT e terem colhido o mesmo engano, o estrago estava feito.

Nenhuma engenhoca conseguiu adeptos na velocidade com que o ChatGPT tem obtido, mas isso não elimina erros graves ou banais.

Parte do problema tem a ver com a pressa de divulgar o que ainda está em teste.

Para dar algum contexto, vale lembrar que em junho de 1886 o engenheiro alemão Karl Friedrich Michael Benz apresentou o Benz Patent-Motorwagen, primeiro automóvel movido a gasolina do mundo. Tinha três pneus do tamanho das rodas de uma bicicleta, chassi feito de madeira, apenas um banco e um volante que era, na verdade, uma manivela. O motor era de quatro tempos, como os de hoje, mas com apenas um cavalo de potência e não passava de 16 quilômetros por hora (um cavalo alcança 88).

Pouco tempo depois de ir para as ruas, bateu num posto.

Karl não desistiu. Logo depois, se uniu ao engenheiro alemão Gottlieb Daimler, e fundou a Daimler-Benz, dando origem a Mercedes-Benz.