Mais raciocínio e modelos chineses: veja o que esperar da IA em 2025

Antes de falar do futuro da inteligência artificial (IA), precisamos fazer um balanço do que rolou neste ano.

A IA despertou sentimentos mistos em 2024. Se por um lado a tecnologia trouxe alguns ganhos incrementais com modelos que apresentam "raciocínio", o mercado confrontou uma realidade que se impôs: relatórios e estudos mostraram que os retornos financeiros parecem ser menores do que os prometidos e o ritmo de desenvolvimento parece estar atingindo o seu limite.

Desde o surgimento dos grandes modelos de linguagem, como o ChatGPT e Google Gemini, impera um paradigma conhecido como "a lei de escala".

Essa lei, difundida em um famoso paper de pesquisadores da OpenAI, demonstra que o desempenho dos modelos de IA pode melhorar proporcionalmente ao aumento de recursos, como tamanho do modelo, dados de treinamento e capacidade computacional.

Pudemos observar esse fenômeno durante os últimos anos, como no aumento de desempenho entre as famílias GPT-2, para GPT-3 até chegar em GPT-4. Cada geração é composta por modelos maiores e mais complexos que, por sua vez, oferecem uma capacidade de uso melhor.

No entanto, a "lei de escala" não é uma lei matemática, muito menos uma lei da natureza. É apenas uma extrapolação de uma observação empírica. E, em 2024 a discussão foi de que talvez estejamos atingindo o pico da escalabilidade dos modelos.

Algumas evidências começaram a mostrar que o aumento do tamanho dos modelos não traz ganhos na mesma medida como anteriormente.

Além disso, existe uma outra complicação: os dados produzidos pelos humanos estão se esgotando - ou pelo menos, a sua produção cresce em um ritmo menos acelerado do que a IA precisa. Quase tudo o que estava disponível já foi usado para o treinamento dos modelos. Como então aumentar o aprendizado da máquina?

Ilya Sutskever, ex-cientista-chefe da OpenAI, fez uma palestra na NeurIPS (principal conferência acadêmica da área) que acendeu o alerta para todos. De acordo com ele, o treinamento dos modelos como conhecemos vai acabar.

Antes disso, ele já tinha dito em entrevista à Reuters que "a década de 2020 foi a era da escalabilidade, e agora estamos de volta à era do encantamento e da descoberta. Todo mundo está de olho na próxima novidade".

Sutskever não está sozinho nessa. O CEO da Microsoft, Satya Nadella, comentou em uma recente apresentação que estamos entrando num novo momento em que a "lei da escala" pode deixar a fase de treinamento para entrar na fase de inferência.

Isso quer dizer que o fenômeno da escalabilidade passa a estar no momento em que a IA vai produzir a resposta, não apenas na sua fase de treinamento, como acontece hoje. Ou seja, mais recursos são alocados quando a IA está produzindo a resposta para o usuário.

É o que está acontecendo, por exemplo, com a família dos novos modelos "o1" e "o3" da OpenAI, que a empresa diz ser modelos com mais "raciocínio".

A diferença entre o GPT-4 que usamos no dia a dia para o modelo "o1", é que o último utiliza uma técnica chamada "Cadeia de Pensamentos" (do inglês, Chain-of-Thoughts) na sua fase de inferência.

Quando um usuário faz uma pergunta ao "o1", o modelo investe uma quantidade significativa de processamento para analisar o pedido. Em seguida, quebra o problema em diferentes partes para tentar resolvê-las com mais qualidade. É por este motivo que o modelo "o1" é mais lento que o GPT-4 e seu uso é indicado apenas para problemas e situações específicas.

Na semana passada, a OpenAI apresentou o modelo "o3", que causou burburinho por conseguir um resultado surpreendente em um teste de raciocínio abstrato.

Prometo escrever uma coluna explicando melhor o que significa esse "raciocínio da IA", mas para o assunto desta semana precisamos saber que esse modelo é ainda muito custoso para gerar para uma resposta por justamente investir muito na fase de inferência.

Tudo o que eu contei até agora é apenas um diagnóstico da parte técnica do que aconteceu na área de IA de 2024, mas é um balanço necessário para entendermos o que pode acontecer em 2025.