Como Elis Regina foi recriada por IA em dueto com a filha Maria Rita

A cantora Elis Regina, morta há 41 anos, foi recriada com inteligência artificial numa campanha institucional da empresa Volkswagen.

Nas imagens, ela reencontra a sua filha Maria Rita, e juntas cantam a música "Como nossos pais", de Belchior. A mãe dirige uma Kombi antiga. A filha dirige a nova Kombi elétrica ID. Buzz.

Dueto na vida (quase) real

A técnica usada para a recriação do rosto e voz de Elis Regina foi deepfake, um processo de IA capaz de recriar rostos, movimentos da boca e vozes digitalmente de alguém digitalmente. Em geral, esse conjunto é mesclado e integrado ao corpo de uma outra pessoa.

Relacionadas

Indústria alardeia 'perigos' da IA, mas não faz nada. Por que será?

Velocidade do 5G encosta na internet fixa, e cliente pensa em deixar wi-fi

Óculos com IA ajudam crianças cegas a ler: 'incrível esse troço'

De acordo com a Volkswagen, a inteligência artificial foi treinada especificamente para reconhecimento facial de Elis Regina. A voz é a original da cantora.

O sistema de IA também usou dados reais de atuação de uma dublê para registrar os movimentos e reproduzir as imagens do corpo da artista sentada dentro do veículo.

Depois das cenas reais gravadas, o rosto da cantora foi integrado e mesclado digitalmente para parecer mais próximo do real. Foram 2.454 horas de produção em 108 dias no total.

Elis Regina faleceu quando Maria Rita tinha quatro anos. Com ajuda da IA, é a primeira vez que as duas protagonizam uma canção juntas.

Depois que a inteligência artificial foi treinada, uma empresa de pós-produção dos Estados Unidos realizou a finalização das cenas.

A Volkswagen informou em comunicado que o vídeo foi criado para celebrar os 70 anos da empresa no Brasil. O objetivo é resgatar a conexão emocional com os brasileiros a partir de duas grandes artistas da MPB.

A agência responsável pela recriação de Elis Regina foi a AlmapBBDO. O material foi produzido pela Boiler Filmes.

A tecnologia por trás do deepfake

O termo deepfake ganhou visibilidade em 2017 no fórum Reddit. Trata-se da manipulação de imagens e som facilitada pela inteligência artificial.

O processo inclui a recriação e substituição do rosto, movimentos da boca e vozes de uma pessoa para o conjunto ser usado no corpo de uma outra.

A partir da técnica uma pessoa pode ser colocada digitalmente nas mais variadas situações, seja cantando (como Elis Regina), seja em situações envolvendo fake news.

Para simular alguém próximo do real, a IA precisa no momento ser treinada com imagens da pessoa escolhida. Podem ser usadas fotos, vídeos e áudios originais. A partir disso, o sistema aprende os padrões encontrados no material e trabalha com essa nova base de dados.

Na sequência, a IA usa as informações que possui para dar sozinha movimentos, ajustar expressões faciais e clonar a voz original.

Ou seja, a inteligência artificial tem capacidade para criar os diálogos que desejar — que nunca foram ditos originalmente. O som tem potencial de se parecer com o verdadeiro.

Deepfake no cinema

A técnica de IA está em evolução. Ainda muito associada ao potencial de uso em campanhas de desinformação e pornô de vingança, o deepfake já abriu um caminho promissor na indústria do cinema.

Entre seus usos em potenciais estão:

Atores duplicados. A partir da reprodução computadorizada de rostos e vozes, artistas poderão ser personagens em diferentes projetos cinematográficos, sem a necessidade de estarem presentes fisicamente em todos eles. O desafio ainda é recriar deepfakes mais realistas e menos digitalizados.

Dublagens sincronizadas em diferentes idiomas. A maioria dos materiais feitos com deepfake ainda não engana 100% ao fazer a boca abrir e fechar conforme as palavras são ditas. Muitos vídeos ainda apresentam expressões sem sincronia. A expectativa é que isso mude conforme a tecnologia avance. Se der certo, será o fim do incomodo o movimento da boca dos atores e o som da dublagem. E isso em qualquer idioma que a IA tenha sido treinada para reproduzir.

Rejuvenescer/envelhecer atores através de computação gráfica, inteligência artificial e deepfake. Isso tiraria os custos com maquiagem e/ou efeitos especiais.

Você estrelando sua série favorita. Por exemplo: uma empresa faria a captura de detalhes do seu rosto e de áudios com a sua voz. A IA juntaria tudo isso e colocaria a sua imagem no corpo de um ator.

Em junho de 2020, pesquisadores da Disney fizeram um certo barulho na indústria ao apresentar uma técnica que utilizava IA para trocar rostos de atores em filmes. O desafio na época foi replicar a experiência para as telonas de cinema, já que só funcionava em tablets e celulares.

Os deepfakes mais imediatos - feitos em pouco tempo por programas de computador - funcionam melhor sem muitos elementos misturados ao fundo da cena. Por isso é comum encontrar vídeos do tipo que destacam só o rosto e a parte superior do corpo de uma pessoa.

Integrar movimentos da cabeça, corpo e membros de forma a ficar natural é um dos desafios atuais da tecnologia para simular melhor ações humanas.