Estudo sobre erros das IAs encontrou até bebê que "virou" mamilo

A IA (inteligência artificial) é cada dia mais usada no cotidiano, mas isso não quer dizer que ela seja perfeita. Um novo estudo realizado pelo MIT (sigla em inglês para o Instituto de Tecnologia de Massachusetts) mostra que ela ainda comete erros grosseiros. Em um deles, um bebê chegou a ser confundido com um mamilo.

Um grupo de cientistas computacionais do MIT examinou dez dos conjuntos de dados mais usados para testar sistemas de aprendizado de máquina e viu 3,4% dos dados eram imprecisos ou mal rotulados, o que pode comprometer os resultados da IA de forma até grosseira.

Relacionadas

IA criará clone" de capitão Kirk, de Star Trek, permitindo que ele interaja com fãs

Até Musk cantou! Saiba como usar o Wombo, app que cria dublagens dançantes

Receba notícias de Tilt em seu WhatsApp

Seis destes conjuntos de dados analisados trabalham com imagens. Um deles é o ImageNet, criado para treinar muitos algoritmos de visão computacional —ou seja, que treinam as máquinas para "ver" e interpretar imagens. A pesquisa incluiu também um conjunto de dados de análise de áudio e outros três para texto.

Os erros relacionados a imagens vão desde uma simples confusão entre diferentes espécies animais até identificar uma parte pelo todo: uma inteligência artificial classificou uma bicicleta "mountain bike" como uma garrafa d'água, só porque a bicicleta também carregava uma garrafa, por exemplo. Outro erro curioso foi um bebê confundido com um mamilo, em uma análise da ImageNet.

Alguns dos erros detectados pelo estudo estão no Amazon Reviews, que analisa comentários do público sobre produtos vendidos no site da Amazon. Comentários positivos foram lidos pela inteligência artificial como negativos, e vice-versa.

Ao analisar os conjuntos de dados de vídeos do YouTube, o estudo notou que um clipe de um youtuber falando com a câmera foi classificado como sendo o som de sinos de igreja, apenas porque, durante essa fala, é possível ouvir um sino tocando nos últimos 30 segundos. Em outra situação, um show do cantor Bruce Springsteen foi classificado como sendo de uma orquestra.

Dos conjuntos analisados, o QuickDraw —rede neural do Google usada para reconhecer desenhos à mão— apresentou o maior percentual de erros, com 10,12% do total, seguido da CIFAR (5,85%) e da ImageNet (5,83%). Já o conjunto de dados do Amazon Reviews apresentou 4% de erros.

Metodologia

Para encontrar esses erros, os pesquisadores usaram uma técnica chamada "confident learning" (aprendizado seguro, em tradução livre), que busca informações irrelevantes em conjuntos de dados.

Depois, validaram os erros possíveis e concluíram que 54% dos dados que o algoritmo marcou estavam rotulados erroneamente. Em seguida, criaram um site para mostrar os erros de identificação encontrados.

Mesmo com alguns dos erros sendo aparentemente pequenos, eles podem desencadear uma série de falhas maiores nos sistemas de aprendizado de máquina. Por isso, o uso de IA ainda precisa de muito trabalho humano para conseguir assumir tarefas delicadas de análise de dados com uma margem de erro mais segura.