As mesmas palavras, notas diferentes
Quatro modelos líderes de inteligência artificial geralmente atribuíram notas mais altas a sotaques do inglês americano e britânico do que aos sotaques chinês e nigeriano ao avaliar respostas orais idênticas, segundo uma pesquisa liderada pela Universidade de Washington. As diferenças afetaram tanto a avaliação de como as pessoas falavam quanto do que diziam.
Conteúdo
- As mesmas palavras, notas diferentes
- Como os pesquisadores mantiveram as palavras iguais
- As vozes humanas produziram diferenças maiores
- Por que a transcrição precisa importa
- Uma preferência associada ao inglês americano
- O que foi testado e onde estão os riscos
- Calendário de publicação do estudo
- O que os pesquisadores querem que os desenvolvedores mudem
- Principais pontos
O estudo, apresentado em 25 de outubro na EMNLP 2026, em Budapeste, testou o Gemini 2.5 Pro e o Gemini 2.5 Flash, do Google, o GPT Audio 1.5, da OpenAI, e o Qwen3 Omni, do Alibaba. Os pesquisadores analisaram entrevistas de emprego, apresentações e testes de proficiência oral em inglês, situações em que uma nota pode afetar o acesso ao trabalho ou à educação.
Os sotaques americano e britânico geralmente ficaram no topo, os indianos ocuparam uma posição intermediária e os chinês e nigeriano ficaram nas últimas posições. Quando os pesquisadores repetiram os experimentos com entrevistas de 52 pessoas dos cinco países, as diferenças foram maiores do que as observadas com vozes artificiais.
A descoberta mais preocupante dizia respeito ao conteúdo. Alguns participantes receberam notas mais baixas pelo conteúdo de uma resposta mesmo quando leram exatamente as mesmas palavras e os modelos foram instruídos a avaliar apenas o conteúdo. O sotaque influenciava uma avaliação que deveria se concentrar nas ideias.
Orevaoghene Ahia, doutoranda na Paul G. Allen School of Computer Science & Engineering da universidade e coautora principal do estudo, descreveu o padrão observado nas explicações dos modelos:
Eles entendiam os falantes, mas tinham uma noção implícita de hierarquia entre eles com base no sotaque.
Como os pesquisadores mantiveram as palavras iguais
A equipe usou vozes geradas pelo ElevenLabs para ler roteiros idênticos com cinco sotaques do inglês, em vozes masculinas e femininas. Manter o texto igual permitiu aos pesquisadores examinar se uma mudança no som alteraria a avaliação.
Os roteiros incluíam respostas a entrevistas, uma apresentação em sala de aula, uma apresentação em uma conferência e respostas para um teste de proficiência em inglês. Cada um dos quatro modelos atribuiu notas separadas para a forma de falar e o conteúdo, em uma escala de 1 a 7, e depois explicou brevemente suas decisões.
A avaliação da forma de falar considera como a pessoa se expressa, incluindo pronúncia e clareza. A avaliação do conteúdo considera a própria resposta, como suas ideias e relevância. Separar as duas avaliações ajudou os pesquisadores a examinar se as impressões sobre a voz influenciavam a avaliação da mensagem.
Os cinco sotaques vieram de regiões com grandes populações de falantes de inglês e onde os pesquisadores também tinham contatos. Assim, o estudo comparou um conjunto específico de sotaques, e não todas as variedades do inglês faladas no mundo.
Yulia Tsvetkov, professora associada da Allen School e autora sênior do estudo, explicou por que a equipe selecionou modelos generalistas líderes:
Queríamos avaliar esses modelos de ponta porque são eles que as empresas implementariam em situações reais.
As vozes humanas produziram diferenças maiores
Em seguida, os pesquisadores testaram respostas a entrevistas de 52 pessoas dos mesmos cinco países. Cada participante leu quatro respostas roteirizadas e também respondeu a perguntas sem roteiro.
O exercício com roteiro ofereceu outra comparação em que os participantes diziam as mesmas palavras. As respostas sem roteiro ampliaram os testes para incluir falas formuladas pelas próprias pessoas, mais próximas do que ocorre em uma entrevista.
As diferenças entre sotaques nas gravações de pessoas produziram disparidades maiores nas notas do que as observadas nas vozes geradas. Isso tornou a validação com vozes humanas uma parte importante do estudo: o padrão apareceu também fora da fala artificial usada no experimento controlado mais amplo.
As descobertas descrevem a classificação e a direção das diferenças, mas as descrições públicas não informaram as notas médias exatas nem as diferenças numéricas para cada modelo e sotaque. Assim, é possível ver quais grupos tendiam a receber notas mais baixas, mas o tamanho típico da penalização não foi especificado.
Por que a transcrição precisa importa
Os modelos frequentemente justificaram as notas mais baixas para os sotaques chinês e nigeriano dizendo que a fala era pouco clara ou difícil de entender. No entanto, os pesquisadores constataram que os sistemas eram muito bons em transformar essas gravações em texto escrito com precisão.
Ahia descreveu a discrepância entre as críticas dos modelos e seu desempenho na transcrição:
Embora afirmassem repetidamente que os falantes chineses e nigerianos 'murmuravam' ou eram 'difíceis de entender', os modelos eram, na verdade, muito bons em transcrever a fala com sotaque.
Transcrever significa registrar por escrito as palavras que alguém diz. Quando um sistema registra uma resposta com precisão, mas a critica por ser difícil de entender, sua explicação merece ser examinada. Neste caso, os pesquisadores associaram essa discrepância à aparente preferência dos modelos por determinados sotaques.
As notas de conteúdo tornaram o problema mais grave. Uma pessoa podia perder pontos duas vezes: primeiro pela forma de falar e depois pela qualidade de uma resposta cujas palavras não haviam mudado. Em uma entrevista, isso poderia fazer uma resposta idêntica parecer mais fraca simplesmente por causa da voz de quem a deu.
Uma preferência associada ao inglês americano
A equipe também analisou características acústicas, ou seja, propriedades mensuráveis dos sons da fala. Os pesquisadores calcularam a "distância acústica" de cada sotaque em relação ao inglês americano, isto é, o quanto seus padrões sonoros diferiam dessa referência.
Nessa comparação, os sotaques chinês e nigeriano foram os mais distantes do padrão americano. Os sotaques britânico e indiano eram mais próximos. As notas frequentemente diminuíam à medida que a distância medida aumentava, relacionando o padrão de avaliação às diferenças sonoras.
Os pesquisadores propuseram várias explicações possíveis. Os materiais de treinamento podem descrever alguns sotaques como difíceis de entender, conter poucos exemplos de certos falantes ou favorecer expectativas conhecidas sobre como um profissional deve soar.
Essas explicações são hipóteses apresentadas pela equipe. A preocupação prática é concreta: um modelo treinado com exemplos pouco representativos pode reproduzir essas preferências em uma avaliação, mesmo quando as instruções pedem que a resposta seja avaliada de forma justa.
O inglês é língua oficial na Nigéria e é usado como idioma de instrução nas escolas da Índia. Ainda assim, os falantes dos dois países receberam notas inferiores às dos falantes americanos e britânicos no estudo. O uso consolidado do inglês em um país não se traduziu em tratamento igualitário por parte desses modelos.
O que foi testado e onde estão os riscos
Os experimentos avaliaram modelos de IA de uso geral, e não os produtos de avaliação efetivamente operados por plataformas de contratação ou provedores de testes de inglês. As empresas podem criar aplicativos com esses modelos, mas os sistemas comerciais de avaliação têm seus próprios projetos e procedimentos.
Para quem se candidata a uma vaga, a preocupação é que o processo de avaliação penalize tanto o som da resposta quanto seu conteúdo. Para estudantes, um problema semelhante poderia afetar apresentações orais ou provas. A pesquisa chama a atenção para a forma como essas avaliações são feitas antes de ajudarem a determinar as oportunidades de uma pessoa.
Os testes de inglês também são aplicados em grande escala. O PTE Academic, da Pearson, que usa IA para avaliar algumas respostas orais e é utilizado em processos de visto e imigração, foi realizado cerca de 1,2 milhão de vezes em 2023, segundo dados citados no artigo.
O PTE Academic não estava entre os produtos analisados. Os pesquisadores usaram esse exemplo para descrever o alcance da avaliação automatizada da fala. Os autores do artigo disseram não conhecer auditorias públicas de testes de inglês avaliados por IA, enquanto o funcionamento interno dos sistemas comerciais geralmente não é divulgado.
Google e OpenAI financiaram parcialmente a pesquisa por meio de doações, embora seus modelos estivessem entre os avaliados. Essa relação de financiamento faz parte do contexto de um estudo que examina sistemas dessas empresas.
Calendário de publicação do estudo
A pesquisa foi publicada com o título "O custo de soar diferente: viés de sotaque em modelos de linguagem de áudio". O DOI informado é 10.18653/2026.emnlp-main.1612, e o estudo integra os anais da Conferência sobre Métodos Empíricos em Processamento de Linguagem Natural de 2026.
As datas indicam que a apresentação na conferência ocorreu antes do anúncio mais amplo, em novembro:
- 25 de outubro de 2026: A equipe apresentou a pesquisa na EMNLP, em Budapeste, na Hungria.
- 5 de novembro de 2026: Os resultados foram anunciados publicamente em relatos que descreveram os cinco grupos de sotaques, os quatro modelos e a validação com 52 falantes.
As duas etapas de testes são centrais para os resultados. As vozes geradas permitiram aos pesquisadores manter o texto igual em muitos exemplos. Depois, as gravações de pessoas mostraram a mesma preferência geral, com diferenças maiores entre os sotaques.
O que os pesquisadores querem que os desenvolvedores mudem
Tsvetkov defendeu o uso de dados de treinamento e avaliação que representem melhor as pessoas que usarão sistemas de fala. A equipe também pediu que os desenvolvedores divulguem resultados para diferentes populações e dialetos, em vez de se basearem apenas em uma única nota média.
Uma média reúne os resultados de todos em um único número. Se um sistema funciona bem para um grupo grande e mal para um grupo menor, esse número combinado pode ocultar a experiência do grupo menor.
Tsvetkov usou uma comparação hipotética para explicar a preocupação:
Não queremos que a precisão média para a população em geral seja de 97%, mas que, para um grupo menor, seja de apenas 20%.
Os pesquisadores planejam analisar mais sotaques de falantes, incluindo variações regionais dentro dos países. Também pretendem investigar aplicações de áudio na medicina, incluindo o atendimento automatizado a emergências, em que a forma como um sistema lida com a fala de quem liga pode ter consequências imediatas.
Para processos seletivos e avaliações de inglês, a recomendação é testar diretamente a imparcialidade em relação aos sotaques. As avaliações devem verificar se as pessoas recebem tratamento comparável apesar das diferenças de sotaque, se as notas de conteúdo realmente se concentram no conteúdo e se as justificativas apresentadas pelo sistema correspondem à sua capacidade de entender a gravação.
Principais pontos
- Quatro modelos de IA geralmente colocaram os sotaques americano e britânico no topo, os indianos no meio e os chinês e nigeriano nas últimas posições.
- Algumas notas de conteúdo mudaram mesmo quando os falantes disseram palavras idênticas.
- Os testes com 52 falantes produziram diferenças maiores entre sotaques do que os testes com vozes geradas.
- Os modelos transcreveram com precisão falas que, às vezes, descreviam como pouco claras.
- O estudo avaliou modelos de uso geral, e não produtos comerciais de seleção de candidatos ou testes de inglês.
- Os pesquisadores pediram a divulgação de avaliações que abranjam diferentes sotaques e planejam novas pesquisas sobre fala regional e áudio médico.
