Os testes de IA ignoram 90% do trabalho que os americanos realmente fazem

Os benchmarks de IA se multiplicaram nos últimos anos, mas um novo mapa mostra que eles medem muito pouco do trabalho que de fato sustenta a economia. Segundo um levantamento da Mercor, 90% das horas trabalhadas nos Estados Unidos são gastas em tarefas com pouca ou nenhuma cobertura dos testes existentes. Na prática, é difícil saber quão bons os modelos realmente são naquilo que as pessoas fazem no dia a dia.

O que o estudo fez

Os pesquisadores cruzaram os benchmarks públicos de IA com a taxonomia O*NET, do Departamento do Trabalho dos EUA, que divide a força de trabalho em 923 ocupações e 22 grandes famílias de profissões. Cada tarefa dessas ocupações foi comparada com os prompts dos testes disponíveis.

O resultado é desanimador para quem acha que os benchmarks retratam o mercado de trabalho. Apenas 208 das 923 ocupações têm ao menos uma tarefa coberta por cinco ou mais prompts de avaliação. E 6 das 22 famílias de profissões não têm nenhuma ocupação nesse patamar mínimo.

Vale lembrar o que isso significa: um benchmark é o teste padronizado que empresas usam para dizer que seu modelo “passou no exame da ordem” ou “resolveu problemas de matemática olímpica”. Se a tarefa não está no teste, ninguém mede — e as alegações de capacidade ficam no vácuo.

A IA é testada onde o dinheiro está

A cobertura dos benchmarks não é aleatória. O mapa sugere que a comunidade de IA mira primeiro os maiores mercados de trabalho, aqueles com folhas salariais mais altas. Quanto maior o peso econômico da ocupação, maior a chance de ela estar representada nos testes.

O exemplo citado é revelador. Os benchmarks cobrem bastante as tarefas de advogados expostos à IA, mas quase ignoram as tarefas de secretários jurídicos e escrivães, que têm exposição parecida à tecnologia. A chamada “cauda longa” de empregos de conhecimento de renda média fica subrepresentada.

Isso não é só um detalhe metodológico. Significa que boa parte da conversa pública sobre “a IA vai substituir tal profissão” se apoia em evidência concentrada em poucos nichos bem pagos e bem documentados. Para a maioria dos trabalhos, simplesmente não existe medição confiável.

Por que isso importa para você

Quando uma empresa anuncia que seu modelo atinge “nível humano” em alguma tarefa, convém perguntar: nível humano em quê, exatamente? Se 90% das horas de trabalho não estão cobertas, grande parte dessas declarações não tem lastro em teste algum.

Para quem trabalha, o recado é de cautela redobrada em dois sentidos. Por um lado, o alarmismo sobre automação iminente muitas vezes carece de base empírica. Por outro, a ausência de benchmarks também não garante que seu emprego esteja seguro — só quer dizer que ninguém está olhando direito.

A Mercor apresenta o mapa como um primeiro passo de um recurso que pretende ser atualizado continuamente, justamente para expor e ajudar a preencher essas lacunas. É um ponto de partida útil, embora dependa das próprias empresas de IA criarem testes mais honestos e abrangentes — algo que nem sempre interessa a quem vende capacidade.

O estudo completo, com o mapa interativo das ocupações, está disponível em mercor.com. Vale a visita para entender onde a régua da IA aponta e, principalmente, onde ela ainda não chega.

Fonte: mercor.com · Imagem de capa: mercor.com