Você provavelmente já viu o gráfico: aquele que mostra a IA conseguindo executar tarefas cada vez mais longas, com a duração dobrando a cada poucos meses. Virou meme entre quem aposta em AGI iminente. Agora uma análise no r/MachineLearning afirma que o gráfico da METR contém erros graves, do tipo que comprometem a conclusão central.
Os pontos levantados incluem escolha enviesada de tarefas, problemas estatísticos no ajuste exponencial e modelos rodados em condições que não batem com o uso real. Não é nitpicking acadêmico — se a curva está mal calibrada, toda a narrativa de “em 2027 a IA faz semanas de trabalho sozinha” desmonta.
A METR é levada a sério e produz pesquisa útil sobre avaliação de modelos. Mas o episódio é um lembrete: gráfico bonito viraliza, ressalvas metodológicas não. Vale ler com calma antes de citar em apresentação.
Fonte: reddit.com · Imagem de capa: Foto de Isaac Smith no Unsplash