Transformer treinado em 1h30 supera vários LLMs num teste

Um desenvolvedor conta que treinou um transformer pequeno em cerca de 1,5 hora e conseguiu superar vários LLMs bem maiores no benchmark ARC, focado em raciocínio abstrato. O detalhe é que o modelo foi feito sob medida para o problema, algo que os gigantes de propósito geral não são.

Isso não significa que dá pra aposentar os modelos grandes, mas serve de lembrete útil: força bruta e bilhões de parâmetros nem sempre vencem uma solução bem desenhada para a tarefa certa. É um bom contraponto à ideia de que ‘maior é sempre melhor’.

Via Hacker News.

Fonte: Mithil Vakde's Homepage