Bonsai 27B: um modelo grande que roda no seu celular

Chegou o Bonsai 27B, um modelo da classe de 27 bilhões de parâmetros que, segundo os criadores, roda direto no celular. Se isso se confirmar na prática, é um passo interessante pra tirar a IA da dependência total de servidores gigantes na nuvem.

A promessa de rodar modelos parrudos localmente atrai por dois motivos: privacidade (seus dados não saem do aparelho) e custo (nada de assinatura eterna). Mas convém segurar a empolgação. ‘Rodar no celular’ pode significar coisas bem diferentes — de resposta fluida a um arrasta que esquenta o aparelho e drena a bateria em minutos.

O movimento de encolher modelos sem perder muita qualidade é uma das disputas mais quentes do open source agora. O Bonsai entra nessa briga, e só o uso real vai dizer se a mágica funciona fora do benchmark.

Via Hacker News.

Fonte: prismml.com · Imagem de capa: Foto de Igor Omilaev no Unsplash