Needle 2: o modelo de IA de 14MB que quer rodar em relógios, robôs e celulares baratos

A empresa Cactus Compute lançou o Needle 2, um modelo de IA aberto com apenas 45 milhões de parâmetros que cabe em um único binário de 14MB e roda uma sessão inteira usando cerca de 28MB de memória. É pequeno o suficiente para funcionar em relógios, robôs, lâmpadas conectadas e celulares que custam menos de US$ 200.

A proposta não é competir com o ChatGPT ou o Gemini. É fazer o oposto: encolher a IA até ela caber no hardware mais barato e mais espalhado pelo planeta.

O que exatamente é o Needle 2

O Needle 2 é liberado sob licença Apache 2.0, com os pesos disponíveis no Hugging Face. Ele não foi feito para conversar, escrever textos ou responder perguntas abertas. O foco é bem específico: chamada de funções (tool calling), controle de dispositivos e extração de dados estruturados.

Na prática, isso quer dizer transformar uma frase bagunçada como “acende a luz da sala” em um comando técnico que o aparelho entende. Segundo a empresa, esse tipo de tarefa não precisa de conhecimento de mundo nem de prosa elaborada — por isso 45 milhões de parâmetros bastam onde um modelo de chat precisaria de bilhões.

Os números de velocidade chamam atenção: 500 tokens por segundo em um Raspberry Pi 5, entre 300 e 700 em celulares baratos como os Samsung da linha A, e até valores mais altos em óculos de realidade virtual. O modelo roda até em microcontroladores modernos como o ESP32-S3, sem GPU e sem NPU.

Por que mirar o hardware barato faz sentido

A Cactus parte de um argumento difícil de ignorar. A chamada “IA na borda” (edge AI) virou sinônimo de rodar modelos em Macs e PCs potentes. Mas a borda real é feita de aparelhos baratos.

São mais de 21 bilhões de dispositivos IoT conectados no mundo, contra cerca de 1,5 bilhão de PCs. Em mercados emergentes — o Brasil incluído —, a maioria dos celulares custa menos de US$ 200. Somando celulares baratos, Raspberry Pis, microcontroladores, wearables e pequenos robôs, a empresa estima que quatro em cada cinco dispositivos da borda custam menos de US$ 200.

Esse é exatamente o público que fica de fora quando a IA local exige processadores caros. Um modelo de 14MB muda essa conta.

O que ainda precisa de cautela

Vale separar o que é fato do que é promessa. A Cactus afirma que o Needle 2 “troca vitórias” com modelos pequenos como o FunctionGemma da Google, o LFM2.5 e o Apple FM em benchmarks de chamada de função — sendo de 5 a 70 vezes menor. São comparações da própria empresa, então merecem verificação independente antes de qualquer conclusão.

Também é importante entender o limite do modelo. Ele não pensa, não conversa e não sabe nada sobre o mundo. Para garantir respostas no formato certo, a Cactus usa um sistema que obriga o modelo a sempre responder com uma estrutura definida, restringindo cada token gerado. É uma escolha inteligente de engenharia, mas reforça que estamos falando de uma ferramenta estreita, e não de um assistente geral.

Ainda assim, a direção é interessante. Enquanto boa parte da indústria corre atrás de modelos cada vez maiores e mais caros de rodar, o Needle 2 aposta que uma parcela enorme das tarefas do dia a dia — ligar uma luz, extrair um campo de um documento, acionar um robô — não precisa de força bruta. Precisa de algo que caiba no bolso. E, nesse caso, literalmente.

Fonte: Cactus Compute · Imagem de capa: Cactus Compute