Rodando o DeepSeek V4 Flash em uma única GPU AMD: o que esse projeto revela

Um desenvolvedor publicou no GitHub a configuração completa que usa para rodar o modelo DeepSeek V4 Flash em uma única GPU AMD MI300X, em produção. O projeto não é um lançamento oficial da DeepSeek nem da AMD: é o trabalho de bastidor de quem precisou fazer o modelo funcionar em hardware que o roteiro oficial simplesmente não cobre.

O repositório reúne o stack em Docker Compose, patches com versões travadas por hash e tabelas de ajuste. O detalhe mais interessante é o que ele revela sobre o estado real de compatibilidade entre modelos de IA e chips que não são da NVIDIA.

O contexto: por que uma GPU só

O DeepSeek V4 Flash é um modelo de 304 bilhões de parâmetros. Normalmente, algo desse porte exige dividir a carga entre várias placas. A proposta aqui é diferente: cabe tudo em um único acelerador.

Isso é possível porque a MI300X tem 192 GB de memória HBM3 e cerca de 5,3 TB/s de banda — o equivalente a 2,4 vezes a capacidade de memória de uma H100 SXM5 da NVIDIA. Segundo o texto original, a AMD também sai por cerca de metade do preço de tabela.

Na prática, o modelo roda como veio, sem quantização extra dos pesos. O único porém é o aperto de memória: depois de aquecido, o servidor chega a ocupar ~204,5 GB de 205,8 GB disponíveis. Sobra quase nada. Se faltarem algumas centenas de MB, o servidor até inicia, mas quebra no primeiro pedido.

O que muda: os remendos que ninguém mostra

Aqui está a parte mais reveladora. O roteiro oficial do vLLM mira NVIDIA e chips AMD mais novos, como a MI325X e a MI355X. A MI300X, mais antiga na linha, ficou de fora de uma configuração confiável para esse checkpoint.

Fazer o modelo funcionar exigiu corrigir vários problemas: o formato FP8 específico da MI300X, bugs no roteamento de especialistas (MoE) sob alta concorrência, falhas na verificação especulativa e na sincronização de memória entre CPU e GPU.

O detalhe técnico mais crítico é o FP8. A MI300X usa uma variante chamada fnuz do formato E4M3, enquanto placas mais novas seguem o padrão OCP. Um kernel que assume o padrão errado pode errar por um fator de dois na escala — ou seja, resultados simplesmente incorretos. Não é lentidão: é conta errada.

O autor deixa claro que a prioridade foi a correção antes do desempenho. Faz sentido: de nada adianta um modelo rápido que devolve números furados.

Por que isso importa para você

Para o usuário comum, o DeepSeek continua acessível pela web ou por aplicativos. Esse projeto não muda isso. Mas ele importa por um motivo indireto e concreto: o custo de rodar IA depende de haver alternativa à NVIDIA.

Hoje a NVIDIA domina o mercado de chips de IA, e essa concentração pressiona preços para cima. Cada demonstração de que um modelo grande roda bem em hardware AMD amplia a concorrência — e concorrência tende a baratear o serviço que chega até você.

Ao mesmo tempo, o esforço deixa transparente o quanto essa alternativa ainda é trabalhosa. O fato de ser preciso um mutirão de correções não oficiais, com versões travadas para não quebrar, mostra que a compatibilidade fora do ecossistema NVIDIA continua frágil e artesanal.

Quem quiser ver os detalhes técnicos, os patches e os números de desempenho pode conferir o repositório no GitHub. É um bom retrato de onde a promessa de hardware alternativo encontra a realidade da engenharia.

Fonte: GitHub · Imagem de capa: GitHub