Quanta VRAM você precisa para executar LLMs localmente?
A principal questão ao executar um LLM local é simples: ele caberá na sua GPU? A resposta depende do tamanho do modelo, da quantização e do comprimento do contexto. Este guia oferece um ponto de partida prático para escolher a quantidade certa de VRAM.
Como a quantização afeta a VRAM
A quantização reduz a precisão usada para armazenar os pesos do modelo. Quantizações de bits mais baixas tornam o modelo menor e utilizam menos VRAM, com alguma perda de qualidade.
| Quantização | Bits por peso | Uso típico |
|---|---|---|
| Q8_0 | 8 | Muito alta qualidade |
| Q6_K | ~6,6 | Muito boa qualidade |
| Q5_K_M | ~5,5 | Boa qualidade e tamanho |
| Q4_K_M | ~4,5 | Bom equilíbrio entre tamanho e qualidade |
| Q3_K_M | ~3,5 | Menos VRAM, mais perda de qualidade |
Q4_K_M é uma escolha comum quando a VRAM é limitada. Se você tiver mais VRAM disponível, Q5 ou Q6 permite executar o mesmo modelo com menos quantização.
VRAM aproximada por tamanho de modelo
Estas são estimativas rough para os pesos do modelo. A quantidade real de VRAM necessária é maior porque o runtime, o cache KV e o contexto também usam memória.
| Tamanho do modelo | Q8_0 | Q6_K | Q4_K_M | Q3_K_M |
|---|---|---|---|---|
| 4B | ~5 GB | ~4 GB | ~3 GB | ~2,5 GB |
| 8B | ~9 GB | ~7 GB | ~5,5 GB | ~4,5 GB |
| 12B | ~13 GB | ~10 GB | ~8 GB | ~6,5 GB |
| 14B | ~16 GB | ~12 GB | ~9 GB | ~7,5 GB |
| 27B | ~30 GB | ~22 GB | ~17 GB | ~13 GB |
| 32B | ~36 GB | ~27 GB | ~20 GB | ~16 GB |
| 70B | ~80 GB | ~60 GB | ~42 GB | ~34 GB |
Estas são estimativas, não limites rígidos. Diferentes arquiteturas de modelo e formatos de quantização podem alterar o tamanho real.
O que diferentes quantidades de VRAM podem executar
| VRAM | Faixa prática | Exemplos atuais |
|---|---|---|
| 8 GB | Pequenos modelos em torno de 4B a 9B | Gemma 4 E4B, Qwen3.5 9B |
| 12 GB | Pequenos a modelos de tamanho médio em torno de 9B a 14B | Gemma 4 12B, Qwen3.5 9B |
| 16 GB | 12B a 27B com quantização mais baixa | Gemma 4 26B-A4B, Qwen3.6 27B em Q4 |
| 24 GB | 27B a 35B em Q4 a Q6 | Qwen3.8 27B, Gemma 4 31B |
| 32 GB | 27B a 35B com quantização mais alta | Qwen3.8 27B, Gemma 4 31B |
| 48 GB | Grandes modelos densos com quantização mais baixa | Modelos de classe 70B em Q3 a Q4 |
| 80 GB | Grandes modelos densos com quantização mais alta | Modelos de classe 70B em Q4 a Q6 |
Estas faixas são para modelos cujos pesos podem caber na GPU. Modelos MoE grandes são diferentes: apenas alguns dos seus parâmetros estão ativos para cada token, mas o modelo ainda precisa armazenar seu conjunto completo de pesos. Um modelo com 100B ou mais parâmetros totais, portanto, não cabe em um orçamento de VRAM de 100B simplesmente porque tem menos parâmetros ativos.
Modelos MoE
Modelos Mixture-of-Experts (MoE) contêm múltiplos grupos de parâmetros chamados especialistas. Apenas alguns especialistas são usados para cada token, o que pode tornar a inferência mais eficiente do que um modelo denso com a mesma contagem total de parâmetros.
No entanto, os especialistas inativos ainda fazem parte do modelo. Modelos MoE grandes podem, portanto, exigir muito mais memória do que sugerido pela sua contagem de parâmetros ativos. Modelos muito grandes podem precisar de múltiplas GPUs ou offloading para RAM do sistema.
O comprimento do contexto também usa VRAM
Os pesos do modelo são apenas parte do requisito de memória. O cache KV cresce à medida que o contexto fica mais longo, portanto, executar o mesmo modelo com contexto de 64K pode exigir substancialmente mais VRAM do que executá-lo com 4K.
- Contextos mais longos exigem mais VRAM.
- A precisão do cache KV afeta o uso de memória.
- O tamanho do lote (batch size) e usuários simultâneos também aumentam o uso de memória.
- Deixe alguma VRAM disponível para o runtime em vez de preencher completamente a GPU com os pesos do modelo.
Dicas práticas
- Verifique o tamanho real do modelo quantizado que você deseja executar.
- Não use o tamanho do arquivo do modelo como o requisito exato de VRAM. Reserve espaço para o cache KV e o runtime.
- Se um modelo não couber totalmente na VRAM, parte dele pode ser offloaded para a RAM do sistema, mas a inferência geralmente será mais lenta.
- Para cargas de trabalho de contexto longo ou agênticas, planeje mais VRAM do que apenas os pesos do modelo exigem.
- Múltiplas GPUs podem dividir um modelo quando uma GPU não tem VRAM suficiente.
Execute no DaDesktop
Você não precisa comprar uma GPU para executar um LLM local. O DaDesktop oferece um desktop em nuvem com a VRAM de que você precisa, permitindo que você execute o modelo diretamente sem possuir o hardware.
Escolha o nível de VRAM que se adequa ao seu modelo, carregue-o e comece a usá-lo. Sem configuração, sem compra de hardware, sem problemas de drivers. Veja GPUs disponíveis para as opções.