Como Executar um LLM Localmente: Comparação entre Ollama, llama.cpp, LM Studio e vLLM

Existem diversas maneiras de executar um LLM localmente. Algumas ferramentas são projetadas para facilitar o início, enquanto outras oferecem maior controle ou são construídas para atender a vários usuários simultaneamente. A escolha certa depende se você deseja um chat local simples, um motor de inferência configurável ou uma API de produção.

Ollama

Ollama é uma das maneiras mais fáceis de começar a executar modelos localmente. Basta instalá-lo, baixar um modelo e executá-lo pela linha de comando. Ele também fornece uma API local para aplicativos e outras ferramentas.

Prós:

Instalação simples e gerenciamento de modelos
Fluxo de trabalho fácil pela linha de comando
API compatível com OpenAI
Suporte a aceleração por GPU com NVIDIA, AMD, Apple Silicon e Vulkan
Arquivos Modelfile permitem personalizar modelos e parâmetros
Atende a requisições concorrentes quando há memória suficiente

Contras:

Menor controle de baixo nível em comparação com o llama.cpp
O gerenciamento de modelos é centrado no ecossistema Ollama
Não é a primeira escolha quando se busca o máximo de rendimento (throughput) de serviço ou inferência distribuída

Dificuldade: Baixa. Uma boa opção se você quiser colocar um modelo para rodar rapidamente, sem lidar com muitos ajustes de inferência.

llama.cpp

llama.cpp é um motor de inferência leve em C/C++ focado na execução eficiente de modelos em uma ampla variedade de hardware. Ele utiliza modelos GGUF e oferece controle detalhado sobre como o modelo é carregado e executado.

Prós:

Controle fino sobre contexto, offloading para GPU, lotes (batching), threads, quantização e outros ajustes de inferência
Ampla compatibilidade com hardware, incluindo CUDA, HIP, Metal, Vulkan e SYCL
Suporte a vários níveis de quantização, desde formatos de baixo bit até 8 bits
Possibilidade de dividir modelos entre várias GPUs
Capaz de usar CPU e GPU em conjunto quando o modelo é maior que a VRAM disponível
Inclui o llama-server para uma API compatível com OpenAI

Contras:

Requer mais configuração do que Ollama ou LM Studio
Modelos GGUF geralmente são baixados e gerenciados separadamente
Muitos ajustes úteis exigem compreensão dos parâmetros de inferência

Dificuldade: Média. Uma boa opção se você deseja controlar exatamente como o modelo funciona ou quer experimentar desempenho e quantização.

LM Studio

LM Studio é um aplicativo de desktop para baixar, configurar e executar LLMs locais. Ele oferece uma interface gráfica para encontrar modelos e gerenciar itens como offloading para GPU e tamanho do contexto.

Prós:

Interface gráfica simples
Busca e baixa modelos através do Hugging Face
Exibe informações sobre o modelo e recursos antes do carregamento
Servidor de API compatível com OpenAI
Pode executar modelos em modo headless através do seu servidor llmster
Suporte a GGUF via llama.cpp e modelos MLX em Apple Silicon

Contras:

Menor controle de baixo nível do que usar o llama.cpp diretamente
O aplicativo de desktop é menos adequado para alguns cenários de implantação em servidor
Não foi projetado primordialmente para atendimento multiusuário em grande escala

Dificuldade: Baixa. Uma boa opção se você deseja experimentar modelos locais sem passar muito tempo na linha de comando.

vLLM

vLLM é projetado para servir LLMs a aplicativos e múltiplos usuários. Sua principal vantagem é o serviço eficiente com alta concorrência, utilizando técnicas como PagedAttention, loteamento contínuo (continuous batching), cache de prefixo e inferência distribuída.

Prós:

Alto rendimento (throughput) para várias requisições concorrentes
Loteamento contínuo e gerenciamento eficiente do cache KV
Servidor de API compatível com OpenAI
Funciona diretamente com muitos modelos do Hugging Face
Suporte a quantização, incluindo FP8, INT4, GPTQ, AWQ, GGUF, entre outros
Suporte a formas de paralelismo como tensor, pipeline, especialista (expert) e outras
Projetado para inferência e serviço de produção

Contras:

Configuração e instalação mais complexas
Destinado principalmente a ambientes Linux
Normalmente desnecessário para uma única pessoa executando um modelo interativamente
A compatibilidade de hardware e modelo deve ser verificada antes da implantação

Dificuldade: Alta. Mais adequado para pessoas que estão implantando um serviço de inferência, em vez de simplesmente executar um modelo em um computador pessoal.

Qual escolher?

Só quer executar um modelo facilmente: Ollama ou LM Studio. Escolha Ollama para a linha de comando e API simples, ou LM Studio para uma interface gráfica.
Quer controle sobre a inferência: llama.cpp. Ele oferece controle direto sobre o carregamento do modelo, quantização, contexto, offloading para GPU e outros ajustes.
Precisa de uma API local: Ollama, llama.cpp ou LM Studio. Todos os três oferecem APIs compatíveis com OpenAI.
Precisa atender a muitos usuários: vLLM. Seus recursos de loteamento contínuo e inferência distribuída são projetados para esse caso de uso.
Quer experimentar diferentes quantizações: llama.cpp ou LM Studio.

Execute no DaDesktop

Se você não tiver hardware de GPU suficiente localmente, pode executar estas ferramentas em um desktop em nuvem da DaDesktop. Escolha uma GPU com VRAM suficiente para o modelo que deseja executar, inicie o desktop e instale o software de inferência de sua preferência.

Ollama e LM Studio são úteis quando você quer um ambiente local simples. llama.cpp oferece mais controle sobre o hardware e os ajustes de inferência. vLLM é uma opção quando você precisa expor um modelo como uma API com maior rendimento (throughput).

Ver GPUs disponíveis para comparar VRAM e outras especificações.