Como Executar um LLM Localmente: Comparação entre Ollama, llama.cpp, LM Studio e vLLM

Existem diversas maneiras de executar um LLM localmente. Algumas ferramentas são projetadas para facilitar o início, enquanto outras oferecem mais controle ou foram criadas para atender a muitos usuários simultaneamente. A escolha certa depende de se você deseja um chat local simples, um mecanismo de inferência configurável ou uma API de produção.

Ollama

O Ollama é uma das formas mais fáceis de começar a executar modelos localmente. Basta instalá-lo, baixar um modelo e executá-lo pela linha de comando. Ele também fornece uma API local para aplicações e outras ferramentas.

Vantagens:

Instalação simples e gerenciamento de modelos
Fluxo de trabalho fácil pela linha de comando
API compatível com a OpenAI
Suporte a aceleração por GPU via NVIDIA, AMD, Apple Silicon e Vulkan
Arquivos Modelfile permitem customizar modelos e parâmetros
Suporta solicitações concorrentes quando há memória suficiente disponível

Desvantagens:

Menos controle de baixo nível em comparação ao llama.cpp
Seu gerenciamento de modelos é centrado no ecossistema Ollama
Não é a primeira escolha quando se necessita de máxima vazão de serviço ou inferência distribuída

Dificuldade: Baixa. Uma boa escolha se você quiser colocar um modelo em funcionamento rapidamente, sem lidar com muitos parâmetros de inferência.

llama.cpp

O llama.cpp é um mecanismo de inferência leve em C/C++ focado na execução eficiente de modelos em uma ampla variedade de hardware. Ele utiliza modelos GGUF e oferece controle detalhado sobre como o modelo é carregado e executado.

Vantagens:

Controle granular sobre contexto, offloading de GPU, loteamento (batching), threads, quantização e outros parâmetros de inferência
Amplo suporte a hardware, incluindo CUDA, HIP, Metal, Vulkan e SYCL
Suporte a muitos níveis de quantização, desde formatos de poucos bits até 8 bits
Permite dividir modelos entre múltiplas GPUs
Capaz de usar CPU e GPU em conjunto quando o modelo é maior que a VRAM disponível
Inclui o llama-server para uma API compatível com a OpenAI

Desvantagens:

Exige mais configuração do que o Ollama ou o LM Studio
Modelos GGUF geralmente são baixados e gerenciados separadamente
Muitos parâmetros úteis requerem compreensão dos parâmetros de inferência

Dificuldade: Média. Uma boa escolha se você deseja controlar exatamente como um modelo é executado ou deseja experimentar com desempenho e quantização.

LM Studio

O LM Studio é um aplicativo de desktop para baixar, configurar e executar LLMs locais. Ele fornece uma interface gráfica para encontrar modelos e gerenciar recursos, como offloading de GPU e tamanho do contexto.

Vantagens:

Interface gráfica simples
Busca e download de modelos através do Hugging Face
Exibe informações do modelo e dos recursos antes do carregamento
Servidor de API compatível com a OpenAI
Capaz de executar modelos em modo sem interface (headless) através de seu servidor llmster
Suporta modelos GGUF via llama.cpp e modelos MLX em Apple Silicon

Desvantagens:

Menos controle de baixo nível do que usar o llama.cpp diretamente
O aplicativo de desktop é menos adequado para algumas implantações em servidor
Não foi projetado principalmente para serviço em larga escala para múltiplos usuários

Dificuldade: Baixa. Uma boa escolha se você deseja experimentar com modelos locais sem passar muito tempo na linha de comando.

vLLM

O vLLM é projetado para servir LLMs a aplicações e múltiplos usuários. Sua principal vantagem é o serviço eficiente em alta concorrência, utilizando técnicas como PagedAttention, loteamento contínuo (continuous batching), cache de prefixos e inferência distribuída.

Vantagens:

Alta vazão para múltiplas solicitações concorrentes
Loteamento contínuo e gerenciamento eficiente do KV-cache
Servidor de API compatível com a OpenAI
Funciona diretamente com muitos modelos do Hugging Face
Suporta quantização, incluindo FP8, INT4, GPTQ, AWQ, GGUF e outros
Suporta paralelismo tensorial, de pipeline, de especialista e outras formas
Projetado para inferência e serviço em produção

Desvantagens:

Configuração e setup mais complexos
Visado principalmente a ambientes Linux
Geralmente desnecessário para uma única pessoa executando um modelo interativamente
A compatibilidade de hardware e modelo precisa ser verificada antes da implantação

Dificuldade: Alta. Ideal para quem está implantando um serviço de inferência, em vez de apenas executar um modelo em um computador pessoal.

Qual escolher?

Deseja apenas executar um modelo facilmente: Ollama ou LM Studio. Escolha Ollama para a linha de comando e API simples, ou LM Studio para a interface gráfica.
Deseja controle sobre a inferência: llama.cpp. Ele oferece controle direto sobre o carregamento do modelo, quantização, contexto, offloading de GPU e outros parâmetros.
Necessita de uma API local: Ollama, llama.cpp ou LM Studio. Todos os três oferecem APIs compatíveis com a OpenAI.
Necessita atender a muitos usuários: vLLM. Seus recursos de loteamento contínuo e inferência distribuída são projetados para este caso de uso.
Deseja experimentar diferentes quantizações: llama.cpp ou LM Studio.

Execute no DaDesktop

Se você não tiver hardware de GPU suficiente localmente, pode executar essas ferramentas em uma área de trabalho em nuvem do DaDesktop. Escolha uma GPU com VRAM suficiente para o modelo que deseja executar, inicie a área de trabalho e instale o software de inferência de sua preferência.

Ollama e LM Studio são úteis quando você deseja um ambiente local simples. O llama.cpp oferece mais controle sobre o hardware e as configurações de inferência. O vLLM é uma opção quando você precisa expor um modelo como uma API de alta vazão.

Veja as GPUs disponíveis para comparar a VRAM e outras especificações.