O que são LLMs sem censura?

LLMs sem censura são modelos de linguagem de pesos abertos que foram modificados para reduzir parte do comportamento de recusa encontrado em assistentes de IA padrão. Eles oferecem ao usuário mais controle sobre o comportamento do modelo, tornando-se particularmente relevantes para pessoas que executam e experimentam LLMs localmente.

O que são LLMs sem censura?

A maioria dos assistentes de IA modernos é treinada para seguir regras de segurança e recusar certas solicitações. Esse comportamento pode originar-se do ajuste de instruções, treinamento de preferências, prompts do sistema e outras partes do modelo ou da aplicação.

Um LLM sem censura é, em geral, um modelo que foi modificado ou treinado para reduzir alguns desses comportamentos de recusa. Não há uma única definição técnica de "sem censura". Diferentes criadores de modelos podem usar métodos distintos, e os modelos resultantes podem se comportar de maneira bastante diferente.

Alguns modelos sem censura são criados por meio de um ajuste fino adicional. Outros utilizam técnicas que modificam comportamentos específicos em um modelo existente. O termo também pode se referir a modelos descritos como abliterated, embora a abliteração seja uma técnica específica e não um sinônimo para todo modelo sem censura.

Sem censura não significa sem restrições

Remover ou reduzir o comportamento de recusa não torna o modelo mais capaz. Um modelo sem censura ainda pode gerar informações incorretas, mal interpretar instruções ou recusar certas solicitações.

• A capacidade ainda é fundamental: Um modelo menor não se tornará um raciocinador melhor apenas porque seu comportamento de recusa foi alterado.
• A qualidade varia: Modelos sem censura podem diferir significativamente dependendo do modelo subjacente e de como foram modificados.
• O comportamento não é garantido: Um modelo sem censura ainda pode recusar algumas solicitações ou seguir instruções de forma inconsistente.
• O comportamento de segurança pode mudar: A redução das recusas também pode remover algumas salvaguardas que faziam parte do treinamento original do modelo.

Portanto, é mais útil pensar em "sem censura" como uma descrição do comportamento do modelo, em vez de uma garantia sobre o que o modelo pode fazer.

Sem censura vs. Pesos Abertos vs. Modelos Base

Esses termos são frequentemente usados juntos, mas descrevem aspectos diferentes de um LLM.

Essas categorias podem se sobrepor. Um modelo sem censura pode ter pesos abertos e ser baseado em um modelo existente. Ele também pode ser um ajuste fino ou outra modificação desse modelo. O rótulo sozinho não explica exatamente como o modelo foi criado.

Por que executar um LLM sem censura localmente?

Executar um LLM sem censura localmente dá ao usuário mais controle sobre o modelo e seu ambiente. Em vez de depender de um serviço de IA hospedado, o modelo roda em hardware controlado pelo usuário.

• Controle: Você escolhe o modelo, o software de inferência e a configuração.
• Privacidade: Prompts e respostas geradas podem permanecer dentro do seu próprio ambiente computacional.
• Personalização: Modelos de pesos abertos podem ser modificados, ajustados e configurados para diferentes cargas de trabalho.
• Uso offline: Um modelo hospedado localmente não precisa enviar prompts para um serviço de IA externo.
• Experimentação: Desenvolvedores e pesquisadores podem comparar diferentes versões e modificações de modelos.

A inferência local também lhe dá controle sobre o hardware que executa o modelo. Isso se torna importante conforme o tamanho dos modelos aumenta.

Que hardware LLMs sem censura precisam?

Modelos sem censura geralmente têm os mesmos requisitos de hardware do modelo subjacente em que são baseados. Os principais fatores são o tamanho do modelo, a quantização, o comprimento do contexto e as configurações de inferência.

Um modelo maior requer mais memória do que um menor. A quantização pode reduzir a memória necessária para carregar um modelo, tornando modelos maiores práticos em GPUs com menos VRAM.

A VRAM também é usada pelo próprio processo de inferência. O cache KV e outros dados em tempo de execução exigem memória adicional, e janelas de contexto mais longas podem aumentar a quantidade de memória necessária.

Isso significa que escolher um modelo é apenas parte do planejamento de uma configuração local de LLM. A GPU deve ter VRAM disponível suficiente para o modelo e a carga de trabalho que você pretende executar.

Experimente na DaDesktop

Se você deseja executar um LLM sem censura sem comprar e instalar seu próprio hardware GPU, a DaDesktop fornece desktops em nuvem com recursos GPU dedicados. Você pode executar cargas de trabalho de LLM locais na DaDesktop ou comparar as opções de GPU disponíveis com base no modelo que deseja executar.