O que são LLMs Não Censurados?

LLMs não censurados são modelos de linguagem de pesos abertos que foram modificados para reduzir parte do comportamento de recusa encontrado em assistentes de IA padrão. Eles oferecem ao usuário mais controle sobre o comportamento do modelo, tornando-os particularmente relevantes para quem executa e experimenta com LLMs localmente.

O que são LLMs Não Censurados?

A maioria dos assistentes de IA modernos é treinada para seguir regras de segurança e recusar certos pedidos. Esse comportamento pode advir do ajuste de instruções, treinamento de preferências, prompts de sistema e outras partes do modelo ou da aplicação.

Um LLM não censurado é geralmente um modelo que foi modificado ou treinado para reduzir alguns desses comportamentos de recusa. Não existe uma única definição técnica para "não censurado". Diferentes criadores de modelos podem utilizar métodos distintos, e os modelos resultantes podem apresentar comportamentos bastante diferentes.

Alguns modelos não censurados são criados por meio de um ajuste fino adicional. Outros utilizam técnicas que modificam comportamentos específicos em um modelo existente. O termo também pode se referir a modelos descritos como abliterados, embora a abliteração seja uma técnica específica e não um sinônimo para todos os modelos não censurados.

Não Censurado Não Significa Ilimitado

Remover ou reduzir o comportamento de recusa não torna o modelo mais capaz. Um modelo não censurado ainda pode gerar informações incorretas, mal interpretar instruções ou recusar certos pedidos.

• A capacidade continua a ser importante: Um modelo menor não se tornará um raciocinador melhor simplesmente porque seu comportamento de recusa foi alterado.
• A qualidade varia: Modelos não censurados podem diferir significativamente dependendo do modelo subjacente e da forma como foram modificados.
• O comportamento não é garantido: Um modelo não censurado ainda pode recusar alguns pedidos ou seguir instruções de forma inconsistente.
• O comportamento de segurança pode mudar: Reduzir as recusas também pode remover algumas salvaguardas que faziam parte do treinamento do modelo original.

Portanto, é mais útil pensar em "não censurado" como uma descrição do comportamento do modelo, em vez de uma garantia sobre o que o modelo pode fazer.

Não Censurado vs. Pesos Abertos vs. Modelos de Base

Esses termos são frequentemente usados juntos, mas descrevem aspectos diferentes de um LLM.

Essas categorias podem se sobrepor. Um modelo não censurado pode ter pesos abertos e ser baseado em um modelo existente. Ele também pode ser um ajuste fino ou outra modificação desse modelo. O rótulo sozinho não explica exatamente como o modelo foi criado.

Por que Executar um LLM Não Censurado Localmente?

Executar um LLM não censurado localmente oferece ao usuário mais controle sobre o modelo e seu ambiente. Em vez de depender de um serviço de IA hospedado, o modelo é executado em hardware controlado pelo usuário.

• Controle: Você escolhe o modelo, o software de inferência e a configuração.
• Privacidade: Os prompts e as respostas geradas podem permanecer dentro do seu próprio ambiente de computação.
• Personalização: Modelos de pesos abertos podem ser modificados, ajustados finamente e configurados para diferentes cargas de trabalho.
• Uso offline: Um modelo hospedado localmente não precisa enviar prompts para um serviço de IA externo.
• Experimentação: Desenvolvedores e pesquisadores podem comparar diferentes versões e modificações de modelos.

A inferência local também lhe dá controle sobre o hardware que executa o modelo. Isso se torna importante à medida que o tamanho dos modelos aumenta.

Que Hardware os LLMs Não Censurados Necessitam?

Modelos não censurados geralmente têm os mesmos requisitos de hardware do modelo subjacente em que são baseados. Os principais fatores são o tamanho do modelo, a quantização, o comprimento do contexto e as configurações de inferência.

Um modelo maior requer mais memória do que um menor. A quantização pode reduzir a memória necessária para carregar um modelo, tornando modelos maiores viáveis em GPUs com menos VRAM.

A VRAM também é utilizada pelo próprio processo de inferência. O cache KV e outros dados de tempo de execução requerem memória adicional, e janelas de contexto mais longas podem aumentar a quantidade de memória necessária.

Isso significa que escolher um modelo é apenas parte do planejamento de uma configuração local de LLM. A GPU deve ter VRAM disponível suficiente para o modelo e a carga de trabalho que você pretende executar.

Experimente no DaDesktop

Se você deseja executar um LLM não censurado sem comprar e instalar seu próprio hardware de GPU, o DaDesktop oferece desktops em nuvem com recursos dedicados de GPU. Você pode executar cargas de trabalho de LLM locais no DaDesktop ou comparar as opções de GPU disponíveis com base no modelo que deseja executar.