13 Fine-tuning e Personalização

13.1 O Que é Fine-tuning

Após o pré-treinamento, o modelo possui conhecimento geral sobre linguagem, mas pode não se comportar da forma desejada para tarefas específicas. O fine-tuning (ajuste fino) é o processo de continuar o treinamento do modelo em um conjunto de dados menor e mais específico, orientando seu comportamento para um domínio ou aplicação particular.

O fine-tuning é consideravelmente mais barato que o pré-treinamento, pois requer muito menos dados e computação. Enquanto o pré-treinamento pode levar semanas ou meses, o fine-tuning pode ser concluído em horas ou dias. Isso torna possível adaptar modelos grandes para aplicações específicas mesmo com recursos computacionais limitados.

13.2 Fine-tuning Supervisionado

A forma mais direta de fine-tuning é o ajuste fino supervisionado (SFT), onde o modelo é treinado em um conjunto de exemplos de entrada-saída desejados. Por exemplo, para criar um assistente de programação, poderíamos fine-tunar o modelo com pares de perguntas sobre programação e respostas corretas.

Durante o SFT, os parâmetros do modelo são atualizados para maximizar a probabilidade de gerar as respostas desejadas dado o prompt de entrada. O modelo aprende o formato e o estilo das respostas de exemplo, adquirindo novos comportamentos sem esquecer completamente o conhecimento do pré-treinamento.

No instruction tuning, os exemplos são organizados como instrução, contexto opcional e resposta. Essa mudança ensina o modelo a interpretar pedidos e produzir formatos úteis, em vez de apenas continuar texto bruto. A qualidade, diversidade e consistência das respostas supervisionadas são mais importantes que repetir muitas vezes exemplos quase idênticos.

flowchart LR
    A[Modelo-base] --> B{Estratégia}
    B --> C[Fine-tuning completo]
    B --> D[PEFT / LoRA]
    E[Instruções e respostas] --> C
    E --> D
    C --> F[Modelo especializado]
    D --> F

13.3 Aprendizado por Reforço a Partir de Feedback Humano (RLHF)

Uma técnica particularmente influente é o aprendizado por reforço a partir de feedback humano (RLHF). O RLHF combina fine-tuning supervisionado com aprendizado por reforço para alinhar o modelo às preferências humanas.

O processo RLHF tipicamente envolve três etapas. Primeiro, modelos de recompensa são treinados com base em comparações humanas de pares de respostas. Segundo, o modelo de linguagem é otimizado usando o modelo de recompensa como função de objetivo através de algoritmos de aprendizado por reforço como PPO (Proximal Policy Optimization). Terceiro, o ciclo pode ser repetido para refinar continuamente as preferências.

O RLHF foi fundamental para criar modelos como o ChatGPT, que demonstram comportamento mais alinhado com as intenções do usuário e geram respostas mais úteis e menos problemáticas do que modelos apenas pré-treinados.

13.4 LoRA e Outras Técnicas de Eficiência

Antes de comparar métodos eficientes, é útil separar três objetivos. Instruction tuning ensina formato e comportamento a partir de pares de instrução e resposta; adaptação de domínio aproxima vocabulário e padrões de uma área; alinhamento por preferências favorece respostas comparativamente desejadas. Nenhum deles garante fatos corretos ou elimina a necessidade de avaliação.

O fine-tuning completo de modelos grandes é proibitivamente caro para muitos casos de uso, pois envolve atualizar bilhões de parâmetros. Técnicas de eficiência computacional foram desenvolvidas para resolver esse problema.

LoRA (Low-Rank Adaptation) é uma técnica que adiciona pequenas matrizes treináveis às camadas do modelo, mantendo os parâmetros originais congelados. Isso reduz drasticamente o número de parâmetros que precisam ser otimizados durante o fine-tuning, mantendo resultados comparáveis ao fine-tuning completo.

Outras técnicas incluem QLoRA, que combina LoRA com quantização para reduzir ainda mais os requisitos de memória, e adapter methods, que introduzem módulos pequenos e treináveis em pontos estratégicos da arquitetura.

13.4.1 O que realmente muda no LoRA

Para uma matriz congelada \(W\in\mathbb{R}^{d_{out}\times d_{in}}\), o LoRA aprende uma atualização de baixa ordem \(\Delta W=BA\), com posto \(r\) muito menor que as dimensões originais. O forward passa a usar \(Wx+BAx\). Assim, treinamos poucas variáveis sem descartar o conhecimento do modelo-base.

Evite vazamento de avaliação

Separe treino, validação e teste por documento ou fonte quando exemplos semelhantes puderem se repetir. Uma divisão aleatória por linha pode colocar quase duplicatas nos três conjuntos e produzir uma estimativa excessivamente otimista.

13.5 Decidindo o que adaptar

Fine-tuning completo oferece liberdade máxima, mas exige memória para gradientes e estados do otimizador de todos os pesos. PEFT restringe a atualização a uma fração pequena. Antes de escolher, pergunte se o objetivo é ensinar um formato, incorporar terminologia, mudar preferências ou introduzir conhecimento factual atualizável. Para o último caso, recuperação externa pode ser mais fácil de corrigir e auditar.

No LoRA, o posto \(r\) controla a capacidade da atualização. Valores muito pequenos podem limitar a adaptação; valores maiores consomem mais memória e podem facilitar sobreajuste. O fator de escala regula a contribuição de \(BAx\), e o dropout no caminho LoRA pode ajudar em conjuntos pequenos.

Após o treino, os adaptadores podem permanecer separados ou ser fundidos a \(W\). Mantê-los separados facilita trocar especializações; fundi-los simplifica a inferência. Em ambos os casos, o modelo-base exato e os módulos-alvo devem ser registrados.

13.6 Destilação de conhecimento

Na destilação, um modelo-aluno aprende com saídas de um modelo-professor. Em vez de receber apenas o token correto, o aluno pode aproximar toda a distribuição suavizada do professor. Relações entre alternativas — por exemplo, dois tokens quase igualmente plausíveis — carregam informação que um rótulo rígido descarta.

Uma função de objetivo pode combinar a perda supervisionada com uma divergência entre distribuições:

\[ L=(1-\lambda)L_{alvo}+\lambda T^2D_{KL}(p_T^{professor}\Vert p_T^{aluno}), \]

onde \(T\) é a temperatura usada para suavizar os logits. A destilação pode produzir modelos menores e mais baratos, mas também transmite erros e vieses do professor. Dados de transferência, cobertura e avaliação independente continuam essenciais.

Ajuste não substitui segurança

Comportamento desejado no conjunto de treino não garante robustez fora dele. Avalie instruções conflitantes, entradas longas, idiomas diferentes e tentativas de contornar políticas.