15 Limitações, Ética e Uso Responsável

15.1 Alucinações e Fabricação de Informações

Uma das limitações mais significativas dos LLMs é o fenômeno chamado “alucinação”, onde o modelo gera conteúdo que parece plausível mas é factual incorreto, inventado, ou não suportado pelos dados de treinamento.

As alucinações ocorrem porque o modelo é otimizado para gerar texto que parece coerente, não necessariamente para verificar fatos. Ele pode gerar detalhes específicos sobre eventos históricos, citações de pesquisas inexistentes, ou explicações técnicas incorretas com alta confiança, pois foram treinados para produzir texto fluente mesmo quando a precisão não pode ser verificada.

Mitigar alucinações é um campo ativo de pesquisa, envolvendo técnicas como retrieval-augmented generation (RAG), onde o modelo é combinado com bases de conhecimento externas, e técnicas de verificação que encorajam o modelo a expressar incerteza.

15.2 Viés e Discriminação

Os LLMs aprendem de dados humanos, e como tal, podem incorporar e amplificar vieses presentes nesses dados. Isso pode se manifestar como geração de texto estereotipado, discriminatório ou ofensivo em certos contextos.

O viés pode aparecer de múltiplas formas: viés de gênero em descrições de profissões, viés racial em detenções de nomes, viés cultural em piadas ou referências, e assim por diante. Mitigar esses vieses é challenging, pois diferentes intervenções podem ter efeitos colaterais inesperados e o conceito de “viés” é complexo e dependente de contexto.

15.3 Consistência e Coerência em Geração Longa

Embora LLMs sejam excelentes em gerar texto localmente coerente, manter coerência global em textos muito longos é desafiador. O modelo pode “esquecer” informações introduzidas no início do texto, contradizer afirmações anteriores, ou perder o fio condutor da narrativa à medida que gera mais conteúdo.

Esse problema é uma consequência direta das limitações de contexto e da natureza auto-regressiva da geração. Técnicas como chain-of-thought prompting (incentivar o modelo a pensar em voz alta), tree-of-thought reasoning, e arquiteturas com memória externa são exploradas como possíveis soluções.

15.4 Custo Computacional e Ambiental

O treinamento e inference de LLMs requer recursos computacionais massivos. Treinar um modelo de última geração pode custar dezenas de milhões de dólares em recursos computacionais, sem mencionar o consumo energético significativo.

As implicações ambientais do treinamento de LLMs são objeto de preocupação crescente. A pegada de carbono do treinamento de modelos grandes pode ser substancial. Pesquisadores exploram técnicas para reduzir o custo computacional, como treinamento com eficiência energética e uso de hardware dedicado.

15.5 Limitações de Raciocínio

Uma limitação conhecida deve virar um requisito de engenharia. Se fatos podem ser inventados, conecte o modelo a fontes recuperáveis e exiba evidências. Se a saída será executada, aplique validação sintática, limites de permissão e confirmação humana. Se o domínio é sensível, mantenha trilhas de auditoria e uma alternativa segura para falhas.

Apesar de demonstrarem capacidades impressionantes, LLMs têm limitações fundamentais em tarefas que requerem raciocínio formal, matemática rigorosa, ou lógica dedutiva complexa. Eles podem produzir respostas numericamente incorretas, falhar em perceber contradições lógicas, ou ser facilmente enganados por alterações sutis em problemas de raciocínio.

A comunidade de pesquisa debate se LLMs são capazes de “raciocinar” genuinamente ou se estão simplesmente recuperando e recombinando padrões observados durante o treinamento. Essa questão permanece em aberto e é fundamental para compreender tanto as capacidades quanto os limites desses modelos.

15.6 Avaliação adversarial

Além de medir a tarefa média, teste entradas ambíguas, negações, textos longos, idiomas diferentes, dados fora de distribuição e tentativas de injeção de prompt. Um único número agregado pode ocultar falhas graves em subgrupos.

Calibração de confiança

O tom seguro de uma resposta não é uma medida de probabilidade nem de veracidade. Interfaces responsáveis devem comunicar incerteza com base em verificações externas, não apenas pedir ao próprio modelo que declare confiança.

15.7 Privacidade e dados pessoais

Corpora extensos podem conter informações pessoais, segredos ou conteúdo sem autorização adequada. Além da curadoria antes do treinamento, sistemas em produção precisam limitar coleta, retenção e acesso aos prompts. Logs úteis para observabilidade também são uma superfície de risco e devem seguir políticas explícitas de minimização e descarte.

15.8 Desinformação e uso malicioso

A geração barata e em escala pode apoiar fraude, manipulação e conteúdo enganoso. Mitigações incluem autenticação, limites de uso, detecção de abuso, rastreabilidade e revisão humana em operações de alto impacto. Filtros isolados não substituem uma análise do fluxo completo em que o modelo está inserido.

15.9 Trabalho, responsabilidade e prestação de contas

Automação altera tarefas e distribui benefícios e custos de forma desigual. Uma implantação responsável define quem responde por erros, como uma decisão pode ser contestada e quando uma pessoa deve assumir o controle. O fornecedor do modelo, a organização integradora e o operador possuem responsabilidades diferentes, que devem ser documentadas.

15.10 Processo de engenharia responsável

flowchart LR
    U[Caso de uso] --> P[Partes afetadas]
    P --> R[Riscos e benefícios]
    R --> M[Mitigações]
    M --> E[Evidências e testes]
    E --> V[Monitoramento]
    V --> R

Área	Ação mínima
Dados	Remover ou proteger informações pessoais e documentar proveniência.
Avaliação	Testar qualidade, vieses, abuso e grupos relevantes ao domínio.
Operação	Aplicar permissões mínimas, monitoramento e resposta a incidentes.
Transparência	Publicar limitações, usos previstos e responsáveis pelo sistema.

O debate sobre se modelos “entendem” linguagem não deve substituir testes de comportamento. Independentemente da interpretação filosófica, decisões de implantação precisam se apoiar em capacidades e falhas observáveis.

15.11 Por que alucinações acontecem

O objetivo autoregressivo recompensa continuações prováveis, não uma consulta explícita a fatos. Quando o contexto é insuficiente, contraditório ou distante dos dados de treinamento, o modelo ainda precisa distribuir probabilidade sobre o vocabulário. Estratégias de amostragem mais livres podem ampliar a variedade, mas a causa estrutural permanece: fluência não implica conexão com evidências.

Mitigações ocupam níveis diferentes. Prompts podem exigir limites e incerteza; recuperação fornece documentos; ferramentas consultam sistemas atualizados; fine-tuning ajusta comportamento; validação externa verifica formatos ou fatos. Nenhuma técnica elimina o problema em todos os domínios.

15.12 RAG como sistema, não como prompt longo

Na geração aumentada por recuperação (RAG), uma consulta é transformada em representação de busca, documentos relevantes são recuperados e trechos selecionados entram no contexto do gerador.

flowchart LR
    Q[Pergunta] --> E[Busca lexical ou vetorial]
    D[(Documentos)] --> E
    E --> R[Seleção e reordenação]
    R --> P[Prompt com evidências]
    P --> L[LLM]
    L --> V[Resposta verificável]

Falhas podem ocorrer em cada etapa: o documento correto pode não existir, a busca pode não recuperá-lo, o recorte pode remover contexto ou o modelo pode ignorar a evidência. Avalie recuperação e geração separadamente. Citações devem apontar para trechos realmente usados e ser conferidas, não apenas formatadas.

15.13 Injeção de prompt e fronteiras de confiança

Uma injeção ocorre quando conteúdo não confiável tenta se passar por instrução. Isso é especialmente perigoso em sistemas que leem páginas, e-mails ou documentos e depois acionam ferramentas. Separar mensagens por função ajuda, mas não torna dados externos confiáveis.

Trate a saída do modelo como entrada não confiável. Ferramentas devem validar argumentos, aplicar listas de operações permitidas, limitar escopo e pedir confirmação para ações sensíveis. Segredos não devem ser colocados no contexto se o modelo não precisa vê-los.

Filtros não criam uma fronteira de segurança

Um classificador de entrada ou saída reduz alguns abusos, mas pode ser contornado. A proteção principal vem de permissões mínimas, isolamento, validação determinística e auditoria.

15.14 Explicabilidade com limites

Explicações globais procuram descrever tendências do modelo; explicações locais tratam uma entrada específica. Métodos por gradiente, ablação, sondas e análise de ativações revelam aspectos diferentes. Mapas de atenção, por exemplo, mostram pesos de mistura, mas não demonstram causalidade completa.

Uma explicação deve ser testada: remover a característica apontada muda a saída? O método é estável diante de pequenas perturbações? A narrativa continua válida em outros grupos? Explicações plausíveis, porém não fiéis, podem aumentar confiança justamente quando deveriam provocar cautela.