> For the complete documentation index, see [llms.txt](https://weekly-essay.mikey.wang/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://weekly-essay.mikey.wang/pt-br/2025/w37-hallucinations-and-uncertainty-in-llms.md).

# W37-Alucinações e incerteza nos LLMs

Na semana passada, saíram dois artigos importantes, com resultados de pesquisa da OpenAI e da Thinking Machines. O primeiro explica por que grandes modelos alucinam; o segundo verifica a causa da incerteza na execução. Há muitas ideias contrárias ao entendimento comum e bastante conhecimento novo.

O primeiro é [Por que modelos de linguagem alucinam](https://openai.com/index/why-language-models-hallucinate/), da OpenAI. Para uma leitura rápida, dá para ir direto à seção Conclusions.

A conclusão contraintuitiva é que melhorar a acurácia não elimina totalmente as alucinações, pois muitos problemas reais não têm resposta determinada. Mas é possível evitar alucinações permitindo que o modelo se abstenha e diga “não sei”. A frequência atual decorre de escolhas equivocadas nas avaliações e métricas. O treinamento não pode olhar apenas para acurácia: deve considerar também taxa de erro, taxa de abstenção e calibração da confiança.

Outro artigo sobre arquitetura de produto, [Um guia de arquitetura de agentes de IA para gestores de produto: por que capacidade não significa adoção](https://substack.com/home/post/p-172725542), propõe controles de alucinação na arquitetura a partir da confiança do usuário. Uma conclusão contraintuitiva é que mostrar fraqueza diante da incerteza favorece mais a adoção que errar com convicção. Quando o modelo não sabe, reconhecer isso, abster-se e explicar de forma transparente constrói mais confiança duradoura que um palpite confiante. O autor destaca uma “camada de confiança”: sinais de confiança, transparência do raciocínio, modos de confirmação e permissão, tratamento adequado dos limites e encaminhamento a pessoas.

Minha interpretação, talvez não inteiramente precisa, é que os modelos atuais tendem a “baixa precisão e alta revocação”. Para evitar alucinações e aumentar a confiança, deveríamos treiná-los com um modelo de recompensa orientado a “alta precisão e baixa revocação”. Em outras palavras, primeiro estabilizar a proporção do que é dito corretamente; depois, ampliar o conjunto do que o modelo se dispõe a dizer.

O segundo artigo é [Eliminando o não determinismo na inferência de LLMs](https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference/), da Thinking Machines. É o primeiro resultado público da empresa, fundada no início do ano. Dizem que ela apresentará um grande resultado técnico no quarto trimestre. Também é a última empresa de modelos do Vale do Silício a despertar expectativas amplas.

A explicação dominante para a incerteza da inferência atribui o problema à execução concorrente de kernels da GPU e às somas atômicas. O artigo afirma que, em uma passagem direta típica de um LLM, não há somas atômicas. A causa fundamental é que os kernels são insensíveis ao tamanho e à divisão dos lotes e carecem de invariância de lote, kernel batch-invariant. Ao tornar os operadores centrais — RMSNorm, MatMul e Attention — invariantes ao lote, a mesma entrada pode produzir uma saída idêntica sob qualquer carga concorrente.

A Thinking Machines verificou isso em um experimento com Qwen3. Usou o prompt “Tell me about Richard Feynman”, temperature igual a 0, mil tokens por geração e mil amostras. As mil gerações foram idênticas, com alguma perda de desempenho.

Perguntei à IA o significado prático para aplicações de grandes modelos e recebi estas respostas.

1. Para ajuste fino e melhoria de estratégias de conversas com várias rodadas, é um passo essencial para transformar a pergunta “a estratégia melhorou?” de algo quase místico em engenharia.
2. Respostas consistentes em temperatura zero reduzem bastante a desconfiança causada por respostas diferentes à mesma pergunta, principalmente em fluxos que exigem formulações estáveis, como perguntas e respostas, reescrita de buscas, textos de recomendação, atendimento automático e explicações de controle de risco.
3. Prometer “a mesma entrada gera a mesma saída” é a base da rastreabilidade e da definição de responsabilidade em setores de forte regulação, como finanças, saúde, governo e grandes organizações, que exigem estabilidade, explicabilidade e auditabilidade.