Por que a IA inventa fatos, e o que fazer com isso
Por que a IA inventa fatos?
Um modelo de linguagem não consulta nada. Ele prevê o próximo trecho de texto que melhor encaixa no que veio antes, então uma citação inventada sai do mesmo mecanismo que produz uma correta. O modelo não tem nenhum sinal interno que separe as duas. Por isso a correção nunca é pedir mais cuidado. A correção é entregar a fonte e conferir a resposta contra ela.
O que o modelo está fazendo quando responde
Quando você pergunta, nada é buscado. Não há índice sendo consultado, não há registro sendo aberto. O modelo produz texto um fragmento por vez, e cada fragmento é escolhido porque encaixa no que veio antes — o jeito como você formulou a pergunta, o formato dos documentos com que ele foi treinado, a frase que ele mesmo acabou de escrever.
Um número de processo real e um número de processo inventado são, para esse mecanismo, o mesmo tipo de objeto: uma continuação plausível. Os dois parecem número de processo. Os dois caem bem depois de "conforme decidido em". O modelo não está mentindo, porque mentir exige saber a verdade e escolher contra ela. Ele está produzindo o texto que melhor encaixa, e encaixar não é a mesma coisa que ser verdade.
É por isso que a falha assusta tanto de fora. A resposta inventada chega no mesmo tom, na mesma velocidade, com a mesma firmeza da resposta correta. A confiança do texto não diz nada sobre a precisão dele, porque confiança nunca foi o que estava sendo medido.
Alucinação, na literatura de pesquisa, é conteúdo gerado que não faz sentido ou que é infiel ao material de origem que o modelo recebeu. A revisão da ACM Computing Surveys sobre alucinação em geração de linguagem natural trata o fenômeno como propriedade estrutural do jeito como esses sistemas geram texto, não como defeito de um produto específico. Essa distinção importa para você: significa que nenhum fornecedor está a uma versão de distância de desligar isso.
Por que "não invente nada" não muda nada
Escrever "seja preciso, não invente" no prompt parece um controle. Não é. A instrução vira mais texto no mesmo contexto e influencia o estilo da resposta — que é exatamente o problema. A resposta ganha linguagem mais cuidadosa. Ela não ganha fatos mais cuidadosos.
Dá para ver isso em um minuto. Peça algo que não existe: uma cláusula de uma norma que nunca foi escrita, uma decisão sobre um caso que você acabou de inventar. Um modelo sem material de apoio quase sempre vai produzir alguma coisa. E vai parecer real, porque parecer real é o trabalho inteiro para o qual ele foi treinado.
Os três controles que funcionam de verdade
Entregue a fonte. Cole o contrato, a decisão, a norma contábil, a política interna. Quando a resposta precisa sair de um documento que você forneceu, o modelo tem a que ser fiel e você tem contra o que conferir. Trabalhar da memória do modelo é o que produz a citação inventada; trabalhar de um documento que você deu é outra tarefa.
Peça o trecho, não a conclusão. Em vez de "esse contrato permite rescisão antecipada", peça "transcreva literalmente as cláusulas que tratam de rescisão e diga se não houver nenhuma". Uma transcrição se confere em segundos com um Ctrl+F. Uma conclusão não se confere de jeito nenhum.
Coloque uma pessoa no ponto de consequência. Não em cada passo, o que ninguém sustenta, mas no momento em que aquilo sai da sua mão: antes de ir para o cliente, antes de ser protocolado, antes de virar decisão. O AI Risk Management Framework do NIST organiza esse raciocínio em torno de uma pergunta simples — para que esse sistema está sendo usado e quem se machuca se ele errar. Um rascunho de e-mail e uma peça protocolada são a mesma tecnologia e riscos completamente diferentes.
O que isso significa para quem assina embaixo
A virada de chave é pequena. Trate o modelo como um júnior rápido que leu uma quantidade enorme de coisa e lembra de tudo com imprecisão, nunca como fonte de referência. Você não protocolaria o parecer de um júnior sem ler. Mas deixaria esse júnior ler quarenta páginas e apontar quais três importam — e é aí que está a maior parte do valor.
Quem se queima não é quem usa IA. É quem moveu uma tarefa para a IA sem mover a conferência junto. A conferência sempre esteve ali; ela só era invisível, embutida no trabalho de quem fazia à mão.