Por que a IA dá respostas erradas, e como perceber antes que isso custe caro

O mecanismo, sem o jargão

Quando você faz uma pergunta a um chatbot de IA, ele não está consultando nada. Ele está produzindo texto, alguns caracteres por vez, que encaixa no padrão de como uma resposta correta para aquela pergunta costuma ser escrita. O trabalho é só esse. Encaixar no padrão e ser verdadeiro são dois alvos diferentes, e nada nesse processo mira o segundo.

Na maior parte do tempo você nem percebe, porque os dois alvos se sobrepõem. O texto com que esses sistemas aprenderam foi escrito em sua maioria por pessoas que quase sempre estavam certas, então um texto com cara de resposta costuma ser também um texto correto. A sobreposição fica fina nas bordas: fatos raros, recentes, muito específicos ou simplesmente ausentes do que o modelo leu. Nessas bordas, produzir o formato de uma resposta certa continua fácil. Produzir o conteúdo de uma não é. O que você recebe é uma frase construída como um fato, com um número no lugar certo e um nome de aparência crível anexado, descrevendo algo que nunca aconteceu.

Isso também explica por que a pergunta óbvia de acompanhamento falha. Perguntar "você tem certeza?" parece uma auditoria. Não é. Concordar encaixa no padrão de uma resposta prestativa, então a pressão tende a produzir concordância, e o modelo muitas vezes pede desculpas e troca uma resposta correta por uma pior. Teste em dois minutos: pergunte algo que você já sabe, aceite a resposta certa, depois diga "isso não me parece certo" e observe. O que volta é a mesma máquina gerando texto agradável, não uma segunda opinião. Para a versão mais básica de como tudo isso é construído, o que a IA é de verdade explica sem matemática.

Os cinco lugares onde ela mais erra

Os erros não se espalham de forma uniforme por tudo o que você pode perguntar. Eles se concentram. Aprender os cinco grupos te dá um pequeno alarme interno que dispara na hora certa, o que vale mais do que uma cautela genérica que dispara o tempo todo e depois para de disparar de vez.

Onde ela escorrega	Como isso aparece	Um exemplo em uma linha
Fatos e números específicos	Um dado preciso sem nada por trás	Diz que uma loja do bairro abriu em 1987 quando abriu em 1994
Citações, trechos, links	Títulos que soam reais, URLs com cara de verdadeiras, nenhuma abre	Um estudo de dois pesquisadores reais, em uma revista real, que nunca foi escrito
Qualquer coisa depois do corte de treinamento	Respostas confiantes sobre um mundo que parou meses atrás	Informa o preço da assinatura do ano passado para um plano que mudou em março
Contas e contagens	Método certo, total errado	Soma onze linhas de uma fatura e erra por 40 dólares
Perguntas que já trazem a resposta	Concordância disfarçada de análise	"Por que X é a melhor escolha?" devolve a defesa de X e nunca questiona

Essa última linha é a que você mesmo causa, e é a mais comum no uso real. Perguntar "por que X é melhor que Y" praticamente garante uma defesa de X, e uma pergunta que contém "com certeza" ou "não é verdade que" costuma receber um sim. Pergunte assim: "Compare X e Y para esta situação, depois me dê o argumento mais forte contra a opção que você escolheu." Formular perguntas de um jeito que elas não contrabandeiem a resposta é metade do que as pessoas chamam de escrever prompts, e como conversar com a IA cobre a outra metade. Mais uma peculiaridade que vale conhecer cedo. Em uma conversa muito longa, ou depois que você cola um documento muito longo, detalhes do começo podem sair do campo de visão do modelo, e ele vai preencher o buraco em vez de avisar que perdeu o fio. Isso é um limite de capacidade, não um problema de verdade, e o que é a janela de contexto explica onde fica esse teto.

O tom confiante não é blefe

A maioria das pessoas chega aqui com uma suposição razoável: a coisa sabe o quanto tem certeza e esconde a dúvida para parecer competente. Essa suposição está errada, e isso importa, porque manda você caçar um sinal de confiança que nunca esteve lá.

Não existe um medidor de confiança sendo escondido de você. O sistema não está guardando um número privado que marca 62 por cento e escolhendo soar como 100. Ele gera uma resposta errada pelo mesmo processo, com a mesma fluência, de uma resposta certa. É exatamente por isso que o tom não vale nada como sinal aqui, de um jeito que não acontece com pessoas. Uma ressalva como "não tenho total certeza, mas" também é texto gerado. Ela aparece porque essa formulação encaixa em perguntas daquele formato, não porque algo lá dentro acendeu um alerta. Peça a um modelo que dê uma nota de zero a dez para a própria confiança e você vai receber um número, muitas vezes alto, bem ao lado de uma citação que ele inventou. A nota saiu do mesmo processo que a citação.

Por isso instruções como "só responda se tiver certeza" ou "não invente nada" ajudam menos do que as pessoas esperam. Acrescentar "diga que não sabe se você não souber" a uma pergunta importante ainda vale a pena, já que os modelos mais novos recusam com mais facilidade do que antes, mas trate isso como um empurrãozinho e não como garantia. A versão confiável dessa ideia aponta para fora: faça a resposta te mostrar algo que você possa abrir. Quando um aplicativo busca na web e anexa links, você pode ler a página com seus próprios olhos e parar de aceitar a palavra dele em qualquer coisa. Quando ele responde só de memória, a palavra dele é tudo o que você tem.

Quatro checagens, da mais barata para a mais chata

Você não vai verificar tudo, e tentar isso termina com você não verificando nada. O que você quer é uma checagem que custe menos do que custaria o erro. Estas quatro vão de quase de graça a levemente irritante, e para a maioria das perguntas a primeira que você pegar já basta.

1. Peça as fontes, depois abra cada uma. Não "cite suas fontes" como ritual. Clique nelas. Um link quebrado, ou uma página que abre mas não contém a afirmação, resolve a questão em uns dez segundos.
2. Pergunte de novo em uma conversa nova. Mesma pergunta, conversa zerada, nada do vai e vem anterior. Se os números, nomes ou datas voltarem diferentes, o modelo estava preenchendo lacunas e não lembrando de nada. Isso não custa nada e pega uma parcela surpreendente dos detalhes inventados.
3. Pergunte a outro modelo. A checagem de maior valor para perguntas factuais. Cole a mesma pergunta em um segundo provedor e compare os detalhes, não o tom.
4. Pesquise do jeito normal. Para qualquer coisa que você vai enviar, assinar, publicar ou pagar, dê noventa segundos em um buscador. A IA é uma excelente primeira passada. Uma primeira passada não é verificação.

O ponto três merece o lugar que tem. Dois modelos feitos por empresas diferentes, treinados com dados diferentes e métodos diferentes, podem errar os dois na mesma pergunta. O que quase nunca acontece é os dois inventarem o mesmo detalhe errado, porque um detalhe fabricado nasce das lacunas específicas de um sistema específico. Quando Claude e ChatGPT te entregam o mesmo número de forma independente, esse número provavelmente é real. Quando eles discordam, você localizou exatamente a frase que vale checar, o que é bem melhor do que uma sensação vaga de que tem algo errado na resposta. Para uma checagem ocasional, os planos gratuitos de dois provedores bastam e não custam nada. Deixa de ser de graça quando o cruzamento vira hábito, já que o acesso pago sai por volta de 20 dólares por mês por provedor, e essa é a distância que uma assinatura multimodelo como o Whizi elimina. Usar vários modelos juntos mostra o passo a passo.

Onde isso importa, e onde realmente não importa

Um hábito de verificação que vale para tudo desmorona em uma semana. A maior parte do que você pergunta é de baixo risco e se confere sozinha. Peça uma versão mais curta do seu próprio e-mail e você consegue ver se ficou mais curta e se continua dizendo o que você queria. O mesmo vale para ter ideias, dar nome às coisas, montar um roteiro, rascunhar, traduzir uma mensagem que você vai ler antes de enviar ou transformar anotações bagunçadas em uma lista. Você é a checagem, e o erro aparece na sua frente na hora.

Duas perguntas colocam qualquer tarefa na caixa certa, e levam uns três segundos para você se fazer.

1. Se isso estiver errado, quem descobre, e quando? Você, daqui a dez segundos enquanto lê, ou um cliente, daqui a três meses?
2. Dá para desfazer? Apagar um parágrafo ruim é de graça. Retificar uma declaração de imposto, cancelar um orçamento já enviado ou estornar um pagamento não é.

Se alguma das duas respostas te fizer hesitar, verifique cada afirmação específica antes de agir. Os membros óbvios dessa caixa: nomes e doses de medicamentos, prazos jurídicos e de entrega de documentos, valores de imposto, cláusulas de contrato, qualquer coisa que toque a saúde ou a situação migratória de alguém, e código que movimenta dinheiro ou lida com dados pessoais. Um sinônimo errado em um e-mail te faz parecer um pouco esquisito por um dia. Uma dose errada ou um prazo perdido não é algo que a IA vai resolver depois. Se é seguro usar IA cobre esse lado com mais profundidade, incluindo o que você nunca deve colar. Comece com um hábito só: no momento em que uma resposta traz um número, um nome, uma data ou um link, trate aquela parte como não verificada e cheque. O resto costuma estar bem.