Como confirmar se uma resposta da IA está errada ou inventada
Para confirmar uma alucinação da IA deve pedir sempre a fonte, cruzar com pesquisa própria e testar a resposta em duas ferramentas diferentes.
Uma resposta de IA está errada ou inventada quando não consegue ser confirmada por uma fonte externa e independente daquela ferramenta. O método prático tem três passos: pedir a fonte concreta, verificar essa fonte fora da IA, e testar a resposta com uma pergunta diferente sobre o mesmo facto. Se os três passos não confirmarem a informação, trata-se de uma alucinação.
O que é, exactamente, uma alucinação de IA
Uma alucinação é uma resposta gerada com total confiança que não corresponde à realidade. O modelo não sabe que está errado. Não existe um sinal visual, um aviso ou uma diferença de tom entre uma resposta certa e uma inventada. A ChatGPT, o Gemini ou o Claude escrevem uma data errada, um artigo de lei que não existe ou uma citação de um livro que nunca foi escrito com a mesma fluência com que escrevem algo verdadeiro. É por isso que “parece bem escrito” não serve como critério.
Passo 1: pedir a fonte específica
Antes de aceitar qualquer facto, número ou citação, pede à IA para indicar a fonte exacta: o nome do documento, o artigo de lei, o link, o autor. Não aceites respostas vagas como “isto é do senso comum” ou “é amplamente conhecido”. Se a IA disser um nome de estudo, pede o ano e o autor. Muitas vezes, ao pedir este detalhe, a própria resposta muda ou o modelo admite que não tem a certeza. Isto já elimina uma parte significativa dos erros óbvios.
Passo 2: verificar essa fonte fora da ferramenta
Este é o passo que mais gente salta e é o mais importante. Abre outro separador, pesquisa no Google o nome do documento, da lei ou do estudo que a IA mencionou. Se não encontrares nada, é sinal de alarme. Se encontrares algo parecido mas com números diferentes, confia nos números da fonte original, não nos da IA. Para factos legais ou fiscais em Portugal, confirma sempre no Diário da República ou no site das Finanças, nunca apenas na resposta do modelo. Para dados técnicos ou preços de ferramentas, confirma no site oficial da própria ferramenta.
Como saber se a IA está a inventar quando não há forma de verificar?
Quando o tema é demasiado nicho, recente ou específico para ter fonte pública, o sinal de alerta é a própria certeza da resposta. Um modelo que não sabe, mas continua a responder com a mesma confiança de sempre, é o padrão mais comum de alucinação. Testa reformulando a pergunta de forma ligeiramente diferente, ou pedindo a mesma informação numa conversa nova, sem contexto anterior. Se a resposta mudar de forma significativa entre as duas tentativas, isso confirma que não há uma base factual sólida por trás, apenas geração de texto plausível.
Que tipos de perguntas geram mais alucinações?
Datas exactas, números precisos, citações literais e referências legais são as categorias mais problemáticas. Perguntas sobre eventos muito recentes também têm mais erros, porque o modelo pode ter uma data de corte de conhecimento e preencher os espaços em branco com suposições. Perguntas abertas de opinião ou de estratégia geral têm menos risco de alucinação, porque não há um facto único certo ou errado para inventar.
Vale sempre a pena fazer esta verificação?
Depende do risco. Um texto de blog sobre um tema genérico tolera um erro pequeno. Um contrato, uma declaração fiscal, um valor a apresentar a um cliente ou uma citação de lei não toleram. A regra prática: quanto mais a resposta puder custar dinheiro, tempo legal ou reputação se estiver errada, mais vale gastar cinco minutos a confirmar a fonte antes de usar.
Na SO-MA implementamos IA em PME todos os dias e a primeira coisa que ensinamos às equipas é a desconfiar por sistema, não por excepção; se quiser perceber onde isto encaixa no seu negócio, veja como trabalhamos implementação de IA.
Perguntas frequentes
Porque é que a IA inventa respostas em vez de dizer que não sabe?
Os modelos de linguagem são treinados para prever a palavra seguinte mais provável, não para verificar factos. Quando não têm informação suficiente sobre um tema, continuam a gerar texto plausível em vez de admitir que não sabem, porque isso é o comportamento estatisticamente mais comum nos dados de treino.
Existe alguma ferramenta que detete alucinações automaticamente?
Há ferramentas experimentais como o SelfCheckGPT ou funcionalidades de verificação em produtos como o Perplexity, mas nenhuma é fiável a 100%. O método mais seguro continua a ser humano: cruzar a resposta com uma fonte independente antes de a usar.
Vale a pena pedir à própria IA para verificar a sua resposta?
Pode ajudar como primeiro filtro, pedindo "tens a certeza disto, cita a fonte", mas o modelo pode simplesmente inventar uma fonte igualmente falsa com a mesma confiança. Serve para detetar erros óbvios, não para confirmar factos importantes.