Por que um modelo só não basta
O argumento de sempre para usar vários modelos de IA é que cada um é melhor em alguma coisa, então você deveria escolher o melhor para cada tarefa. É verdade, mas é a razão menos interessante.
A razão melhor é que um modelo não enxerga os próprios pontos cegos. Peça a um modelo para revisar o próprio trabalho e ele quase sempre vai confirmá-lo, porque os mesmos pesos que produziram o erro produziram também a confiança. Pergunte a um modelo diferente, treinado de outro jeito, com outros dados e outros modos de falha, e ele vai notar o que o primeiro não conseguiu. Isso não é truque, é a mesma razão pela qual você pede a um colega para ler o seu e-mail antes de mandar para o cliente.
A segunda razão é prática: a liderança entre os modelos muda o tempo todo. Quem é melhor em programação neste trimestre pode não ser no próximo. Um fluxo de trabalho montado em cima de um único fornecedor precisa ser refeito toda vez que o ranking vira. Um fluxo de trabalho montado sobre a ideia de que você troca de modelo não tem esse problema.
O que vem a seguir são quatro padrões, na ordem do valor que agregam em relação ao esforço. Você não precisa dos quatro. A maioria das pessoas tira quase tudo dos dois primeiros.
Padrão 1: rascunhe e depois critique com outro modelo
O padrão de maior valor, e o que quase ninguém usa. Escreva com um modelo, revise com outro.
Ele funciona porque gerar e avaliar são trabalhos diferentes. Um modelo que produz texto está otimizando para uma continuação coerente. Um modelo que avalia um texto que não escreveu não tem nenhum investimento no argumento, então ele vai dizer que o terceiro parágrafo não se sustenta em vez de passar por cima do problema.
O prompt importa enormemente aqui. Perguntar "o que você achou disso" só rende elogios. Peça isto no lugar:
Você não escreveu o texto abaixo e não tem nenhum interesse nele. Revise como um editor cético. Liste, nesta ordem: 1) qualquer afirmação factual errada, sem apoio ou forte demais, 2) qualquer ponto em que o argumento não se sustenta de fato, 3) o parágrafo mais fraco e exatamente por quê. Não reescreva nada. Não me diga o que está bom.
As três instruções do final é que fazem o trabalho de verdade. "Não reescreva" impede que ele produza uma versão na voz dele, que não é o que você pediu. "Não me diga o que está bom" corta o elogio reflexo que enche a maior parte do feedback de IA. "Você não escreveu isto" é um enquadramento surpreendentemente eficaz, porque impede o modelo de defender escolhas que ele acha que são dele.
Depois leve a crítica de volta ao primeiro modelo, com as partes com que você concorda. Você é o editor decidindo quais observações aceitar, que é exatamente a divisão de trabalho certa.
Onde vale os dois minutos extras: qualquer coisa que vá para um cliente, qualquer coisa pública, qualquer coisa em que errar sai caro. Onde não vale: uma mensagem no Slack, um primeiro esboço, uma lista de compras.
Padrão 2: a checagem de discordância
Isto é o mais perto que existe de um detector confiável de alucinações sem ter que verificar tudo na mão.
Faça a mesma pergunta factual a dois modelos diferentes, de forma independente, com o mesmo prompt. Depois compare. Onde eles concordam, você provavelmente está bem. Onde eles discordam, você achou exatamente o ponto que precisa ser checado.
É essa a técnica inteira, e ela é poderosa porque alucinações costumam não ser compartilhadas. Quando um modelo inventa uma estatística, o nome de um processo, a assinatura de uma função ou uma data, um modelo diferente, treinado de outro jeito, raramente inventa a mesma coisa. Concordância é evidência fraca de que está correto. Discordância é evidência forte de que algo está errado, e ela aponta direto para o problema.
Para qualquer coisa com várias afirmações, faça a comparação trabalhar por você:
Abaixo estão duas respostas para a mesma pergunta, marcadas como A e B. Ignore estilo e extensão. Liste todos os pontos substantivos em que elas discordam, incluindo diferenças de números, datas, nomes e do quanto algo é afirmado com força. Para cada discordância, diga qual é mais provável de estar correta e qual fonte única resolveria a questão.
Você termina com uma lista curta de coisas para checar em vez de um documento longo para verificar inteiro, e essa lista costuma acertar onde estão os problemas.
Dois avisos. Primeiro, os modelos podem compartilhar um erro se ele for comum na internet, então isso pega invenção, e não desinformação disseminada. Segundo, não pule a verificação só porque dois modelos concordaram. Isso reduz o que você precisa checar, não elimina a necessidade de checar.
Use em: estatísticas, afirmações jurídicas e médicas, fatos históricos, detalhes de API, qualquer coisa que possa ser citada em seu nome. Pule em: opinião, trabalho criativo e qualquer coisa em que estar aproximadamente certo já basta.
Padrão 3: encaminhe por tarefa
O padrão óbvio, que vale a pena fazer direito. Mande cada tipo de trabalho para o modelo que é melhor nele, em vez de mandar tudo para aquele que estiver aberto.
| Tarefa | Recorra a | Porque |
|---|---|---|
| Primeiro rascunho de qualquer texto | O modelo de escrita mais forte | Você está pagando para reduzir o tempo de edição |
| Revisão desse rascunho | Um modelo diferente | Olhar novo, outros modos de falha |
| Qualquer coisa sobre esta semana | Um modelo com busca ao vivo | Os dados de treino estão sempre atrasados |
| Um documento ou base de código muito longo | Um modelo de contexto longo | Precisa caber antes de poder ser entendido |
| Lógica difícil, matemática ou um bug complicado | Um modelo de raciocínio com pensamento estendido | Mais lento e muito mais preciso em problemas de várias etapas |
| Trabalho repetitivo em alto volume | Um modelo barato e rápido | Qualidade de ponta é desperdício em classificação e marcação |
| Qualquer coisa sensível | O que atender às suas regras de dados | Capacidade não anula as suas obrigações |
O único hábito que vale construir: pare de usar o padrão automático. A maioria das pessoas usa para tudo o modelo que veio com a assinatura, inclusive em tarefas em que ele é ruim, e conclui que a IA é ruim nessas tarefas. Dez segundos pensando em qual modelo se encaixa mudam mais o resultado do que uma hora ajustando o prompt.
Para a versão completa dessa decisão, veja como escolher um modelo de IA, e o que é uma janela de contexto para entender por que existe a linha do documento longo.
Padrão 4: revezamento com uma passagem escrita
Em trabalhos que passam por várias etapas, o ponto de falha é a lacuna entre as etapas. Você explica o projeto para um modelo, chega a algum lugar útil, depois vai para outro modelo e ou cola um paredão de histórico ou explica tudo de novo, mal explicado.
Resolva isso pedindo a passagem de forma explícita antes de trocar:
Escreva um briefing de passagem para outro assistente que não viu esta conversa. Inclua: o que estamos tentando produzir, decisões já tomadas e por quê, restrições e coisas a evitar, o que já foi tentado e descartado, e exatamente o que eu preciso agora. Seja específico o bastante para que ele consiga continuar sem me fazer nenhuma pergunta.
Isso é útil mesmo quando você não vai trocar de modelo. É a forma mais limpa de escapar de uma conversa longa que ficou lenta e vaga, porque você mantém a substância e joga fora o ruído acumulado. Cole o briefing em um chat novo e a qualidade costuma dar um salto imediato.
Um revezamento realista é assim. Entregue um relatório de 200 páginas a um modelo de contexto longo e peça um resumo estruturado com os dez trechos que importam, citados. Leve esses trechos para um modelo de escrita forte e produza a nota para o cliente. Rode a passagem de crítica do padrão um com um terceiro modelo. Tempo total, uns quinze minutos, e cada etapa usou uma ferramenta adequada a ela.
Quando não vale a pena
Fluxos de trabalho com vários modelos dão trabalho extra, e fingir que não é assim é como as pessoas acabam com um processo elaborado para escrever um e-mail de duas linhas.
Use um modelo só quando: a tarefa é pequena, o custo de errar é baixo, você está explorando em vez de produzir, você está iterando rápido e o atrito quebraria o seu ritmo, ou o trabalho é genuinamente criativo e uma segunda opinião só embaralha a sua voz.
Use dois ou mais quando: o resultado vai para outra pessoa, a precisão factual importa, a tarefa tem etapas distintas que exigem forças diferentes, você travou e precisa de um ângulo realmente diferente, ou você está prestes a tomar uma decisão com base no que o modelo disse.
Uma regra razoável: se você pediria a um colega para dar uma olhada, pergunte a um segundo modelo. Se não pediria, não pergunte.
Colocando em prática
Tudo isso é simples em teoria e chato na prática se cada modelo estiver atrás de uma assinatura diferente. O atrito é real: abas separadas, históricos separados, copiar contexto de um lado para o outro, perder a formatação, e aquela pequena resistência que faz você pular a passagem de crítica justo no dia em que ela era mais necessária.
Esse atrito é exatamente o motivo pelo qual os padrões acima são subutilizados. Eles não são difíceis, só são tediosos o bastante para serem pulados quando você está ocupado.
É para isso que serve um espaço de trabalho com vários modelos. No Whizi, os modelos ficam na mesma conversa, então uma passagem de crítica é trocar o modelo e perguntar, não abrir outro produto e colar o seu rascunho. Um histórico só, uma busca só em tudo o que você já perguntou, uma conta só. Veja como alternar modelos no meio da conversa e como comparar modelos lado a lado para entender como essas duas etapas funcionam na prática.
Se você preferir montar tudo por conta própria com assinaturas separadas, esses padrões continuam funcionando e você deve usá-los mesmo assim. A única coisa que muda é a frequência com que você vai ter paciência para isso. Se você já paga dois ou três planos para tornar isso possível, rode antes a calculadora de economia, porque esse costuma ser o jeito mais caro de chegar ao mesmo resultado.
Comece pelo padrão um. Pegue o próximo texto que você escrever e que outra pessoa vá ler, rode o prompt de crítica em um modelo diferente e veja o que ele encontra. Esse único hábito vale mais do que todo o resto deste artigo.
- Rascunhe com um modelo e critique com outro antes de qualquer coisa sair
- Use o prompt de crítica que proíbe reescrever e proíbe elogiar
- Faça a mesma pergunta factual a dois modelos e cheque todo ponto em que eles divergem
- Encaminhe documentos longos, lógica difícil e perguntas sobre o momento atual para modelos adequados a cada uma
- Peça um briefing de passagem escrito antes de trocar de modelo ou começar um chat novo
- Pule tudo isso em trabalhos pequenos, de baixo risco ou exploratórios
Perguntas frequentes
Por que usar mais de um modelo de IA?
Porque um modelo não enxerga os próprios pontos cegos. Um segundo modelo, treinado de outro jeito, pega erros sobre os quais o primeiro estava confiante. Também significa que o seu fluxo de trabalho não quebra toda vez que um laboratório diferente assume a liderança em alguma tarefa.
Como eu pego alucinações da IA?
Faça a mesma pergunta a dois modelos diferentes, de forma independente, e compare. Fatos inventados raramente são inventados do mesmo jeito duas vezes, então todo ponto em que as respostas discordam é onde você deve verificar. Concordância reduz o que você precisa checar, mas não elimina a necessidade de checar.
Qual modelo deve escrever e qual deve revisar?
Rascunhe com o modelo que exige menos edição para o seu tipo de trabalho, geralmente um modelo de escrita forte, e revise com outro. Quem revisa importa menos do que o fato de ser um modelo diferente, com outros modos de falha.
Usar vários modelos compensa o tempo extra?
Para qualquer coisa que vá para outra pessoa ou pela qual você vá ser cobrado, sim, e a passagem de crítica leva uns dois minutos. Para trabalho rápido, de baixo risco ou exploratório, é um custo extra de que você não precisa. Se você pediria a um colega para checar, pergunte a um segundo modelo.
Preciso de várias assinaturas para fazer isso?
Não. Um espaço de trabalho com vários modelos dá acesso aos principais modelos em um plano só e um histórico só, o que elimina o atrito que faz as pessoas pularem essas etapas. Assinaturas separadas também funcionam, elas só tornam os bons hábitos mais difíceis de manter.