Como avaliar se um novo modelo de IA é realmente melhor para o seu trabalho

Por que os benchmarks de lançamento não respondem à sua pergunta

Todo lançamento de ponta chega com um gráfico mostrando o modelo à frente em um conjunto de avaliações padronizadas. Esses números são reais e também são quase inúteis para decidir o que você deve usar na segunda-feira, por três razões.

As margens são pequenas e as tarefas não são as suas. Uma diferença de dois pontos em um benchmark de raciocínio não diz nada sobre se um modelo escreve um e-mail melhor para o cliente ou mantém um schema com mais confiabilidade ao longo de duzentas linhas.

Os benchmarks medem as tarefas fáceis de pontuar. Coisas com uma resposta certa. A maior parte do trabalho profissional não tem uma: tom, estrutura, julgamento sobre o que deixar de fora. É exatamente aí que os modelos mais se diferenciam e onde nada é medido.

As comparações de lançamento são feitas pelo próprio fornecedor. Não necessariamente de forma desonesta, mas ninguém publica a avaliação em que o seu modelo ficou em segundo lugar.

A pergunta que vale a pena responder é mais estreita: nas tarefas específicas que você faz vinte vezes por semana, qual dos dois é melhor? Isso não tem resposta publicada, e leva cerca de uma hora para descobrir.

O que realmente costuma mudar entre lançamentos

Nos lançamentos recentes de modelos de ponta, as melhorias que importam no uso diário estão consistentemente nas mesmas áreas, e raramente são as destacadas no anúncio.

O que melhorou	Como você percebe	Se o benchmark mostra isso
Aderência às instruções	Ele para de ignorar sua terceira restrição	Raramente
Instruções negativas	"Não use analogias" é realmente obedecido	Não
Recuperação de contexto longo	Ele encontra a informação na página 140, não só na página 3	Parcialmente
Disciplina de formatação	A tabela tem as colunas que você pediu, sempre	Não
Incerteza calibrada	Ele diz que não sabe em vez de inventar	Não
Controle de tom	Menos reescritas antes de algo ficar pronto para enviar	Não
Profundidade de raciocínio	Ele identifica o caso extremo que você deixou passar	Sim, esse é o que eles medem

Cinco dos sete são invisíveis em um gráfico de benchmark e são o motivo de um novo modelo parecer melhor ou pior para trabalhar. A aderência às instruções, em particular, é a diferença entre um primeiro rascunho que você edita e um primeiro rascunho que você descarta.

A avaliação de uma hora

Faça isso em vez de ler a cobertura de lançamento. Rode os dois modelos lado a lado com o seu próprio material.

1. Reúna cinco tarefas reais das últimas duas semanas. Tarefas de verdade, com seu contexto real colado, não prompts de teste. Inclua pelo menos uma tarefa de escrita, uma tarefa de saída estruturada e uma em que você precisou raciocinar sobre algo pouco familiar.
2. Anote o que uma boa resposta deve conter para cada uma, em uma frase, antes de rodar qualquer coisa. Essa é a etapa que evita que você prefira a resposta mais longa e mais confiante, o que é um viés forte e em grande parte inconsciente.
3. Rode cada tarefa nos dois modelos em paralelo, para que uma resposta não influencie a outra.
4. Avalie pelo esforço de edição, ou seja, quanto trabalho existe entre a resposta e algo que você enviaria. Não pela impressão que ela passa.
5. Anote o tamanho da diferença, não só o vencedor. Resultados intercambiáveis indicam que você pode parar de pensar na escolha do modelo para aquela tarefa, o que já é útil por si só.
6. Mantenha o registro. Em três meses, quando o próximo lançamento chegar, você roda de novo as mesmas cinco tarefas e tem uma resposta real em vinte minutos.

Esse último ponto é o que gera efeito cumulativo. Um conjunto de avaliação salvo é a única coisa que torna barato avaliar cada lançamento seguinte.

Seis prompts que separam modelos de ponta

Perguntas genéricas produzem respostas parecidas em qualquer modelo capaz. Se você quer ver uma diferença, coloque pressão em uma capacidade específica.

• Tom sob dificuldade. Escreva um bilhete avisando um cliente que perdemos o prazo. Assuma a responsabilidade sem se desculpar em excesso e sem dar desculpas. Menos de 120 palavras. As diferenças de registro aparecem imediatamente.
• Restrição negativa. Explique [conceito] sem usar nenhuma analogia ou metáfora. A obediência a instruções negativas varia muito mais do que você esperaria.
• Extração estrita. Extraia cada data, valor e parte envolvida em um array JSON com exatamente estas chaves. Se um campo estiver ausente, use null. Não infira. Testa a disciplina de formato e a tendência de preencher lacunas.
• Recuperação de contexto longo. Envie um documento longo e pergunte sobre algo no meio dele. Revela o contexto realmente utilizável, o que não é o mesmo que o contexto anunciado.
• Admitir ignorância. Pergunte sobre algo genuinamente obscuro ou muito recente. A melhor resposta é um claro "não sei" ou uma busca com fontes citadas. Inventar uma resposta aqui desclassifica o modelo, independentemente de qualquer benchmark.
• Conformidade com múltiplas restrições. Dê seis restrições de uma vez e conte quantas sobrevivem. Esse único teste prevê a satisfação no dia a dia melhor do que qualquer outro item da lista.

A resposta costuma ser "os dois, para coisas diferentes"

As pessoas encaram um lançamento querendo um veredito, e a constatação honesta depois de rodar a avaliação quase sempre é dividida. Um modelo vence em escrita e tom. O outro vence em estrutura rígida e velocidade. Em raciocínio geral, os dois ficam próximos o suficiente para isso não decidir nada.

Isso não é uma forma de evitar a resposta, é o resultado real, e tem uma implicação prática. Se você só pode usar um modelo, está escolhendo em qual categoria de tarefa vai ser pior. Se pode usar os dois, a questão do lançamento deixa de ser "devo trocar" e passa a ser "quais tarefas mudam", uma decisão muito menor e com risco muito mais baixo.

Isso também muda o que um lançamento significa para você. Quando novos modelos chegam a um workspace que já tem vários, você roda de novo suas cinco tarefas, ajusta o roteamento e segue em frente. Não há migração, não há assinatura cancelada e não há um mês usando algo pior porque você se comprometeu antes de testar.

O que fazer no dia do lançamento

Não troque seus padrões imediatamente. As impressões da semana de lançamento são dominadas pela novidade e pelos exemplos que circularam primeiro.

Rode de novo o seu conjunto de avaliação. Vinte minutos, se você guardou um da última vez.

Verifique as coisas chatas. Janela de contexto, se seus prompts existentes ainda se comportam da mesma forma e se algo em que você confiava mudou. Um modelo que é melhor em geral pode ser pior no seu template específico, e vale a pena saber disso antes de migrar trabalho de produção para ele.

Atualize o roteamento por tarefa, não de uma vez só. Mova as categorias em que o novo modelo claramente venceu e deixe o resto como está.

Espere quinze dias para conhecer as limitações. Os modos de falha de um novo modelo aparecem em cerca de duas semanas de uso amplo, e raramente estão no anúncio.

Para o framework geral, veja como escolher um modelo de IA, e para a mecânica de rodar dois modelos com um mesmo prompt, veja comparando modelos lado a lado.