Comment évaluer un nouveau modèle d'IA pour votre travail

Pourquoi les benchmarks de lancement ne répondront pas à votre question

Chaque sortie de modèle de pointe arrive avec un graphique le montrant en tête sur un ensemble d'évaluations standardisées. Ces chiffres sont réels, et ils sont aussi quasiment inutiles pour décider ce que vous devriez utiliser lundi, pour trois raisons.

Les écarts sont faibles et les tâches ne sont pas les vôtres. Une différence de deux points sur un benchmark de raisonnement ne vous dit rien sur le fait qu'un modèle rédige un meilleur email client ou tient mieux un schéma sur deux cents lignes.

Les benchmarks mesurent les tâches faciles à noter. Des choses qui ont une bonne réponse. La plupart du travail professionnel n'en a pas : le ton, la structure, le jugement sur ce qu'il faut omettre. C'est justement là que les modèles diffèrent le plus, et là où rien n'est mesuré.

Les comparaisons de lancement sont faites par le fournisseur. Pas forcément de façon malhonnête, mais personne ne publie l'évaluation où son modèle arrive deuxième.

La question qui mérite une réponse est plus étroite : sur les tâches précises que vous faites vingt fois par semaine, lequel des deux est meilleur ? Cela n'a pas de réponse publiée, et il faut environ une heure pour le découvrir.

Ce qui tend réellement à changer d'une version à l'autre

Sur les récentes sorties de modèles de pointe, les améliorations qui comptent au quotidien se trouvent systématiquement dans les mêmes domaines, et ce sont rarement celles mises en avant dans l'annonce.

Ce qui s'est amélioré	Comment vous le remarquez	Si le benchmark le montre
Respect des instructions	Il arrête d'ignorer votre troisième contrainte	Rarement
Instructions négatives	« Ne pas utiliser d'analogies » est réellement respecté	Non
Rappel de contexte long	Il retrouve l'élément à la page 140, pas seulement à la page 3	Partiellement
Discipline de mise en forme	Le tableau a les colonnes demandées, à chaque fois	Non
Incertitude calibrée	Il dit qu'il ne sait pas au lieu d'inventer	Non
Contrôle du ton	Moins de réécritures avant qu'un texte soit envoyable	Non
Profondeur de raisonnement	Il repère le cas limite que vous avez raté	Oui, c'est celui-là qu'ils mesurent

Cinq de ces sept éléments sont invisibles dans un graphique de benchmark, et c'est pourquoi un nouveau modèle donne une meilleure ou moins bonne impression à l'usage. Le respect des instructions, en particulier, fait toute la différence entre un premier jet que vous modifiez et un premier jet que vous jetez.

L'évaluation d'une heure

Faites cela plutôt que de lire la couverture médiatique du lancement. Exécutez les deux modèles côte à côte sur votre propre matériel.

1. Rassemblez cinq tâches réelles des deux dernières semaines. De vraies tâches, avec votre contexte réel collé dedans, pas des prompts jouets. Incluez au moins une tâche d'écriture, une tâche de sortie structurée, et une où vous aviez besoin de raisonner sur quelque chose de peu familier.
2. Notez à quoi ressemble une bonne réponse pour chacune, en une phrase, avant de lancer quoi que ce soit. C'est l'étape qui vous empêche de préférer la réponse la plus longue et la plus assurée, un biais fort et largement inconscient.
3. Exécutez chaque tâche sur les deux modèles en parallèle, pour qu'aucune réponse ne soit ancrée par l'autre.
4. Évaluez l'effort d'édition, c'est-à-dire le travail nécessaire entre la sortie et quelque chose que vous enverriez. Pas la façon dont le texte se lit.
5. Notez l'ampleur de l'écart, pas seulement le vainqueur. Des résultats interchangeables vous indiquent d'arrêter de vous soucier du choix du modèle pour cette tâche, ce qui est réellement utile.
6. Conservez le journal. Dans trois mois, quand la prochaine version sortira, vous relancez les cinq mêmes tâches et obtenez une vraie réponse en vingt minutes.

Ce dernier point est celui qui s'accumule. Un ensemble d'évaluation conservé est la seule chose qui rend chaque nouvelle sortie facile à évaluer.

Six prompts qui distinguent les modèles de pointe

Les questions générales produisent des réponses similaires chez n'importe quel modèle compétent. Pour voir une différence, mettez la pression sur une capacité précise.

• Le ton sous la difficulté. Rédige une note informant un client que nous avons manqué la date limite. Assume la responsabilité sans excès d'excuses et sans justifications. Moins de 120 mots. Les différences de registre apparaissent immédiatement.
• La contrainte négative. Explique [concept] sans utiliser aucune analogie ni métaphore. Le respect des instructions négatives varie bien plus que ce à quoi on s'attendrait.
• L'extraction stricte. Extrait chaque date, montant et partie dans un tableau JSON avec exactement ces clés. Si un champ est absent, utilise null. Ne déduis rien. Teste la discipline de format et la tendance à combler les vides.
• Le rappel de contexte long. Téléversez un long document et posez une question sur quelque chose au milieu. Révèle le contexte réellement exploitable, ce qui n'est pas la même chose que le contexte annoncé.
• Admettre l'ignorance. Posez une question sur quelque chose de véritablement obscur ou très récent. La meilleure réponse est un « je ne sais pas » clair ou une recherche sourcée. Inventer une réponse ici est disqualifiant, quel que soit le benchmark.
• Le respect de contraintes multiples. Donnez six contraintes à la fois et comptez combien survivent. Ce seul test prédit la satisfaction au quotidien mieux que tout le reste de la liste.

La réponse est généralement « les deux, pour des choses différentes »

Les gens abordent une sortie en voulant un verdict, et le constat honnête après avoir mené l'évaluation est presque toujours partagé. Un modèle gagne sur l'écriture et le ton. L'autre gagne sur la structure stricte et la vitesse. Ils sont suffisamment proches en raisonnement général pour que cela ne tranche rien.

Ce n'est pas une esquive, c'est le résultat réel, et cela a une implication pratique. Si vous ne pouvez utiliser qu'un seul modèle, vous choisissez la catégorie de tâche où vous serez moins bon. Si vous pouvez utiliser les deux, la question du lancement cesse d'être « dois-je changer » et devient « quelles tâches basculent », une décision bien plus modeste et moins risquée.

Cela change aussi ce qu'une sortie signifie pour vous. Quand de nouveaux modèles arrivent dans un espace de travail qui en compte déjà plusieurs, vous relancez vos cinq tâches, ajustez votre routage, et continuez. Il n'y a ni migration, ni abonnement annulé, ni mois passé à utiliser quelque chose de moins bon parce que vous vous étiez engagé avant de tester.

Que faire le jour du lancement

Ne changez pas vos réglages par défaut immédiatement. Les impressions de la première semaine sont dominées par la nouveauté et par les exemples qui ont circulé en premier.

Relancez votre ensemble d'évaluation. Vingt minutes si vous en avez conservé un de la dernière fois.

Vérifiez les points ennuyeux. La fenêtre de contexte, si vos prompts existants se comportent toujours de la même façon, et si quelque chose sur lequel vous comptiez a changé. Un modèle meilleur en général peut être moins bon sur votre modèle spécifique, et cela vaut la peine de le savoir avant de déplacer du travail de production dessus.

Mettez à jour le routage par tâche, pas en bloc. Déplacez les catégories où le nouveau modèle l'emporte clairement et laissez le reste.

Attendez quinze jours pour connaître les limites. Les modes d'échec d'un nouveau modèle apparaissent après environ deux semaines d'usage large, et ils sont rarement dans l'annonce.

Pour le cadre général, voir comment choisir un modèle d'IA, et pour la mécanique consistant à exécuter deux modèles sur un même prompt, voir comparer les modèles côte à côte.