Pourquoi l'IA se trompe, et comment le repérer avant que cela vous coûte cher

Le mécanisme, sans le jargon

Quand vous posez une question à un chatbot IA, il ne consulte rien. Il produit du texte, quelques caractères à la fois, qui correspond à la forme qu'une bonne réponse à cette question prend d'habitude. C'est tout son travail. Coller à la forme et dire vrai sont deux cibles différentes, et rien dans le processus ne vise la seconde.

La plupart du temps vous ne remarquez rien, parce que les deux cibles se recouvrent. Les textes dont ces systèmes ont appris ont surtout été écrits par des gens qui avaient surtout raison, donc un texte en forme de réponse est en général aussi un texte correct. Le recouvrement s'amincit sur les bords : les faits rares, récents, très précis, ou simplement absents de ce que le modèle a lu. À ces endroits, produire la forme d'une bonne réponse reste facile. En produire le contenu, non. Vous obtenez alors une phrase construite comme un fait, avec un chiffre à la bonne place et un nom crédible accroché dessus, qui décrit quelque chose qui n'a jamais eu lieu.

Cela explique aussi pourquoi la question de suivi la plus évidente échoue. Demander « tu es sûr ? » donne l'impression d'un contrôle. Ce n'en est pas un. L'accord colle à la forme d'une réponse serviable, donc la pression produit plutôt de l'accord, et un modèle s'excusera souvent pour remplacer une bonne réponse par une moins bonne. Testez en deux minutes : posez une question dont vous connaissez déjà la réponse, acceptez la bonne réponse, puis dites « ça ne me paraît pas juste » et observez. Ce qui revient, c'est la même mécanique qui génère du texte conciliant, pas un second avis. Pour la version de base de la façon dont tout cela est construit, ce qu'est vraiment l'IA l'explique sans maths.

Les cinq endroits où elle se trompe le plus

Les erreurs ne se répartissent pas uniformément sur tout ce que vous pouvez demander. Elles se concentrent. Apprendre les cinq zones vous donne une petite alarme intérieure qui se déclenche au bon moment, ce qui vaut mieux qu'une méfiance générale qui sonne en permanence, puis ne sonne plus du tout.

Où ça dérape	À quoi ça ressemble	Un exemple en une ligne
Faits et chiffres précis	Un chiffre exact sans rien derrière	Dit qu'une boutique a ouvert en 1987 alors que c'était en 1994
Citations, sources, liens	Titres crédibles, URL plausibles, aucune ne s'ouvre	Une étude de deux vrais chercheurs, dans une vraie revue, jamais écrite
Tout ce qui suit sa date limite	Réponses assurées sur un monde arrêté il y a des mois	Donne le prix de l'an dernier pour une offre modifiée en mars
Calcul et comptage	Bonne méthode, mauvais total	Additionne onze lignes de facture et se trompe de 40 dollars
Questions qui portent leur réponse	De l'accord déguisé en analyse	« Pourquoi X est-il le meilleur choix ? » plaide pour X sans jamais le remettre en cause

Cette dernière ligne, c'est vous qui la provoquez, et c'est la plus fréquente dans la vraie vie. Demander « pourquoi X est-il meilleur que Y » garantit presque un plaidoyer pour X, et une question contenant « c'est bien vrai que » ou « n'est-ce pas que » obtient en général un oui. Demandez plutôt ceci : « Compare X et Y pour cette situation, puis donne-moi le meilleur argument contre celui que tu as choisi. » Formuler ses questions pour qu'elles ne glissent pas la réponse à l'intérieur, c'est la moitié de ce que les gens appellent le prompt, et comment parler à l'IA couvre l'autre moitié. Une autre particularité mérite d'être connue tôt. Dans une conversation très longue, ou après avoir collé un très long document, des détails du début peuvent sortir du champ de vision du modèle, et il comblera le trou au lieu de vous dire qu'il a perdu le fil. C'est une limite de capacité plutôt qu'un problème de vérité, et ce qu'est une fenêtre de contexte explique où se situe le plafond.

Le ton assuré n'est pas du bluff

La plupart des gens arrivent ici avec une hypothèse raisonnable : la machine saurait à quel point elle est sûre et cacherait le doute pour avoir l'air compétente. Cette hypothèse est fausse, et cela compte, parce qu'elle vous envoie chercher un signal de confiance qui n'a jamais existé.

Il n'y a pas de jauge de confiance qu'on vous cacherait. Le système n'est pas assis sur un chiffre privé affichant 62 pour cent en choisissant de sonner comme 100. Il génère une mauvaise réponse par le même processus, avec la même aisance, qu'une bonne. C'est précisément pour cela que le ton ne vaut rien comme signal ici, contrairement à ce qui se passe avec les humains. Une précaution du type « je n'en suis pas totalement certain, mais » est elle aussi du texte généré. Elle apparaît parce que cette formulation colle aux questions de ce genre, pas parce que quelque chose à l'intérieur a déclenché une alerte. Demandez à un modèle de noter sa propre confiance sur dix et vous obtiendrez un chiffre, souvent élevé, posé juste à côté d'une source qu'il vient d'inventer. La note a été produite par le même processus que la source.

Des consignes comme « ne réponds que si tu es certain » ou « n'invente rien » aident donc moins qu'on ne l'espère. Ajouter « dis-moi que tu ne sais pas si tu ne sais pas » à une question importante reste utile, car les modèles récents refusent plus volontiers qu'avant, mais traitez cela comme un coup de pouce et pas comme une garantie. La version fiable de cette idée regarde vers l'extérieur : faites en sorte que la réponse vous montre quelque chose que vous pouvez ouvrir. Quand une application cherche sur le web et joint des liens, vous pouvez lire la page vous-même et cesser de la croire sur parole. Quand elle répond de mémoire seule, sa parole est tout ce que vous avez.

Quatre contrôles, du moins coûteux au plus coûteux

Vous n'allez pas tout vérifier, et essayer finira par ne rien vérifier du tout. Ce qu'il vous faut, c'est un contrôle qui coûte moins cher que l'erreur. Ces quatre-là vont de presque gratuit à légèrement pénible, et pour la plupart des questions le premier suffit.

1. Demandez les sources, puis ouvrez-les. Pas « cite tes sources » comme un rituel. Cliquez dessus. Un lien mort, ou une page en ligne qui ne contient pas l'affirmation, règle la question en une dizaine de secondes.
2. Reposez la question dans une nouvelle conversation. Même question, discussion neuve, sans les échanges précédents. Si les chiffres, les noms ou les dates reviennent différents, le modèle comblait des trous au lieu de se souvenir de quoi que ce soit. Cela ne coûte rien et attrape une part surprenante des détails inventés.
3. Posez la question à un autre modèle. Le contrôle le plus rentable pour les questions factuelles. Collez la même question chez un second fournisseur et comparez les détails précis, pas le ton.
4. Cherchez de façon classique. Pour tout ce que vous allez envoyer, signer, publier ou payer, accordez quatre-vingt-dix secondes à un moteur de recherche. L'IA est un excellent premier passage. Un premier passage n'est pas une vérification.

Le point trois mérite sa place. Deux modèles conçus par des entreprises différentes, entraînés sur des données différentes avec des méthodes différentes, peuvent tous les deux se tromper sur la même question. Ils inventent en revanche très rarement le même détail faux, parce qu'un détail fabriqué sort des trous particuliers d'un système particulier. Quand Claude et ChatGPT vous donnent chacun de leur côté le même chiffre, ce chiffre est probablement réel. Quand ils divergent, vous avez repéré la phrase exacte qui mérite un contrôle, ce qui vaut mieux qu'une vague impression que quelque chose cloche. Pour un contrôle occasionnel, les offres gratuites de deux fournisseurs suffisent et ne coûtent rien. Cela cesse d'être gratuit dès que le recoupement devient une habitude, puisque l'accès payant tourne autour de 20 dollars par mois et par fournisseur, et c'est justement l'écart que comble un abonnement multimodèle comme Whizi. Utiliser plusieurs modèles ensemble détaille la méthode.

Là où cela compte, et là où cela ne compte vraiment pas

Une habitude de vérification qui s'applique à tout s'effondre en une semaine. La plupart de ce que vous demandez est à faible enjeu et se contrôle tout seul. Demandez une version plus courte de votre propre e-mail et vous voyez tout de suite si elle est plus courte et si elle dit toujours ce que vous vouliez dire. Idem pour chercher des idées, nommer des choses, faire un plan, rédiger un brouillon, traduire un message que vous relirez avant de l'envoyer, ou transformer des notes en désordre en liste. C'est vous le contrôle, et l'erreur apparaît devant vous immédiatement.

Deux questions rangent n'importe quelle tâche dans la bonne catégorie, et il faut environ trois secondes pour se les poser.

1. Si c'est faux, qui s'en aperçoit, et quand ? Vous, dans dix secondes en lisant, ou un client, dans trois mois ?
2. Puis-je revenir en arrière ? Supprimer un mauvais paragraphe ne coûte rien. Refaire une déclaration d'impôts, rattraper un devis parti ou annuler un paiement, si.

Si l'une des deux réponses vous fait hésiter, vérifiez chaque affirmation précise avant d'agir. Les membres évidents de cette catégorie : noms de médicaments et posologies, délais légaux et dates de dépôt, chiffres fiscaux, clauses de contrat, tout ce qui touche à la santé ou au statut de séjour de quelqu'un, et le code qui déplace de l'argent ou manipule des données personnelles. Un synonyme mal choisi dans un e-mail vous fait passer pour légèrement bizarre pendant une journée. Une mauvaise posologie ou un délai raté, ce n'est pas l'IA qui s'en occupera après coup. L'IA est-elle dangereuse creuse ce côté-là, y compris ce qu'il ne faut jamais y coller. Commencez par une seule habitude : dès qu'une réponse contient un chiffre, un nom, une date ou un lien, traitez cette partie précise comme non vérifiée et contrôlez-la. Le reste est en général correct.