توهم هوش مصنوعی چیست؟

توهم پاسخی محتمل است که از قضا نادرست است

از یک مدل زبانی شماره صفحه نقل‌قولی را بپرسید از کتابی که درباره‌اش خوانده اما هرگز آن را ندیده، و مدل به شما شماره صفحه‌ای می‌دهد. نمی‌گوید «نمی‌توانم این را بدانم». عدد به‌درستی قالب‌بندی شده، در جمله‌ای قرار دارد که مانند بقیه ارجاعات داده‌های آموزشی‌اش به نظر می‌رسد، و کاملا ساختگی است.

این همان توهم است: بیانی روان و مطمئن که هیچ واقعیتی پشتش نیست. این واژه یک استعاره است و کمی هم گمراه‌کننده، چون هیچ چیزی خراب نشده. از مدل خواسته شده محتمل‌ترین ادامه یک ارجاع را بسازد و همین کار را هم کرده. در پرسشی که محتمل‌ترین‌به‌نظر‌رسیدن پاسخ همان پاسخ درست هم هست، که اکثر پرسش‌ها چنین‌اند، همین فرایند است که مدل را مفید می‌کند.

شکل‌هایی که به خود می‌گیرد قابل پیش‌بینی است: منابع و آدرس‌های اینترنتی ساختگی، آمار بی‌سند، نقل‌قول‌هایی که به افراد واقعی نسبت داده شده اما هرگز نگفته‌اند، ویژگی‌هایی از یک محصول که وجود ندارند، و ادعاهای حقوقی یا پزشکی که به‌عنوان واقعیت قطعی بیان می‌شوند. چرا هوش مصنوعی اشتباه می‌کند هر نوع را با جزئیات بررسی می‌کند؛ این صفحه درباره این است که چرا اصلا رخ می‌دهند.

چرا مدلی که کل اینترنت را خوانده باز هم چیزهایی از خودش می‌سازد

دو مکانیزم، و روی هم انباشته می‌شوند.

مدل پیش‌بینی می‌کند، بازیابی نمی‌کند. یک مدل زبانی هیچ فهرستی از واقعیت‌ها ندارد. هر چیزی که خوانده در پارامترهایش فشرده شده، و در زمان پاسخ‌دهی، متن را توکن به توکن از همان فشرده‌سازی دوباره تولید می‌کند و هر توکن را بر اساس احتمال انتخاب می‌کند. وقتی پاسخ درست در داده‌های آموزشی رایج بوده، ادامه محتمل همان پاسخ درست است. وقتی نادر، غایب یا متناقض بوده، مدل باز هم باید یک توکن انتخاب کند و توکنی محتمل را برمی‌گزیند. مدل زبانی بزرگ (LLM) چیست معماری را توضیح می‌دهد؛ خلاصه‌اش این است که هیچ مرحله‌ای وجود ندارد که مدل از خودش بپرسد آیا جمله‌ای که می‌نویسد واقعی است یا نه.

آموزش مدل حدس زدن را پاداش می‌دهد. در سپتامبر 2025، OpenAI مقاله‌ای با عنوان «چرا مدل‌های زبانی دچار توهم می‌شوند» منتشر کرد که استدلال می‌کند معیارهایی که برای نمره‌دهی به مدل‌ها استفاده می‌شوند، پاسخ اشتباه و پاسخ خالی را یکسان، یعنی صفر، نمره می‌دهند، در حالی که یک حدس شانسی نمره کامل می‌گیرد. مدلی که بر اساس این نمره‌دهی بهینه شده، همان درسی را می‌آموزد که یک دانش‌آموز در آزمون چهارگزینه‌ای بدون جریمه پاسخ اشتباه می‌آموزد: همیشه حدس بزن. پیشنهاد این مقاله تغییر نحوه نمره‌دهی است، طوری که «نمی‌دانم» ارزش بیشتری از یک اشتباه مطمئن داشته باشد.

دو پرونده دادگاهی که برای یک توهم رقم دلاری تعیین کردند

پرونده Mata علیه Avianca، نیویورک، 2023. دو وکیل لایحه‌ای ثبت کردند که به شش رأی دادگاه که ChatGPT تولید کرده بود استناد داشت. هیچ‌کدام از آن شش رأی وجود نداشت. قاضی در ژوئن 2023 این وکلا را به پرداخت $5,000 جریمه محکوم کرد و آن‌ها را وادار کرد به قضاتی که آرای ساختگی به آن‌ها نسبت داده شده بود نامه بنویسند. تصاویر ضمیمه‌شده به شهادت‌نامه وکیل نشان می‌دهد که او از ChatGPT پرسیده آیا این پرونده‌ها واقعی هستند، و ChatGPT تأیید کرده که بله واقعی‌اند.

پرونده Moffatt علیه Air Canada، بریتیش کلمبیا، 2024. ربات گفت‌وگوی وب‌سایت Air Canada به مشتری‌ای گفته بود می‌تواند بلیت تمام‌بها برای یک مراسم تشییع جنازه بخرد و بعدا تخفیف عزاداری بگیرد. سیاست واقعی شرکت هواپیمایی دقیقا برعکس بود. وقتی Air Canada استدلال کرد که ربات گفت‌وگو یک نهاد حقوقی جداگانه و مسئول سخنان خودش است، دیوان حل اختلافات مدنی (Civil Resolution Tribunal) در فوریه 2024 این استدلال را رد کرد و شرکت هواپیمایی را به پرداخت C$812.02 محکوم کرد.

هیچ‌کدام از این مدل‌ها خراب نبودند. هرکدام محتمل‌ترین‌به‌نظر‌رسیدن پاسخ را به پرسشی دادند که پاسخ درستش در دسترسشان نبود. هزینه‌اش روی دوش کسی افتاد که بررسی نکرد.

توهم یکی از چهار نوع خطاست، و راه‌حل‌ها با هم فرق دارند

مردم این واژه را برای هر پاسخ اشتباهی به کار می‌برند، و همین باعث می‌شود این حقیقت پنهان بماند که این چهار خطای رایج چهار علت متفاوت دارند.

فقط ردیف اول واقعا توهم به معنای دقیق کلمه است. ردیف‌های دوم و سوم مشکلات پایه‌سازی هستند و عمدتا با دادن چیزی برای خواندن به مدل حل می‌شوند. ردیف چهارم مشکل پرسش است. رفتار کردن با هر چهار مورد به‌عنوان یک عیب مرموز واحد، مردم را به سمت راه‌حل اشتباه می‌برد، معمولا «از یک مدل بزرگ‌تر استفاده کن»، که کمترین کمک را برای ردیف اول دارد.

بررسی دومدلی، و هزینه‌اش

قابل‌اعتمادترین عادت برای نوع دقیق توهم این است که همان پرسش را از یک مدل دوم و متفاوت هم بپرسی و مقایسه کنی. دو مدل از دو آزمایشگاه متفاوت، با داده‌های متفاوت آموزش دیده و با پساآموزش متفاوت، به‌ندرت همان منبع ساختگی را اختراع می‌کنند. توافق شاهد ضعیفی است که واقعیت درست باشد. اختلاف نظر نشانه‌ای قوی است برای بررسی کردن پیش از اقدام.

دلیل اینکه این کار جواب می‌دهد جایی که «از همان مدل بخواه دوباره بررسی کند» جواب نمی‌دهد این است: یک بار دیگر پردازش با همان مدل، همان پیش‌بینی‌کننده است که دوباره از همان فشرده‌سازی حدس می‌زند. مدل متفاوت یعنی فشرده‌سازی متفاوت.

نظر دوم لازم نیست از یک مدل گران بیاید. طبق شاخص هوشمندی Artificial Analysis، ترکیبی از معیارهای عمومی استدلال، کدنویسی و دانش که در 2026-09-17 خوانده شده، DeepSeek V4 Flash امتیاز 40 می‌گیرد و به ازای هر پیام 1 کردیت Whizi هزینه دارد؛ Claude Sonnet 5 امتیاز 38 می‌گیرد و 10 کردیت هزینه دارد. خط نقطه‌چین همان مرز است، بهترین امتیاز در هر قیمت، و هر نقطه روی آن از یک آزمایشگاه متفاوت است. یک بررسی متقابل از دو آزمایشگاه با 1 و 10 کردیت، جمعا 11 کردیت می‌شود، و نمای کنارهم یک پرسش را روی یک صفحه به هر دو می‌فرستد. وکلای پرونده Mata علیه Avianca برای بررسی‌ای که انجام ندادند، $5,000 پرداختند.

چه چیزی توهم را کاهش می‌دهد، به ترتیب میزان تأثیر

1. پایه‌سازی. جست‌وجوی وب، سندی آپلودشده، یا منبعی چسبانده‌شده، کار را از «به‌خاطر آوردن» به «خواندن و خلاصه کردن» تبدیل می‌کند، کاری که مدل‌ها بسیار قابل‌اعتمادتر انجام می‌دهند. این بزرگ‌ترین کاهش است و یک تنظیم محصول است، نه یک ترفند پرسش‌نویسی.
2. یک مدل دوم. آموزش متفاوت، خطاهای متفاوت. بیشتر جزئیات ساختگی را می‌گیرد.
3. درخواست منبع و بازکردن آن‌ها. مدلی که از او خواسته شود منبع بدهد، منبع می‌دهد؛ بررسی این است که آیا آن منبع وجود دارد و همان چیزی را می‌گوید که پاسخ ادعا می‌کند.
4. اجازه گفتن نه. «اگر مطمئن نیستی، بگو» محتمل‌ترین ادامه را تغییر می‌دهد، پس در پرسش‌های سخت، مدل بیشتر امتناع می‌کند تا اینکه چیزی اختراع کند.
5. مدل بزرگ‌تر. مدل‌های پیشرفته در دانش عمومی کمتر از مدل‌های کوچک دچار توهم می‌شوند، اما این فاصله دقیقا جایی که مهم است، یعنی در واقعیت‌های نادر و مشخص، کمترین اندازه را دارد.

ترتیب همان نکته اصلی است. اغلب افراد اول سراغ مورد پنجم می‌روند، در حالی که ضعیف‌ترین اهرم این فهرست است.