چرا هوش مصنوعی اشتباه می‌کند، و چطور پیش از ضرر زدن مچش را بگیریم

چرا هوش مصنوعی پاسخ اشتباه می‌دهد؟ توضیحی ساده از اینکه توهم چیست، پنج جایی که خطاها در آن‌ها تجمع می‌کنند، و چهار بررسی که پیش از عمل کردن آن‌ها را می‌گیرد.

سازوکار، بدون اصطلاحات فنی

وقتی از یک چت‌بات هوش مصنوعی پرسشی می‌پرسید، دارد چیزی را جستجو نمی‌کند. دارد متنی تولید می‌کند، هر بار چند نویسه، که با الگوی نحوهٔ نوشته شدن یک پاسخ درست به آن پرسش جور دربیاید. کل کارش همین است. جور درآمدن با الگو و راست بودن دو هدف متفاوت‌اند، و هیچ چیزی در این فرایند هدف دوم را نشانه نرفته است.

بیشتر اوقات اصلاً متوجه نمی‌شوید، چون این دو هدف روی هم می‌افتند. متنی که این سامانه‌ها از آن یاد گرفتند بیشتر به دست آدم‌هایی نوشته شده بود که بیشتر اوقات درست می‌گفتند، پس متنی که شکل پاسخ دارد معمولاً متن درستی هم هست. این هم‌پوشانی در حاشیه‌ها نازک می‌شود: واقعیت‌هایی که نادر، تازه، بسیار خاص یا اصلاً غایب از خوانده‌های مدل‌اند. در آن حاشیه‌ها، تولید شکلِ یک پاسخ درست هنوز آسان است. تولید محتوای آن نه. چیزی که می‌گیرید جمله‌ای است ساخته‌شده مثل یک واقعیت، با عددی در جای درست و نامی باورپذیر چسبیده به آن، که چیزی را توصیف می‌کند که هرگز رخ نداده است.

این توضیح می‌دهد چرا آن پرسش تکمیلی بدیهی شکست می‌خورد. پرسیدن «مطمئنی؟» حس یک بازرسی را دارد. بازرسی نیست. موافقت با الگوی یک پاسخ کمک‌کننده جور درمی‌آید، پس فشار معمولاً موافقت تولید می‌کند، و مدل اغلب عذرخواهی می‌کند و یک پاسخ درست را با پاسخی بدتر عوض می‌کند. در دو دقیقه امتحانش کنید: چیزی را بپرسید که از قبل می‌دانید، پاسخ درست را بپذیرید، بعد بگویید «این درست به نظر نمی‌رسد» و تماشا کنید. چیزی که برمی‌گردد همان ماشینِ تولید متن موافق است، نه یک نظر دوم. برای روایت پایه‌ای از اینکه همهٔ این‌ها چطور ساخته شده، هوش مصنوعی واقعاً چیست بدون ریاضیات پوششش می‌دهد.

پنج جایی که بیشتر از همه اشتباه می‌کند

خطاها به‌طور یکنواخت روی هر چیزی که ممکن است بپرسید پخش نشده‌اند. تجمع می‌کنند. یادگرفتن این پنج خوشه به شما یک زنگ خطر کوچک درونی می‌دهد که در لحظهٔ درست به صدا درمی‌آید، و این از یک احتیاط کلی که مدام شلیک می‌کند و بعد کلاً از کار می‌افتد ارزشمندتر است.

کجا می‌لغزدچه شکلی استیک مثال یک‌خطی
واقعیت‌ها و اعداد مشخصرقمی دقیق که هیچ چیزی پشتش نیستمی‌گوید یک مغازهٔ محلی سال ۱۹۸۷ باز شد، در حالی که ۱۹۹۴ باز شده
ارجاع‌ها، نقل‌قول‌ها، لینک‌هاعنوان‌هایی که واقعی به نظر می‌رسند و نشانی‌هایی که هیچ‌کدام باز نمی‌شوندپژوهشی از دو پژوهشگر واقعی در نشریه‌ای واقعی که هرگز نوشته نشد
هر چیزی پس از تاریخ قطع آموزشپاسخ‌های مطمئن دربارهٔ جهانی که ماه‌ها پیش متوقف شدقیمت اشتراک پارسال را می‌گوید برای پلنی که در مارس عوض شد
حساب و شمارشروش درست، جمع غلطیازده ردیف فاکتور را جمع می‌زند و ۴۰ دلار خطا دارد
پرسش‌هایی که پاسخشان را با خود می‌آورندموافقتی که لباس تحلیل پوشیده«چرا X انتخاب بهتری است؟» استدلال به نفع X را برمی‌گرداند و هرگز زیر سؤالش نمی‌برد

ردیف آخر همان است که خودتان می‌سازیدش، و در استفادهٔ واقعی رایج‌ترین است. پرسیدن «چرا X بهتر از Y است» تقریباً تضمین می‌کند که استدلالی به نفع X بگیرید، و پرسشی که در آن «قطعاً» یا «مگر این‌طور نیست که» آمده معمولاً بله می‌گیرد. به جایش این را بپرسید: «X و Y را برای این وضعیت مقایسه کن، بعد قوی‌ترین استدلال علیه هرکدام را که انتخاب کردی بیاور.» طوری پرسیدن که پرسش پاسخ را قاچاقی با خود نیاورد، نیمی از چیزی است که مردم به آن prompt‌نویسی می‌گویند، و چگونه با هوش مصنوعی صحبت کنیم نیمهٔ دیگرش را پوشش می‌دهد. یک ویژگی دیگر هم هست که خوب است زود بدانید. در یک گفتگوی خیلی طولانی، یا بعد از اینکه سندی خیلی بلند را می‌چسبانید، جزئیات ابتدای کار می‌توانند از دید مدل بیرون بروند، و به جای اینکه بگوید رشتهٔ کلام را گم کرده، جای خالی را پر می‌کند. این یک محدودیت ظرفیت است نه یک مشکل صداقت، و پنجرهٔ زمینه چیست توضیح می‌دهد سقف کجاست.

لحن مطمئن یک بلوف نیست

بیشتر مردم با یک فرض معقول به اینجا می‌رسند: این چیز می‌داند چقدر مطمئن است و تردیدش را پنهان می‌کند تا توانا به نظر برسد. این فرض غلط است، و اهمیت دارد، چون شما را به شکار نشانه‌ای از اطمینان می‌فرستد که اصلاً وجود نداشته است.

هیچ درجهٔ اطمینانی وجود ندارد که از شما دریغ شده باشد. سامانه روی عددی خصوصی ننشسته که ۶۲ درصد را نشان می‌دهد و انتخاب کند که ۱۰۰ درصد به نظر برسد. پاسخ غلط را با همان فرایند و با همان روانی تولید می‌کند که پاسخ درست را. دقیقاً به همین دلیل لحن اینجا به‌عنوان یک نشانه بی‌ارزش است، برخلاف آدم‌ها. عبارت محتاطانه‌ای مثل «کاملاً مطمئن نیستم، اما» هم متن تولیدشده است. ظاهر می‌شود چون آن عبارت با پرسش‌هایی از آن شکل جور درمی‌آید، نه چون چیزی در درون هشداری را فعال کرده باشد. از یک مدل بخواهید اطمینان خودش را از ده نمره بدهد و عددی خواهید گرفت، اغلب عددی بالا، درست کنار ارجاعی که از خودش درآورده است. آن نمره را همان فرایندی ساخت که ارجاع را ساخت.

پس دستورهایی مثل «فقط اگر مطمئنی جواب بده» یا «چیزی از خودت درنیاور» کمتر از آنچه مردم امید دارند کمک می‌کنند. افزودن «اگر نمی‌دانی بگو نمی‌دانم» به یک پرسش مهم هنوز ارزش انجام دادن دارد، چون مدل‌های تازه‌تر راحت‌تر از گذشته پاسخ ندادن را می‌پذیرند، اما آن را یک تلنگر بدانید نه یک تضمین. نسخهٔ قابل‌اتکای همین ایده رو به بیرون دارد: کاری کنید که پاسخ چیزی را نشانتان بدهد که بتوانید بازش کنید. وقتی برنامه‌ای وب را جستجو می‌کند و لینک پیوست می‌کند، می‌توانید خودتان صفحه را بخوانید و دیگر حرف آن را برای هیچ چیزی نپذیرید. وقتی فقط از حافظه پاسخ می‌دهد، حرفش تنها چیزی است که دارید.

چهار بررسی، به ترتیب کم‌هزینه‌ترین

قرار نیست همه چیز را راستی‌آزمایی کنید، و تلاش برای این کار به جایی می‌رسد که هیچ چیزی را راستی‌آزمایی نمی‌کنید. آنچه می‌خواهید بررسی‌ای است که کمتر از خودِ اشتباه هزینه بردارد. این چهار تا از تقریباً رایگان تا کمی آزاردهنده مرتب شده‌اند، و برای بیشتر پرسش‌ها همان اولی که سراغش می‌روید کافی است.

۱. منبع بخواهید، بعد بازشان کنید. نه «منابعت را ذکر کن» به‌عنوان یک آیین. رویشان کلیک کنید. یک لینک مرده، یا صفحه‌ای زنده که آن ادعا در آن نیست، ماجرا را در حدود ده ثانیه فیصله می‌دهد.

۲. در یک چت تازه دوباره بپرسید. همان پرسش، گفتگوی جدید، بدون هیچ‌کدام از رفت‌وبرگشت‌های قبلی. اگر اعداد، نام‌ها یا تاریخ‌ها متفاوت برگردند، مدل داشت جای خالی را پر می‌کرد نه چیزی را به یاد می‌آورد. این هیچ هزینه‌ای ندارد و سهم شگفت‌آوری از جزئیات ساختگی را می‌گیرد.

۳. از مدلی دیگر بپرسید. ارزشمندترین بررسی برای پرسش‌های واقعیت‌محور. همان پرسش را نزد ارائه‌دهنده‌ای دوم بچسبانید و جزئیات را مقایسه کنید، نه لحن را.

۴. به شکل معمولی جستجویش کنید. برای هر چیزی که می‌فرستید، امضا می‌کنید، منتشر می‌کنید یا برایش پول خرج می‌کنید، نود ثانیه در یک موتور جستجو وقت بگذارید. هوش مصنوعی یک مرور اول عالی است. مرور اول راستی‌آزمایی نیست.

نکتهٔ سوم جایش را حق دارد. دو مدل ساختهٔ دو شرکت متفاوت، آموزش‌دیده روی داده‌های متفاوت با روش‌های متفاوت، می‌توانند هر دو دربارهٔ یک پرسش اشتباه کنند. اما به‌ندرت یک جزئیات غلط یکسان را از خود درمی‌آورند، چون یک جزئیات جعلی از شکاف‌های خاص یک سامانهٔ خاص بیرون می‌آید. وقتی Claude و ChatGPT مستقل از هم همان رقم را به شما می‌دهند، آن رقم احتمالاً واقعی است. وقتی اختلاف دارند، دقیقاً همان جمله‌ای را پیدا کرده‌اید که ارزش بررسی دارد، و این از یک حس مبهم که چیزی در پاسخ ایراد دارد بهتر است. برای بررسی‌های گاه‌به‌گاه، نسخه‌های رایگان دو ارائه‌دهنده کافی‌اند و هزینه‌ای ندارند. اما وقتی مقایسهٔ متقابل به یک عادت تبدیل شود دیگر رایگان نیست، چون دسترسی پولی برای هر ارائه‌دهنده حدود ۲۰ دلار در ماه است، و همین شکافی است که اشتراک چندمدلی مثل Whizi آن را می‌بندد. استفاده از چند مدل با هم این روند کار را مرور می‌کند.

کجا مهم است، و کجا واقعاً نیست

عادت راستی‌آزمایی‌ای که به همه چیز اعمال شود ظرف یک هفته فرو می‌ریزد. بیشتر چیزهایی که می‌پرسید کم‌خطر و خودبررس‌اند. نسخهٔ کوتاه‌تر ایمیل خودتان را بخواهید و می‌بینید کوتاه‌تر شده یا نه و هنوز همان منظور را می‌رساند یا نه. همین دربارهٔ ایده‌پردازی، نام‌گذاری، طرح‌ریزی، پیش‌نویس‌نویسی، ترجمهٔ پیامی که پیش از فرستادن می‌خوانید، یا تبدیل یادداشت‌های به‌هم‌ریخته به یک فهرست هم صدق می‌کند. خودِ شما بررسی‌کننده‌اید، و اشتباه بی‌درنگ جلوی چشمتان ظاهر می‌شود.

دو پرسش هر کاری را در سطل درست جا می‌دهند، و پرسیدنشان از خودتان حدود سه ثانیه طول می‌کشد.

۱. اگر این غلط باشد، چه کسی می‌فهمد و کِی؟ خود شما، ده ثانیهٔ بعد موقع خواندنش، یا یک مشتری، سه ماه بعد؟

۲. می‌توانم برش گردانم؟ حذف یک بند بد رایگان است. اصلاح اظهارنامهٔ مالیاتی، پس گرفتن یک پیشنهاد قیمت یا برگرداندن یک پرداخت نه.

اگر هر کدام از این دو پاسخ شما را به مکث وا داشت، پیش از عمل کردن هر ادعای مشخص را راستی‌آزمایی کنید. اعضای روشن آن سطل: نام و دُز داروها، مهلت‌های حقوقی و اداری، ارقام مالیاتی، شرایط قرارداد، هر چیزی که به سلامت یا وضعیت اقامت کسی مربوط می‌شود، و کدی که پول جابه‌جا می‌کند یا داده‌های شخصی را مدیریت می‌کند. یک مترادف غلط در ایمیل باعث می‌شود یک روز کمی عجیب به نظر برسید. یک دُز غلط یا یک مهلت از دست رفته چیزی نیست که هوش مصنوعی بعدش با آن سروکله بزند. آیا هوش مصنوعی امن است آن سوی ماجرا را عمیق‌تر پوشش می‌دهد، از جمله چیزهایی که هرگز نباید بچسبانید. با یک عادت شروع کنید: لحظه‌ای که پاسخی حاوی عدد، نام، تاریخ یا لینک است، فقط همان بخش را راستی‌آزمایی‌نشده بدانید و بررسی‌اش کنید. بقیه‌اش معمولاً مشکلی ندارد.

فهرست بررسی
  • با هر عدد، نام، تاریخ و لینک در یک پاسخ تا وقتی بررسی‌اش نکرده‌اید مثل چیزی راستی‌آزمایی‌نشده رفتار کنید.
  • «مطمئنی؟» را به‌عنوان آزمون کنار بگذارید، چون فشار به جای اصلاح، موافقت تولید می‌کند.
  • منبع بخواهید، بازشان کنید و مطمئن شوید صفحه واقعاً همان چیزی را می‌گوید که پاسخ ادعا کرد.
  • یک پرسش مهم را در چتی تازه دوباره بپرسید و ببینید جزئیاتش ثابت می‌مانند یا نه.
  • پیش از تکیه بر پرسش‌های واقعیت‌محور، آن‌ها را به مدلی دیگر از شرکتی دیگر بدهید.
  • پرسش‌های جهت‌دار را طوری بازنویسی کنید که به مدل نگویند چه پاسخی می‌خواهید.
  • بپرسید اگر این غلط باشد چه کسی می‌فهمد و آیا برگشت‌پذیر است، بعد به همان اندازه راستی‌آزمایی کنید.

پرسش‌های متداول

توهم هوش مصنوعی چیست؟

توهم یک پاسخ مطمئن و خوش‌ساخت است که صرفاً راست نیست: آماری ساختگی، ارجاعی که وجود ندارد، ویژگی‌ای که محصولی هرگز نداشته. این نام مناسبی نیست، چون چیزی تصور نمی‌شود. سامانه متنی تولید کرد که با الگوی یک پاسخ درست جور درمی‌آمد، و در آن مورد الگو و حقیقت روی هم نیفتادند.

چرا هوش مصنوعی به جای گفتن نمی‌دانم چیزی از خودش درمی‌آورد؟

گفتن «نمی‌دانم» فقط یکی از پاسخ‌های بسیاری است که با یک پرسش جور درمی‌آید، و یک پاسخ روان معمولاً بهتر جور درمی‌آید. مدل مرحلهٔ جداگانه‌ای ندارد که پیش از تولید، واقعیتی را بررسی کند، پس چیزی نیست که خودداری را فعال کند. مدل‌های تازه‌تر بیشتر از قدیمی‌ها پاسخ ندادن را می‌پذیرند، و مستقیم خواستن یک «نمی‌دانم» وقتی چیزی نمی‌داند کمی کمک می‌کند.

آیا می‌توان به پاسخ‌های هوش مصنوعی اعتماد کرد؟

به استدلال، ساختار و پیش‌نویس‌نویسی اعتماد کنید، که این ابزارها واقعاً در آن‌ها قوی‌اند. به جزئیات بدون بررسی اعتماد نکنید: اعداد، نام‌ها، تاریخ‌ها، نقل‌قول‌ها، ارجاع‌ها و هر چیز تازه. همین تفکیک، نسخهٔ عملی اعتماد در اینجاست، و به شما اجازه می‌دهد هر روز از هوش مصنوعی استفاده کنید بدون آنکه ضرر ببینید.

آیا پرسیدن «مطمئنی؟» یک پاسخ غلط را درست می‌کند؟

به‌ندرت، و می‌تواند اوضاع را بدتر کند. مدل‌ها تمایل دارند با مخالفت شما راه بیایند، پس اغلب یک پاسخ درست را رها می‌کنند و پاسخ ضعیف‌تری جایش می‌گذارند. یک چت تازه با همان پرسش آزمون بسیار بهتری است، چون پاسخ دوم بدون فشار تردید شما تولید می‌شود.

چطور سریع یک پاسخ هوش مصنوعی را بررسی کنم؟

هر منبعی را که داده باز کنید و مطمئن شوید همان چیزی را می‌گوید که ادعا شده. اگر منبعی نیست، همان پرسش را در چتی تازه بپرسید و ببینید جزئیات دوام می‌آورند یا نه. برای هر موضوع واقعیت‌محوری که قرار است بر پایه‌اش عمل کنید، آن را به مدلی از ارائه‌دهنده‌ای دیگر بدهید، چون دو سامانه به‌ندرت یک جزئیات یکسان را جعل می‌کنند.