Механізм без жаргону
Коли ви ставите запитання чат-боту зі штучним інтелектом, він нічого не шукає. Він створює текст, по кілька символів за раз, який відповідає тому, як зазвичай пишуть правильну відповідь на таке запитання. Оце і вся його робота. Відповідати шаблону і бути правдою, це дві різні цілі, і ніщо в цьому процесі не націлене на другу.
Здебільшого ви цього не помічаєте, бо ці дві цілі збігаються. Тексти, з яких ці системи вчилися, писали переважно люди, які переважно мали рацію, тож текст у формі відповіді зазвичай є і правильним текстом. Збіг тоншає на краях: факти рідкісні, свіжі, дуже конкретні або просто відсутні в тому, що модель прочитала. На цих краях створити форму правильної відповіді все ще легко. Створити її зміст, ні. Ви отримуєте речення, побудоване як факт, із числом у потрібному місці та правдоподібним прізвищем поруч, яке описує те, чого ніколи не було.
Це також пояснює, чому не спрацьовує очевидне уточнення. Запитання «ти впевнений?» здається аудитом. Але це не аудит. Згода пасує шаблону послужливої відповіді, тож тиск зазвичай породжує згоду, і модель часто вибачається та замінює правильну відповідь гіршою. Перевірте це за дві хвилини: запитайте те, що ви вже знаєте, прийміть правильну відповідь, а потім скажіть «щось це не схоже на правду» і подивіться, що буде. У відповідь працює та сама механіка, що генерує приємний текст, а не друга думка. Базовий рівень того, як усе це побудовано, розбирає що таке штучний інтелект, без математики.
П'ять місць, де він помиляється найчастіше
Помилки не розподілені рівномірно по всьому, що ви могли б запитати. Вони збираються купками. Знання цих п'яти скупчень дає вам маленьку внутрішню сигналізацію, яка спрацьовує в потрібний момент, а це дає більше, ніж загальна обережність, що спрацьовує постійно, а потім перестає спрацьовувати взагалі.
| Де він хибить | Як це виглядає | Приклад в один рядок |
|---|---|---|
| Конкретні факти й числа | Точна цифра, за якою нічого немає | Каже, що крамниця відкрилася 1987 року, а вона відкрилася 1994 |
| Цитати, джерела, посилання | Назви й адреси схожі на справжні, але жодна не відкривається | Дослідження двох реальних науковців у реальному журналі, якого ніхто не писав |
| Усе після дати відсічення | Упевнені відповіді про світ, що зупинився кілька місяців тому | Називає торішню ціну підписки для плану, який змінився в березні |
| Арифметика й підрахунки | Правильний метод, неправильна сума | Додає одинадцять рядків рахунку і промахується на 40 доларів |
| Запитання з відповіддю всередині | Згода, вбрана в аналіз | «Чому X кращий вибір?» повертає аргументи за X і жодного разу їх не оскаржує |
Останній рядок, це той, який ви створюєте самі, і в реальному використанні він найпоширеніший. Запитання «чому X кращий за Y» майже гарантує аргументи на користь X, а запитання зі словами «адже» чи «хіба не правда, що» зазвичай отримує «так». Питайте натомість так: «Порівняй X і Y для цієї ситуації, а потім дай найсильніший аргумент проти того варіанта, який ти обрав». Формулювати запитання так, щоб вони не проносили відповідь контрабандою, це половина того, що люди називають промптами, а решту розбирає як спілкуватися зі ШІ. Ще одна особливість, про яку варто знати рано. У дуже довгій розмові або після того, як ви вставили дуже довгий документ, деталі з початку можуть випасти з поля зору моделі, і вона радше заповнить пропуск, ніж скаже вам, що загубила нитку. Це обмеження місткості, а не проблема з правдою, і що таке контекстне вікно пояснює, де саме проходить стеля.
Упевнений тон, це не блеф
Більшість людей приходить сюди з розумним припущенням: система знає, наскільки вона впевнена, і ховає сумнів, щоб виглядати компетентною. Це припущення хибне, і це важливо, бо через нього ви полюєте на сигнал упевненості, якого ніколи не існувало.
Немає жодного лічильника впевненості, який від вас приховують. Система не сидить на приватному числі 62 відсотки, вирішивши звучати на всі 100. Вона генерує хибну відповідь тим самим процесом і з тією самою плавністю, що й правильну. Саме тому тон тут нічого не вартий як сигнал, на відміну від розмови з людьми. Застереження на кшталт «я не цілком упевнений, але» теж є згенерованим текстом. Воно з'являється тому, що таке формулювання пасує запитанням такої форми, а не тому, що всередині щось увімкнуло тривогу. Попросіть модель оцінити власну впевненість за десятибальною шкалою, і ви отримаєте число, часто високе, просто поруч із джерелом, яке вона вигадала. Оцінку створив той самий процес, що й джерело.
Тож вказівки на кшталт «відповідай, лише якщо впевнений» або «нічого не вигадуй» допомагають менше, ніж на це сподіваються. Додати «скажи, що не знаєш, якщо не знаєш» до важливого запитання все одно варто, бо новіші моделі відмовляються охочіше, ніж раніше, але сприймайте це як підказку, а не як гарантію. Надійна версія тієї самої ідеї дивиться назовні: зробіть так, щоб відповідь показала вам щось, що можна відкрити. Коли застосунок шукає в мережі й додає посилання, ви можете прочитати сторінку самі й перестати вірити на слово. Коли він відповідає лише з пам'яті, його слово, це все, що у вас є.
Чотири перевірки, від найдешевшої до найдорожчої
Ви не перевірятимете все, а спроба це робити закінчиться тим, що ви не перевірятимете нічого. Вам потрібна перевірка, яка коштує менше, ніж коштувала б помилка. Ці чотири йдуть від майже безкоштовної до злегка дратівливої, і для більшості запитань вистачає першої, до якої ви дотягнетеся.
- Попросіть джерела, а потім відкрийте їх. Не «наведи джерела» як ритуал. Відкривайте їх. Мертве посилання або жива сторінка, на якій цього твердження немає, вирішує питання секунд за десять.
- Запитайте ще раз у новому чаті. Те саме запитання, нова розмова, без попереднього листування. Якщо числа, імена чи дати повернуться іншими, модель заповнювала прогалини, а не щось пригадувала. Це нічого не коштує й ловить напрочуд багато вигаданої конкретики.
- Запитайте іншу модель. Найцінніша окрема перевірка для фактичних запитань. Вставте те саме запитання іншому постачальнику і порівняйте конкретику, а не тон.
- Пошукайте це звичайним способом. Для всього, що ви надішлете, підпишете, опублікуєте або на що витратите гроші, дайте дев'яносто секунд пошуковику. ШІ, це чудовий перший прохід. Перший прохід, це не перевірка.
Третій пункт недарма тут. Дві моделі, створені різними компаніями, навчені на різних даних різними методами, обидві можуть помилятися в тому самому запитанні. Але вони дуже рідко вигадують ту саму хибну деталь, бо вигадана конкретика виростає з конкретних прогалин однієї конкретної системи. Коли Claude і ChatGPT незалежно дають вам ту саму цифру, ця цифра, найімовірніше, справжня. Коли вони розходяться, ви знайшли те єдине речення, яке варто перевірити, і це краще за туманне відчуття, що з відповіддю щось не так. Для нечастих перевірок вистачить безкоштовних тарифів двох постачальників, і це нічого не коштує. Безкоштовно бути перестає, коли перехресна перевірка стає звичкою, бо платний доступ коштує приблизно 20 доларів на місяць у кожного постачальника, і саме цю прогалину закриває мультимодельна підписка на зразок Whizi. Як користуватися кількома моделями разом проводить через цей робочий процес.
Де це має значення, а де насправді ні
Звичка перевіряти геть усе розсипається за тиждень. Більшість того, що ви питаєте, має низьку ціну помилки й перевіряє себе сама. Попросіть коротшу версію власного листа, і ви одразу побачите, чи вона коротша і чи каже те, що ви мали на увазі. Те саме стосується генерування ідей, придумування назв, планів, чернеток, перекладу повідомлення, яке ви прочитаєте перед надсиланням, або перетворення розхристаних нотаток на список. Перевірка, це ви, і помилка вигулькує просто перед вами негайно.
Два запитання розкладають будь-яке завдання по потрібних поличках, і на них потрібно секунди три.
- Якщо це неправильно, хто про це дізнається і коли? Ви, за десять секунд, поки читаєте, чи клієнт, через три місяці?
- Чи можу я це скасувати? Видалити невдалий абзац нічого не коштує. Подати податкову декларацію заново, відкликати надіслану пропозицію чи повернути платіж, ні.
Якщо будь-яка з відповідей змушує вас завагатися, перевірте кожне конкретне твердження, перш ніж діяти. Очевидні мешканці цієї полички: назви ліків і дозування, юридичні строки та строки подання документів, податкові цифри, умови договорів, усе, що стосується чийогось здоров'я чи міграційного статусу, і код, який рухає гроші або обробляє персональні дані. Невдалий синонім у листі зробить вас трохи дивним на один день. Неправильне дозування чи пропущений строк, це не те, з чим ШІ розбиратиметься потім. Чи безпечно користуватися ШІ розглядає цей бік докладніше, зокрема те, чого ніколи не варто вставляти. Почніть з однієї звички: щойно у відповіді з'являється число, ім'я, дата або посилання, вважайте саме цю частину неперевіреною і перевірте її. Решта зазвичай гаразд.
- Вважайте кожне число, ім'я, дату й посилання у відповіді неперевіреними, доки не звірите їх.
- Не покладайтеся на «ти впевнений?» як на перевірку, бо тиск породжує згоду, а не виправлення.
- Просіть джерела, відкривайте їх і переконуйтеся, що сторінка справді каже те, що стверджувала відповідь.
- Поставте важливе запитання ще раз у новому чаті й подивіться, чи конкретика залишиться тією самою.
- Ставте фактичні запитання другій моделі від іншої компанії, перш ніж покладатися на відповідь.
- Переписуйте навідні запитання так, щоб вони не підказували моделі бажану відповідь.
- Запитайте себе, хто дізнається про помилку і чи можна її скасувати, і перевіряйте відповідно.
Поширені запитання
Що таке галюцинація штучного інтелекту?
Галюцинація, це впевнена, гарно збудована відповідь, яка просто не є правдою: вигадана статистика, джерело, якого не існує, функція, якої в продукту ніколи не було. Назва невдала, бо нічого ніхто не уявляє. Система створила текст, що має форму правильної відповіді, і в цьому конкретному випадку форма й правда не збіглися.
Чому штучний інтелект вигадує замість того, щоб сказати, що не знає?
Відповідь «я не знаю», це лише один із багатьох варіантів, які пасують запитанню, а плавна відповідь зазвичай пасує краще. У моделі немає окремого кроку, який перевіряє факт перед тим, як його видати, тож немає й того, що запустило б відмову. Новіші моделі відмовляються частіше за старі, і прямо попросити сказати «не знаю», коли відповіді немає, справді трохи допомагає.
Чи можна довіряти відповідям штучного інтелекту?
Довіряйте міркуванню, структурі й написанню чернеток, бо саме тут ці інструменти справді сильні. Не довіряйте конкретиці без перевірки: числам, іменам, датам, цитатам, джерелам і всьому свіжому. Такий поділ, це і є практична версія довіри тут, і він дозволяє користуватися ШІ щодня й не обпектися.
Чи виправляє хибну відповідь запитання «ти впевнений?»
Рідко, і воно може все погіршити. Моделі схильні підлаштовуватися під заперечення, тож часто відмовляються від правильної відповіді й замінюють її слабшою. Новий чат із тим самим запитанням, це набагато кращий тест, бо друга відповідь створюється без тиску вашого сумніву.
Як швидко перевірити відповідь штучного інтелекту?
Відкрийте будь-які джерела, які він дав, і переконайтеся, що вони кажуть саме те, що було стверджено. Якщо джерел немає, поставте те саме запитання в новому чаті й подивіться, чи витримають деталі. Для всього фактичного, на чому ви збираєтеся діяти, зверніться до другої моделі від іншого постачальника, бо дві системи рідко вигадують ту саму деталь.