Vì sao AI trả lời sai, và cách bắt lỗi trước khi bạn trả giá

Cơ chế, bỏ hết thuật ngữ đi

Khi bạn hỏi một chatbot AI, nó không hề tra cứu gì cả. Nó đang tạo ra văn bản, mỗi lần vài ký tự, sao cho khớp với khuôn mẫu của cách người ta thường viết một câu trả lời đúng cho câu hỏi đó. Toàn bộ công việc chỉ có vậy. Khớp khuôn mẫu và đúng sự thật là hai cái đích khác nhau, và không có gì trong quá trình đó nhắm vào cái đích thứ hai.

Phần lớn thời gian bạn chẳng nhận ra, vì hai cái đích đó chồng lên nhau. Văn bản mà những hệ thống này học từ đó chủ yếu do những người chủ yếu đúng viết ra, nên đoạn chữ có dáng dấp một câu trả lời thường cũng là đoạn chữ đúng. Phần chồng lấn mỏng đi ở rìa: những dữ kiện hiếm, mới, rất cụ thể, hoặc đơn giản là vắng mặt trong những gì mô hình đã đọc. Ở những rìa đó, tạo ra hình dạng của một câu trả lời đúng vẫn dễ. Tạo ra nội dung của nó thì không. Thứ bạn nhận được là một câu được dựng như một dữ kiện, với một con số nằm đúng chỗ và một cái tên nghe rất đáng tin gắn kèm, mô tả một chuyện chưa từng xảy ra.

Điều này cũng giải thích vì sao câu hỏi tiếp theo hiển nhiên nhất lại thất bại. Hỏi "bạn chắc chứ?" có cảm giác như một cuộc kiểm toán. Nó không phải vậy. Sự đồng tình khớp với khuôn mẫu của một câu trả lời hữu ích, nên sức ép thường tạo ra sự đồng tình, và một mô hình hay xin lỗi rồi thay câu trả lời đúng bằng một câu tệ hơn. Hãy thử trong hai phút: hỏi một điều bạn đã biết, chấp nhận câu trả lời đúng, rồi nói "nghe không đúng lắm" và quan sát. Thứ quay lại vẫn là cỗ máy đó sản ra văn bản dễ chịu, chứ không phải một ý kiến thứ hai. Về phiên bản nền móng của toàn bộ chuyện này được dựng ra sao, bài AI thực sự là gì nói hết mà không cần toán.

Năm chỗ nó hay sai nhất

Lỗi không rải đều khắp mọi thứ bạn có thể hỏi. Chúng dồn lại thành cụm. Học thuộc năm cụm đó cho bạn một cái chuông báo nhỏ trong đầu, kêu lên đúng lúc, và điều đó đáng giá hơn một cảm giác thận trọng chung chung cứ kêu suốt rồi cuối cùng thôi kêu hẳn.

Chỗ nó trượt	Trông ra sao	Ví dụ một dòng
Dữ kiện và con số cụ thể	Một con số chính xác mà chẳng có gì đằng sau	Nói một cửa hàng gần nhà mở năm 1987 trong khi nó mở năm 1994
Trích dẫn, câu nói, đường liên kết	Tiêu đề nghe thật, URL trông thật, không cái nào mở được	Một nghiên cứu của hai nhà khoa học có thật, trên một tạp chí có thật, mà chưa hề được viết
Bất cứ điều gì sau mốc huấn luyện	Trả lời tự tin về một thế giới đã dừng lại từ mấy tháng trước	Đọc giá gói năm ngoái cho một gói đã đổi hồi tháng Ba
Số học và đếm	Đúng phương pháp, sai tổng	Cộng mười một dòng hóa đơn và lệch mất 40 đô la
Câu hỏi mang sẵn câu trả lời	Sự đồng tình khoác áo phân tích	"Vì sao X là lựa chọn tốt hơn?" trả về lý lẽ cho X và không bao giờ chất vấn nó

Dòng cuối cùng là dòng do chính bạn gây ra, và nó phổ biến nhất trong sử dụng thực tế. Hỏi "vì sao X tốt hơn Y" gần như bảo đảm sẽ ra một bản biện hộ cho X, còn một câu hỏi chứa "chắc chắn là" hay "có phải đúng là" thì thường nhận được một cái gật đầu. Hãy hỏi thế này thay vào đó: "So sánh X và Y cho tình huống này, rồi cho tôi lập luận mạnh nhất phản bác cái mà bạn vừa chọn." Diễn đạt câu hỏi sao cho nó không lén nhét sẵn câu trả lời vào là một nửa của thứ người ta gọi là viết prompt, và bài cách nói chuyện với AI lo nốt nửa còn lại. Còn một điều lạ nữa đáng biết sớm. Trong một cuộc trò chuyện rất dài, hoặc sau khi bạn dán vào một tài liệu rất dài, các chi tiết từ đoạn đầu có thể trôi khỏi tầm nhìn của mô hình, và nó sẽ lấp chỗ trống thay vì nói cho bạn biết là nó mất mạch. Đó là giới hạn dung lượng chứ không phải vấn đề về sự thật, và bài cửa sổ ngữ cảnh là gì giải thích cái trần đó nằm ở đâu.

Giọng tự tin không phải là đòn bịp

Phần lớn mọi người đến đây với một giả định nghe rất hợp lý: cái máy đó biết nó chắc chắn đến đâu và giấu đi phần nghi ngờ để trông có vẻ giỏi giang. Giả định đó sai, và điều này quan trọng, vì nó đẩy bạn đi săn một tín hiệu về độ tự tin vốn chưa bao giờ tồn tại.

Không hề có một đồng hồ đo độ tự tin nào bị giấu đi khỏi bạn. Hệ thống không ngồi ôm một con số riêng ghi 62 phần trăm rồi chọn nói giọng như thể 100. Nó tạo ra câu trả lời sai bằng đúng quá trình đó, với đúng độ trôi chảy đó, như khi tạo ra một câu trả lời đúng. Chính vì thế giọng điệu ở đây vô giá trị như một tín hiệu, theo cách mà với con người thì không phải vậy. Một câu rào đón kiểu "tôi không hoàn toàn chắc, nhưng" cũng là văn bản được sinh ra. Nó xuất hiện vì cách diễn đạt ấy khớp với các câu hỏi có hình dạng đó, chứ không phải vì có thứ gì bên trong vừa bật cảnh báo. Hãy bảo một mô hình tự chấm độ tự tin trên thang mười và bạn sẽ nhận được một con số, thường là số cao, nằm ngay cạnh một trích dẫn mà nó bịa ra. Điểm số đó do cùng quá trình đã sinh ra trích dẫn kia tạo nên.

Vậy nên những chỉ dẫn kiểu "chỉ trả lời nếu bạn chắc chắn" hay "đừng bịa gì cả" giúp ích ít hơn người ta mong. Thêm câu "nếu không biết thì hãy nói là không biết" vào một câu hỏi quan trọng vẫn đáng làm, vì các mô hình mới hơn chịu từ chối dễ dàng hơn trước, nhưng hãy coi đó là một cú hích chứ không phải một bảo đảm. Phiên bản đáng tin cậy của ý tưởng đó hướng ra ngoài: hãy bắt câu trả lời chỉ cho bạn một thứ mà bạn mở ra xem được. Khi một ứng dụng tìm kiếm trên web và đính kèm đường dẫn, bạn tự đọc trang đó và thôi phải tin lời nó về bất cứ điều gì. Khi nó trả lời hoàn toàn từ trí nhớ, lời nó là tất cả những gì bạn có.

Bốn cách kiểm tra, xếp theo mức tốn kém tăng dần

Bạn sẽ không kiểm chứng mọi thứ, và cố làm vậy thì cuối cùng bạn chẳng kiểm chứng gì cả. Thứ bạn cần là một cách kiểm tra tốn ít hơn cái giá của sai lầm. Bốn cách này chạy từ gần như miễn phí tới hơi phiền một chút, và với phần lớn câu hỏi thì cách đầu tiên bạn với tay tới đã đủ.

1. Hỏi nguồn, rồi mở nguồn ra. Không phải kiểu đọc "hãy trích nguồn" như một nghi thức. Hãy bấm vào. Một liên kết chết, hoặc một trang còn sống nhưng không chứa điều được khẳng định, giải quyết xong chuyện trong khoảng mười giây.
2. Hỏi lại trong một cuộc trò chuyện mới. Cùng câu hỏi, cuộc trò chuyện mới, không có phần qua lại trước đó. Nếu các con số, tên hay ngày tháng quay lại khác đi, thì mô hình đang lấp chỗ trống chứ không nhớ ra điều gì. Cách này chẳng tốn gì và bắt được một tỷ lệ đáng ngạc nhiên các chi tiết bịa ra.
3. Hỏi một mô hình khác. Cách kiểm tra giá trị nhất cho các câu hỏi về dữ kiện. Dán cùng câu hỏi sang một nhà cung cấp thứ hai và so sánh các chi tiết cụ thể, đừng so giọng điệu.
4. Tìm kiếm theo cách thông thường. Với bất cứ thứ gì bạn sắp gửi, ký, đăng lên hay tiêu tiền vào, hãy dành cho nó chín mươi giây trên một công cụ tìm kiếm. AI là một lượt rà đầu tiên xuất sắc. Một lượt rà đầu tiên không phải là kiểm chứng.

Điểm thứ ba xứng đáng có chỗ trong danh sách. Hai mô hình do hai công ty khác nhau xây dựng, huấn luyện trên dữ liệu khác nhau bằng phương pháp khác nhau, vẫn có thể cùng sai về một câu hỏi. Nhưng chúng rất hiếm khi bịa ra cùng một chi tiết sai, vì một chi tiết bịa đặt sinh ra từ những lỗ hổng riêng của một hệ thống riêng. Khi Claude và ChatGPT độc lập đưa cho bạn cùng một con số, con số đó nhiều khả năng là thật. Khi chúng bất đồng, bạn đã khoanh trúng đúng câu cần kiểm, và như vậy hơn hẳn một cảm giác mơ hồ rằng có gì đó trong câu trả lời chưa ổn. Để thỉnh thoảng kiểm tra thì bản miễn phí của hai nhà cung cấp là đủ và không tốn gì. Nó thôi miễn phí khi việc đối chiếu chéo trở thành thói quen, vì quyền truy cập trả phí rơi vào khoảng 20 đô la mỗi tháng cho mỗi nhà cung cấp, và đó chính là khoảng trống mà một gói đăng ký đa mô hình như Whizi lấp vào. Bài dùng nhiều mô hình cùng nhau đi qua toàn bộ quy trình.

Chỗ nào quan trọng, và chỗ nào thật sự không

Một thói quen kiểm chứng áp dụng cho mọi thứ sẽ sụp đổ trong vòng một tuần. Phần lớn những gì bạn hỏi đều ít rủi ro và tự kiểm được. Hãy nhờ rút gọn chính email của bạn và bạn thấy ngay nó có ngắn hơn không và có còn nói đúng ý bạn không. Chuyện tương tự với việc nghĩ ý tưởng, đặt tên, lập dàn ý, soạn nháp, dịch một tin nhắn mà bạn sẽ đọc trước khi gửi, hay biến mớ ghi chú lộn xộn thành một danh sách. Bạn chính là người kiểm tra, và lỗi hiện ra ngay trước mắt bạn.

Hai câu hỏi sẽ xếp bất kỳ việc gì vào đúng ngăn của nó, và bạn chỉ mất chừng ba giây để tự hỏi.

1. Nếu chỗ này sai, ai phát hiện ra, và khi nào? Bạn, mười giây nữa trong lúc đọc, hay một khách hàng, ba tháng sau?
2. Tôi có hoàn tác được không? Xóa một đoạn văn dở thì miễn phí. Khai lại thuế, thu hồi một báo giá đã gửi, hay đảo ngược một khoản thanh toán thì không.

Nếu một trong hai câu trả lời khiến bạn khựng lại, hãy kiểm chứng từng khẳng định cụ thể trước khi hành động. Những thành viên rõ ràng của ngăn đó: tên thuốc và liều dùng, hạn chót pháp lý và hạn nộp hồ sơ, con số thuế, điều khoản hợp đồng, bất cứ thứ gì đụng tới sức khỏe hay tình trạng cư trú của một người, và mã nguồn xử lý tiền hoặc dữ liệu cá nhân. Một từ đồng nghĩa dùng sai trong email chỉ khiến bạn hơi kỳ trong một ngày. Một liều thuốc sai hay một hạn chót bị lỡ thì không phải thứ AI dọn dẹp giúp bạn sau đó. Bài dùng AI có an toàn không bàn sâu hơn về phía đó, gồm cả những thứ bạn không bao giờ nên dán vào. Hãy bắt đầu bằng một thói quen: khoảnh khắc một câu trả lời chứa một con số, một cái tên, một ngày tháng hay một đường liên kết, hãy coi riêng phần đó là chưa được kiểm chứng và đi kiểm nó. Phần còn lại thường ổn.