Temperature là gì trong AI?

Mô hình không bao giờ chọn một từ. Nó chọn từ một danh sách

Sau khi đọc prompt của bạn, mô hình ngôn ngữ tạo ra một điểm số cho mọi token trong từ vựng của nó, từ 100.000 đến 200.000 với các mô hình hiện nay, rồi biến các điểm số đó thành xác suất: "lá" 45 phần trăm, "thời tiết" 25, "màu sắc" 15, và cứ thế theo một dải dài. LLM là gì giải thích vì sao nó hoạt động theo cách đó. Sau đó nó rút một token từ danh sách này, gắn vào câu, và lặp lại toàn bộ quá trình.

Temperature được áp dụng giữa bước tính điểm và bước rút mẫu. Mọi điểm số được chia cho temperature trước khi xác suất được tính ra. Chia cho một số dưới 1 thì khoảng cách giữa các điểm nới rộng ra, nên ứng viên yêu thích càng dẫn xa hơn. Chia cho một số trên 1 thì khoảng cách thu hẹp lại, nên phần đuôi dài có cơ hội thực sự. Ở đúng mức 0, phép toán sụp về "luôn lấy điểm cao nhất", đó là lý do 0 được quảng cáo là tất định.

Cái tên này mượn từ vật lý, nơi một chất khí nóng hơn có nhiều hạt chuyển động ngẫu nhiên hơn. Một mô hình nóng hơn có nhiều từ được chọn ngẫu nhiên hơn. Không có gì trong kiến thức của mô hình thay đổi, chỉ có bước rút mẫu thay đổi.

Con số này tác động lên xác suất thế nào, phân tích cụ thể

Lấy một prompt mà mô hình đánh giá từ tiếp theo có năm ứng viên với tỉ lệ 45, 25, 15, 10 và 5 phần trăm. Đó là phân phối ở temperature 1. Áp dụng công thức ở mức 0,5 và 2 thì cùng năm ứng viên đó cho ra kết quả như bên dưới. Các tỉ lệ phần trăm được tính từ công thức, không phải đo thực tế, và hình dạng này đúng với mọi phân phối thực.

Nhìn ứng viên thứ năm qua ba cột: dưới 1 phần trăm, rồi 5, rồi 11. Trên một câu trả lời dài 500 token, xác suất 11 phần trăm mỗi token chọn từ đứng thứ năm dồn lại thành văn bản lan man, bịa đặt và cuối cùng không còn ý nghĩa, đây chính là điều người dùng thấy khi kéo thanh trượt trong playground lên 2. Và nhìn ứng viên đứng đầu: ngay cả ở mức 0,5 nó vẫn thua một trong ba lần rút, vậy nên temperature thấp mang tính ổn định, không phải cố định.

Điểm cuối cùng này quan trọng với từ "tất định". Tài liệu API của Anthropic nói rằng ngay cả ở mức 0, kết quả "sẽ không hoàn toàn tất định", và cảnh báo này là thật: phép toán dấu phẩy động trên phần cứng song song và việc gộp lô phía nhà cung cấp có thể khiến cùng một prompt ở mức 0 vẫn cho ra hai câu trả lời khác nhau. Nếu bạn cần đầu ra giống hệt nhau, hãy lưu nó lại, đừng dựa vào thiết lập này.

Mỗi nhà cung cấp cho phép gì, và mặc định là bao nhiêu

Có ba điểm đáng chú ý. Mọi nhà cung cấp đều mặc định mức 1, nghĩa là lấy mẫu theo xác suất riêng của mô hình, nên câu trả lời bạn nhận được trong một cuộc chat thông thường đã là một trong nhiều khả năng rút mẫu. Thang đo của Anthropic dừng ở 1, nên temperature 1 của Claude là mức trần trong khi 1 của OpenAI là điểm giữa; các con số này không thể so sánh giữa các nhà cung cấp. Và các mô hình reasoning từ chối thiết lập này: OpenAI liệt kê temperature là không được hỗ trợ với dòng o và GPT-5, trả về lỗi nếu bạn gửi nó, còn Anthropic yêu cầu mức 1 bất cứ khi nào extended thinking được bật.

Mức nào hợp với việc nào

Quy tắc chỉ gói trong một câu: thấp hơn cho việc có đáp án đúng, cao hơn cho việc có nhiều đáp án tốt.

Có hai điều cần lưu ý. Temperature không kiểm soát tính đúng đắn. Một mô hình ở mức 0 chọn câu trả lời khả năng cao nhất của nó, và nếu câu trả lời khả năng cao nhất đó sai, nó sẽ sai mọi lần với sự tự tin tuyệt đối, điều mà ảo giác AI là gì giải thích từ góc độ huấn luyện. Và temperature không phải là đòn bẩy cho giọng điệu hay độ dài. Những thứ đó thuộc về phần chỉ dẫn, và prompt engineering cho người mới đã nói về chúng; con số này chỉ quyết định tần suất mô hình mạo hiểm chọn một từ.

Vì sao bạn chưa từng thấy thanh trượt này trong một ứng dụng chat

ChatGPT, ứng dụng Claude, Gemini và Whizi không hiển thị bất kỳ tùy chỉnh temperature nào. Thiết lập này nằm trong các playground và API dành cho nhà phát triển, và không nhà cung cấp nào trong ba nhà cung cấp trên công bố giá trị mà ứng dụng của chính họ dùng. Whizi không gửi giá trị nào, nên mọi mô hình ở đây chạy ở mức mặc định của nhà cung cấp là 1. Lý do là điều đã nói ở trên: mức mặc định vốn đã là thiết lập mà hầu hết công việc cần, và một thanh trượt đặt sai chỗ biến một trợ lý tốt thành một trợ lý tồi mà không có dấu hiệu nào cho biết nút nào gây ra chuyện đó.

Điều một không gian làm việc đa mô hình mang lại thay vào đó là một đòn bẩy lớn hơn. Hai mô hình khác nhau là hai danh sách xác suất khác nhau, và việc chuyển đổi giữa chúng thay đổi câu trả lời nhiều hơn bất kỳ temperature nào. Thói quen thay thế thanh trượt: với việc có một đáp án đúng, hỏi thêm một mô hình thứ hai và chỉ hành động khi chúng đồng ý; với việc có nhiều đáp án tốt, hỏi hai mô hình rồi chọn. Trong Whizi đó là việc đổi mô hình giữa cuộc trò chuyện, và đổi mô hình giữa cuộc trò chuyện nói rõ điều gì được giữ lại.

Nếu bạn thực sự cần nút chỉnh này, nó nằm trong API hoặc playground riêng của nhà cung cấp, theo từng yêu cầu, và các khoảng giá trị trong bảng trên vẫn áp dụng.