Fine-tuning là gì trong AI?

Fine-tuning là một cú hích nhỏ trên nền một mô hình khổng lồ

Một mô hình ngôn ngữ đến tay bạn đã được huấn luyện sẵn. Quá trình huấn luyện gốc đã đọc một kho ngữ liệu hàng nghìn tỷ token; Meta công bố hơn 15 nghìn tỷ token cho Llama 3. Sau đó, giai đoạn huấn luyện tiếp theo đã huấn luyện nó thành một trợ lý. LLM là gì giải thích cả hai giai đoạn này.

Fine-tuning là một giai đoạn thứ ba, nhỏ hơn nhiều, do chính bạn thực hiện. Bạn đưa cho mô hình vài trăm đến vài nghìn ví dụ về đúng dạng đầu vào và đầu ra bạn muốn, rồi huấn luyện thêm một chút trên những ví dụ đó. Hướng dẫn fine-tuning của OpenAI cho biết cải thiện rõ rệt thường xuất hiện từ 50 đến 100 ví dụ. Các tham số dịch chuyển nhẹ theo hướng mặc định tạo ra kiểu câu trả lời bạn muốn.

Chênh lệch quy mô chính là toàn bộ câu chuyện. Mười lăm nghìn tỷ token so với vài trăm ví dụ: fine-tune không thể bổ sung kiến thức đáng kể, vì lượng dữ liệu đó không đủ để làm thay đổi những gì mô hình biết. Điều nó có thể làm là thay đổi cách mô hình phản hồi, vì một định dạng nhất quán lặp lại vài trăm lần chính là kiểu mẫu mà một cú hích nhỏ có thể nắm bắt được.

Fine-tuning thay đổi cách mô hình trả lời, không bao giờ thay đổi điều nó biết

Ranh giới cần vạch ra là hành vi so với kiến thức.

Thất bại mà người ta hay gặp nằm ở hàng thứ tư. Họ fine-tune trên trang trợ giúp của mình, kỳ vọng có một mô hình biết về sản phẩm. Kết quả là một mô hình viết đúng giọng điệu trang trợ giúp nhưng bịa ra thông tin sản phẩm một cách trơn tru, vì quá trình huấn luyện đã dạy nó hình dạng của câu trả lời chứ không phải nội dung thực chất. Việc cung cấp kiến thức thuộc về truy xuất dữ liệu, và RAG là gì giải thích cách nó hoạt động.

Vì sao fine-tuning được cố tình thực hiện trên mô hình rẻ

Không ai fine-tune mô hình đắt nhất trong một họ mô hình cho một công việc hẹp. Mục đích là để một mô hình nhỏ, rẻ làm được một việc tốt như mô hình đầu bảng làm với một prompt dài, rồi chạy mô hình rẻ đó hàng triệu lần.

Các con số ở mỗi đầu là điểm Artificial Analysis Intelligence Index, ghi nhận ngày 2026-09-17, và đường nối là chênh lệch giá trên một triệu token. Llama 4 Maverick, một mô hình đa dụng, đạt 9 điểm so với 38 điểm của Claude Sonnet 5; canh bạc của fine-tune là trên một tác vụ hẹp, 29 điểm chênh lệch đó có thể được thu hẹp để đổi lấy mức tiết kiệm gấp 127 lần. Theo giá niêm yết của OpenRouter lấy ngày 2026-08-20, một câu trả lời tiêu chuẩn với 1.000 token đầu vào và 500 token đầu ra tốn $0.0006 trên Maverick và $0.007 trên Sonnet 5, theo chỉ số chi phí mô hình AI, nên một bộ phân loại hỗ trợ chạy 100.000 lần mỗi tháng tốn $60 với cái đầu và $700 với cái sau. Nếu Maverick đã fine-tune bằng được Sonnet trên tác vụ đó, khoản đầu tư sẽ hoàn vốn ngay trong tháng đầu. Chính phép tính đó, chứ không phải chất lượng mô hình nói chung, mới là lý do người ta làm fine-tuning.

Phương pháp khiến việc này trở nên rẻ là LoRA, công bố năm 2021, huấn luyện một tập tham số bổ sung nhỏ thay vì toàn bộ mô hình. Với phiên bản kế thừa 4-bit là QLoRA (Dettmers và cộng sự, 2023), một mô hình 7 tỷ tham số có thể fine-tune trên một card đồ họa phổ thông 24 GB duy nhất. Fine-tune toàn bộ cùng một mô hình đó nghĩa là cập nhật mọi tham số trên nhiều GPU trung tâm dữ liệu.

Một prompt, truy xuất dữ liệu hoặc một mô hình khác giải quyết phần lớn trường hợp trước khi cần huấn luyện

Fine-tuning là lựa chọn cuối cùng, không phải đầu tiên, vì mỗi cách sau đây giải quyết các trường hợp phổ biến với công sức chỉ bằng một phần nhỏ và có thể thay đổi trong một phút.

1. Một prompt tốt hơn kèm ví dụ. Ba ví dụ về đầu ra bạn muốn đặt trong prompt mang lại phần lớn lợi ích về định dạng và giọng điệu của một lần fine-tune mà không cần huấn luyện. Kỹ thuật viết prompt cho người mới bắt đầu trình bày mẫu hình này.
2. Truy xuất dữ liệu. Nếu khoảng trống là kiến thức, không lượng fine-tune nào lấp đầy được. Hãy tải tài liệu lên hoặc bật tìm kiếm.
3. Một mô hình khác. Các mô hình khác nhau về giọng điệu mặc định. Một mô hình vốn đã viết theo cách bạn muốn tốt hơn việc fine-tune một mô hình không như vậy; một không gian làm việc đa mô hình biến đây thành một phép thử chỉ một cú nhấp.

Hãy nghĩ đến fine-tuning khi prompt đã dài thành một trang quy tắc mà mô hình cứ quên, khi công việc chạy ở khối lượng đến mức độ dài prompt trở thành tiền thật, hoặc khi bạn cần một định dạng được trả về đáng tin cậy mười nghìn lần mà không sai lệch dù chỉ một lần. Đó là những nhu cầu có thật. Chúng cũng hiếm gặp.

Bạn có thể fine-tune ngay trong một sản phẩm chat không?

Nói chung là không, và Whizi cũng không ngoại lệ. Các sản phẩm chat dành cho người dùng phổ thông, kể cả Whizi, không cung cấp tính năng fine-tuning; đó là tính năng dành cho nhà phát triển trên các API của nhà cung cấp và các mô hình mã nguồn mở. Thứ gần nhất trong một ứng dụng chat là chỉ dẫn cố định. Trong Whizi, chỉ dẫn đó nằm ở cấp dự án: chỉ dẫn tùy chỉnh theo từng dự án áp dụng cho mọi cuộc trò chuyện trong dự án đó, đây là cách bạn có được giọng điệu và định dạng nhất quán trên cả một khối lượng công việc mà không cần huấn luyện gì cả. Cách sử dụng Dự án giải thích cách thiết lập.

Đó là lựa chọn đúng đắn với phần lớn mọi người. Một chỉ dẫn dự án là một prompt bạn viết một lần rồi chỉnh sửa mỗi khi quy tắc thay đổi. Một lần fine-tune là một mô hình bạn phải huấn luyện lại mỗi khi quy tắc thay đổi. Với bất kỳ ai không chạy một tác vụ hẹp ở quy mô lớn, prompt thắng về chi phí, tốc độ thay đổi và việc bạn có thể đọc được nó.

Quy tắc quyết định: fine-tune khi cùng một tác vụ hẹp chạy ở khối lượng đủ lớn để việc một mô hình rẻ tự hoàn vốn thực sự có ý nghĩa. Còn ở mọi trường hợp khác, hãy viết chỉ dẫn ra.