Một bài báo năm 2017 đã thay thế hồi quy bằng attention
Vào tháng 6 năm 2017, tám nhà nghiên cứu, phần lớn làm việc tại Google, đã công bố một bài báo mang tên "Attention Is All You Need". Bài báo đề xuất một mạng dùng để dịch câu, loại bỏ hoàn toàn các lớp hồi quy mà mọi người vẫn dùng và chỉ giữ lại một phép toán duy nhất, attention, được xếp chồng lên nhau nhiều lần. Mô hình cơ bản có 65 triệu tham số và vượt qua các hệ thống dịch Anh sang Đức tốt nhất trước đó trong khi huấn luyện chỉ tốn một phần nhỏ thời gian.
Ý tưởng chính nằm ngay trong tiêu đề. Các mạng ngôn ngữ trước đây đọc câu từng token một, mang theo một bản tóm tắt chạy dần về sau, nên từ thứ hai mươi chỉ biết được từ đầu tiên thông qua những gì còn sót lại sau mười chín bước nén thông tin. Một transformer đọc toàn bộ chuỗi cùng một lúc. Mỗi token hỏi mọi token khác "bạn liên quan đến tôi như thế nào", gán trọng số cho chúng, rồi xây dựng ý nghĩa của mình từ câu trả lời đó. Từ "bank" có thể chú ý đến "river" hoặc "account" và mang nghĩa khác nhau mỗi lần.
Chín năm sau, chính thiết kế đó, được mở rộng quy mô, là thứ đang trả lời khi bạn gõ vào ChatGPT. GPT là viết tắt của generative pretrained transformer. Claude, Gemini, Llama, DeepSeek và Qwen cũng đều là transformer, chỉ là cái tên bị bỏ bớt vì không còn gì khác để so sánh nữa.
Attention là một phép tra cứu có trọng số, và mỗi token thực hiện một lần mỗi lớp
Lấy câu "The trophy did not fit in the suitcase because it was too big." Để xác định "it" nghĩa là gì, người đọc nhìn lại "trophy" và "suitcase" rồi chọn từ nào hợp lý với "too big". Attention chính là phép tra cứu đó, được thực hiện bằng các con số.
Mỗi token được chuyển thành ba vector: một query (tôi đang tìm gì), một key (tôi có gì để cung cấp) và một value (tôi đóng góp gì nếu được chọn). Token "it" so sánh query của nó với key của mọi token khác, nhận được một điểm liên quan cho từng token, chuyển các điểm đó thành trọng số có tổng bằng một, rồi cộng các value lại theo các trọng số đó. Biểu diễn mới của nó chủ yếu là "trophy" cộng thêm một chút của mọi thứ khác. Mô hình thực hiện việc này song song cho mọi token, trong nhiều "head" độc lập học cách theo dõi các mối quan hệ khác nhau, và lặp lại điều này qua hàng chục lớp xếp chồng.
Hai hệ quả trực tiếp xuất hiện từ đây. Vì mọi token được xử lý trong cùng một bước, cả lớp chạy như một phép nhân ma trận lớn duy nhất, đúng thứ mà GPU được thiết kế để làm, và mô hình cơ bản trong bài báo đã huấn luyện xong trong mười hai giờ trên tám GPU. Và vì mỗi token so sánh với mọi token khác, chi phí của một lớp tăng theo bình phương độ dài chuỗi: gấp đôi số token thì khối lượng tính toán attention tăng gấp bốn.
Vì sao bình phương lại là con số xuất hiện trên hóa đơn của bạn
Chi phí bậc hai đó chính là lý do cửa sổ ngữ cảnh là thông số các nhà cung cấp cạnh tranh với nhau, và vì sao dùng nó không hề miễn phí. Một mô hình chấp nhận 1.000.000 token phải thực hiện attention trên một lưới điểm liên quan kích thước một triệu nhân một triệu, ở mọi head, mọi lớp, và các kỹ thuật giúp điều đó trở nên khả thi về chi phí (các mẫu thưa, cửa sổ trượt, các biến thể attention rẻ hơn, và việc lưu cache key và value của các token trước đó để lượt hỏi tiếp theo không phải làm lại) chính là lý do một cửa sổ 1.000.000 token được tính phí theo token thay vì bị từ chối phục vụ.
Trong bảng chi phí mô hình AI, 47 trong số 100 dòng có giá đều mang cửa sổ 1.000.000 token trở lên, tăng từ 512 token ở GPT-1 và 2.048 token ở GPT-3. Mọi mô hình trong số đó vẫn tính phí theo token đầu vào, vì mỗi token bạn gửi là một hàng trong lưới đó. Một tài liệu 300.000 token được hỏi mười câu hỏi tương đương 3 triệu token đầu vào, và token trong AI là gì định giá điều đó ở mức $6 trên Claude Sonnet 5. Kiến trúc chính là thứ giải thích cho hóa đơn.
Nó cũng giải thích kiểu lỗi thường gặp. Một transformer không có bộ nhớ ngoài cửa sổ của nó. Điều gì không nằm trong chuỗi thì không tồn tại đối với nó, đó là lý do một cuộc trò chuyện dài sẽ quên mất phần đầu, và đó cũng là lý do truy xuất, chủ đề của RAG là gì, tồn tại để đưa đúng các token cần thiết trở lại.
Encoder, decoder hay cả hai: hình dạng quyết định mô hình dùng để làm gì
Mô hình năm 2017 có hai nửa: một encoder đọc câu nguồn và một decoder viết bản dịch. Gần như mọi mô hình từ đó về sau chỉ giữ lại một nửa.
| Hình dạng | Chức năng | Được huấn luyện để | Ví dụ |
|---|---|---|---|
| Chỉ encoder | Đọc văn bản và tạo ra biểu diễn của nó | Điền vào các từ bị che | BERT (2018), các mô hình embedding đứng sau tìm kiếm |
| Chỉ decoder | Viết văn bản từng token một | Dự đoán token tiếp theo | GPT, Claude, Gemini, Llama, DeepSeek, Qwen |
| Cả encoder và decoder | Đọc một chuỗi, viết ra một chuỗi khác | Dịch hoặc chuyển đổi | Mô hình gốc năm 2017, T5 |
Các mô hình chat bạn đang dùng đều chỉ là decoder. Lựa chọn đó, được GPT-1 thực hiện năm 2018 và mọi mô hình chat sau này đều sao chép, là lý do một mô hình ngôn ngữ tạo sinh chứ không tra cứu: cả mạng chỉ là một bộ dự đoán token tiếp theo, nhiệt độ trong AI là gì nói về nút điều chỉnh chọn token, và LLM là gì tiếp nối mạch đó đến ảo giác và những vấn đề khác. Các mô hình chỉ encoder không hề biến mất. Chúng trở thành các mô hình embedding chuyển văn bản thành vector cho tìm kiếm, một công việc khác mà attention hóa ra cũng làm rất tốt.
Thị giác cũng đi theo con đường tương tự. Năm 2020, bài báo Vision Transformer đã cắt một hình ảnh thành các mảnh pixel 16x16, coi mỗi mảnh như một token, và đạt kết quả ngang với các mạng tích chập tốt nhất. Đó là lý do cùng một mô hình giờ có thể đọc ảnh chụp màn hình và đoạn văn của bạn: cả hai đều đến dưới dạng một chuỗi token và đi qua cùng các lớp attention. Tạo sinh hình ảnh là ngoại lệ; phần lớn mô hình tạo ảnh là mô hình khuếch tán, một thiết kế khác mà AI tạo sinh là gì tách riêng ra.
Chín năm từ một bài báo đến mọi mô hình hàng đầu, theo mốc thời gian
Dòng thời gian dưới đây chạy từ bài báo năm 2017 đến các mô hình mà Whizi đang định tuyến hôm nay. Màu cam đánh dấu các phiên bản được phát hành kèm trọng số mở, đây là cách kiến trúc này lan rộng ra ngoài hai phòng thí nghiệm đã xây dựng nó đầu tiên.
Số lượng tham số kể câu chuyện về quy mô chỉ bằng ba con số: 65 triệu ở mô hình cơ bản năm 2017, 175 tỷ ở GPT-3 ba năm sau đó, và 2,4 nghìn tỷ ở mô hình Qwen lớn nhất mà bảng chi phí định giá vào năm 2026, trong đó chỉ khoảng 95 tỷ tham số hoạt động trên mỗi token. Kiến trúc không thay đổi về bản chất trong suốt khoảng đó. Nó chỉ trở nên rộng hơn, sâu hơn và được nuôi dữ liệu tốt hơn. Cược mà trang này đưa ra: không mô hình hàng đầu nào được phát hành trước năm 2028 sẽ khác gì ngoài một transformer, và dòng thời gian mô hình AI là nơi điều đó được kiểm chứng.
- Hiểu "transformer" như "kiến trúc mà mọi mô hình văn bản hiện nay đều dùng chung"; nó không nói cho bạn biết mô hình nào tốt hơn
- Kỳ vọng chi phí và độ trễ tăng nhanh hơn tuyến tính khi độ dài ngữ cảnh tăng, và chỉ tải lên phần bạn thực sự cần
- Giả định một mô hình sẽ quên mọi thứ nằm ngoài cửa sổ của nó; hãy nhắc lại các thông tin quan trọng hoặc dùng một dự án để ghim chúng lại
- Coi hình ảnh và văn bản là cùng một quy trình xử lý: một ảnh chụp màn hình cũng là token, nên hãy hỏi về nó như cách bạn hỏi về một đoạn văn
- Kiểm tra ngày phát hành trước khi tin vào những gì mô hình biết; kiến trúc không có đồng hồ
Câu hỏi thường gặp
Transformer nghĩa là gì trong AI?
Transformer là một kiến trúc mạng nơ-ron xuất phát từ bài báo năm 2017 Attention Is All You Need. Nó xử lý mọi token của một chuỗi song song bằng attention, một phép toán trong đó mỗi token cân nhắc mức độ liên quan của nó với mọi token khác, và đây là kiến trúc bên trong GPT, Claude, Gemini, Llama, DeepSeek và Qwen. Bài báo không giải thích vì sao chọn cái tên này.
GPT là viết tắt của gì?
Generative pretrained transformer. Generative vì nó tạo ra văn bản, pretrained vì nó học từ một kho ngữ liệu lớn trước khi được tinh chỉnh cho việc trò chuyện, và transformer vì đó là kiến trúc mạng. OpenAI giới thiệu cái tên này cùng GPT-1 vào tháng 6 năm 2018.
Cơ chế attention là gì?
Đây là phép toán nằm ở trung tâm của một transformer. Mỗi token tính một điểm liên quan với mọi token khác trong chuỗi, chuyển các điểm đó thành trọng số, rồi kết hợp biểu diễn của các token khác theo những trọng số đó. Đó là cách "it" học được nghĩa là "trophy" trong câu này và "suitcase" trong câu khác. Nó chạy song song trên mọi token và trong nhiều head ở mỗi lớp.
Vì sao transformer thay thế mạng nơ-ron hồi quy?
Mạng hồi quy đọc token lần lượt từng cái một và phải truyền thông tin qua từng bước, điều này giới hạn cả những gì chúng ghi nhớ lẫn tốc độ huấn luyện. Transformer đọc toàn bộ chuỗi cùng lúc, nên chúng giữ được quyền truy cập trực tiếp đến mọi token trước đó và huấn luyện dưới dạng các phép toán ma trận song song mà GPU xử lý hiệu quả. Bài báo năm 2017 đạt kết quả ngang các hệ thống dịch tốt nhất chỉ trong một phần nhỏ thời gian huấn luyện.
Mọi mô hình AI có phải đều là transformer không?
Mọi LLM hàng đầu đều là transformer, và mọi mô hình văn bản mà Whizi cung cấp cũng vậy; ngoại lệ là các nhánh nghiên cứu như Mamba và các mô hình lai như Jamba, không cái nào dẫn đầu bảng xếp hạng benchmark. Các mô hình tạo ảnh như Stable Diffusion và Flux là mô hình khuếch tán, một thiết kế khác, dù nhiều mô hình vẫn dùng transformer bên trong để đọc prompt. Các mô hình thị giác đọc ảnh đều là transformer kể từ bài báo Vision Transformer năm 2020, vốn coi các mảnh ảnh như token.
