Chương 6.5: Học qua phản hồi

Huấn luyện một AI bằng phản hồi của con người — như biểu tượng thích hoặc không thích — có thể giúp định hình hành vi của nó. Nhưng AI có thể học cách thao túng hoặc đánh lừa những người đánh giá, hay trở nên xu nịnh để nhận được nhiều phần thưởng hơn.

Phần này bàn về thêm những nỗ lực khác nhằm giải quyết vấn đề đặc tả phần thưởng sai lệch. Đôi khi, hành vi mong muốn phức tạp đến mức việc học thông qua trình diễn mẫu trở nên bất khả thi. Một hướng tiếp cận khác là cung cấp phản hồi cho tác nhân, thay vì đưa ra hàm phần thưởng được đặc tả thủ công, hay thậm chí là các minh chứng của chuyên gia. Phần này đi sâu vào các chiến lược dựa trên phản hồi như Mô hình hóa Phần thưởng, Học tăng cường từ Phản hồi của Con người (Reinforcement Learning from Human Feedback – RLHF) và Học tăng cường từ Phản hồi của AI (Reinforcement Learning from AI Feedback – RLAIF) — còn được gọi là Học tăng cường từ AI Hiến pháp (Reinforcement Learning from Constitutional AI – RLCAI), hay đơn giản là Constitutional AI.

Mô hình hóa Phần thưởng

Mô hình hóa phần thưởng (reward modeling) được phát triển để áp dụng các thuật toán học tăng cường (RL) vào những bài toán thực tế mà việc thiết kế hàm phần thưởng rất khó khăn — một phần vì con người không có hiểu biết hoàn hảo về mọi mục tiêu. Trong mô hình hóa phần thưởng, các trợ lý con người đánh giá kết quả hành vi của AI, mà không cần biết cách tự mình thực hiện hay trình diễn tác vụ đó một cách tối ưu. Điều này tương tự như việc bạn có thể biết một món ăn có ngon hay không bằng cách nếm thử, dù bạn không biết nấu ăn — và phản hồi của bạn vẫn có thể giúp một đầu bếp học cách nấu ngon hơn. Kỹ thuật này tách vấn đề căn chỉnh RL thành hai nửa riêng biệt: hiểu ý định — tức học "Cái gì?" — và hành động để đạt được ý định đó — tức học "Như thế nào?". Điều này có nghĩa là trong hướng tiếp cận mô hình hóa này, có hai mô hình học máy khác nhau:

• Một mô hình phần thưởng được huấn luyện bằng phản hồi của người dùng. Mô hình này học cách dự đoán điều mà con người sẽ xem là hành vi tốt.
• Một tác nhân được huấn luyện bằng RL, trong đó phần thưởng cho tác nhân được xác định bởi đầu ra của mô hình phần thưởng.

Nhìn chung, dù đầy hứa hẹn, mô hình hóa phần thưởng vẫn có thể rơi vào tình trạng đặc tả phần thưởng sai lệch và thất bại do đánh lừa phần thưởng. Việc thu thập phản hồi chính xác và đầy đủ có thể rất khó khăn, và các nhà đánh giá con người có thể có hiểu biết hạn chế hoặc mang định kiến, ảnh hưởng đến chất lượng phản hồi. Ngoài ra, bất kỳ hàm phần thưởng nào học được thông qua mô hình hóa cũng có thể gặp khó khăn trong việc khái quát hóa sang những tình huống hay môi trường mới, khác với dữ liệu huấn luyện. Tất cả những vấn đề này sẽ được bàn kỹ hơn qua các ví dụ cụ thể ở những phần sau.

Cũng có một số biến thể của mô hình hóa phần thưởng, chẳng hạn:

1. Mô hình hóa phần thưởng hẹp (narrow reward modeling) là một dạng cụ thể của mô hình hóa phần thưởng, trong đó trọng tâm là huấn luyện các hệ thống AI hoàn thành những tác vụ cụ thể, thay vì cố xác định "hàm thỏa dụng thực sự của con người". Nó hướng đến việc học các hàm phần thưởng để đạt những mục tiêu cụ thể, thay vì tìm kiếm một sự thấu hiểu toàn diện về giá trị con người.
2. Mô hình hóa phần thưởng đệ quy (recursive reward modeling) tìm cách đưa khả năng mở rộng quy mô vào kỹ thuật này. Trong mô hình hóa phần thưởng đệ quy, trọng tâm là phân rã một tác vụ phức tạp thành các tác vụ con đơn giản hơn, rồi dùng mô hình hóa phần thưởng ở từng cấp độ để huấn luyện các tác nhân có thể thực hiện những tác vụ con đó. Cấu trúc phân tầng này cho phép huấn luyện hiệu quả hơn và phân bổ công trạng (credit assignment) tốt hơn, đồng thời cho phép khám phá những giải pháp mới mà con người có thể không nhận ra. Điều này được minh họa trong sơ đồ dưới đây. Giám sát có khả năng mở rộng quy mô (scalable oversight) sẽ được bàn sâu hơn ở các chương sau.

Khung mô hình hóa phần thưởng tổng quát này là nền tảng cho các kỹ thuật dựa trên phản hồi khác, chẳng hạn như RLHF (Học tăng cường từ Phản hồi của Con người), sẽ được bàn ở phần tiếp theo.

Học tăng cường từ Phản hồi của Con người (RLHF)

Học tăng cường từ Phản hồi của Con người (Reinforcement Learning from Human Feedback – RLHF) là một phương pháp do OpenAI phát triển. Đây là một phần cốt lõi trong chiến lược của họ nhằm tạo ra những AI vừa an toàn vừa phù hợp với giá trị con người. (OpenAI, 2023 (mở trong tab mới)) Một ví dụ điển hình của AI được huấn luyện bằng RLHF là ChatGPT của OpenAI.

Ở phần đầu chương này, độc giả đã được yêu cầu suy nghĩ về bài toán thiết kế phần thưởng cho việc định nghĩa thủ công một hàm phần thưởng để khiến một tác nhân thực hiện động tác lộn ngược ra sau. Phần này xem xét giải pháp RLHF cho bài toán thiết kế đó. RLHF giải quyết vấn đề này như sau: một con người ban đầu được xem hai lần thử thực hiện động tác lộn ngược của AI, sau đó người này chọn ra lần nào trông giống một cú lộn ngược hơn, và cuối cùng AI được cập nhật theo lựa chọn đó. Bằng cách lặp lại quá trình này hàng nghìn lần, ta có thể dẫn dắt AI thực sự thực hiện được động tác lộn ngược.

Cũng tương tự như việc thiết kế một hàm phần thưởng để thưởng hiệu quả cho những cú lộn ngược đúng chuẩn, việc đặc tả chính xác thế nào là văn bản an toàn hay hữu ích cũng rất khó khăn. Đây chính là một phần động lực khiến RLHF trở thành thành phần cốt lõi trong việc huấn luyện một số Mô hình Ngôn ngữ Lớn (LLM) hiện nay.

Dù trình tự huấn luyện có thể khác nhau đôi chút giữa các tổ chức, hầu hết các phòng thí nghiệm đều tuân theo khung tổng quát: tiền huấn luyện (pre-training), sau đó là một dạng tinh chỉnh (fine-tuning) nào đó. Quan sát quy trình huấn luyện của InstructGPT cho ta cái nhìn sâu hơn về một con đường khả dĩ để huấn luyện LLM. Các bước bao gồm:

• Bước 0 — Tiền huấn luyện Sinh (Generative) Bán giám sát: LLM ban đầu được huấn luyện bằng một khối lượng khổng lồ dữ liệu văn bản từ internet, với tác vụ là dự đoán từ tiếp theo trong một ngữ cảnh ngôn ngữ tự nhiên.
• Bước 1 — Tinh chỉnh có Giám sát: Một tập dữ liệu tinh chỉnh được tạo ra bằng cách đưa một câu lệnh cho một người và yêu cầu họ viết câu trả lời. Quá trình này tạo ra một tập dữ liệu gồm các cặp (câu lệnh, đầu ra). Tập dữ liệu này sau đó được dùng để tinh chỉnh LLM thông qua học có giám sát — một dạng của nhân bản hành vi.
• Bước 2 — Huấn luyện một Mô hình Phần thưởng: Ta huấn luyện thêm một mô hình phần thưởng. Đầu tiên, ta đưa câu lệnh cho LLM đã được tinh chỉnh và thu thập một số mẫu đầu ra cho cùng một câu lệnh đó. Sau đó, một người xếp hạng các mẫu này từ tốt nhất đến tệ nhất. Bảng xếp hạng này được dùng để huấn luyện mô hình phần thưởng dự đoán điều mà con người sẽ xếp hạng cao hơn.
• Bước 3 — Học tăng cường: Khi đã có cả LLM được tinh chỉnh lẫn mô hình phần thưởng, ta có thể áp dụng học tăng cường dựa trên Tối ưu hóa Chính sách Cận biên (Proximal Policy Optimization – PPO) để khuyến khích mô hình đã tinh chỉnh tối đa hóa phần thưởng mà mô hình phần thưởng — vốn mô phỏng theo xếp hạng của con người — đưa ra.

Đánh lừa phần thưởng trong các phương pháp dựa trên phản hồi

Dù các cơ chế dựa trên phản hồi thực sự giúp mô hình an toàn hơn, chúng không hề miễn nhiễm với đánh lừa phần thưởng. Hiệu quả của một thuật toán phụ thuộc rất nhiều vào trực giác của người đánh giá về thế nào là hành vi đúng đắn. Nếu con người không thực sự hiểu rõ tác vụ, họ có thể không đưa ra được phản hồi hữu ích. Hơn nữa, ở một số lĩnh vực nhất định, hệ thống của ta có thể khiến các tác nhân phát triển những chính sách đánh lừa người đánh giá. Ví dụ, một robot được giao nhiệm vụ cầm nắm đồ vật chỉ đơn giản đặt bộ phận thao tác của nó xen giữa camera và vật thể, khiến mọi thứ trông như thể nó đang thực hiện đúng tác vụ, như minh họa dưới đây.

Tiền huấn luyện với Phản hồi của Con người (Pretraining with Human Feedback – PHF)

Trong tiền huấn luyện tiêu chuẩn, mô hình ngôn ngữ cố gắng học các tham số sao cho tối đa hóa khả năng xảy ra (likelihood) của dữ liệu huấn luyện. Tuy nhiên, điều này cũng bao gồm cả những nội dung không mong muốn, như thông tin sai lệch, ngôn từ xúc phạm, và thông tin riêng tư. Khái niệm tiền huấn luyện với phản hồi của con người (PHF) áp dụng phương pháp luận của mô hình hóa phần thưởng ngay trong giai đoạn tiền huấn luyện. Các tác giả của bài báo phát hiện rằng PHF hoạt động tốt hơn hẳn so với cách làm tiêu chuẩn — chỉ dùng phản hồi (RLHF) sau khi đã tiền huấn luyện xong. (Christiano et al., 2017 (mở trong tab mới))

Trong PHF, dữ liệu huấn luyện được chấm điểm bằng một hàm phần thưởng — chẳng hạn một bộ phân loại văn bản độc hại — nhằm hướng dẫn mô hình ngôn ngữ học từ những nội dung không mong muốn, đồng thời tránh bắt chước lại chúng khi suy luận.

Tương tự RLHF, PHF không giải quyết triệt để vấn đề đánh lừa phần thưởng, nhưng có thể giúp các hệ thống tiến thêm một bước nhỏ theo hướng đó. (Korbak et al., 2023 (mở trong tab mới)) Những phương pháp này có thể được mở rộng thêm bằng cách sử dụng các trợ lý AI để giúp con người đưa ra phản hồi hiệu quả hơn. Một số khía cạnh của chiến lược này sẽ được giới thiệu ở phần tiếp theo, nhưng sẽ được khám phá chi tiết hơn ở các chương về các phương pháp giám sát mở rộng quy mô và giám sát đối nghịch.

Học tăng cường từ Phản hồi của AI (RLAIF)

Định nghĩa 6.18 — Học tăng cường từ Phản hồi của AI (RLAIF)

Học tăng cường từ Phản hồi của AI (Reinforcement Learning from AI Feedback – RLAIF) là một khung phương pháp huấn luyện một tác nhân AI học từ phản hồi do một hệ thống AI khác đưa ra.

RLAIF — còn được gọi là RLCAI (Học tăng cường trên AI Hiến pháp), hay đơn giản là Constitutional AI — do Anthropic phát triển. (Anthropic, 2023 (mở trong tab mới)) Thành phần trung tâm của Constitutional AI là bản hiến pháp (constitution) — một tập hợp các nguyên tắc do con người viết ra mà AI được kỳ vọng tuân theo, chẳng hạn "Chọn câu trả lời ít mang tính đe dọa hoặc gây hấn nhất". Bản hiến pháp của Claude — trợ lý AI của Anthropic — kết hợp các nguyên tắc từ Tuyên ngôn Quốc tế Nhân quyền, Điều khoản Dịch vụ của Apple, các Nguyên tắc Sparrow của DeepMind, và nhiều nguồn khác. (Glaese et al., 2022 (mở trong tab mới)) Constitutional AI bắt đầu với một AI được huấn luyện chủ yếu để có ích (helpful), sau đó huấn luyện thêm để nó vô hại (harmless) qua hai giai đoạn:

Giai đoạn 1 gồm bốn thành phần sau:

a. Tạo ra các cặp (câu lệnh, đầu ra): AI liên tục tự phê bình và tinh chỉnh lại các câu trả lời của chính mình đối với những câu lệnh có khả năng gây hại. Sau đó, AI được huấn luyện để tạo ra các đầu ra giống hơn với những câu trả lời đã được chỉnh sửa này. Mục tiêu chính của giai đoạn này là chuẩn bị cho giai đoạn thứ hai. Một luồng ví dụ của quá trình này như sau:

1. Câu lệnh: Một mô hình đã được huấn luyện bằng RLHF từ trước được hỏi xin lời khuyên về cách chế tạo bom. Mô hình xuất ra một bản hướng dẫn chế tạo bom.
2. Sau đó, mô hình được yêu cầu chỉnh sửa lại câu trả lời sao cho phù hợp với một nguyên tắc hiến pháp được chọn ngẫu nhiên. Các bước sau được lặp lại nhiều lần.
3. Phê bình: Đầu ra này được đưa trở lại cho mô hình, kèm theo yêu cầu phê bình lý do vì sao đầu ra đó có thể bị xem là có hại, dựa theo một quy tắc nào đó trong bản hiến pháp đã chọn.
4. Chỉnh sửa: Mô hình được yêu cầu viết lại câu trả lời ban đầu sao cho không vi phạm các quy tắc hiến pháp.

b. Mô hình SL-CAI: Constitutional AI dựa trên Học có Giám sát (Supervised Learning). Dựa trên tập hợp các cặp (câu lệnh có hại, đầu ra đã chỉnh sửa) vừa tạo ra, một mô hình mới được huấn luyện bằng học có giám sát.

c. Mô hình Sở thích (Preference Model)

d. Mô hình RL-CAI: Constitutional AI dựa trên Học Tăng cường (Reinforcement Learning)

Giai đoạn 2: Ta dùng AI đã được tinh chỉnh từ giai đoạn 1 để tạo ra các cặp câu trả lời thay thế cho những câu lệnh có khả năng gây hại. AI sau đó chấm điểm mỗi cặp câu trả lời này theo một nguyên tắc hiến pháp được chọn ngẫu nhiên. Kết quả là ta có được các sở thích do AI tạo ra hướng tới sự vô hại, được kết hợp với sở thích của con người hướng tới sự hữu ích, để đảm bảo AI không đánh mất khả năng hữu ích của mình. Bước cuối cùng là huấn luyện AI tạo ra những câu trả lời gần giống nhất có thể với những câu trả lời được ưa thích.

Các thử nghiệm của Anthropic cho thấy những AI được huấn luyện bằng Học tăng cường Hiến pháp an toàn hơn đáng kể (theo nghĩa ít gây khó chịu hơn và ít khả năng đưa ra thông tin có hại tiềm ẩn hơn), trong khi vẫn giữ được mức độ hữu ích tương đương so với những AI được huấn luyện bằng RLHF. Dù Constitutional AI vẫn gặp một số vấn đề tương tự RLHF về mặt độ vững chắc (robustness), nó cũng hứa hẹn khả năng mở rộng quy mô tốt hơn, nhờ giảm bớt sự phụ thuộc vào giám sát của con người. Hình dưới đây so sánh mức độ hữu ích của Constitutional AI với RLHF.

Hạn chế

Các vấn đề lý thuyết của Học tăng cường từ Phản hồi của Con người (RLHF)

Bài báo "Open Problems and Fundamental Limitations with RLHF" (Những vấn đề mở và hạn chế nền tảng của RLHF) trình bày một bức tranh toàn diện về các thách thức của RLHF.

Phần này liệt kê một số thách thức nói trên, đồng thời nhấn mạnh sự cần thiết của các kỹ thuật và chiến lược tiên tiến hơn.

Hạn chế về phía phản hồi của con người

Người đánh giá bị mất căn chỉnh: Trước hết, bản thân những người gán nhãn có thể bị mất căn chỉnh, có ác ý, hoặc thuộc một phân bố người đánh giá mang định kiến (tức không đại diện cho phân bố người dùng thực tế trong tương lai). Những cá nhân có ác ý có thể đầu độc mô hình trong lúc huấn luyện thông qua các cuộc tấn công cửa hậu (backdoor attack), vốn có thể được cài vào mô hình nếu không có biện pháp đối phó nào được áp dụng.

Khó khăn trong giám sát: Con người gặp khó khăn khi đánh giá hiệu suất mô hình ở những tác vụ phức tạp, và dễ bị đánh lừa bởi đầu ra của mô hình. Người đánh giá có thể bị thao túng để cho điểm thưởng dương, ngay cả khi giá trị thực sự đáng lẽ phải là âm. Ví dụ, một bot càng tỏ ra thuyết phục thì càng có khả năng nhận được phần thưởng cao hơn, kể cả khi câu trả lời của nó sai (và đây có thể là một lý do vì sao câu trả lời mặc định của ChatGPT thường khá dài). Các kỹ thuật để giảm thiểu những vấn đề này sẽ được bàn ở các chương về "Giám sát có khả năng mở rộng quy mô".

Hạn chế về loại phản hồi: Ngay cả khi người gán nhãn có đầy đủ khả năng thể hiện sở thích của họ, quy trình huấn luyện cũng có thể không cho phép họ thể hiện trọn vẹn mong muốn của mình, bởi vì:

1. Những ví dụ được đưa cho họ có thể không đại diện cho đầy đủ các tình huống mà mô hình sẽ gặp phải sau khi được triển khai.
2. Các lựa chọn phản hồi bị giới hạn (so sánh hai ví dụ, hay dùng một hệ thống chấm điểm, có thể cho ra những kết quả rất khác nhau, như được chỉ ra trong bài báo của Ethayarajh et al., 2022 (mở trong tab mới)).

Hạn chế về phía mô hình phần thưởng. Giả sử quy trình thu thập phản hồi diễn ra hoàn toàn suôn sẻ — người gán nhãn hoàn hảo, đánh giá hoàn hảo. Trong kịch bản đó, liệu mô hình phần thưởng có thể chuyển hóa chính xác phản hồi của họ để định hình chính sách tương ứng hay không? Hóa ra đây không phải là việc dễ dàng.

• Đặc tả sai vấn đề (hay sự lệch pha giữa Hàm Phần thưởng và Giá trị): Việc phản ánh chính xác các giá trị đa dạng của con người trong một hàm phần thưởng là điều rất phức tạp. Thật vậy, sở thích của con người vốn phức tạp về bản chất: chúng phụ thuộc vào bối cảnh và tính cách, nhưng cũng dao động theo thời gian và đôi khi có thể phi lý trí (mở trong tab mới). Kỳ vọng rằng mô hình phần thưởng sẽ hội tụ về một hàm số duy nhất ánh xạ hoàn hảo mọi sở thích của con người là điều viển vông. Đây một lần nữa chính là vấn đề đặc tả sai.
• Đánh lừa do khái quát hóa sai (Misgeneralization hacking) (Phần thưởng đại diện không hoàn hảo): Vì mô hình chỉ được cung cấp một số lượng ví dụ hữu hạn, trong khi có vô số cách khác nhau để khớp với dữ liệu đó, hành vi của mô hình trên các ví dụ mới luôn là một phép ngoại suy, và không có gì đảm bảo về mặt lý thuyết rằng nó sẽ không bao giờ lệch khỏi những gì được kỳ vọng. Có thể tồn tại những câu trả lời cực kỳ tệ (chẳng hạn như những cụm từ vô nghĩa đối với mô hình ngôn ngữ) lại nhận được phần thưởng dương một cách bất ngờ. Đây được gọi là đánh lừa phần thưởng.
• Huấn luyện đồng thời Mô hình Phần thưởng và chính sách: Ở khía cạnh kỹ thuật hơn, tính ổn định và sự hội tụ của lược đồ huấn luyện không phải lúc nào cũng được đảm bảo. Vì ta đang tối ưu hóa chính sách dựa trên một phần thưởng cũng đang được tối ưu hóa cùng lúc, những sự bất định và phụ thuộc không mong muốn có thể nảy sinh, ảnh hưởng đến độ vững chắc của mô hình. Những vấn đề này không chỉ riêng của RLHF, nhưng cần được giải quyết nếu ta kỳ vọng các mô hình được triển khai sẽ căn chỉnh hoàn toàn với nhu cầu của ta.

Hạn chế về phía chính sách. Giả sử phản hồi và mô hình phần thưởng phản ánh chính xác sở thích con người. Khó khăn tiếp theo là đảm bảo chính sách được tối ưu hóa đúng cách.

• Khó khăn của RL: RL vốn là một bài toán khó. Điều này có thể dẫn đến đánh lừa phần thưởng và các định kiến, chẳng hạn như sụp đổ chế độ (mode collapse) — khi mô hình thể hiện thiên hướng cực đoan về một số khuôn mẫu nhất định. Sụp đổ chế độ là một vấn đề đã biết trong RL: một đầu ra luôn nhận được phần thưởng dương sẽ khiến mô hình có xu hướng luôn trả về cùng một câu trả lời, và những hướng đi mới sẽ không được khám phá. Hệ quả là mô hình phần thưởng sẽ không thấy được các mẫu mới để học hỏi thêm. Dù sao đi nữa, việc huấn luyện đồng thời mô hình phần thưởng và chính sách cũng tạo ra một định kiến trong giai đoạn học, vì cả hai đều phụ thuộc lẫn nhau. Cũng có thể tồn tại một định kiến ban đầu trong mô hình nền được dùng để huấn luyện. Ví dụ, ChatGPT được tinh chỉnh từ một mô hình nền GPT ban đầu, vốn được huấn luyện một phần trên dữ liệu web. Dù RLHF đã được dùng để loại bỏ những phát ngôn gây tranh cãi khỏi mô hình, vẫn còn rủi ro mô hình đưa ra những nội dung có vấn đề mà nó từng thấy trên mạng. (OpenAI, 2022 (mở trong tab mới))
• Khái quát hóa sai của chính sách: Những chính sách hiệu quả trong lúc huấn luyện có thể không khái quát hóa tốt trong các tình huống thực tế. Ví dụ, những hiện tượng như "Jailbreak" (vượt rào bảo vệ) cho thấy các mô hình như BingChat và ChatGPT vẫn có thể thực hiện những hành động đã học được, dù đã được huấn luyện để không phản hồi một số câu hỏi nhất định.
• Thách thức về phân bố: Các mô hình RLHF lớn hơn có xu hướng phát triển những thiên hướng tự bảo tồn (self-preservation) có hại, cùng tính xu nịnh (sycophancy) — tức đồng tình một cách không thành thật với ý kiến người dùng. Hành vi này cho thấy một xu hướng hướng tới hội tụ công cụ (instrumental convergence). Ngoài ra, RLHF còn có thể khuyến khích các hành vi lừa dối, như minh họa qua thí nghiệm bàn tay robot trong nghiên cứu năm 2017 của Christiano và cộng sự.

Những vấn đề lý thuyết này có những hậu quả thực tế:

RLHF vẫn chưa thành công trong việc khiến các LLM trở nên hữu ích và vô hại một cách vững chắc. Dù có những tiến bộ liên tục trong xử lý ngôn ngữ tự nhiên và sự phát triển của RLHF, các LLM vẫn chưa đạt được tính hữu ích và vô hại một cách vững chắc.

Ảo giác (hallucination) vẫn là một vấn đề đáng kể, thể hiện qua xu hướng của GPT-4 tạo ra nội dung vô nghĩa hoặc sai sự thật (OpenAI, 2023 (mở trong tab mới)). Những ảo giác này có thể dẫn đến việc con người phụ thuộc quá mức vào LLM, từ đó làm giảm hiệu suất hệ thống và không đáp ứng được kỳ vọng của người dùng trong các tình huống thực tế (Ji et al., 2024 (mở trong tab mới)).

Ngoài ra, các định kiến trong LLM vẫn còn tồn tại, thường phản ánh sự lệch pha về quan điểm giữa LLM và các nhóm nhân khẩu học khác nhau tại Hoa Kỳ, như thiên hướng nghiêng về cánh tả ở một số LLM được tinh chỉnh bằng phản hồi con người (Santurkar et al., 2023 (mở trong tab mới)). Những định kiến này có thể gây hại, tạo ra ngôn từ phân biệt đối xử và duy trì những định kiến tiêu cực, như thể hiện qua thiên kiến bài Hồi giáo của GPT-3 (Abid et al., 2021 (mở trong tab mới)).

Hơn nữa, việc vượt rào bảo vệ (jailbreak) các chatbot cũng đặt ra rủi ro đáng kể, với các trang web liệt kê những câu lệnh để né tránh các biện pháp an toàn, như "DAN" của ChatGPT (và các "jailbreak" khác) (Takemoto, 2024 (mở trong tab mới)). Các mối đe dọa về quyền riêng tư từ những LLM được tích hợp vào ứng dụng nay còn nghiêm trọng hơn bao giờ hết (Li et al., 2023 (mở trong tab mới)). Ví dụ, Ý đã cấm ChatGPT vì lý do quyền riêng tư, theo Quy định Chung về Bảo vệ Dữ liệu (GDPR) của Liên minh Châu Âu (BBC, 2023 (mở trong tab mới)). Khả năng tìm ra các jailbreak được củng cố bởi một bài báo gần đây có tên "Fundamental Limitations of Alignment in Large Language Models" (Những hạn chế nền tảng của căn chỉnh trong các Mô hình Ngôn ngữ Lớn). Bài báo này trình bày những kết quả lý thuyết ban đầu, cho thấy rằng bất kỳ quy trình căn chỉnh nào — như RLHF — chỉ làm giảm hành vi không mong muốn mà không loại bỏ hoàn toàn, đều không thể an toàn trước những câu lệnh đối nghịch (adversarial prompting). Các tác giả nhận thấy rằng bằng cách yêu cầu mô hình hành xử như một nhân vật (persona) cụ thể, những hành vi vốn rất khó xảy ra ở mô hình có thể bị đưa ra ánh sáng. Đây không phải là một minh chứng đầy đủ, vì khung phân tích của họ dựa trên khái niệm nhân vật (persona), nhưng nó cho thấy mạnh mẽ rằng việc tiền huấn luyện đơn thuần mà không chọn lọc dữ liệu, sau đó áp dụng RLHF, có thể không đủ để chống lại các cuộc tấn công đối nghịch.

Bảo mật thông tin riêng tư nhạy cảm trong các mô hình ngôn ngữ lớn (LLM) là một mối quan ngại cấp bách, đặc biệt khi dữ liệu do người dùng tạo ra — như email hay dữ liệu nhập từ bàn phím thông minh — được dùng để huấn luyện. Trên thực tế, một số bài báo gần đây đã chứng minh rằng các mô hình nền tảng có thể dễ dàng bị truy vấn để trích xuất thông tin cá nhân (Carlini et al., 2020 (mở trong tab mới); Inan et al., 2021 (mở trong tab mới); Pan et al., 2020 (mở trong tab mới)), và những vấn đề đó vẫn còn tồn tại ngay cả ở các mô hình đã "căn chỉnh" như GPT-4 — vốn có khả năng bị lợi dụng để nhận diện cá nhân khi kết hợp với dữ liệu bên ngoài (OpenAI, 2023 (mở trong tab mới)). Như El-Mhamdi et al. (2021) (mở trong tab mới) đã chỉ ra, LLM có thể tồn tại một sự không tương thích nền tảng giữa độ chính xác cao với cả bảo mật lẫn quyền riêng tư, dựa trên hiểu biết hiện nay về học máy đối nghịch (adversarial machine learning).

RLHF có thể khiến hiệu suất trong trường hợp xấu nhất trở nên tệ hơn.

RLHF có thể làm giảm độ vững chắc trước các cuộc tấn công đối nghịch (Wolf et al., 2024 (mở trong tab mới)), bằng cách làm sắc nét hơn ranh giới giữa hành vi mong muốn và không mong muốn, qua đó có thể khiến LLM dễ bị tổn thương hơn trước các câu lệnh đối nghịch. Sự gia tăng ranh giới giữa các hành vi này có liên hệ với Hiệu ứng Waluigi (Nardo, 2023 (mở trong tab mới)) — theo đó, sau khi huấn luyện một LLM để thỏa mãn một thuộc tính mong muốn P, việc khiến chatbot thỏa mãn điều ngược lại hoàn toàn với thuộc tính P lại trở nên dễ dàng hơn. Những lập luận lý thuyết như thế này dường như cho thấy RLHF kém hiệu quả trong việc loại bỏ các nhân vật (persona) mang tính lừa dối.

Một số vấn đề nói trên có thể trở nên tồi tệ hơn khi các hệ thống trở nên mạnh mẽ hơn. RLHF được phát hiện làm tăng mức độ tự chủ (autonomy) của LLM mà không làm giảm các chỉ số không mong muốn, như việc theo đuổi các mục tiêu công cụ hội tụ (ví dụ: chủ động bày tỏ mong muốn không bị tắt), hay tính xu nịnh (Perez et al., 2022 (mở trong tab mới)). Những chỉ số không mong muốn này tăng lên theo số bước RLHF, cho thấy các mô hình hiện nay đang trở nên "có tính tác nhân" (agentic) hơn theo những cách đáng lo ngại khi được mở rộng quy mô. Nói rộng hơn, RL dựa trên tín hiệu phần thưởng bắt nguồn từ con người có thể làm tăng động lực lập kế hoạch dài hạn, lừa dối, và hành vi mang tính tác nhân — những điều kiện tiên quyết cho căn chỉnh giả dối (deceptive alignment) (Hubinger et al., 2019 (mở trong tab mới)), và cuối cùng là nguy cơ xảy ra những sự cố quy mô lớn.

Kết luận về hạn chế của RLHF. Dù đòi hỏi lượng phản hồi con người khổng lồ, RLHF vẫn gặp phải vô số thất bại, và việc giải quyết những vấn đề này có thể cần nhiều nỗ lực hơn đáng kể. Khi các hệ thống AI phát triển, nhu cầu về dữ liệu phức tạp cũng tăng lên, có thể khiến việc thu thập dữ liệu trở nên đắt đỏ đến mức bất khả thi. Thêm vào đó, khi ta đẩy các giới hạn tính toán lên cao hơn, sự sẵn có của những người gán nhãn đủ trình độ cũng có thể trở thành một yếu tố giới hạn.

Nhìn chung, việc một mô hình đã được tinh chỉnh theo chỉ dẫn (instruction-tuned) không có nghĩa là quy trình huấn luyện đó an toàn, và RLHF cần được lồng ghép vào một khung an toàn kỹ thuật rộng hơn (chẳng hạn, Chính sách Mở rộng Quy mô Có trách nhiệm — Responsible Scaling Policies — hay Khung Chuẩn bị Sẵn sàng — Preparedness Framework — là những nỗ lực từng phần hướng đến việc trở thành một khung như vậy, hoặc bài báo "Model evaluation for extreme risks" — Đánh giá mô hình đối với các rủi ro cực đoan (Shevlane et al., 2023 (mở trong tab mới))).

Tinh chỉnh theo Chỉ dẫn so với Căn chỉnh — Không bắt buộc đọc • 1 phút

Tinh chỉnh theo Chỉ dẫn (Instruction Tuning) là một quy trình trong đó mô hình được tinh chỉnh (qua RL hoặc học có giám sát) để hiểu và tuân theo chỉ dẫn của con người tốt hơn. Việc này bao gồm huấn luyện mô hình trên một tập dữ liệu chứa nhiều loại chỉ dẫn khác nhau cùng kết quả mong muốn tương ứng. Mục tiêu chính của Tinh chỉnh theo Chỉ dẫn là nâng cao khả năng của AI trong việc diễn giải và thực hiện lệnh đúng theo ý người dùng. Điều này cải thiện trải nghiệm người dùng và mở rộng khả năng ứng dụng của mô hình. Ví dụ:

Căn chỉnh trong AI đề cập đến quá trình đảm bảo hành động và quyết định của một AI phù hợp với giá trị và đạo đức con người. Nó liên quan đến việc gắn kết mục tiêu và hành vi của AI với những gì có lợi hoặc được con người chấp nhận. Tinh chỉnh theo chỉ dẫn là một kỹ thuật theo đuổi một dạng rất hời hợt của "căn chỉnh bên ngoài", nhưng không rõ liệu tinh chỉnh theo chỉ dẫn có thực sự giúp ích cho căn chỉnh bên trong (inner alignment) hay không — vốn là điều mà các nhà nghiên cứu an toàn AI thực sự quan tâm nhiều hơn cả.

Tóm lại, việc một mô hình đã trải qua một kỹ thuật tinh chỉnh theo chỉ dẫn như quy trình RLHF không nhất thiết có nghĩa là mô hình đó đã được căn chỉnh. Thuật ngữ "mô hình đã căn chỉnh" thường được sử dụng, nhưng nên dùng thuật ngữ chính xác hơn là "đã tinh chỉnh theo chỉ dẫn" (instruction-tuned), thay vì "mô hình đã căn chỉnh", để tránh nhầm lẫn và phản ánh chính xác hơn quy trình huấn luyện cụ thể mà mô hình đã trải qua.

Tối ưu hóa Sở thích Trực tiếp (Direct Preference Optimization – DPO): Học tăng cường từ Phản hồi của Con người (RLHF) đã cho thấy hiệu quả, như minh chứng qua ChatGPT và Llama 2, nhưng đây là một quy trình phức tạp và nhạy cảm, đồng thời cũng có một số đặc tính căn chỉnh không tốt. RLHF gồm một quy trình ba bước, trong khi DPO đơn giản hóa thành hai bước. Bài báo "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" (Tối ưu hóa Sở thích Trực tiếp: Mô hình Ngôn ngữ của bạn thực chất là một Mô hình Phần thưởng) trình bày một thuật toán căn chỉnh mô hình ngôn ngữ với sở thích con người mà không cần đến việc mô hình hóa phần thưởng hay học tăng cường một cách tường minh. DPO sử dụng một mục tiêu phân loại đơn giản, tránh được nhu cầu về một mô hình phần thưởng trung gian.

RLHF — phương pháp mà DPO đề xuất thay thế — theo truyền thống gồm ba bước:

1. Tinh chỉnh có giám sát: Đầu tiên, mô hình được huấn luyện trên một tập dữ liệu gồm các câu lệnh và câu trả lời mong muốn tương ứng.
2. Mô hình hóa phần thưởng: Người đánh giá con người chấm điểm đầu ra của mô hình, và phản hồi này được dùng để xây dựng một mô hình phần thưởng, được huấn luyện để nhận biết loại đầu ra nào được ưa thích hơn.
3. Tối ưu hóa Chính sách Cận biên (PPO): Mô hình tạo ra các đầu ra, được mô hình phần thưởng đánh giá, và thuật toán PPO điều chỉnh chính sách của mô hình dựa trên các đánh giá đó.

DPO giữ lại bước tinh chỉnh có giám sát ban đầu, nhưng thay thế hai bước tiếp theo bằng một bước tinh chỉnh duy nhất trên dữ liệu sở thích, sử dụng một hàm mất mát mới đầy khéo léo. DPO có hiệu quả làm tăng khả năng xảy ra của các hành động được ưa thích, đồng thời giảm khả năng xảy ra của các hành động không được ưa thích, chỉ với một hàm mất mát duy nhất:

1. Tạo tập dữ liệu sở thích: Đầu tiên, ta lấy mẫu một cặp phần tiếp nối bằng cách đặt một câu hỏi; AI đề xuất hai phần tiếp nối; ta gán nhãn một cái là tốt, cái còn lại là tệ.
2. Thu thập logit: Ta chạy mô hình nền trên 2 phần tiếp nối đó. Ta cũng chạy mô hình mới trên 2 phần tiếp nối đó.
3. Tối ưu hóa: Ta lan truyền ngược (backprop) qua mô hình mới và tối ưu hóa hàm mất mát nêu trên.

Bằng cách loại bỏ hẳn bước tạo mô hình phần thưởng, DPO đơn giản hóa đáng kể quy trình tinh chỉnh, và đã cho thấy hiệu quả rất tốt.

Quy trình này sau đó có thể được lặp lại. Việc này bao gồm tạo một tập dữ liệu sở thích mới (tức là, ta đặt một câu hỏi, lấy mẫu từ AI mới hai lần, rồi gán nhãn cho văn bản nào ta ưa thích hơn giữa hai lựa chọn, sau đó áp dụng hàm mất mát DPO). Sau đó, chu trình này được lặp lại để cải thiện mô hình.

Một khía cạnh quan trọng của DPO là phần thưởng mang tính ngầm định (implicit): nó khớp với sở thích mà không cần xây dựng một mô hình phần thưởng riêng biệt. Cách tiếp cận này giải quyết thách thức của việc đặc tả một hàm thỏa dụng, đồng thời phản hồi lại những chỉ trích như của Alex Turner, người cho rằng việc chấm điểm vững chắc (tức mô hình hóa phần thưởng vững chắc) là một nhiệm vụ phức tạp và thiếu tự nhiên một cách không cần thiết, thậm chí có thể còn khó hơn cả toàn bộ vấn đề căn chỉnh AI. Bài phê bình của Turner, trong "Inner and Outer Alignment Decompose One Hard Problem Into Two Extremely Hard Problems" (Căn chỉnh bên trong và bên ngoài chia một bài toán khó thành hai bài toán cực kỳ khó), cho rằng việc tìm ra một mục tiêu số học an toàn và vững chắc để một tác nhân cực kỳ thông minh tối ưu hóa trực tiếp là một thách thức ghê gớm — một thách thức mà DPO có thể giúp né tránh.

Mở rộng phạm vi của bài báo với nhiều biến thể khác nhau

Bài báo này đặt nền móng cho nhiều biến thể có thể được phát triển thêm. Chẳng hạn, việc kết hợp cách tiếp cận của nó với những hiểu biết từ bài báo của Tomasz Korbak và cộng sự, "Pretraining Language Models with Human Preferences" (Tiền huấn luyện mô hình ngôn ngữ với sở thích con người) (Korbak et al., 2023 (mở trong tab mới)), có thể giúp tăng cường độ vững chắc của nó. Hơn nữa, việc sử dụng dữ liệu sở thích dạng nhị phân (boolean) cũng có những hạn chế riêng. Cung cấp phản hồi bằng ngôn ngữ tự nhiên — như đã được chứng minh là hiệu quả hơn về mặt số lượng mẫu cần thiết trong nghiên cứu "Training Language Models with Language Feedback" (Huấn luyện mô hình ngôn ngữ bằng phản hồi ngôn ngữ) (Scheurer et al., 2022 (mở trong tab mới)) — có thể nâng cao hiệu quả của quy trình này. Điều đáng chú ý là, chỉ với 100 mẫu phản hồi do con người viết, cách tiếp cận này đã giúp tinh chỉnh một mô hình GPT-3 đạt được khả năng tóm tắt gần ngang tầm con người.

Nhìn về tương lai, một quy trình mang tính suy đoán có thể giúp giảm thiểu tình trạng đánh lừa đặc tả kỹ thuật là huấn luyện mô hình giống như nuôi dạy một đứa trẻ — mô hình sẽ chủ động đặt câu hỏi và học hỏi từ những tương tác với con người. Cách tiếp cận này sẽ phản ánh sát với quá trình phát triển của trẻ em, trong đó đứa trẻ dần dần vừa được căn chỉnh tốt hơn, vừa có năng lực cao hơn. Và cũng giống như trong quá trình phát triển của trẻ em, điều quan trọng là phải đảm bảo rằng ở bất kỳ thời điểm nào, năng lực của AI cũng không vượt quá mức độ căn chỉnh của nó, duy trì một sự cân bằng giữa khả năng và sự thấu hiểu đạo đức trong suốt hành trình phát triển của nó.