Chương 6: Đánh lừa đặc tả kỹ thuật

Chương này được chia thành các phần sau:

Học tăng cường (Reinforcement Learning): Chương mở đầu bằng việc ôn lại một số khái niệm về học tăng cường, bao gồm một lượt tìm hiểu nhanh khái niệm phần thưởng và hàm phần thưởng. Phần này đặt nền tảng để lý giải vì sao việc thiết kế phần thưởng lại quan trọng đến vậy.

Tối ưu hóa (Optimization): Phần này giới thiệu ngắn gọn khái niệm Định luật Goodhart, qua đó gợi mở lý do vì sao việc đặc tả phần thưởng lại khó đến mức khó có thể đứng vững trước áp lực tối ưu hóa cực lớn.

Đặc tả phần thưởng sai lệch (Reward misspecification): Sau khi đã nắm chắc khái niệm phần thưởng và tối ưu hóa, độc giả được giới thiệu một trong những thách thức cốt lõi của căn chỉnh AI — đặc tả phần thưởng sai lệch, còn gọi là vấn đề căn chỉnh bên ngoài (Outer Alignment). Phần này mở đầu bằng việc bàn về sự cần thiết của một thiết kế phần thưởng tốt, song song với việc thiết kế thuật toán, sau đó đưa ra các ví dụ cụ thể về những thất bại trong đặc tả phần thưởng, như đánh lừa phần thưởng (reward hacking) và thao túng phần thưởng (reward tampering).

Học qua bắt chước (Learning by Imitation): Phần này tập trung vào một số giải pháp được đề xuất cho vấn đề đặc tả phần thưởng sai lệch, dựa trên việc học hàm phần thưởng thông qua bắt chước hành vi con người. Các đề xuất được xem xét gồm học bắt chước (Imitation Learning – IL), nhân bản hành vi (Behavioral Cloning – BC), và học tăng cường nghịch đảo (Inverse Reinforcement Learning – IRL). Mỗi mục cũng xem xét những vấn đề và hạn chế có thể gặp phải của các cách tiếp cận này trong việc khắc phục tình trạng đánh lừa phần thưởng.

Học qua phản hồi (Learning by Feedback): Phần cuối cùng xem xét các đề xuất nhằm khắc phục tình trạng đặc tả phần thưởng sai lệch bằng cách cung cấp phản hồi cho các mô hình học máy. Phần này cũng mang lại cái nhìn toàn diện về cách các mô hình ngôn ngữ lớn (large language model – LLM) hiện nay được huấn luyện. Nội dung bàn về mô hình hóa phần thưởng, học tăng cường từ phản hồi của con người (Reinforcement Learning from Human Feedback – RLHF), học tăng cường từ phản hồi của AI (Reinforcement Learning from AI Feedback – RLAIF), và những hạn chế của các cách tiếp cận này.

Lời cảm ơn

Chúng tôi xin cảm ơn Jeanne Salle, Oscar Heitmann, Ram Rachum, Nicolas Guillard và Camille Berger vì những phản hồi và đóng góp quý báu của họ.