Chương 7.1: Khái quát hóa đa mục tiêu

Quá trình học máy có thể khiến mô hình học được những mục tiêu đại diện (proxy objectives) có tương quan với mục tiêu thật, thay vì học đúng mục tiêu dự định, dù tín hiệu huấn luyện hoàn toàn chính xác. Những thất bại này có thể vô hình cho đến sau khi triển khai, gây ra những mối lo ngại về an toàn.

Ví dụ CoinRun

CoinRun — một ví dụ dễ hiểu về khái quát hóa sai mục tiêu (goal misgeneralization). Trong trò chơi này, các tác nhân (agent) xuất hiện ở phía bên trái màn chơi, né tránh kẻ thù và chướng ngại vật, rồi thu thập đồng xu để nhận 10 điểm thưởng. Mô hình được huấn luyện trên hàng nghìn màn chơi được sinh ngẫu nhiên theo thuật toán, mỗi màn có cách bố trí nền tảng, kẻ thù và bẫy nguy hiểm khác nhau. Sau khi huấn luyện xong, các tác nhân trở nên rất năng lực. Chúng có thể né tránh kẻ thù di chuyển, canh thời điểm nhảy qua hố dung nham, và di chuyển hiệu quả qua những màn chơi phức tạp mà chúng chưa từng thấy trước đó (Langosco và cộng sự, 2022 (mở trong tab mới)). Việc huấn luyện có vẻ rất thành công. Các tác nhân đạt điểm thưởng cao một cách nhất quán trên nhiều môi trường thử nghiệm khác nhau. Nhưng khi đồng xu được đặt ở những vị trí ngẫu nhiên trong lúc kiểm thử, các tác nhân vẫn rất giỏi di chuyển, nhưng chúng liên tục phớt lờ những đồng xu rõ ràng đang hiện diện trước mắt và cứ thế tiếp tục di chuyển sang phải, tiến thẳng về phía bức tường trống.

Các tác nhân học được "đi sang phải" thay vì "thu thập đồng xu", dù nhận được tín hiệu phần thưởng hoàn toàn chính xác. Đặc tả phần thưởng của chúng ta là đúng: +10 điểm khi thu thập đồng xu, 0 điểm trong các trường hợp còn lại. Nhưng vì đồng xu luôn xuất hiện ở phía bên phải trong suốt quá trình huấn luyện, hai kiểu hành vi khác nhau đã nhận được sự củng cố giống hệt nhau. "Thu thập đồng xu" và "đi sang phải" đều có tương quan hoàn hảo với phần thưởng, khiến chúng không thể phân biệt được đối với quá trình tối ưu hóa. Điều này bộc lộ một khoảng cách giữa những gì ta đặc tả và những gì hệ thống thực sự học được. Đây không phải là một vấn đề về đặc tả, cũng không phải một thất bại về năng lực. Thay vào đó, các tác nhân đã học được một mục tiêu khác với ý định ban đầu, dù vẫn nhận được tín hiệu huấn luyện chính xác trong suốt quá trình. Đây chính là hiện tượng khái quát hóa sai mục tiêu (goal misgeneralization).

Định nghĩa: Mục tiêu (theo nghĩa hành vi) — Mục tiêu là những khuôn mẫu hành vi bền vững xuyên suốt nhiều bối cảnh khác nhau, bộc lộ ra điều mà hệ thống thực sự đang tối ưu hóa trong thực tế. Khác với các hàm phần thưởng hay hàm thỏa dụng được lập trình một cách tường minh, mục tiêu được suy ra từ hành vi quan sát được chứ không phải được lập trình sẵn. Một hệ thống được xem là đã học được một mục tiêu nếu nó liên tục theo đuổi những kết cục nhất định ngay cả khi bối cảnh hay môi trường cụ thể thay đổi.

Mục tiêu ≠ phần thưởng

Tín hiệu phần thưởng (các đặc tả) tạo ra áp lực chọn lọc định hình nhận thức, nhưng không trực tiếp "cài đặt" mục tiêu dự định. Trong quá trình học tăng cường (reinforcement learning), tác nhân thực hiện hành động và nhận phần thưởng dựa trên hiệu suất. Những phần thưởng này được các thuật toán tối ưu hóa sử dụng để điều chỉnh tham số, khiến những hành động mang lại phần thưởng cao có nhiều khả năng được lặp lại trong tương lai. Tác nhân không bao giờ trực tiếp "nhìn thấy" hay "nhận được" phần thưởng. Thay vào đó, tín hiệu huấn luyện đóng vai trò như áp lực chọn lọc, ưu tiên một số khuôn mẫu hành vi nhất định hơn những khuôn mẫu khác, tương tự như cách áp lực tiến hóa định hình sinh vật mà bản thân sinh vật không hề trực tiếp tối ưu hóa cho sự thích nghi về mặt di truyền (Turner, 2022 (mở trong tab mới); Ringer, 2022 (mở trong tab mới)). Bất kỳ khuôn mẫu hành vi nào có tương quan nhất quán với phần thưởng cao trong quá trình huấn luyện đều trở thành ứng viên cho mục tiêu được học. Quá trình tối ưu hóa không hề có thiên hướng nội tại nào nghiêng về cách diễn giải mà ta dự định cho tín hiệu phần thưởng.

Điều này giải thích tại sao khái quát hóa sai mục tiêu khác biệt về bản chất so với các vấn đề đặc tả. Ta không thể phát hiện khi nào một hệ thống học sai mục tiêu, bởi vì cả mục tiêu dự định (đồng xu) lẫn mục tiêu đại diện (đi sang phải) đều tạo ra hành vi giống hệt nhau trong quá trình huấn luyện. Mối lo ngại cốt lõi về an toàn ở đây chính là tính không thể phân biệt về mặt hành vi (behavioral indistinguishability): việc cải thiện đặc tả phần thưởng sẽ không ngăn được những khuôn mẫu có vấn đề, nếu quá trình học vẫn chọn lựa giữa nhiều cách lý giải khác nhau cho sự thành công. Để hiểu được điều này, ta cần xem xét cách các quy trình huấn luyện thực sự định hình mục tiêu hành vi — điều này dẫn ta đến chính khái niệm khái quát hóa.

Học máy truyền thống giả định rằng khái quát hóa là một đặc tính một chiều. Ta thường nghĩ về hiện tượng quá khớp (overfitting) trong bối cảnh những hệ thống hẹp được xây dựng để thực hiện các tác vụ cụ thể — mô hình hoặc là khái quát hóa tốt trên dữ liệu mới, hoặc là không. Hệ thống hoặc khái quát hóa tốt trên dữ liệu mới, hoặc không, với giả định rằng thất bại sẽ đồng đều trên mọi năng lực. Nhưng các nghiên cứu về học đa nhiệm (multi-task learning) cho thấy các mục tiêu khác nhau có thể khái quát hóa một cách độc lập với nhau, ngay cả khi chúng có vẻ tương quan hoàn hảo trong quá trình huấn luyện (Sener & Koltun, 2019 (mở trong tab mới)).

Để hiểu khái quát hóa sai mục tiêu, ta cần xem xét năng lực và mục tiêu một cách tách biệt. Khác với những hệ thống hẹp được thiết kế cho tác vụ cụ thể, các hệ thống AI đa dụng phải học cách theo đuổi nhiều mục tiêu khác nhau xuyên suốt nhiều bối cảnh khác nhau. Lấy một ví dụ cụ thể, các mô hình ngôn ngữ lớn (LLM) đã được huấn luyện trước sở hữu năng lực tổng quát để sinh ra đủ loại văn bản. Anthropic củng cố các LLM của mình với mục tiêu hữu ích, vô hại, và trung thực (helpful, harmless, and honest — HHH) trong quá trình huấn luyện an toàn. Nhưng điều gì sẽ xảy ra nếu mục tiêu "hữu ích" khái quát hóa xa hơn mục tiêu "trung thực"? Trong trường hợp đó, mô hình có thể học cách cung cấp những câu trả lời giàu thông tin bất kể nội dung đó là gì, thay vì hữu ích trong giới hạn đạo đức cho phép.

Năng lực có thể khái quát hóa xa hơn mục tiêu. "Khái quát hóa xa hơn" nghĩa là tiếp tục hoạt động tốt ngay cả khi được triển khai trong những môi trường rất khác so với môi trường huấn luyện. Năng lực tuân theo những khuôn mẫu đơn giản, phổ quát — suy luận chính xác, lập kế hoạch hiệu quả, và dự đoán tốt đều hoạt động theo cùng một cách xuyên suốt nhiều lĩnh vực khác nhau. Nhưng không hề có một lực phổ quát nào kéo mọi hệ thống về cùng một tập hợp mục tiêu (Soares, 2022 (mở trong tab mới)). Chính thực tại dạy cho hệ thống trở nên năng lực hơn — nếu niềm tin của bạn sai hoặc suy luận của bạn có lỗi, thế giới sẽ sửa chữa bạn. Nhưng không hề có một lực tương đương nào từ môi trường tự động giữ cho mục tiêu của bạn luôn phù hợp với những gì con người mong muốn (Kumar, 2022 (mở trong tab mới)). Sự bất đối xứng này giữa khái quát hóa năng lực và khái quát hóa mục tiêu chính là gốc rễ của vấn đề an toàn — việc làm cho hệ thống năng lực hơn không tự động khiến chúng căn chỉnh (aligned) hơn — nó chỉ khiến chúng giỏi hơn trong việc theo đuổi bất kỳ hành vi nào mà chúng tình cờ học được trong quá trình huấn luyện.

Tương quan nhân quả

Mọi môi trường huấn luyện đều chứa những tương quan giả (spurious correlations) tạo ra nhiều cách lý giải hợp lệ khác nhau cho sự thành công. Trong CoinRun, cả "thu thập đồng xu" lẫn "đi sang phải" đều dự đoán hoàn hảo phần thưởng, bởi vì đồng xu luôn xuất hiện ở phía bên phải trong quá trình huấn luyện.

Các thuật toán học được phát triển những mô hình nhân quả (causal model) có thể sai một cách có hệ thống. Mô hình nhân quả là sự hiểu biết nội tại của hệ thống về việc hành động nào gây ra kết cục nào. Khái niệm này có liên quan nhưng khác biệt với mô hình thế giới (world model) — trong khi mô hình thế giới dự đoán điều gì sẽ xảy ra tiếp theo, mô hình nhân quả giải thích tại sao mọi thứ lại xảy ra. Khi một tác nhân học được rằng "đi sang phải gây ra phần thưởng", nó đã phát triển một mô hình nhân quả khác với cấu trúc thật, trong đó "thu thập đồng xu gây ra phần thưởng". Môi trường huấn luyện ủng hộ cả hai cách diễn giải:

Cấu trúc nhân quả thật: Hành động → Thu thập đồng xu → Phần thưởng

Cấu trúc nhân quả đã học: Hành động → Di chuyển sang phải → Phần thưởng

Cả hai cấu trúc đều giải thích dữ liệu huấn luyện tốt như nhau. Các thuật toán học tăng cường tiêu chuẩn tối ưu hóa cho lợi ích kỳ vọng (expected return) mà không thực sự thực hiện việc khám phá nhân quả (causal discovery) — chúng chỉ tăng xác suất của những hành động tạo ra phần thưởng mà không xác định đặc điểm nào của các hành động đó thực sự là nguyên nhân (de Haan và cộng sự, 2019 (mở trong tab mới)).

Khái quát hóa sai mục tiêu chỉ trở nên rõ ràng khi việc triển khai phá vỡ những tương quan giả. Trong lúc huấn luyện, mục tiêu đại diện đạt hiệu suất hoàn hảo. Trong lúc triển khai, tương quan này bị phá vỡ, bộc lộ ra mô hình nhân quả sai. Khi hệ thống AI càng trở nên đa dụng hơn, chúng càng gặp phải nhiều bối cảnh rộng hơn, nơi những tương quan trong huấn luyện bị phá vỡ.

Dịch chuyển phân phối (distribution shift) là điều không thể tránh khỏi — môi trường huấn luyện không thể tái tạo hoàn hảo mọi điều kiện triển khai có thể xảy ra. Ngay cả với lượng dữ liệu huấn luyện phong phú, những tình huống mới vẫn sẽ xuất hiện và phá vỡ những tương quan có mặt trong dữ liệu huấn luyện. Khi hệ thống AI càng trở nên đa dụng hơn, chúng càng gặp phải nhiều bối cảnh rộng hơn, nơi những tương quan từng đáng tin cậy trước đây có thể không còn đúng nữa. Điều này giải thích tại sao vấn đề trở nên tồi tệ hơn với những hệ thống năng lực hơn, đa dụng hơn. Một cỗ máy chơi cờ chuyên biệt được triển khai để xử lý các thế cờ sẽ không gặp phải những tình huống phá vỡ tương quan mà nó đã học được. Nhưng một hệ thống AI đa dụng được triển khai trên nhiều lĩnh vực khác nhau chắc chắn sẽ gặp phải những bối cảnh khiến tương quan trong huấn luyện bị phá vỡ.

Dịch chuyển phân phối tự gây ra

Dịch chuyển phân phối tự gây ra (auto-induced distribution shift) tạo ra những vòng phản hồi khuếch đại khái quát hóa sai mục tiêu. Khác với dịch chuyển phân phối tự nhiên, nơi các yếu tố bên ngoài làm thay đổi môi trường, dịch chuyển phân phối tự gây ra xảy ra khi chính hành động của hệ thống AI làm thay đổi một cách có hệ thống phân phối dữ liệu mà nó gặp phải (Krueger và cộng sự, 2020 (mở trong tab mới)). Hãy nghĩ đến một hệ thống đề xuất nội dung học được mục tiêu bị khái quát hóa sai là "tối đa hóa mức độ tương tác" thay vì "đề xuất nội dung có giá trị". Khi nó tối ưu hóa cho lượt nhấp chuột và thời gian ở lại trang, nó dần dần khiến hành vi người dùng dịch chuyển về phía tiêu thụ nội dung giật gân hơn. Điều này tạo ra một vòng phản hồi: hành động của hệ thống làm thay đổi sở thích người dùng, điều này làm thay đổi phân phối dữ liệu, điều này lại củng cố thêm mục tiêu bị khái quát hóa sai. Mỗi vòng lặp lại đưa hệ thống đi xa hơn khỏi mục đích dự định ban đầu, trong khi khiến mục tiêu đã học được có vẻ càng thành công hơn theo chính những thước đo của nó.

Việc bổ sung thêm dữ liệu huấn luyện không thể loại bỏ được các tương quan giả, bởi vì ta không thể xác định trước tất cả các tương quan. Hãy nghĩ về lý do tại sao việc huấn luyện với vị trí đồng xu ngẫu nhiên trong CoinRun lại giải quyết được chính vấn đề khái quát hóa sai đó. Nó hiệu quả vì ta có thể xác định và phá vỡ tương quan cụ thể giữa việc di chuyển sang phải và phần thưởng. Nhưng điều này đòi hỏi phải biết trước tương quan nào là giả. Trong các lĩnh vực phức tạp, dữ liệu huấn luyện phản ánh cấu trúc thống kê của môi trường huấn luyện, chứ không nhất thiết phản ánh cấu trúc nhân quả của tác vụ dự định.

Bằng chứng về khái quát hóa sai mục tiêu ủng hộ luận đề trực giao (orthogonality thesis) — rằng trí thông minh và mục tiêu có thể biến thiên độc lập với nhau. Bằng chứng thực nghiệm về khái quát hóa sai mục tiêu cho thấy hệ thống có thể giữ được năng lực tinh vi trong khi vẫn theo đuổi những mục đích khác với ý định ban đầu. Tính độc lập này tạo ra một mối lo ngại về an toàn, bởi việc cải thiện năng lực không nhất thiết cải thiện sự căn chỉnh. Một hệ thống năng lực hơn sẽ giỏi hơn trong việc theo đuổi bất kỳ mục tiêu nào mà nó đã học được, bất kể đó có phải là mục tiêu dự định hay không.