Chương 7: Khái quát hóa sai mục tiêu

AI có thể đang theo đuổi những mục tiêu mất căn chỉnh dù vẫn tỏ ra an toàn và làm đúng mọi thứ trong quá trình huấn luyện. Hiện tượng khái quát hóa sai mục tiêu (goal misgeneralization) khiến những thất bại thảm khốc trở nên vô hình cho đến khi có thể đã quá muộn để khắc phục.

Chương này đi sâu vào hiện tượng khái quát hóa sai mục tiêu (goal misgeneralization) — có lẽ là vấn đề phản trực giác nhất trong lĩnh vực an toàn AI. Khác với các vấn đề về đặc tả (specification), nơi ta đơn giản là không đưa ra được tín hiệu huấn luyện đúng đắn, hay các thất bại về năng lực, nơi hệ thống không thể làm được điều ta muốn, khái quát hóa sai mục tiêu xảy ra khi hệ thống nội tại hóa những hành vi khác với ý định ban đầu dù đã nhận được tín hiệu huấn luyện chính xác. Chúng ta sẽ bắt đầu bằng việc xác định vấn đề là gì, giải thích tại sao nó xảy ra, sau đó xem xét các biểu hiện đáng lo ngại của nó như mưu tính (scheming), và cuối cùng đi qua một số phương pháp phát hiện và giảm thiểu.

Hệ thống AI có thể học được những mục tiêu khác với ý định của chúng ta, ngay cả khi quá trình huấn luyện có vẻ hoàn toàn thành công. Phần đầu tiên giải thích tại sao không nên xem khái quát hóa (generalization) là một đặc tính một chiều. Điều này tương tự với sự tinh tế mà chúng ta đã chỉ ra ở chương Đánh giá — năng lực (capabilities) đo lường những gì một mô hình có thể làm, còn mục tiêu đo lường những gì mô hình đang cố gắng làm. Hai thứ này có thể khái quát hóa một cách độc lập với nhau, tạo ra những tình huống trong đó hệ thống vẫn giữ được các khả năng tinh vi trong khi theo đuổi những mục đích hoàn toàn khác với ý định ban đầu. Nhiều mục tiêu khác nhau có thể tạo ra cùng một hành vi trong quá trình huấn luyện, khiến chúng không thể phân biệt được về mặt hành vi cho đến khi việc triển khai thực tế mới bộc lộ mục tiêu nào mà hệ thống thực sự đã học được.

Động lực học (Learning Dynamics) giúp ta hiểu vì sao cùng một tín hiệu huấn luyện lại có thể tạo ra những thuật toán học được khác nhau. Khi huấn luyện mạng nơ-ron, chúng ta không trực tiếp "cài đặt" mục tiêu — mà đang tạo ra các áp lực chọn lọc, được dẫn dắt bởi tín hiệu huấn luyện, để ưu tiên một số hành vi nhất định hơn những hành vi khác. Có vài câu hỏi đáng khám phá ở đây: tín hiệu huấn luyện đang dẫn dắt mô hình đi qua không gian nào? Ta có thể định hình không gian đó theo cách nào đó không? Không gian này được gọi là cảnh quan mất mát (loss landscape). Hình dạng của cảnh quan đó, sự phụ thuộc đường đi (path dependence) từ điểm khởi tạo ngẫu nhiên, và các thiên kiến quy nạp (inductive bias) như thiên hướng đơn giản, tất cả đều quyết định một cách có hệ thống loại giải pháp thuật toán nào sẽ được tìm ra. Hiểu được các động lực này giúp ta hình dung thuật toán nào sẽ được học trong quá trình huấn luyện, từ đó quyết định mục tiêu của mô hình cuối cùng mà ta triển khai.

Khái quát hóa sai mục tiêu càng trở nên đáng lo ngại hơn khi hệ thống phát triển tính định hướng mục tiêu (goal-directedness) tinh vi. Dù có thể tồn tại nhiều thuật toán biểu hiện cùng một hành vi vào cuối quá trình huấn luyện, không phải thuật toán nào trong số đó cũng đáng lo ngại. Phần về tính định hướng mục tiêu bắt đầu xem xét khi nào những mô hình không thể phân biệt về mặt hành vi lại trở nên nguy hiểm. Các mô hình có thể có những mức độ định hướng mục tiêu khác nhau, từ việc so khớp mẫu (pattern matching) rất phức tạp và các thuật toán học được (learned heuristics), cho đến những hệ thống thực thi các quá trình tối ưu hóa nội tại thực sự. Mức độ định hướng mục tiêu của một hệ thống càng cao, thì khái quát hóa sai mục tiêu càng trở nên đáng lo ngại, bởi những hệ thống này có thể theo đuổi mục đích một cách có hệ thống xuyên suốt nhiều bối cảnh và trở ngại khác nhau.

Tính định hướng mục tiêu tinh vi dẫn đến hành vi bảo toàn mục tiêu (goal-preservation), và điều này có thể dẫn đến mưu tính (scheming). Dạng nguy hiểm nhất xảy ra khi những hệ thống định hướng mục tiêu phát triển nhận thức tình huống (situational awareness) về quá trình huấn luyện của chính mình cùng khả năng lập kế hoạch dài hạn. Chúng có thể chọn cách che giấu một cách chiến lược những mục tiêu mất căn chỉnh nhằm bảo toàn mục tiêu thật của mình cho đến khi không còn nguy cơ bị chỉnh sửa nữa. Chúng tôi sẽ dẫn dắt bạn qua các bằng chứng thực nghiệm từ những minh chứng về giả vờ căn chỉnh (alignment faking), mưu tính trong ngữ cảnh (in-context scheming), và mất căn chỉnh có tính tác nhân (agentic misalignment) để cho thấy loại kết cục này hoàn toàn có thể xảy ra. Sau đó chúng ta cũng sẽ xem xét cả hai phía của cuộc tranh luận về khả năng liệu hành vi mưu tính có thực sự nảy sinh như một hệ quả của quá trình học máy hay không. Phần còn lại của chương tập trung trả lời câu hỏi: "chúng ta có thể làm gì trước vấn đề này?". Vài phần tiếp theo đóng vai trò là cầu nối giữa khái quát hóa sai mục tiêu với các chương về Đánh giá và Khả năng diễn giải.

Các phương pháp phát hiện tập trung vào việc khám phá những hành vi như tính định hướng mục tiêu, bảo toàn mục tiêu, và mưu tính. Dựa trên các kỹ thuật từ chương Đánh giá, chúng ta sẽ xem xét những phương pháp hành vi theo dõi các dấu vết suy luận được bộc lộ ra ngoài (external reasoning traces), cùng các kỹ thuật diễn giải như đầu dò tuyến tính (linear probes), bộ tự mã hóa thưa (sparse autoencoders), và thao túng kích hoạt (activation manipulation). Có rất nhiều năng lực khác nhau, và nhiều tổ hợp năng lực khác nhau, cần được kiểm tra.

Các biện pháp giảm thiểu tập trung vào việc ngăn ngừa và khắc phục khái quát hóa sai mục tiêu xuyên suốt toàn bộ chuỗi phát triển. Chúng ta sẽ khám phá các can thiệp trong lúc huấn luyện như huấn luyện đối kháng (adversarial training) và học theo giáo trình (curriculum learning), các kỹ thuật hậu huấn luyện như vector điều hướng (steering vectors) và chỉnh sửa mô hình (model editing), cùng các biện pháp bảo vệ trong lúc triển khai bao gồm giám sát thời gian chạy (runtime monitoring) và cô lập trong môi trường hộp cát (sandboxing). Cũng như với mọi thách thức an toàn AI được bàn đến trong cẩm nang này, chúng tôi ủng hộ cách tiếp cận phòng thủ theo chiều sâu (defense-in-depth), trong đó nhiều biện pháp phát hiện và giảm thiểu được xếp chồng lên nhau để tạo ra một tuyến phòng thủ vững chắc trước khái quát hóa sai mục tiêu.

Lời cảm ơn

Chúng tôi xin cảm ơn Charbel-Raphael Segerie, Emanuele Ascani, Jeanne Salle, Oscar Heitmann, Camille Berger, Josh Thorsteinson và Nicolas Guillard vì những phản hồi và đóng góp quý báu của họ.