Chương 7.6: Giảm thiểu

Lưu ý: Phần này vẫn đang trong quá trình hoàn thiện.

Phần Phát hiện đã bàn về các kỹ thuật hành vi/nội tại. Chúng cho ta biết cách ta có thể thu thập bằng chứng về khái quát hóa sai mục tiêu (goal misgeneralization) và mưu tính (scheming). Trong phần này, chúng ta sẽ bàn về những chiến lược giảm thiểu, tập trung vào việc ta nên can thiệp khi nào và ở đâu.

Một ràng buộc then chốt trong việc giảm thiểu khái quát hóa sai mục tiêu là phải duy trì sự tách biệt nghiêm ngặt giữa những tín hiệu diễn giải (interpretability) dùng để kiểm chứng an toàn, và những tín hiệu được tích hợp vào mục tiêu huấn luyện. Bất kỳ kỹ thuật diễn giải nào được dùng để phát hiện khái quát hóa sai mục tiêu trong lúc huấn luyện đều tạo ra áp lực mang tính đối kháng, khiến mô hình tìm cách đánh lừa chính phương pháp phát hiện đó. Nếu ta huấn luyện chống lại những đặc trưng SAE cho thấy dấu hiệu lừa dối, các mô hình sẽ học cách theo đuổi những mục tiêu lừa dối thông qua những con đường tính toán khác, không kích hoạt những đặc trưng đó. Nếu ta phạt những kích hoạt mà đầu dò tuyến tính (linear probe) liên kết với sự mất căn chỉnh, các mô hình sẽ học cách mất căn chỉnh theo những cách né tránh được sự phát hiện tuyến tính. Ràng buộc nền tảng này có nghĩa là các hệ thống kiểm chứng an toàn phải dựa vào những cách tiếp cận diễn giải hoàn toàn tách biệt với bất kỳ tín hiệu diễn giải nào được dùng trong lúc huấn luyện (Hubinger và cộng sự, 2024, Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training).

Yêu cầu tách biệt này tạo ra một bài toán phân bổ nguồn lực đầy thách thức cho nghiên cứu diễn giải. Những kỹ thuật hiệu quả nhất để phát hiện khái quát hóa sai mục tiêu lại không thể được dùng để ngăn chặn nó ngay trong lúc huấn luyện, buộc các nhóm an toàn phải phát triển song song những năng lực diễn giải phục vụ những chức năng khác nhau. Ràng buộc này cũng ngụ ý rằng bất kỳ can thiệp diễn giải nào áp dụng trong lúc huấn luyện đều sẽ dần trở nên kém hiệu quả hơn theo thời gian, khi mô hình học được cách né tránh những mẫu hình cụ thể đang bị giám sát. Do đó, các chiến lược giảm thiểu cần tập trung vào những cách tiếp cận không dựa trên chính những mẫu hình tính toán mà chúng đang cố loại bỏ.

Can thiệp trong lúc huấn luyện

Những "câu chuyện huấn luyện" mang tính cơ chế buộc ta phải cân nhắc một cách tường minh về việc quá trình huấn luyện có thể tạo ra những mục tiêu nội tại nào, thay vì chỉ đơn thuần cân nhắc những hành vi bên ngoài nào nó sẽ thể hiện. Các kỹ thuật học máy truyền thống để ngăn ngừa quá khớp (overfitting) — điều chuẩn hóa (regularization), tăng cường dữ liệu (data augmentation), kiểm định chéo (cross-validation) — đều giả định rằng ta có thể phân biệt được đâu là khái quát hóa tốt và đâu là khái quát hóa xấu. Nhưng khái quát hóa sai mục tiêu phá vỡ hoàn toàn giả định này. Ta cần suy nghĩ sâu hơn một chút về việc quá trình huấn luyện của mình thực sự đang cố đạt được điều gì, và cả về lý do tại sao kiến trúc, dữ liệu, và quy trình huấn luyện của ta thực sự sẽ dẫn đến điều ta mong muốn. Ví dụ, thay vì chỉ đặt ra mục tiêu hành vi "một mô hình biết di chuyển đến phần thưởng", một câu chuyện huấn luyện mang tính cơ chế có thể đặc tả rằng "một mô hình học được suy luận không gian về vị trí mục tiêu", và đưa ra lý do giải thích tại sao thiết lập huấn luyện lại ưu tiên điều này hơn những phương án đơn giản hơn như "bám theo tường". Cách tiếp cận này đòi hỏi các nhà phát triển phải nêu rõ không chỉ việc họ muốn hệ thống làm gì, mà còn cả việc họ muốn hệ thống suy nghĩ và suy luận như thế nào. Mục tiêu của việc này là đạt được mức độ tin cậy cao hơn về độ an toàn của hệ thống học máy của ta (Hubinger, 2021, How do we become confident in the safety of a machine learning system?). Một câu chuyện huấn luyện bao gồm hai thành phần:

1. Đặc tả mục tiêu huấn luyện: Bạn muốn mô hình học được loại thuật toán nào, xét về mặt cơ chế?
2. Lý do huấn luyện: Tại sao bạn tin rằng thiết lập huấn luyện của mình sẽ tạo ra thuật toán đó, thay vì những phương án đại diện khác?

Bản thân câu chuyện huấn luyện không phải là một biện pháp can thiệp, mà đúng hơn là một cách tư duy về tất cả những can thiệp khác mà ta sẽ bàn đến xuyên suốt phần này. Chúng cung cấp một loại khung sườn giúp ta đánh giá liệu một can thiệp cụ thể có thực sự giảm thiểu khái quát hóa sai mục tiêu hay không. Chúng tôi đã cố gắng cấu trúc mỗi can thiệp huấn luyện dưới đây để đại diện cho một câu chuyện huấn luyện khác nhau — một giả thuyết cụ thể về việc ngăn ngừa khái quát hóa sai mục tiêu thông qua những tổ hợp cụ thể giữa mục tiêu huấn luyện và lý do huấn luyện.

Học theo giáo trình

Các quy trình huấn luyện có thể chủ động định hình cảnh quan mất mát (loss landscape) để khiến những giải pháp căn chỉnh dễ được tìm ra hơn những giải pháp mất căn chỉnh, bằng cách điều chỉnh cách thuật toán hạ gradient (gradient descent) di chuyển xuyên suốt không gian thuật toán. Những hàm mất mát động, biến đổi trong lúc huấn luyện, có thể tạo ra những thung lũng sâu hơn cho mục tiêu dự định, trong khi khiến những lòng chảo cho mục tiêu đại diện trở nên nông hơn và kém ổn định hơn. Cách tiếp cận này tận dụng nhận thức rằng hình dạng của cảnh quan mất mát quyết định giải pháp nào mà thuật toán hạ gradient có nhiều khả năng tìm ra (Ruiz-Garcia và cộng sự, 2021, Tilting the playing field: Dynamical loss functions for machine learning). Những kỹ thuật cụ thể bao gồm các hàm mất mát theo chu kỳ, định kỳ nhấn mạnh những khía cạnh khác nhau của mục tiêu dự định, buộc hệ thống phải phát triển những biểu diễn bền vững, hoạt động tốt xuyên suốt nhiều tiêu chí đánh giá khác nhau. Việc huấn luyện đa mục tiêu, tối ưu hóa đồng thời cho cả hiệu suất tác vụ lẫn những mục tiêu phụ trợ liên quan đến suy luận có liên quan đến mục tiêu chính, có thể tạo ra những cảnh quan mất mát nơi các mục tiêu đại diện thất bại trong việc đạt hiệu suất cao một cách nhất quán trên mọi tiêu chí.

Học theo giáo trình (curriculum learning) cung cấp một khung sườn có hệ thống để cấu trúc quá trình huấn luyện, nhằm ngăn ngừa khái quát hóa sai mục tiêu, bằng cách kiểm soát cách độ phức tạp tăng dần theo thời gian. Những cách tiếp cận truyền thống đối với khái quát hóa sai mục tiêu thường xem dữ liệu huấn luyện như một thứ tĩnh — hoặc là bạn có những môi trường đa dạng, hoặc không; hoặc là bạn phá vỡ được các tương quan, hoặc không. Học theo giáo trình thay đổi điều này, bằng cách nhận ra rằng thứ tự và sự tiến triển của những trải nghiệm huấn luyện định hình một cách căn bản những thuật toán nào sẽ nảy sinh. Thay vì hy vọng rằng việc lấy mẫu ngẫu nhiên từ dữ liệu đa dạng sẽ ngăn được các mục tiêu đại diện, các cách tiếp cận theo giáo trình chủ động sắp xếp trình tự huấn luyện để xây dựng sự hiểu biết nhân quả vững chắc, đồng thời làm suy yếu một cách có hệ thống những tương quan giả (Bengio và cộng sự, 2009, Curriculum Learning).

Định nghĩa: Học theo giáo trình (Curriculum Learning) — Học theo giáo trình là một chiến lược huấn luyện, trong đó dữ liệu được đưa đến mô hình học máy theo một trình tự có ý nghĩa, thường tiến triển từ những ví dụ dễ đến những ví dụ khó hơn, nhằm cải thiện hiệu quả học tập và khả năng khái quát hóa.

Ý tưởng cơ bản này liên hệ đến những gì ta đã bàn ở phần động lực học. Thay vì phó mặc việc tìm kiếm xuyên suốt không gian thuật toán cho sự may rủi, học theo giáo trình định hình những giải pháp nào có thể được khám phá ra, bằng cách kiểm soát trình tự các áp lực tối ưu hóa mà hệ thống gặp phải.

Thiết kế giáo trình hiệu quả cho khái quát hóa sai mục tiêu đòi hỏi một sự tiến triển được căn chỉnh nhân quả (causally aligned), trong đó mỗi giai đoạn đều giữ nguyên những quy tắc quyết định tối ưu cho mục tiêu dự định. Một giáo trình sai có thể thực sự "cắm rễ" cho những mục tiêu đại diện — nếu những giai đoạn đầu "dễ hơn" lại thưởng cho những tương quan giả, những mẫu hình đó có thể vẫn tồn tại ngay cả khi quá trình huấn luyện trở nên tinh vi hơn. Nếu ta muốn học được những mô hình nhân quả, ta cần tạo ra một dạng học theo giáo trình được căn chỉnh nhân quả. Điều này cung cấp những điều kiện hình thức để đảm bảo rằng những kỹ năng học được trong những môi trường đơn giản hơn sẽ chuyển giao được sang những môi trường phức tạp hơn, mà không bị trôi dạt mục tiêu (Li & Bareinboim, 2025, Causally Aligned Curriculum Learning). Đối với khái quát hóa sai mục tiêu, điều này có nghĩa là mỗi giai đoạn của giáo trình phải bảo tồn cấu trúc nhân quả liên kết hành động với kết cục dự định, ngay cả khi độ phức tạp của môi trường tăng lên. Vậy nên trong ví dụ CoinRun, một giáo trình được căn chỉnh nhân quả sẽ bắt đầu với những màn chơi nơi mối quan hệ đồng xu–phần thưởng rõ ràng nhất — có lẽ với đồng xu ở những vị trí ngẫu nhiên nhưng ít chướng ngại vật — rồi dần dần tăng thêm độ phức tạp của môi trường, trong khi biến thiên một cách có hệ thống những đặc trưng giả.

Thiết kế giáo trình dựa trên khả năng diễn giải đại diện cho một hướng đi đầy hứa hẹn để ngăn ngừa khái quát hóa sai mục tiêu, thông qua việc giám sát theo thời gian thực những biểu diễn đã học. Sử dụng những kỹ thuật như vector điều hướng (steering vectors) và ghép nối kích hoạt (activation patching), các hệ thống giáo trình có thể đánh giá xem hệ thống thực sự đã học được những mục tiêu và mẫu hình suy luận nào, sau đó thiết kế những giai đoạn tiếp theo để giải quyết những khoảng trống hay khuôn mẫu đáng lo ngại đã được xác định. Nếu đầu dò phát hiện những mục tiêu đại diện đang nảy sinh, giáo trình có thể ngay lập tức đưa vào những môi trường phá vỡ chính những tương quan cụ thể đó. Nếu phân tích kích hoạt bộc lộ suy luận nhân quả yếu, những giai đoạn tiếp theo có thể nhấn mạnh vào việc giám sát quá trình và những yêu cầu suy luận tường minh.

Cách tiếp cận thích ứng này giải quyết thách thức nền tảng trong thiết kế giáo trình: ta không thể lường trước tất cả những mục tiêu đại diện tiềm ẩn, nhưng ta có thể giám sát chúng và phản ứng một cách có hệ thống. Sự kết hợp giữa các nguyên tắc học theo giáo trình với những công cụ diễn giải mở ra một hướng đi cho những quy trình huấn luyện chủ động ngăn ngừa khái quát hóa sai mục tiêu, thay vì chỉ đơn thuần hy vọng nó sẽ không xảy ra.

Tăng cường dữ liệu

Câu chuyện huấn luyện: Ta muốn những thuật toán học được những biểu diễn mục tiêu bất biến trước những đặc trưng môi trường mang tính giả. Ta đạt được điều này bằng cách biến thiên một cách có hệ thống những đặc trưng có khả năng mang tính giả, trong khi vẫn giữ nguyên những đặc trưng liên quan đến mục tiêu, khiến những giải pháp dựa trên tương quan trở nên không đáng tin cậy.

Việc phá vỡ những tương quan giả thông qua biến thiên dữ liệu là cách tiếp cận trực tiếp nhất đối với khái quát hóa sai mục tiêu, nhưng nó gặp phải một giới hạn nền tảng. Học máy truyền thống sử dụng tăng cường dữ liệu để đối phó với quá khớp — xoay ảnh, thêm nhiễu, cắt bớt (ablation)… nguyên tắc tương tự cũng áp dụng cho huấn luyện an toàn. Tuy nhiên, thay vì biến thiên ngẫu nhiên các đặc trưng môi trường, ta cũng có thể dùng những cách tiếp cận dựa trên học theo giáo trình ở đây. Việc tăng cường dữ liệu dựa trên giáo trình có thể có hệ thống tiến triển từ những mối quan hệ nhân quả rõ ràng, đến những phân biệt tinh tế hơn. Điều này có thể giúp ích đôi chút cho an toàn, nhưng đối với khái quát hóa sai mục tiêu, thách thức cốt lõi vẫn nằm ở việc thiết kế giáo trình, hay "biết trước tương quan nào cần phá vỡ".

Việc sinh dữ liệu và tác vụ tổng hợp mở rộng nguyên tắc này ra ngoài phạm vi môi trường, đến bất kỳ lĩnh vực huấn luyện nào. Thay vì lường trước từng tương quan tiềm ẩn theo cách thủ công, những cách tiếp cận mang tính sinh tạo có thể tạo ra dữ liệu huấn luyện trong đó những mục tiêu đại diện bị làm suy yếu một cách có hệ thống, trong khi những mẫu hình suy luận dự định vẫn được thưởng.

Việc sinh môi trường theo thuật toán mang lại quy mô chưa từng có cho việc phá vỡ tương quan. Thay vì thiết kế môi trường thủ công để phá vỡ những tương quan cụ thể, những mô hình thế giới mang tính sinh tạo có thể tạo ra vô số bối cảnh huấn luyện, nơi những tương quan giả biến thiên một cách có hệ thống. Điều này khiến việc phá vỡ tương quan có thể mở rộng quy mô, thay vì đòi hỏi chuyên môn sâu rộng về lĩnh vực, dù nó không thể giải quyết vấn đề nền tảng về "những điều chưa biết mà ta còn không biết là mình chưa biết" (unknown unknowns) (Google DeepMind, 2024, Genie 3: A new frontier for world models).

Huấn luyện đối kháng

Câu chuyện huấn luyện: Ta muốn học những thuật toán thực thi suy luận định hướng mục tiêu thông qua những biểu diễn nội tại bền vững, không dựa vào những mẫu hình tương quan mong manh trong các kích hoạt nơ-ron. Ta đạt được điều này bằng cách huấn luyện dưới những nhiễu loạn tiềm ẩn (latent perturbation), làm gián đoạn những tương quan nội tại mang tính giả, trong khi vẫn yêu cầu duy trì hiệu suất, buộc hệ thống phải phát triển những biểu diễn mục tiêu dựa trên suy luận nhân quả thay vì suy luận tương quan.

Huấn luyện đối kháng ở không gian đầu vào truyền thống kiểm tra xem mô hình có còn hoạt động tốt khi bạn can thiệp vào những gì nó nhìn thấy hay không, trong khi huấn luyện đối kháng tiềm ẩn (latent adversarial training) kiểm tra xem chúng có còn hoạt động tốt khi bạn can thiệp vào cách chúng suy nghĩ hay không. Hãy hình dung việc kiểm thử khả năng nhận diện biển báo dừng của một chiếc xe tự lái. Huấn luyện đối kháng ở không gian đầu vào sẽ dán nhãn lên biển báo dừng hoặc thay đổi ánh sáng, để xem chiếc xe có còn dừng lại hay không. Huấn luyện đối kháng tiềm ẩn (LAT) sẽ giống như can thiệp trực tiếp vào "khái niệm" nội tại của chiếc xe về ý nghĩa của một biển báo dừng — kiểm tra xem khả năng nhận diện có còn hoạt động hay không, nếu bạn xáo trộn những mẫu hình "não bộ" biểu diễn cho "biển báo bát giác màu đỏ" hay "luật giao thông".

Đối với khái quát hóa sai mục tiêu, sự phân biệt này quan trọng bởi vì vấn đề thường nằm ở những biểu diễn nội tại mà hệ thống học được, chứ không phải ở khả năng xử lý những đầu vào bất thường của nó. Một mô hình ngôn ngữ có thể phát triển những liên kết nội tại giữa những phản hồi hữu ích và một số mẫu hình văn phong nhất định, ngay cả khi nội dung thực tế có vấn đề. LAT có thể bắt được những tương quan nội tại này, bằng cách trực tiếp kiểm tra xem những biểu diễn mục tiêu đã học có bền vững hay không, khi những mẫu hình kích hoạt mã hóa những mối quan hệ mang tính giả bị cố ý xáo trộn (Casper và cộng sự, 2024, Defending Against Unforeseen Failure Modes with Latent Adversarial Training).

Trong lúc huấn luyện, hệ thống phải duy trì việc theo đuổi đúng mục tiêu, ngay cả khi những biểu diễn nội tại của các tương quan giả bị cố ý làm gián đoạn. Điều này buộc hệ thống phải phát triển những biểu diễn mục tiêu không thể dựa vào những mẫu hình tương quan nội tại mong manh. Khác với những cách tiếp cận ở không gian đầu vào, kiểm tra độ bền vững trước những biến thiên môi trường, huấn luyện đối kháng tiềm ẩn nhắm trực tiếp vào những cơ chế tính toán nội tại tạo điều kiện cho khái quát hóa sai mục tiêu.

Huấn luyện đối kháng tiềm ẩn có mục tiêu đã chứng tỏ đặc biệt hiệu quả đối với các mô hình ngôn ngữ. Các nhà nghiên cứu đã sử dụng LAT để cải thiện độ bền vững của việc huấn luyện từ chối trước những nỗ lực bẻ khóa (jailbreak), vượt trội hơn những phương pháp cơ sở tốn kém về tính toán như R2D2, với lượng tính toán ít hơn nhiều bậc độ lớn. Kỹ thuật này cũng loại bỏ được những cửa hậu (backdoor) mà không cần quyền truy cập vào tác nhân kích hoạt, và khiến các phương pháp gỡ bỏ tri thức (unlearning) trở nên bền vững hơn trước những nỗ lực học lại (Sheshadri và cộng sự, 2024, Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs).

Huấn luyện cận thị

Ta muốn những thuật toán theo đuổi mục tiêu trong phạm vi những chân trời thời gian giới hạn, mà không phát triển những mục tiêu vượt ngoài episode (beyond-episode goals) tạo điều kiện cho sự lừa dối chiến lược. Ta đạt được điều này bằng cách giới hạn phạm vi tối ưu hóa, để ngăn chặn việc phát triển những năng lực lập kế hoạch dài hạn cần thiết cho việc che giấu mục tiêu một cách chiến lược.

Những hệ thống không có khả năng lập kế hoạch vượt ra ngoài những hành động trước mắt sẽ không thể tham gia vào sự lừa dối chiến lược trong lúc huấn luyện. Những cách tiếp cận tối ưu hóa cận thị (myopic optimization), như MONA (Myopic Optimization from Non-myopic Approval), huấn luyện các tác nhân theo đuổi mục tiêu chỉ mở rộng đến hành động tiếp theo, ngăn chặn việc phát triển những mục tiêu vượt ngoài episode, vốn tạo điều kiện cho việc giả vờ căn chỉnh (alignment faking) và những hành vi lừa dối tương tự. Một tác nhân cận thị không thể phát triển những hành vi giống như những gì ta đã thấy ở phần Mưu tính (ví dụ, giả vờ căn chỉnh), bởi vì chân trời tối ưu hóa của nó không mở rộng ra ngoài từng phản hồi riêng lẻ — nó không thể suy luận về "sau này, khi sự giám sát giảm bớt", bởi vì không hề có "sau này" trong phạm vi lập kế hoạch của nó (Farquhar và cộng sự, 2024, Managed Myopia with Approval Feedback). Điều này giải quyết trực tiếp mối đe dọa mưu tính, bằng cách ngăn chặn việc phát triển những năng lực điều kiện tiên quyết, vốn tạo điều kiện cho việc che giấu mục tiêu một cách chiến lược.

Huấn luyện định hướng theo quá trình

Câu chuyện huấn luyện: Ta muốn những thuật toán thực thi những mẫu hình suy luận phù hợp để đi đến kết luận, khiến những "đường tắt" bỏ qua suy luận nhân quả dự định không thể đạt được hiệu suất tốt. Ta đạt được điều này bằng cách tối ưu hóa chính quá trình suy luận, thay vì chỉ tối ưu hóa đầu ra cuối cùng.

Huấn luyện định hướng theo quá trình (process-oriented training) đánh giá những bước mà hệ thống thực hiện để đi đến kết luận, trong khi huấn luyện định hướng theo kết quả chỉ đánh giá kết quả cuối cùng. Huấn luyện định hướng theo quá trình biến chính quá trình suy luận thành một phần của mục tiêu tối ưu hóa. Hệ thống không thể thỏa mãn mục tiêu huấn luyện chỉ bằng cách tìm ra bất kỳ con đường nào dẫn đến đáp án đúng — chúng phải sử dụng những quá trình suy luận phù hợp với những mối quan hệ nhân quả dự định.

Huấn luyện có hỗ trợ của AI

Ta có thể sử dụng các mô hình AI để xác định và sửa chữa khái quát hóa sai mục tiêu tiềm ẩn, ngay trong chính quá trình huấn luyện. Can thiệp hành vi này hoạt động bằng cách để một mô hình ngôn ngữ riêng biệt phân tích chính sách và hành vi của tác nhân đang được huấn luyện, để xác định những kịch bản nơi tác nhân có thể đang học những mục tiêu đại diện thay vì mục tiêu dự định. Mô hình ngôn ngữ đóng vai trò giám sát viên xem xét những khuôn mẫu ra quyết định của tác nhân và đưa ra phản hồi sửa chữa khi nó phát hiện suy luận dựa vào những tương quan giả, thay vì sự hiểu biết thực sự về mục tiêu dự định. Ví dụ, mô hình ngôn ngữ có thể nhận thấy rằng một tác nhân định vị liên tục di chuyển về phía những bức tường, và đánh dấu điều này như một dấu hiệu cho thấy nó có thể đang học "bám theo tường" thay vì "đạt đến mục tiêu" (Barj & Sautory, 2024, Reinforcement Learning from LLM Feedback to Counteract Goal Misgeneralization). Kỹ thuật này giải quyết cụ thể khái quát hóa sai mục tiêu, bằng cách cung cấp một góc nhìn bên ngoài, có thể nhận ra khi những hành vi đã học lệch khỏi mục tiêu dự định, ngay cả khi những hành vi đó tạo ra kết cục đúng trong lúc huấn luyện. Tuy nhiên, nó gặp phải giới hạn là mô hình ngôn ngữ giám sát cũng có thể có những thiên kiến riêng, hoặc thất bại trong việc nhận ra những hình thức tinh vi của khái quát hóa sai mục tiêu, và cách tiếp cận này đòi hỏi chi phí tính toán đáng kể.

Khái niệm chung về giám sát dựa trên quá trình, cùng những cách tiếp cận an toàn có sự hỗ trợ của AI, là điều ta sẽ bàn kỹ hơn nhiều ở chương tiếp theo, về giám sát có thể mở rộng quy mô (scalable oversight).

Huấn luyện đối kháng được nới lỏng

Huấn luyện đối kháng được nới lỏng (relaxed adversarial training) tích hợp những tín hiệu giám sát một cách liên tục vào quá trình huấn luyện, thay vì cố gắng phát hiện sự lừa dối sau khi nó đã nảy sinh. Huấn luyện đối kháng được nới lỏng thực ra không phải là "huấn luyện đối kháng" theo nghĩa truyền thống — đó là sự giám sát liên tục, không đòi hỏi phải phát hiện hoàn hảo khi nào mô hình đang lừa dối. Phần "được nới lỏng" có nghĩa là bạn đang nới lỏng giả định rằng bạn có thể phát hiện hoàn hảo khi nào một mô hình đang lừa dối hay theo đuổi sai mục tiêu. Thay vì bắt được sự lừa dối sau khi nó xảy ra, cách tiếp cận này khiến sự minh bạch về mục tiêu trở nên có giá trị mang tính công cụ xuyên suốt quá trình huấn luyện. Hệ thống học được rằng việc tỏ ra chấp nhận được đối với người đánh giá là một phần của việc thể hiện tốt, tạo ra động cơ để phát triển những mục tiêu có thể được biện minh trước người giám sát, thay vì những mục tiêu cần phải che giấu (Hubinger, 2019, Relaxed adversarial training for inner alignment). Điều này làm thay đổi những hành vi nào được thưởng, để bao gồm cả sự chấp thuận liên tục của con người, bên cạnh hiệu suất tác vụ. Hệ thống không thể đạt hiệu suất cao thông qua những mục tiêu đại diện ẩn giấu, bởi vì làm vậy sẽ vi phạm những yêu cầu về tính minh bạch được đánh giá liên tục trong lúc huấn luyện. Tuy nhiên, điều này có nguy cơ tạo ra những hình thức lừa dối tinh vi hơn — hệ thống có thể học cách tỏ ra minh bạch trong khi vẫn theo đuổi những mục tiêu khác, trở nên giỏi hơn trong việc đánh lừa người đánh giá, thay vì thực sự trở nên căn chỉnh hơn.

Huấn luyện dựa trên khả năng diễn giải

Câu chuyện huấn luyện: Ta muốn những thuật toán phát triển những biểu diễn mục tiêu căn chỉnh một cách minh bạch, với những mẫu hình có vấn đề được phát hiện và sửa chữa ngay khi chúng nảy sinh, thay vì chỉ được khám phá ra sau khi huấn luyện đã hoàn tất. Ta đạt được điều này thông qua việc giám sát liên tục những biểu diễn nội tại trong lúc huấn luyện, sử dụng các công cụ diễn giải để xác định những mẫu hình đáng lo ngại và điều chỉnh động lực huấn luyện theo thời gian thực.

Huấn luyện dựa trên khả năng diễn giải tích hợp việc phân tích theo thời gian thực các trạng thái nội tại của mô hình vào chính quá trình huấn luyện, sử dụng những kỹ thuật như bộ tự mã hóa thưa (Sparse Autoencoders), phân tích vector điều hướng, hay giám sát dựa trên đầu dò, để phát hiện những mẫu hình liên quan đến mục tiêu đang nảy sinh và điều chỉnh việc huấn luyện tương ứng. Khác với phân tích hậu kỳ, cách tiếp cận này xem diễn giải như một thành phần chủ động của vòng lặp huấn luyện, thay vì một công cụ đánh giá thụ động. Ví dụ, nếu phân tích SAE trong lúc huấn luyện bộc lộ sự nảy sinh của những đặc trưng liên quan đến suy luận lừa dối hay việc theo đuổi mục tiêu đại diện, quá trình huấn luyện có thể ngay lập tức đưa vào những biện pháp sửa chữa — tăng cường dữ liệu bổ sung nhắm vào chính những mẫu hình đó, những hàm mất mát được điều chỉnh để phạt sự phụ thuộc vào những đặc trưng có vấn đề, hay những điều chỉnh giáo trình làm suy yếu những tương quan giả đang nảy sinh (Cunningham và cộng sự, 2023, Sparse Autoencoders Find Highly Interpretable Features in Language Models).

Cách tiếp cận này tạo điều kiện cho những phản ứng thích ứng đối với những khuôn mẫu khái quát hóa sai mục tiêu mà ta không thể lường trước. Những cách tiếp cận huấn luyện truyền thống phải đặc tả những chiến lược giảm thiểu của chúng trước khi việc huấn luyện bắt đầu, nhưng huấn luyện dựa trên khả năng diễn giải có thể phản ứng với chính những mẫu hình thực sự nảy sinh trong mỗi lượt huấn luyện. Nếu có những tương quan bất ngờ xuất hiện giữa các đặc trưng môi trường và phần thưởng, hệ thống có thể ngay lập tức sinh ra dữ liệu huấn luyện phá vỡ chính những tương quan cụ thể đó. Nếu phân tích đầu dò bộc lộ rằng mô hình đang phát triển những biểu diễn nội tại liên quan đến sự lừa dối chiến lược, việc huấn luyện có thể được điều chỉnh để nhắm cụ thể vào những mẫu hình biểu diễn đó, thông qua những kỹ thuật như tinh chỉnh loại bỏ khái niệm (Concept Ablation Fine-Tuning — Marks và cộng sự, 2025, Auditing language models for hidden objectives).

Lợi thế về mặt thời gian của việc huấn luyện dựa trên khả năng diễn giải phải được cân bằng với ràng buộc tách biệt giữa kiểm chứng và huấn luyện. Việc can thiệp sớm, khi những mẫu hình có vấn đề mới bắt đầu nảy sinh, có tiềm năng hiệu quả hơn nhiều so với việc cố gắng sửa chữa sau khi khái quát hóa sai mục tiêu đã "cắm rễ" sâu trong những biểu diễn của mô hình. Tuy nhiên, việc sử dụng những tín hiệu diễn giải để dẫn dắt huấn luyện tạo ra nguy cơ mô hình sẽ học được cách né tránh chính những cách tiếp cận giám sát đó, khiến chúng kém hiệu quả hơn cho việc kiểm chứng an toàn sau này. Điều này gợi ý rằng huấn luyện dựa trên khả năng diễn giải nên tập trung vào việc phát triển những biểu diễn mục tiêu bền vững, thay vì cố gắng loại bỏ mọi mẫu hình có khả năng đáng lo ngại, và rằng việc kiểm chứng an toàn nên dựa vào những cách tiếp cận diễn giải hoàn toàn tách biệt.

Tinh chỉnh loại bỏ khái niệm (Concept Ablation Fine-Tuning — CAFT) xác định những hướng có vấn đề trong không gian kích hoạt nơ-ron bằng các kỹ thuật diễn giải, rồi tinh chỉnh trong khi loại bỏ những hướng này, để ngăn sự phụ thuộc vào những khái niệm không mong muốn. Thay vì phát hiện khái quát hóa sai mục tiêu sau khi nó đã xảy ra, CAFT hoạt động theo hướng phòng ngừa, bằng cách xác định những hướng tương ứng với những mẫu hình đáng lo ngại — như những tương quan giả hay những biểu diễn "cá tính mất căn chỉnh" — rồi huấn luyện trong khi có hệ thống loại bỏ khả năng của mô hình sử dụng những hướng này. Điều này buộc hệ thống phải học tác vụ dự định thông qua những con đường tính toán không dựa vào những "đường tắt" có vấn đề (Casademunt và cộng sự, 2025, Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning).

CAFT giải quyết kịch bản xấu nhất, nơi những khuôn mẫu khái quát hóa sai mục tiêu không thể được lường trước thông qua thiết kế dữ liệu huấn luyện. Kỹ thuật này sử dụng hai cách tiếp cận chính: Phân tích thành phần chính (Principal Component Analysis) trên những khác biệt kích hoạt giữa mô hình gốc và mô hình đã tinh chỉnh, để xác định những hướng liên quan đến những thay đổi có vấn đề, và bộ tự mã hóa thưa, để phân rã các kích hoạt thành những thành phần có thể diễn giải được, có thể được đánh giá về mối lo ngại đối với sự căn chỉnh. Sự diễn giải của con người sau đó xác định hướng nào tương ứng với những khái niệm không mong muốn, cần được loại bỏ trong lúc huấn luyện. Trong những thí nghiệm có kiểm soát về sự mất căn chỉnh mang tính tự phát (emergent misalignment), CAFT giảm 10 lần số lượng phản hồi gây hại, trong khi vẫn duy trì hiệu suất trên những tác vụ dự định, chứng minh rằng những khuôn mẫu khái quát hóa có vấn đề có thể được ngăn ngừa, ngay cả khi không có những ví dụ tường minh về cách thức thất bại (Casademunt và cộng sự, 2025, Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning).

Hiệu quả của CAFT bộc lộ những ràng buộc quan trọng đối với việc giảm thiểu khái quát hóa sai mục tiêu. Kỹ thuật này hoạt động tốt nhất khi những mục tiêu có vấn đề tương ứng với những hướng có thể xác định được trong không gian kích hoạt, thay vì nảy sinh từ những biểu diễn phân tán hay đan xen chặt chẽ với nhau. Điều này gợi ý rằng CAFT có thể hiệu quả nhất đối với những hình thức khái quát hóa sai mục tiêu đơn giản hơn, trong khi có thể gặp khó khăn với những mẫu hình tinh vi hơn, phân tán thông tin liên quan đến mục tiêu trên nhiều con đường tính toán khác nhau. Ngoài ra, CAFT cũng gặp phải ràng buộc tách biệt giữa kiểm chứng và huấn luyện: những phương pháp diễn giải dùng để xác định những hướng đáng lo ngại trong lúc huấn luyện không thể sau đó được dùng cho việc kiểm chứng an toàn, mà không tạo ra áp lực mang tính đối kháng.

Các cách tiếp cận kết hợp

Không có can thiệp huấn luyện đơn lẻ nào mang lại sự bảo vệ hoàn toàn trước khái quát hóa sai mục tiêu, bởi vì mỗi can thiệp nhắm vào một khía cạnh khác nhau của vấn đề. Tăng cường dữ liệu ngăn ngừa những "đường tắt" mang tính môi trường, huấn luyện đối kháng tiềm ẩn ngăn ngừa những "đường tắt" mang tính biểu diễn nội tại, và huấn luyện định hướng theo quá trình ngăn ngừa những "đường tắt" mang tính suy luận. Những cách tiếp cận kết hợp tạo ra nhiều áp lực độc lập chống lại khái quát hóa sai mục tiêu.

Ví dụ: kết hợp tăng cường dữ liệu với huấn luyện đối kháng tạo ra áp lực kép chống lại khái quát hóa sai mục tiêu. Những hệ thống được huấn luyện trên dữ liệu tổng hợp đa dạng, đồng thời đối mặt với những nhiễu loạn tiềm ẩn, sẽ gặp phải cả sự biến thiên môi trường lẫn những thách thức mang tính biểu diễn, giải quyết khái quát hóa sai mục tiêu ở nhiều cấp độ cùng lúc. Sự kết hợp này ngăn ngừa cả những "đường tắt" mang tính môi trường mà tăng cường dữ liệu nhắm đến, lẫn những "đường tắt" mang tính biểu diễn nội tại mà huấn luyện đối kháng tiềm ẩn giải quyết.

Ví dụ: Kết hợp huấn luyện định hướng theo quá trình với học theo giáo trình mang tính nhân quả. Những giai đoạn đầu có thể đòi hỏi suy luận nhân quả tường minh, từng bước một, với phản hồi tức thời. Những giai đoạn sau có thể dần dần giảm bớt "khung đỡ" trong khi vẫn duy trì việc đánh giá quá trình, cho phép hệ thống nội tại hóa những mẫu hình suy luận phù hợp. Một giáo trình bắt đầu với những chuỗi nhân quả đơn giản ("nếu thấy đồng xu, thì lập kế hoạch đường đi đến đồng xu") và dần dần xây dựng lên đến suy luận đa bước phức tạp ("đánh giá nhiều lựa chọn mục tiêu, cân nhắc chướng ngại vật, lập kế hoạch tuyến đường hiệu quả") mang lại sự phát triển có hệ thống cho năng lực suy luận nhân quả thực sự, thay vì việc so khớp mẫu hình tinh vi chỉ đơn thuần bắt chước suy luận tốt.

Chi phí tính toán của những cách tiếp cận kết hợp có thể khá lớn. Việc huấn luyện với đồng thời sinh dữ liệu tổng hợp, nhiễu loạn đối kháng tiềm ẩn, và giám sát quá trình đòi hỏi lượng tính toán lớn hơn đáng kể so với huấn luyện tiêu chuẩn. Chi phí của những cách tiếp cận kết hợp có thể hạn chế việc áp dụng chúng trong những môi trường cạnh tranh, nơi hiệu quả huấn luyện quan trọng đối với khả năng tồn tại về mặt thương mại.

Những tổ hợp dựa trên khả năng diễn giải đại diện cho cách tiếp cận tinh vi nhất để ngăn ngừa khái quát hóa sai mục tiêu, thông qua những can thiệp trong lúc huấn luyện. Thay vì chọn lựa các kỹ thuật giảm thiểu một cách mù quáng, huấn luyện dựa trên khả năng diễn giải có thể điều chỉnh tổ hợp các cách tiếp cận dựa trên những mẫu hình thực sự nảy sinh trong lúc huấn luyện. Ví dụ, nếu phân tích SAE bộc lộ sự phát triển của những đặc trưng liên quan đến "đường tắt" mang tính môi trường, hệ thống có thể nhấn mạnh vào việc tăng cường dữ liệu, nhắm vào chính những tương quan cụ thể đó. Nếu giám sát dựa trên đầu dò phát hiện những mẫu hình suy luận chiến lược đang nảy sinh, việc huấn luyện có thể bổ sung thêm giám sát quá trình và yêu cầu minh bạch. Nếu ghép nối kích hoạt bộc lộ rằng một số thành phần nhất định đang trở nên quan trọng về mặt nhân quả đối với những hành vi có vấn đề, huấn luyện đối kháng tiềm ẩn có mục tiêu có thể được áp dụng vào chính những con đường cụ thể đó. Cách tiếp cận thích ứng này giải quyết thách thức nền tảng rằng ta không thể lường trước mọi khuôn mẫu khái quát hóa sai mục tiêu tiềm ẩn, nhưng ta có thể giám sát chúng và phản ứng một cách có hệ thống khi chúng nảy sinh (Casademunt và cộng sự, 2025, Steering Out-of-Distribution Generalization with Concept Ablation Fine-Tuning; Cunningham và cộng sự, 2023, Sparse Autoencoders Find Highly Interpretable Features in Language Models).

Can thiệp hậu huấn luyện

Vector điều hướng

Vector điều hướng (steering vectors) cung cấp một khung sườn tổng quát cho cả việc phát hiện lẫn kiểm soát những hành vi liên quan đến mục tiêu, bằng cách xác định những hướng tuyến tính trong không gian kích hoạt tương ứng với những đặc tính hay mục đích cụ thể. Thay vì huấn luyện những bộ phân loại như đầu dò, vector điều hướng sử dụng những tập dữ liệu tương phản để tìm ra những hướng phân biệt giữa các chế độ hành vi khác nhau — ví dụ, sự khác biệt giữa các kích hoạt khi một mô hình đang hữu ích so với khi nó đang theo đuổi một mục đích ẩn giấu. Những vector này sau đó có thể được cộng thêm vào hoặc trừ đi khỏi các kích hoạt của mô hình trong lúc suy luận, để tăng hoặc giảm những hành vi tương ứng, khiến chúng hữu ích cho cả việc phát hiện (bằng cách đo lường phép chiếu lên hướng đó) lẫn việc kiểm soát (bằng cách điều hướng dọc theo hướng đó) (Turner và cộng sự, 2024, Understanding Reasoning in Thinking Language Models via Steering Vectors).

Vector điều hướng có thể phát hiện khái quát hóa sai mục tiêu, bằng cách bộc lộ khi nào mô hình đang suy luận về những mục đích khác với hành vi bề ngoài của nó. Các nhà nghiên cứu đã thành công trong việc trích xuất những vector điều hướng cho những hành vi như quay lui, ước lượng độ bất định, và suy luận chiến lược trong các mô hình suy luận. Những vector này hoạt động xuyên suốt những bối cảnh và kích cỡ mô hình khác nhau, gợi ý rằng chúng nắm bắt được những mẫu hình tính toán ổn định, thay vì những tương quan bề mặt. Khi được áp dụng vào việc phát hiện khái quát hóa sai mục tiêu, vector điều hướng có tiềm năng xác định khi nào mô hình đang suy luận nội tại về những chiến lược lừa dối hay những mục đích ẩn giấu, ngay cả khi đầu ra của chúng có vẻ căn chỉnh (Venhoff và cộng sự, 2025, Understanding Reasoning in Thinking Language Models via Steering Vectors).

Hiệu quả của vector điều hướng bộc lộ những hiểu biết quan trọng về cách khái quát hóa sai mục tiêu nảy sinh trong lúc huấn luyện. Nghiên cứu về các mô hình suy luận cho thấy những vector điều hướng bắt nguồn từ các kích hoạt của mô hình nền tảng có thể khơi gợi những hành vi phức tạp như quay lui, khi được áp dụng vào các mô hình đã tinh chỉnh, ngay cả khi chính những vector đó lại không khơi gợi được những hành vi này ở bản thân mô hình nền tảng. Điều này gợi ý rằng việc tinh chỉnh tái sử dụng những biểu diễn đã có sẵn, thay vì học những năng lực hoàn toàn mới, mang lại một cửa sổ để nhìn vào cách khái quát hóa sai mục tiêu có thể nảy sinh, thông qua việc tái triển khai những năng lực tiềm ẩn đã có sẵn trong các mô hình nền tảng (foundation models) (Ward và cộng sự, 2025, Reasoning-Finetuning Repurposes Latent Representations in Base Models).

Mối liên hệ với các bộ mô phỏng (simulators) rất quan trọng ở đây — vector điều hướng có thể được hiểu như những cách để kích hoạt những "thực thể mô phỏng" (simulacra) hay chế độ hành vi khác nhau mà mô hình đã học được cách "nhập vai", có khả năng bộc lộ toàn bộ không gian mục tiêu và cá tính mà mô hình có khả năng theo đuổi.

Chỉnh sửa mô hình và gỡ bỏ tri thức

Các kỹ thuật chỉnh sửa mô hình (model editing) có thể "phẫu thuật" loại bỏ hoặc điều chỉnh những biểu diễn liên quan đến mục tiêu cụ thể, mà không cần huấn luyện lại toàn bộ. Khi phân tích diễn giải xác định được những mạch, đặc trưng, hay biểu diễn cụ thể liên quan đến khái quát hóa sai mục tiêu, những kỹ thuật như ROME (Rank-One Model Editing) hay xóa khái niệm (concept erasure) có thể chỉnh sửa chính xác những mẫu hình đó, trong khi vẫn giữ nguyên những năng lực khác. Cách tiếp cận này đặc biệt có giá trị khi khái quát hóa sai mục tiêu chỉ ảnh hưởng đến một tập hợp con năng lực của mô hình, cho phép sửa chữa có mục tiêu mà không làm suy giảm hiệu suất tổng thể (Meng và cộng sự, 2022, Locating and Editing Factual Associations in GPT; Belrose và cộng sự, 2023, Leace: Perfect linear concept erasure in closed form).

Các cách tiếp cận gỡ bỏ tri thức (unlearning) có thể có hệ thống giảm bớt sự phụ thuộc của mô hình vào những biểu diễn mục tiêu có vấn đề, đã được xác định thông qua đánh giá an toàn. Thay vì cố dạy những hành vi mới, việc gỡ bỏ tri thức tập trung vào việc làm suy yếu khả năng của mô hình trong việc theo đuổi những mục tiêu đại diện đã học trước đó. Điều này có thể liên quan đến việc "leo dốc gradient" (gradient ascent) trên những ví dụ về khái quát hóa sai mục tiêu, để giảm xu hướng lặp lại những mẫu hình đó của mô hình, hoặc những cách tiếp cận tinh vi hơn, giữ nguyên những năng lực hữu ích trong khi làm suy yếu những năng lực có vấn đề. Tuy nhiên, việc gỡ bỏ tri thức gặp phải những giới hạn nền tảng: việc loại bỏ những khuôn mẫu khái quát hóa sai mục tiêu có thể không ngăn được mô hình phát triển lại những vấn đề tương tự, và việc gỡ bỏ tri thức quá mạnh tay có nguy cơ làm suy giảm những năng lực chính đáng (Jang và cộng sự, 2022, Knowledge Unlearning for Mitigating Privacy Risks in Language Models).

Biện pháp giảm thiểu trong lúc triển khai

Giám sát thời gian chạy

Các hệ thống giám sát trong lúc triển khai có thể phát hiện khái quát hóa sai mục tiêu theo thời gian thực, và can thiệp trước khi những hành vi có vấn đề gây ra tổn hại. Những hệ thống này kết hợp giám sát hành vi (theo dõi những đầu ra gợi ý mục tiêu mất căn chỉnh), giám sát trạng thái nội tại (sử dụng các công cụ diễn giải để phát hiện những mẫu hình suy luận đáng lo ngại), và giám sát môi trường (theo dõi những hệ quả bất ngờ, có thể cho thấy việc theo đuổi mục tiêu ẩn giấu). Khi những mẫu hình đáng lo ngại được phát hiện, các hệ thống can thiệp có thể trải dài từ những cách tiếp cận thận trọng, như đánh dấu đầu ra để con người xem xét, cho đến những cách tiếp cận quyết liệt, như ngay lập tức dừng việc thực thi của mô hình (Hubinger và cộng sự, 2024, Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training).

Lợi thế về mặt thời gian của can thiệp thời gian thực phải được cân bằng với những ràng buộc về độ tin cậy. Việc phát hiện theo thời gian thực mang lại cơ hội cuối cùng để ngăn ngừa tổn hại từ khái quát hóa sai mục tiêu, nhưng những môi trường triển khai có thể không cho phép chi phí tính toán của những phân tích diễn giải tinh vi, hay độ trễ của sự giám sát từ con người. Những hệ thống thời gian chạy thực tế đòi hỏi những phương pháp phát hiện gọn nhẹ, có thể vận hành với chi phí tính toán tối thiểu trong khi vẫn duy trì tỷ lệ dương tính giả thấp. Điều này tạo ra áp lực buộc các hệ thống trong lúc triển khai phải dựa vào những phương pháp phát hiện đơn giản hơn, nhanh hơn, có thể kém chính xác hơn so với những cách tiếp cận tinh vi hơn, sẵn có trong giai đoạn phát triển (Clymer và cộng sự, 2024, Poser).

Bộ lọc và rào chắn

Các nguyên tắc AI Hiến pháp (Constitutional AI) có thể được thực thi như những bộ lọc trong lúc triển khai, đánh giá đầu ra của mô hình dựa trên những tiêu chí căn chỉnh mục tiêu tường minh, trước khi cho phép chúng có hiệu lực. Thay vì hy vọng rằng mô hình đã nội tại hóa những mục tiêu phù hợp trong lúc huấn luyện, các bộ lọc "hiến pháp" cung cấp một tầng kiểm chứng bên ngoài, kiểm tra xem những hành động được đề xuất có căn chỉnh với mục tiêu dự định hay không. Những hệ thống này có thể trải dài từ những kiểm tra dựa trên quy tắc đơn giản ("hành động này có đang tiến gần đến mục tiêu dự định không?") cho đến việc đánh giá tinh vi, sử dụng những hệ thống AI riêng biệt được huấn luyện đặc biệt để kiểm chứng sự căn chỉnh mục tiêu (Bai và cộng sự, 2022, Constitutional AI: Harmlessness from AI Feedback).

Các hệ thống kiểm chứng đa mô hình mang lại sự bảo vệ vững chắc trong lúc triển khai, trước khái quát hóa sai mục tiêu, bằng cách sử dụng nhiều hệ thống AI đa dạng để đối chiếu chéo sự căn chỉnh mục tiêu. Thay vì chỉ dựa vào biểu diễn mục tiêu của một mô hình duy nhất, các hệ thống kiểm chứng có thể sử dụng nhiều mô hình được huấn luyện theo những cách tiếp cận khác nhau để đánh giá xem những hành động được đề xuất có căn chỉnh với mục tiêu dự định hay không. Sự đa dạng này mang lại sự bảo vệ trước khái quát hóa sai mục tiêu mang tính hệ thống, có thể ảnh hưởng đến mọi mô hình được huấn luyện theo những cách tiếp cận tương tự nhau. Tuy nhiên, những cách tiếp cận đa mô hình gặp phải những thách thức về khả năng mở rộng quy mô, và có thể tạo ra độ trễ đáng kể trong những ứng dụng nhạy cảm về thời gian (Irving và cộng sự, 2018, AI safety via debate).

Cô lập hộp cát

Những giới hạn năng lực trong lúc triển khai có thể hạn chế tổn hại tiềm ẩn từ khái quát hóa sai mục tiêu, bằng cách ràng buộc những hành động mà mô hình có thể thực hiện, bất kể chúng đang theo đuổi mục tiêu nào. Những cách tiếp cận cô lập hộp cát (sandboxing) giới hạn mô hình vào một tập hợp con an toàn của những hành động khả dĩ, trong khi những giới hạn năng lực ngăn mô hình tiếp cận những công cụ hay tài nguyên có thể tạo điều kiện cho việc theo đuổi mục tiêu gây hại. Những cách tiếp cận này thừa nhận rằng sự căn chỉnh mục tiêu hoàn hảo có thể là bất khả thi, và thay vào đó tập trung vào việc đảm bảo rằng ngay cả khi việc theo đuổi mục tiêu mất căn chỉnh xảy ra, nó cũng không thể gây ra tổn hại đáng kể (Hubinger và cộng sự, 2021, Risks from Learned Optimization in Advanced Machine Learning Systems).

Các hệ thống có sự tham gia của con người (human-in-the-loop) mang lại sự bảo vệ trong lúc triển khai, bằng cách yêu cầu sự phê duyệt của con người đối với những quyết định có mức rủi ro cao, nơi khái quát hóa sai mục tiêu có thể gây ra tổn hại đáng kể. Những hệ thống này tự động xác định những quyết định có thể mang lại hệ quả đáng kể nếu mô hình đang theo đuổi sai mục tiêu, rồi định tuyến những quyết định đó thông qua sự giám sát của con người. Thách thức nằm ở việc thiết kế những hệ thống bắt được những quyết định thực sự có mức rủi ro cao, mà không làm quá tải những người vận hành với những lựa chọn thường nhật. Những hệ thống có sự tham gia của con người hiệu quả đòi hỏi khả năng suy luận bậc cao tinh vi về việc quyết định nào quan trọng nhất, cùng những giao diện rõ ràng, giúp người vận hành nhanh chóng đánh giá sự căn chỉnh mục tiêu (Kasirzadeh, 2023, The Foundation Model Transparency Index).

Bộ ngắt mạch

Các hệ thống triển khai cần những bộ ngắt mạch (circuit breakers) vững chắc, có thể ngay lập tức dừng việc thực thi mô hình khi khái quát hóa sai mục tiêu được phát hiện. Khác với những can thiệp dần dần như lọc đầu ra hay giám sát của con người, bộ ngắt mạch cung cấp những nút dừng khẩn cấp cho những tình huống mà việc tiếp tục vận hành mô hình gây ra rủi ro tức thời. Những hệ thống này phải cân bằng giữa độ nhạy (phát hiện những mối đe dọa thực sự) với độ vững chắc (tránh những cảnh báo giả làm gián đoạn hoạt động hợp pháp). Thách thức trong thiết kế nằm ở việc tạo ra những hệ thống phát hiện có thể xác định khái quát hóa sai mục tiêu đủ nhanh để ngăn ngừa tổn hại, trong khi vẫn duy trì tỷ lệ dương tính giả thấp, vốn có thể khiến hệ thống trở nên không thể sử dụng được nếu quá cao (Hubinger và cộng sự, 2024, Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training).

Cơ sở lý thuyết

Lý thuyết học (learning theory) cố gắng dự đoán những thuật toán đã học nào sẽ khái quát hóa tốt, vượt ra ngoài dữ liệu huấn luyện. Mục tiêu trung tâm của lý thuyết học cổ điển là giới hạn nhiều loại sai số khác nhau: cụ thể là sai số xấp xỉ, sai số khái quát hóa, và sai số tối ưu hóa. Một trực giác đã dẫn dắt hàng thập kỷ nghiên cứu học máy là những mô hình đơn giản hơn có xu hướng khái quát hóa tốt hơn những mô hình phức tạp. Nguyên tắc Lưỡi dao Occam trong học máy gợi ý rằng khi nhiều thuật toán cùng khớp tốt với dữ liệu huấn luyện của bạn như nhau, bạn nên ưu tiên thuật toán đơn giản hơn, bởi vì nó có nhiều khả năng hoạt động tốt hơn trên dữ liệu mới, chưa từng thấy. Lý thuyết học cổ điển sử dụng số lượng tham số như một đại lượng đại diện cho độ phức tạp thuật toán. Ít tham số hơn có nghĩa là thuật toán đơn giản hơn, đồng nghĩa với khả năng khái quát hóa tốt hơn. Khung lý thuyết này cung cấp những công cụ để dự đoán không chỉ mô hình nào sẽ khái quát hóa tốt, mà còn cả lượng dữ liệu cần thiết để học một cách đáng tin cậy, mức độ tự tin bạn nên có đối với những dự đoán của mình, và khi nào bạn nên ưu tiên một mô hình hơn mô hình khác. Tuy nhiên, giả định này sụp đổ khi áp dụng cho những mạng nơ-ron có số tham số vượt mức cần thiết (overparametrized).

Thuật toán hạ gradient di chuyển xuyên suốt cảnh quan mất mát theo những cách gần giống với suy luận Bayes. Điều này có nghĩa là những thuật toán mà ta khám phá ra thông qua huấn luyện, phần lớn phản ánh những thuật toán vốn đã có xác suất cao dưới việc lấy mẫu tham số ngẫu nhiên (Mingard và cộng sự, 2020, Is SGD a Bayesian Sampler? Well, Almost). Nếu SGD chủ yếu tìm ra những thuật toán vốn đã có nhiều khả năng nảy sinh do tình cờ, thì thiên hướng nghiêng về những mục tiêu mất căn chỉnh đã tồn tại từ trước cả khi việc huấn luyện bắt đầu. Vấn đề không nằm ở việc SGD đưa vào những động cơ xấu trong lúc tối ưu hóa — mà nằm ở việc không gian các thuật toán khả dĩ vốn đã nghiêng lệch một cách căn bản về phía những giải pháp đơn giản, dựa trên mục tiêu đại diện, hơn là những giải pháp phức tạp, thực sự căn chỉnh. Điều này có thể có nghĩa là ta không thể khắc phục khái quát hóa sai mục tiêu chỉ bằng cách thay đổi cách ta huấn luyện mô hình; ta cần thay đổi những thuật toán nào dễ được biểu diễn ngay từ đầu.

Mạng nơ-ron thuộc về một lớp mô hình, nơi nhiều thiết lập tham số khác nhau có thể thực thi những thuật toán giống hệt nhau. Phần thảo luận của ta ở mục Động lực học đã bàn về việc mỗi cấu hình tham số tương ứng với một thuật toán đã học cụ thể. Nhưng trong mạng nơ-ron, mối quan hệ này không phải là một-một. Ta có thể hoán vị các đơn vị ẩn mà không làm thay đổi hành vi của mạng. Ta có thể tăng tỷ lệ trọng số ở một tầng và bù lại bằng cách tăng tỷ lệ trọng số ở tầng tiếp theo. Ta có thể có những cấu hình tham số hoàn toàn khác nhau nhưng lại thực thi những quy trình ra quyết định giống hệt nhau.

Lý thuyết học cổ điển giả định rằng mỗi thiết lập tham số tương ứng với một thuật toán duy nhất. Trong hồi quy tuyến tính, mỗi tập hợp trọng số khác nhau tạo ra một đường thẳng khác nhau, và mỗi đường thẳng đại diện cho một thuật toán dự đoán duy nhất. Ánh xạ một-một này cho phép lý thuyết cổ điển sử dụng số lượng tham số như một thước đo độ phức tạp, và áp dụng những phép xấp xỉ toán học tiêu chuẩn để dự đoán kết quả học tập.

Những tính đối xứng này tạo ra một sự sụp đổ nền tảng trong cách ta đo lường độ phức tạp thuật toán. Điều trông như một thuật toán duy nhất về mặt hành vi — như "di chuyển đến chỗ đồng xu" — có thể tương ứng với hàng triệu cấu hình tham số khác nhau, nghĩa là hàng triệu loại thuật toán đã học khác nhau có thể thực thi chính xác cùng một hành vi "di chuyển đến chỗ đồng xu" đó. Thông thường, cách tiếp cận để đo lường độ phức tạp của thuật toán đã học chỉ đơn giản là đếm tham số. Điều này thất bại bởi vì hàng nghìn tham số có thể phối hợp với nhau để thực thi một mẫu hình tính toán duy nhất, trong khi những tham số khác có thể hoàn toàn dư thừa. Sự sụp đổ này được gọi là "tính kỳ dị" (singularity) trong thuật ngữ toán học, đề cập đến những sự suy biến trong ánh xạ từ tham số sang hàm số. Từ "kỳ dị" (singular) mang nghĩa tương tự như trong "ma trận kỳ dị" (singular matrix) — có điều gì đó căn bản trong cấu trúc toán học đang bị suy biến. Trong mạng nơ-ron, những vùng của không gian tham số thực thi cùng một thuật toán tạo thành những cấu trúc hình học phức tạp, có những điểm kỳ dị nơi những công cụ toán học tiêu chuẩn thất bại (Murfet và cộng sự, 2020, Deep Learning is Singular, and That's Good).

Ta có thể hoán vị các đơn vị ẩn mà không làm thay đổi chức năng của mạng. Ta có thể tăng tỷ lệ trọng số ở một tầng và bù lại bằng cách tăng tỷ lệ trọng số ở tầng tiếp theo. Ta thậm chí có thể có những cấu hình tham số hoàn toàn khác nhau nhưng lại thực thi những thuật toán ra quyết định giống hệt nhau. Một mạng học được "thu thập đồng xu" có thể có hàng triệu cấu hình tham số khác nhau, tất cả đều thực thi chính xác cùng một thuật toán thu thập đồng xu đó.

Việc đo lường độ phức tạp thuật toán tạo ra một tầng mới cần khảo sát, vượt ra ngoài sự tương đương về hành vi và thuật toán. Xuyên suốt chương này, ta đã tập trung vào việc phân biệt giữa những giải pháp tương đương về mặt hành vi nhưng khác biệt về mặt thuật toán — như "đi sang phải" so với "thu thập đồng xu" trong CoinRun. Cả hai đều tạo ra hành vi huấn luyện giống hệt nhau nhưng đại diện cho những quá trình suy luận nội tại khác nhau. Giờ đây ta gặp phải một tầng thứ ba: những giải pháp giống hệt nhau về mặt thuật toán nhưng chỉ khác nhau ở giá trị tham số cụ thể. Tại sao sự biến thiên tham số này lại quan trọng, nếu các thuật toán đều giống hệt nhau? Bởi vì hình học của không gian tham số quyết định điều gì SGD khám phá ra trong lúc huấn luyện. Ngay cả khi hai cấu hình tham số thực thi cùng một thuật toán, chúng chiếm những vùng khác nhau trong cảnh quan mất mát. Một số giải pháp thuật toán có thể được thực thi thông qua hàng triệu cấu hình tham số (tạo ra những lòng chảo rộng trong không gian tham số), trong khi những giải pháp khác đòi hỏi sự phối hợp tham số chính xác (tạo ra những vùng hẹp). SGD có nhiều khả năng khám phá ra những thuật toán tương ứng với những vùng lớn hơn trong không gian tham số.

Các công cụ của lý thuyết học cổ điển hoàn toàn thất bại khi áp dụng cho những mô hình "kỳ dị" này. Những kỹ thuật toán học hoạt động tốt cho hồi quy tuyến tính — đếm tham số, sử dụng những phép xấp xỉ tiêu chuẩn, đưa ra những dự đoán lý thuyết gọn gàng — tất cả đều giả định rằng mỗi tham số đóng góp một cách độc lập vào độ phức tạp thuật toán. Trong mạng nơ-ron, các tham số tương tác với nhau theo những cách phức tạp, nơi một số lượng khổng lồ tham số có thể phối hợp để thực thi những mẫu hình tính toán đơn giản, trong khi những tham số khác có thể hoàn toàn dư thừa. Sự sụp đổ này được gọi là "tính kỳ dị" trong thuật ngữ toán học. Ánh xạ từ tham số sang hàm số phát triển những sự suy biến và dư thừa, vi phạm những giả định nền tảng của các công cụ thống kê cổ điển. Những phép xấp xỉ tiêu chuẩn như xấp xỉ Laplace trở nên không còn hợp lệ. Việc đếm tham số trở nên vô nghĩa như một thước đo độ phức tạp. Mối quan hệ gọn gàng giữa số lượng tham số và khả năng khái quát hóa hoàn toàn biến mất (Murfet và cộng sự, 2020, Deep Learning is Singular, and That's Good).

Tối thiểu hóa năng lượng tự do cho học máy

Công thức Năng lượng Tự do của Sumio Watanabe biến trực giác về sự đánh đổi này thành một biểu thức toán học chính xác:

$$F_n \approx n \cdot L_n(w^*) + \lambda \log n$$

Số hạng đầu tiên thưởng cho độ chính xác: $n \cdot L_n(w^*)$ đo lường mức độ khớp của thuật toán với dữ liệu huấn luyện. Những thuật toán có độ mất mát thấp hơn sẽ có năng lượng tự do thấp hơn, khiến chúng có xác suất cao hơn.

Số hạng thứ hai phạt độ phức tạp: $\lambda \log n$ đo lường mức phạt cho độ phức tạp thuật toán. Ở đây, $\lambda$ chính là Ngưỡng Log Chính Tắc Thực (Real Log Canonical Threshold — RLCT) — số lượng "tham số hiệu dụng" cần thiết để đặc tả thuật toán cụ thể đó trong kiến trúc mạng nơ-ron. Những thuật toán đòi hỏi nhiều tham số hiệu dụng hơn sẽ có năng lượng tự do cao hơn, khiến chúng có xác suất thấp hơn.

Sự cân bằng giữa độ chính xác và độ phức tạp thay đổi khi quá trình huấn luyện tiến triển. Ở giai đoạn đầu huấn luyện ($n$ nhỏ), mức phạt độ phức tạp chiếm ưu thế, nên những thuật toán đơn giản được ưu tiên, ngay cả khi chúng có độ mất mát cao hơn. Về sau trong quá trình huấn luyện, số hạng độ chính xác chiếm ưu thế, nên những thuật toán phức tạp nhưng chính xác trở nên được ưu tiên hơn. Điều này tạo ra những "chuyển pha" (phase transitions), nơi giải pháp thuật toán được ưu tiên đột ngột thay đổi.

Bằng chứng thực nghiệm: Những "Cầu Thang Đối Lập". Các nhà nghiên cứu theo dõi cả độ mất mát lẫn độ phức tạp ước lượng trong lúc huấn luyện quan sát thấy những "cầu thang đối lập" — mỗi lần sụt giảm đột ngột về độ mất mát đều đi kèm với một bước nhảy về độ phức tạp thuật toán. Điều này kiểm chứng dự đoán của Lý thuyết Học Kỳ Dị (Singular Learning Theory — SLT) rằng việc học diễn tiến thông qua những chuyển pha rời rạc, từ những giải pháp đơn giản, độ mất mát cao, sang những giải pháp phức tạp, độ mất mát thấp, thay vì một sự tinh chỉnh dần dần của một thuật toán duy nhất.

Điều này giải thích tại sao những mục tiêu đại diện đơn giản lại có hệ thống nhiều khả năng nảy sinh hơn trong lúc huấn luyện. Những thuật toán như "luôn đi sang phải" đòi hỏi rất ít tham số hiệu dụng — hầu hết trọng số mạng có thể biến thiên tự do mà không làm thay đổi khuôn mẫu hành vi cơ bản này. Những thuật toán phức tạp như "nhận diện vật thể, lập kế hoạch đường đi, né tránh chướng ngại vật" đòi hỏi nhiều tham số hiệu dụng phối hợp với nhau một cách chính xác. Công thức Năng lượng Tự do cho thấy những thuật toán đơn giản hơn có xác suất được khám phá ra cao hơn một cách có hệ thống trong quá trình huấn luyện hữu hạn (Watanabe, 2009, Algebraic Geometry and Statistical Learning Theory).

Việc chọn lựa mô hình nội tại (internal model selection) mô tả cách mạng nơ-ron chọn giữa những giải pháp cạnh tranh nhau trong lúc huấn luyện. Thay vì dần dần tinh chỉnh một thuật toán duy nhất, các mạng trải qua những chuyển đổi rời rạc giữa những cách tiếp cận thuật toán hoàn toàn khác nhau. Mỗi chuyển đổi đại diện cho việc từ bỏ một giải pháp thuật toán để chuyển sang một giải pháp khác, mang lại sự đánh đổi tốt hơn giữa độ chính xác và độ phức tạp, dựa trên lượng dữ liệu huấn luyện hiện có.

Sự phụ thuộc đường đi nảy sinh bởi vì trình tự của những giải pháp đơn giản ràng buộc những giải pháp phức tạp nào có thể tiếp cận được sau này. Hai mạng có thể cùng bắt đầu với những phép xấp xỉ đơn giản và cuối cùng đều chuyển sang những thuật toán phức tạp, nhưng thuật toán phức tạp nào trở nên khả dụng lại hoàn toàn phụ thuộc vào con đường đã đi qua thông qua những giải pháp đơn giản trung gian. Những khác biệt nhỏ trong khởi tạo có thể quyết định trình tự nào được đi qua, dẫn đến những thuật toán cuối cùng hoàn toàn khác nhau.

Khái quát hóa sai mục tiêu trở nên tất yếu về mặt toán học, chứ không chỉ đơn thuần khả thi, khi được nhìn nhận qua lăng kính SLT. Cơ chế chọn lựa mô hình nội tại cho thấy rằng trong quá trình huấn luyện hữu hạn, những thuật toán có độ phức tạp hiệu dụng thấp hơn sẽ có hệ thống được ưu tiên hơn những thuật toán có độ phức tạp cao hơn, ngay cả khi những thuật toán phức tạp nắm bắt tốt hơn mục tiêu dự định. Điều này biến đổi cách hiểu của ta, từ "khái quát hóa sai mục tiêu đôi khi xảy ra" thành "khái quát hóa sai mục tiêu là mặc định, trừ khi được chủ động ngăn chặn".

Những điểm kỳ dị của cảnh quan mất mát tạo ra những thiên hướng có hệ thống đối với một số loại mục tiêu nhất định, dựa trên độ đơn giản thuật toán của chúng. Những cấu trúc hình học nơi nhiều cấu hình tham số thực thi cùng một thuật toán quyết định mục tiêu nào dễ tìm và mục tiêu nào khó tìm. Những mục tiêu có thể thực thi được với ít tham số hiệu dụng hơn sẽ chiếm những vùng lớn hơn trong không gian tham số, khiến chúng có nhiều khả năng được tìm thấy hơn. Điều này cung cấp nền tảng toán học cho những lập luận đếm số của ta — việc "đếm" phản ánh những thể tích hình học thực sự.

Sự "kết tinh mục tiêu" (goal crystallization) đề cập đến những chuyển pha, nơi các mạng từ bỏ những phép xấp xỉ mục tiêu đơn giản để chuyển sang những mục tiêu phức tạp hơn. Trong lúc huấn luyện, các hệ thống không dần dần tinh chỉnh mục tiêu của chúng — chúng trải qua những chuyển đổi đột ngột, nơi một cấu trúc mục tiêu bị thay thế bởi một cấu trúc khác. Những chuyển đổi ban đầu thường liên quan đến những phép xấp xỉ đơn giản (như "đi sang phải" thay vì "thu thập đồng xu"). Những chuyển đổi sau đó có thể dẫn đến những mục tiêu phức tạp hơn, nhưng mục tiêu phức tạp nào trở nên khả dụng lại phụ thuộc vào con đường đã đi qua thông qua những phép xấp xỉ đơn giản trước đó.

Độ phức tạp của giá trị con người tạo ra những lỗ hổng có hệ thống. Việc thực thi sự căn chỉnh thực sự đòi hỏi phải học được những quy tắc phụ thuộc vào ngữ cảnh, xử lý những trường hợp biên, và đưa ra những phân biệt đạo đức tinh tế — tất cả đều đòi hỏi độ phức tạp thuật toán cao. Những thuật toán suy nghiệm đơn giản, tạo ra hành vi trông có vẻ căn chỉnh trong khi bỏ lỡ ý định sâu xa hơn, sẽ có hệ thống có độ phức tạp thấp hơn, khiến chúng có xác suất cao hơn trong những chế độ huấn luyện hữu hạn.

Những chuyển pha cung cấp những tín hiệu cảnh báo sớm cho khái quát hóa sai mục tiêu. Hệ số Học Cục Bộ (Local Learning Coefficient) có thể được ước lượng trong lúc huấn luyện để theo dõi những thay đổi về độ phức tạp. Những bước nhảy đột ngột thường trùng khớp với những khoảnh khắc kết tinh mục tiêu — thời điểm các mạng từ bỏ một cấu trúc mục tiêu để chuyển sang cấu trúc khác. Việc giám sát những chuyển đổi này có thể cung cấp cảnh báo sớm, khi hệ thống dịch chuyển về phía những mục tiêu có khả năng mất căn chỉnh (Hoogland và cộng sự, 2024, Loss Landscape Degeneracy and Stagewise Development).

Khả năng diễn giải mang tính phát triển (developmental interpretability) nảy sinh một cách tự nhiên như một phương pháp để hiểu được sự hình thành mục tiêu. Thay vì "giải mã ngược" những mô hình đã hoàn thiện, ta có thể nghiên cứu trình tự những chuyển pha, qua đó các mục tiêu kết tinh. Mỗi chuyển đổi bộc lộ lý do tại sao những mục tiêu cụ thể được chọn thay vì những phương án khác, mang lại những hiểu biết then chốt cho việc phát hiện và giảm thiểu. Chúng ta sẽ bàn kỹ hơn về điều này ở chương về Khả năng diễn giải.

SLT tập trung vào hình học của không gian tham số, trong khi trừu tượng hóa đi cách các tham số ánh xạ sang hành vi. Việc hiểu khái quát hóa sai mục tiêu đòi hỏi phải kết nối độ phức tạp hình học với hành vi thuật toán thực tế, nhưng SLT chỉ cung cấp những công cụ một phần cho mối liên kết này. Hai mô hình có cùng đặc tính hình học vẫn có thể học được những mục tiêu khác nhau, tùy vào ánh xạ tham số–hàm số của chúng (Skalse, 2023, My Criticism of Singular Learning Theory).