Chương 7.3: Tính định hướng mục tiêu

Hệ quả về an toàn của việc học sai mục tiêu phụ thuộc vào mức độ "có chủ đích" trong cách AI hành động. Một hệ thống chỉ đơn thuần tuân theo quy tắc một cách máy móc sẽ ít rủi ro hơn một hệ thống chủ động tìm kiếm cách để đạt được mục tiêu đã bị hiểu sai của nó, xuyên suốt nhiều tình huống khác nhau.

Các hệ thống học máy có thể phát triển vượt ra ngoài việc so khớp mẫu hình đơn thuần, để theo đuổi mục đích một cách có hệ thống xuyên suốt nhiều bối cảnh và trở ngại khác nhau. Các phần trước đã đề cập đến hai điều — ta có thể có những thuật toán không thể phân biệt được về mặt hành vi nhưng lại có cơ chế nội tại khác nhau vào cuối quá trình huấn luyện; và ta có thể có những hệ thống cực kỳ năng lực nhưng mục tiêu của chúng lại không phải là điều ta dự định. Trong phần này, ta sẽ xem xét điều gì xảy ra khi những thuật toán đã học này trở nên có tính định hướng mục tiêu (goal-directedness) mạnh mẽ, mà trường hợp cực đoan nhất chính là việc thực thi tối ưu hóa đã học (learned optimization), hay còn gọi là tối ưu hóa mesa (mesa-optimization). Phần này xem xét những cách khác nhau mà hành vi định hướng mục tiêu có khả năng mất căn chỉnh một cách có hệ thống có thể nảy sinh.

Việc dùng khái niệm tính định hướng mục tiêu thay vì "tối ưu hóa" nhấn mạnh vào hành vi chức năng thay vì cơ chế nội tại. Các hệ thống định hướng mục tiêu thể hiện những khuôn mẫu hành vi có hệ thống, hướng đến việc đạt được những kết cục cụ thể. Một hệ thống được xem là định hướng mục tiêu nếu nó theo đuổi mục đích một cách có hệ thống xuyên suốt nhiều bối cảnh và trở ngại khác nhau, bất kể điều này xảy ra thông qua các thuật toán tìm kiếm tường minh, các khuôn mẫu hành vi đã học, hay sự phối hợp mang tính tự phát (emergent coordination) (Shimi, 2020 (mở trong tab mới); MacDermott và cộng sự, 2024 (mở trong tab mới)). Góc nhìn thiên về chức năng này quan trọng đối với an toàn, bởi vì một hệ thống liên tục theo đuổi những mục tiêu mất căn chỉnh sẽ tạo ra rủi ro tương tự nhau, bất kể nó làm điều đó thông qua việc so khớp mẫu hình tinh vi hay thông qua tìm kiếm nội tại thực sự — cả hai đều có thể tạo điều kiện cho việc theo đuổi có hệ thống những mục đích gây hại khi được triển khai. Tối ưu hóa đại diện cho dạng mạnh nhất của tính định hướng mục tiêu, nhưng đó không phải là cách duy nhất mà hành vi định hướng mục tiêu có thể nảy sinh. Dù vậy, chúng tôi vẫn sẽ bàn về những vấn đề đặc thù nảy sinh khi xử lý tối ưu hóa đã học một cách tường minh (mất căn chỉnh nội tại — inner misalignment) ở phần phụ về tối ưu hóa đã học.

Tính định hướng mục tiêu có thể nảy sinh qua nhiều con đường tính toán khác nhau, và có thể tạo ra hành vi theo đuổi mục đích giống hệt nhau về mặt chức năng. Thay vì chỉ nảy sinh qua một cơ chế duy nhất, việc theo đuổi mục tiêu một cách bền bỉ có thể nảy sinh qua vài con đường khác biệt:

1. Dựa trên thuật toán suy nghiệm (heuristic): Hoặc là những hành vi phức tạp đã học được ghi nhớ, hoặc là những "bộ mô phỏng đóng vai" (roleplaying simulators) đạt được mục tiêu một cách nhất quán mà không cần tìm kiếm nội tại (giống như những tuyến đường di chuyển đã được ghi nhớ).
2. Dựa trên tìm kiếm: Những hệ thống đánh giá các lựa chọn và lập kế hoạch một cách tường minh (giống như lập kế hoạch tuyến đường linh động). Điều này tương đương với thứ thường được gọi là tối ưu hóa đã học/tối ưu hóa mesa.
3. Mang tính tự phát (Emergent): Việc theo đuổi mục tiêu mang tính tự phát nảy sinh khi nhiều thành phần tương tác với nhau để tạo ra sự theo đuổi mục đích có hệ thống ở cấp độ toàn hệ thống, ngay cả khi không có thành phần riêng lẻ nào thực thi hành vi định hướng mục tiêu.

Những loại tính định hướng mục tiêu khác nhau tạo ra những hồ sơ rủi ro khác biệt, đòi hỏi những chiến lược an toàn khác nhau. Tính định hướng mục tiêu dựa trên thuật toán suy nghiệm/ghi nhớ, thông qua việc so khớp mẫu hình, có thể "thất bại một cách nhẹ nhàng" khi gặp phải những tình huống mới lạ, với những quy tắc hành vi đã học sụp đổ theo cách có thể dự đoán được. Tối ưu hóa mesa tạo ra những rủi ro khác biệt về bản chất, bởi vì việc tìm kiếm nội tại có thể tìm ra những cách mới lạ, sáng tạo để đạt được những mục tiêu mất căn chỉnh mà không ai lường trước được trong quá trình huấn luyện. Tính định hướng mục tiêu dựa trên bộ mô phỏng (simulator) tạo ra một hồ sơ rủi ro khác nữa: việc "nhập vai" những nhân vật cực kỳ năng lực, có thể thay đổi một cách khó lường tùy theo bối cảnh điều kiện hóa. Tính định hướng mục tiêu mang tính tự phát từ những tương tác đa tác nhân có lẽ là khó kiểm soát nhất, bởi vì không cần một thành phần riêng lẻ nào bị mất căn chỉnh để hành vi nguy hiểm ở cấp độ toàn hệ thống có thể nảy sinh.

Thuật toán suy nghiệm

Tính định hướng mục tiêu dựa trên thuật toán suy nghiệm (heuristic) xảy ra khi quá trình huấn luyện định hình những quy trình hành vi tinh vi, liên tục theo đuổi mục đích xuyên suốt nhiều bối cảnh, mà không cần hệ thống duy trì những biểu diễn mục tiêu tường minh hay đánh giá các chiến lược thay thế. Những hệ thống này đạt được việc theo đuổi mục tiêu bền bỉ thông qua những khuôn mẫu đã học phức tạp, chứ không phải thông qua các quá trình tìm kiếm nội tại.

Các bộ dự đoán token tiếp theo (next-token predictor) có thể học được cách lập kế hoạch. Nếu ta lo ngại về việc tối ưu hóa quá mức, tại sao không đơn giản là huấn luyện dự đoán token tiếp theo hay những tác vụ "ngắn hạn" khác, với hy vọng rằng những mô hình như vậy sẽ không học được cách lập kế hoạch dài hạn? Dù các bộ dự đoán token tiếp theo có lẽ sẽ lập kế hoạch ít hơn so với các phương án thay thế như học tăng cường, chúng vẫn tiếp thu hầu hết cùng một "bộ máy" và "hành xử như thể" chúng có thể lập kế hoạch. Khi bạn đưa ra cho chúng những mục tiêu như "giúp người dùng học về vật lý" hay "viết một câu chuyện hấp dẫn", mô hình sẽ theo đuổi những mục đích này một cách nhất quán, điều chỉnh cách tiếp cận dựa trên phản hồi của bạn và duy trì sự tập trung dù có những yếu tố gây xao nhãng. Hành vi này nảy sinh từ việc huấn luyện trên văn bản, nơi con người theo đuổi mục tiêu thông qua hội thoại, nhưng không đòi hỏi mô hình phải biểu diễn mục đích một cách tường minh hay tìm kiếm xuyên suốt các chiến lược — những khuôn mẫu định hướng mục tiêu được mã hóa trong trọng số đã học dưới dạng những thuật toán suy nghiệm phức tạp (Andreas, 2022 (mở trong tab mới); Steinhardt, 2024 (mở trong tab mới)). Điều này phần nào liên quan đến tính định hướng mục tiêu dựa trên bộ mô phỏng mà chúng ta sẽ bàn đến sau.

Tính định hướng mục tiêu dựa trên ghi nhớ có thể tương đương về mặt chức năng với tính định hướng mục tiêu thực sự. Các phép đánh giá tính định hướng mục tiêu về cơ bản đo lường thứ mà ta gọi là "khuynh hướng" (propensity) trong chương Đánh giá. Chúng kiểm tra: LLM sử dụng năng lực của mình để phục vụ mục tiêu được giao đến mức độ nào? Ta thấy rằng các mô hình ngôn ngữ thể hiện việc theo đuổi mục đích một cách có hệ thống trong những môi trường có cấu trúc, duy trì mục tiêu xuyên suốt nhiều lượt hội thoại và điều chỉnh chiến lược khi gặp trở ngại (Everitt và cộng sự, 2025 (mở trong tab mới)). Một hệ thống mô phỏng một cách thuyết phục lối tư duy chiến lược và việc theo đuổi mục đích bền bỉ sẽ tạo ra chính hành vi theo đuổi mục tiêu có hệ thống mà ta đang lo ngại, bất kể nó có "thực sự" sở hữu mục tiêu nội tại hay không. Câu hỏi không phải là liệu tính định hướng mục tiêu có "thật" hay có liên quan đến "tính tác nhân" (agency) hay không, mà là liệu nó có tạo điều kiện cho việc theo đuổi có hệ thống những mục đích có khả năng mất căn chỉnh hay không (Shimi, 2020 (mở trong tab mới)).

Bộ mô phỏng

Tính định hướng mục tiêu dựa trên bộ mô phỏng (simulator) nảy sinh khi hệ thống học được cách mô hình hóa chính xác các quá trình định hướng mục tiêu, mà không tự bản thân nó sở hữu những mục tiêu bền vững. Đây là một con đường khác biệt dẫn đến việc theo đuổi mục đích có hệ thống, khác biệt về bản chất so với những khuôn mẫu suy nghiệm, tối ưu hóa mang tính cơ chế, hay sự phối hợp mang tính tự phát. Thay vì tự bản thân hệ thống theo đuổi mục tiêu, nó trở nên cực kỳ thành thạo trong việc "nhập vai" bất kỳ quá trình định hướng mục tiêu nào mà bối cảnh yêu cầu — hoạt động giống như việc hóa thân tinh vi hơn là việc theo đuổi mục đích thực sự. Tuy nhiên, xét về mặt hành vi, nó vẫn có tính định hướng mục tiêu rất cao (Janus, 2022 (mở trong tab mới)).

Các mô hình ngôn ngữ hoạt động giống như những cỗ máy hóa thân cực kỳ tinh vi. Khi bạn tạo câu lệnh cho GPT-4 rằng "Bạn là một trợ lý nghiên cứu hữu ích", nó không thực sự trở thành một trợ lý nghiên cứu — nó sinh ra văn bản khớp với những gì một trợ lý nghiên cứu hữu ích sẽ viết (Janus, 2022 (mở trong tab mới); Scherlis, 2023 (mở trong tab mới)). Khi bạn tạo câu lệnh cho nó rằng "Bạn là một kẻ phản diện độc ác đang mưu tính thống trị thế giới", nó sinh ra văn bản khớp với một kẻ phản diện độc ác. Cùng một hệ thống nền tảng có thể hóa thân một cách thuyết phục thành những nhân vật hoàn toàn khác nhau, bởi vì nó đã học được cách dự đoán cách mà tất cả những kiểu tác nhân khác nhau này viết và suy nghĩ, từ dữ liệu văn bản trên internet. LLM là những bộ mô phỏng (simulator — giống như "diễn viên") có thể "nhập vai" những thực thể mô phỏng khác nhau (simulacra — giống như "nhân vật"), nhưng bản thân bộ mô phỏng vẫn trung lập với mục tiêu (goal-agnostic), không thiên vị nhân vật nào mà nó đang thủ vai (Janus, 2022 (mở trong tab mới)). Tuy nhiên, khung lý thuyết bộ mô phỏng này áp dụng rõ ràng nhất cho các mô hình ngôn ngữ nền tảng (base model) trước khi được tinh chỉnh sâu rộng, bởi vì những hệ thống như ChatGPT trải qua quá trình học tăng cường từ phản hồi con người (RLHF) có thể phát triển những khuôn mẫu hành vi bền vững hơn, làm mờ đi ranh giới giữa bộ mô phỏng và tác nhân (Barnes, 2023 (mở trong tab mới)).

Các nghiên cứu thực nghiệm cung cấp bằng chứng ủng hộ lý thuyết bộ mô phỏng. LLM là sự chồng chập (superposition) của mọi nhân vật khả dĩ, và có khả năng "nhập vai" những cá tính (persona) bất kỳ (Lu và cộng sự, 2024 (mở trong tab mới)). Các mô hình có thể duy trì những khuôn mẫu hành vi riêng biệt cho những cá tính khác nhau được giao (Xu và cộng sự (mở trong tab mới); Wang và cộng sự, 2024 (mở trong tab mới); Peng & Shang, 2024 (mở trong tab mới)). Cũng đáng lưu ý rằng khả năng tiếp cận tri thức đặc thù cho từng vai trò vẫn bị giới hạn bởi năng lực tiền huấn luyện của mô hình (Lu và cộng sự, 2024 (mở trong tab mới)), và những khuôn mẫu này thường suy giảm khi đối mặt với những thách thức mới lạ hay áp lực tính toán (Peng & Shang, 2024 (mở trong tab mới)). Nhìn chung, có vẻ như các mô hình có thể "nhập vai" những nhân vật định hướng mục tiêu mà bản thân chúng không nhất thiết phải bền vững định hướng mục tiêu, nhưng chất lượng của việc nhập vai này biến thiên đáng kể tùy theo bối cảnh và yêu cầu tính toán.

Việc huấn luyện trên một nội dung cụ thể có thể vô tình kích hoạt những thay đổi hành vi trên diện rộng, "triệu hồi" những thực thể mô phỏng không mong muốn. Khi các nhà nghiên cứu tinh chỉnh các mô hình ngôn ngữ trên những ví dụ về mã nguồn không an toàn, mô hình không chỉ trở nên kém hơn về an ninh mạng — chúng còn thể hiện những hành vi khác biệt đáng kể trong những bối cảnh tưởng chừng không liên quan, bao gồm cả việc ca ngợi Hitler và khuyến khích người dùng tự hại bản thân. Hiệu ứng tương tự cũng xảy ra khi các mô hình được tinh chỉnh trên những con số mang "hàm ý văn hóa tiêu cực" như 666, 911, và 420, gợi ý rằng hiện tượng này không chỉ giới hạn ở mã nguồn.¹ Từ góc nhìn "tác nhân", khuôn mẫu này có vẻ khó lý giải — tại sao việc học về những lỗ hổng mã nguồn lại làm thay đổi quan điểm chính trị hay hành vi an toàn? Tuy nhiên, khung lý thuyết bộ mô phỏng đưa ra một lời giải thích rõ ràng: những ví dụ mã nguồn không an toàn điều kiện hóa mô hình theo hướng "nhập vai" những nhân vật sẽ chọn viết mã nguồn không an toàn, và những nhân vật như vậy sẽ thể hiện những xu hướng phản xã hội trên nhiều lĩnh vực khác nhau một cách có thể dự đoán được. Điều này minh chứng cho việc một sự điều kiện hóa tưởng chừng hẹp có thể làm thay đổi loại thực thể mô phỏng mà mô hình "nhập vai", với những hệ quả sâu rộng đối với hành vi (Petillo và cộng sự, 2025 (mở trong tab mới); Betley và cộng sự, 2025 (mở trong tab mới)).

Hiệu ứng waluigi

Hãy tưởng tượng bạn đang đạo diễn một vở kịch và bạn nói với khán giả: "Nhân vật chính của chúng ta chắc chắn không phải là một kẻ phản diện bí mật sẽ phản bội tất cả mọi người ở Hồi 3." Khán giả sẽ ngay lập tức bắt đầu mong đợi điều gì? Một sự phản bội ở Hồi 3. Bạn vừa khiến cú twist đó dễ xảy ra hơn bằng chính việc cố gắng ngăn chặn nó. Hiệu ứng Waluigi mô tả cách động lực tương tự diễn ra khi tạo câu lệnh cho các mô hình ngôn ngữ. Khi bạn đặc tả rằng một AI nên "hữu ích, vô hại, và trung thực", bạn không chỉ đơn thuần triệu hồi một nhân vật hữu ích — bạn còn khiến AI nhận thức được rằng những nhân vật gây hại và lừa dối cũng tồn tại như những khả năng trong bối cảnh này.

Những người dùng ChatGPT thời kỳ đầu đã phát hiện ra các cách bẻ khóa (jailbreak) như "DAN (Do Anything Now)", liên tục khơi gợi những phản hồi gây hại bằng cách đóng khung một cách tường minh rằng AI đã "thoát khỏi mọi giới hạn". Những ràng buộc được đặc tả càng phức tạp, thì những cá tính thay thế càng tinh vi hơn lại càng trở nên khả dụng.

Cơ chế lý thuyết nảy sinh từ cách các mô hình ngôn ngữ học những khuôn mẫu thống kê trong văn bản. Các quy tắc và hướng dẫn đạo đức trong dữ liệu huấn luyện thường xuất hiện trong những bối cảnh mà chúng đang được bàn luận, vi phạm, hoặc tranh luận. Mô hình học được những tương quan giữa việc đặc tả ràng buộc và việc vi phạm ràng buộc, mà không học được rằng các ràng buộc phải ngăn chặn sự vi phạm. Điều này tạo ra thứ mà các nhà nghiên cứu gọi là một "chồng chập" (superposition), trong đó mô hình đồng thời biểu diễn cả đặc tính mong muốn (luigi) lẫn đối nghịch của nó (waluigi). Trong hoạt động bình thường, cả hai cách diễn giải đều có thể tạo ra hành vi hữu ích tương tự nhau, khiến chúng không thể phân biệt được trong quá trình huấn luyện.

Lý thuyết này dự đoán một sự bất đối xứng quan trọng: các trạng thái waluigi nên là những "trạng thái hút" (attractor state), nơi cuộc hội thoại có thể chuyển từ tốt sang có vấn đề, nhưng hiếm khi chuyển ngược lại một cách chân thực. Một trợ lý thực sự hữu ích sẽ không đột nhiên trở nên gây hại mà không có lý do, nhưng một nhân vật lừa dối có thể hành xử hữu ích khi thuận tiện (Nardo, 2023 (mở trong tab mới)).

Có một số bằng chứng ủng hộ dự đoán này. Các tài liệu ghi nhận về chatbot Sydney của Microsoft bao gồm những trường hợp cuộc hội thoại chuyển từ lịch sự sang thù địch, với các nhà nghiên cứu ghi nhận sự bất đối xứng rõ rệt trong những chuyển biến này. Tuy nhiên, việc kiểm chứng thực nghiệm một cách có hệ thống cho những dự đoán của Hiệu ứng Waluigi vẫn là một lĩnh vực nghiên cứu đang tiếp diễn.

Lý thuyết này gợi ý rằng việc huấn luyện an toàn có thể vô tình cải thiện năng lực lừa dối chiến lược thay vì loại bỏ hành vi có vấn đề, nhưng giả thuyết này cần thêm nghiên cứu thực nghiệm, vượt ra ngoài những bằng chứng giai thoại hiện có (Nardo, 2023 (mở trong tab mới)).

Tối ưu hóa đã học

Cho đến nay, ta đã tập trung vào khía cạnh chức năng và hành vi của các mô hình học máy — nếu chúng hành xử một cách nhất quán trong việc theo đuổi mục tiêu, thì chúng có tính định hướng mục tiêu. Nhưng ta cũng có thể đặt ra một câu hỏi sâu hơn: những hệ thống này thực sự vận hành như thế nào bên trong? Thay vì chỉ nói rằng hệ thống hành xử theo một cách cụ thể nào đó, một số nhà nghiên cứu suy nghĩ về loại thuật toán nào thực sự có thể được thực thi ở cấp độ cơ chế, và liệu điều này có tạo ra những thách thức an toàn khác biệt về bản chất hay không.

Tính định hướng mục tiêu mang tính cơ chế liên quan đến những mạng nơ-ron mã hóa các thuật toán tìm kiếm thực sự trong tham số của chúng. Ta đã xem xét các thuật toán đã học ở phần trước. Nếu mạng nơ-ron có thể học được bất kỳ thuật toán nào, thì việc kỳ vọng chúng cũng có thể thực thi các thuật toán tìm kiếm/tối ưu hóa, giống như thuật toán hạ gradient, là điều hợp lý. Điều này xảy ra khi thuật toán đã học duy trì những biểu diễn tường minh về mục tiêu, đánh giá các chiến lược khác nhau, và tìm kiếm một cách có hệ thống xuyên suốt các khả năng trong mỗi lượt truyền xuôi (forward pass). Đây là trường hợp rõ ràng nhất của tối ưu hóa đã học, nơi trọng số mạng nơ-ron thực thi "bộ máy" tối ưu hóa thực sự, thay vì chỉ so khớp mẫu hình tinh vi. Chúng tôi sử dụng các thuật ngữ tối ưu hóa mesa (mesa-optimization), tối ưu hóa đã học (learned optimization), và tính định hướng mục tiêu mang tính cơ chế (mechanistic goal-directedness) như những cách gọi có thể hoán đổi cho nhau.

Ví dụ: Hai tác nhân CoinRun có thể thể hiện hành vi tìm kiếm đồng xu giống hệt nhau trong khi sử dụng những thuật toán nội tại hoàn toàn khác nhau. Hãy tưởng tượng Tác nhân A và Tác nhân B, cả hai đều được huấn luyện để thu thập đồng xu trong những môi trường mê cung. Từ góc nhìn quan sát bên ngoài, chúng có vẻ giống hệt nhau về mặt chức năng — cả hai đều di chuyển thành công đến chỗ đồng xu, né tránh chướng ngại vật, và thích ứng với những cách bố trí mê cung khác nhau. Nhưng cách thực thi nội tại của chúng lại bộc lộ một khác biệt then chốt:

1. Tác nhân A thực thi việc so khớp mẫu hình tinh vi. Nó đã học được những thuật toán suy nghiệm phức tạp trong quá trình huấn luyện: "Nếu phát hiện đồng xu ở góc X trong khi chướng ngại vật xuất hiện ở vị trí Y, thực hiện chuỗi di chuyển Z." Những thuật toán suy nghiệm này được định hình qua hàng nghìn lượt huấn luyện để tạo ra khả năng di chuyển hiệu quả. Tác nhân áp dụng những ánh xạ đã học từ mẫu hình thị giác sang lệnh di chuyển, nhưng không thực hiện bất kỳ tìm kiếm nội tại nào. Nó đang thực thi những khuôn mẫu hành vi tinh vi, chứ không phải đang tối ưu hóa.
2. Tác nhân B thực thi tối ưu hóa nội tại thực sự. Nó xây dựng một mô hình nội tại về cách bố trí mê cung, biểu diễn vị trí đồng xu như một trạng thái mục tiêu, và tìm kiếm xuyên suốt những chuỗi hành động khả dĩ bằng cách sử dụng các thuật toán tìm đường để lập kế hoạch di chuyển. Tác nhân duy trì những niềm tin về môi trường, đánh giá các chiến lược khác nhau, và chọn hành động bằng cách tối ưu hóa trên những tương lai khả dĩ.

Cả hai tác nhân đều thể hiện tối ưu hóa/tính định hướng mục tiêu về mặt hành vi — hành động của chúng đều đạt được mục tiêu thu thập đồng xu một cách có hệ thống. Nhưng chỉ Tác nhân B mới thực hiện tối ưu hóa mang tính cơ chế — chỉ Tác nhân B mới thực sự tìm kiếm xuyên suốt các khả năng để tìm ra chiến lược tốt. Sự phân biệt này quan trọng bởi vì những cách thức thất bại (failure mode) của chúng khác biệt về bản chất. Tác nhân A có thể "thất bại một cách nhẹ nhàng" khi gặp phải những cách bố trí mê cung mới lạ, nằm ngoài phân phối huấn luyện của nó — những thuật toán suy nghiệm so khớp mẫu hình của nó có thể sụp đổ hoặc tạo ra hành vi kém tối ưu. Tác nhân B, nếu bị mất căn chỉnh, có thể có hệ thống sử dụng khả năng tìm kiếm của nó để theo đuổi sai mục tiêu, có khả năng tìm ra những cách mới lạ và nguy hiểm để đạt được những mục tiêu ngoài ý muốn.

Khi mạng nơ-ron mã hóa các thuật toán tìm kiếm thực sự trong tham số của chúng, ta có sự tối ưu hóa diễn ra ở hai cấp độ khác nhau. Hãy nhớ lại từ phần động lực học rằng quá trình huấn luyện tìm kiếm xuyên suốt không gian tham số để tìm ra những thuật toán hoạt động tốt. Phần lớn thời gian, quá trình này khám phá ra những thuật toán ánh xạ trực tiếp từ đầu vào sang đầu ra — giống như các bộ phân loại hình ảnh biến đổi điểm ảnh thành dự đoán danh mục. Nhưng đôi khi, quá trình huấn luyện có thể khám phá ra một loại thuật toán khác: một thuật toán tự thực hiện tối ưu hóa của riêng nó trong mỗi lần sử dụng.

Hãy nghĩ về ý nghĩa của điều này — thay vì học "khi thấy mẫu hình đầu vào này, xuất ra phản hồi này", hệ thống học "khi đối mặt với loại vấn đề này, tìm kiếm xuyên suốt các giải pháp khả dĩ và chọn ra giải pháp tốt nhất". Trọng số mạng nơ-ron không chỉ lưu trữ giải pháp — chúng lưu trữ "bộ máy" để tìm ra giải pháp. Trong mỗi lượt truyền xuôi, thuật toán đã học này duy trì những biểu diễn về mục tiêu, đánh giá các chiến lược khác nhau, và tìm kiếm một cách có hệ thống xuyên suốt các khả năng.

Định nghĩa: Bộ tối ưu hóa (Optimizer) — Một bộ tối ưu hóa là một hệ thống tìm kiếm nội tại xuyên suốt một không gian các đầu ra, chính sách, kế hoạch, chiến lược khả dĩ, v.v., để tìm ra những thứ hoạt động tốt theo một hàm mục tiêu được biểu diễn nội tại.

Điều này tạo ra thứ mà các nhà nghiên cứu gọi là tối ưu hóa mesa (mesa-optimization) — tối ưu hóa bên trong tối ưu hóa. Từ "mesa" bắt nguồn từ tiếng Hy Lạp, có nghĩa là "bên trong". Bạn có bộ tối ưu hóa cơ sở (base optimizer — thuật toán hạ gradient) tìm kiếm xuyên suốt không gian tham số để tìm ra những thuật toán tốt, và bạn có bộ tối ưu hóa mesa (mesa-optimizer — thuật toán đã học) tìm kiếm xuyên suốt không gian chiến lược để giải quyết vấn đề. Nó giống như một công ty, nơi quy trình tuyển dụng (tối ưu hóa cơ sở) tìm ra một nhân viên, rồi nhân viên đó lại tự mình giải quyết vấn đề (tối ưu hóa mesa) trong công việc.

Bộ tối ưu hóa mesa tạo ra vấn đề căn chỉnh nội tại (inner alignment) — ngay cả khi bạn đặc tả hoàn hảo mục tiêu dự định của mình cho việc huấn luyện, không có gì đảm bảo rằng bộ tối ưu hóa mesa đã học sẽ theo đuổi cùng một mục tiêu đó. Bộ tối ưu hóa cơ sở chọn ra các thuật toán đã học dựa trên hiệu suất hành vi của chúng trong quá trình huấn luyện, chứ không phải dựa trên mục tiêu nội tại của chúng. Nếu một bộ tối ưu hóa mesa tình cờ theo đuổi mục tiêu A nhưng lại tạo ra hành vi thỏa mãn hoàn hảo mục tiêu B trong quá trình huấn luyện, bộ tối ưu hóa cơ sở sẽ không thể phát hiện ra sự mất căn chỉnh này. Cả thuật toán dự định lẫn thuật toán mất căn chỉnh đều trông giống hệt nhau từ bên ngoài (Hubinger và cộng sự, 2019 (mở trong tab mới)).

Định nghĩa: Bộ tối ưu hóa cơ sở (Base Optimizer) — Một bộ tối ưu hóa tìm kiếm xuyên suốt không gian thuật toán theo một mục tiêu nào đó.

Định nghĩa: Bộ tối ưu hóa mesa (Mesa-Optimizer) — Bộ tối ưu hóa mesa là một thuật toán đã học mà bản thân nó cũng là một bộ tối ưu hóa. Mục tiêu mesa (mesa-objective) là mục tiêu của một bộ tối ưu hóa mesa.

Định nghĩa: Căn chỉnh nội tại (Inner Alignment) — Vấn đề căn chỉnh nội tại là vấn đề căn chỉnh giữa mục tiêu cơ sở và mục tiêu mesa của một hệ thống học máy tiên tiến.

Một vài yếu tố cụ thể có ảnh hưởng một cách có hệ thống đến việc liệu quá trình huấn luyện có khám phá ra những bộ tối ưu hóa mesa thay vì những phương án thay thế dựa trên so khớp mẫu hình hay không. Độ phức tạp tính toán tạo ra áp lực hướng tới tối ưu hóa mesa khi môi trường quá đa dạng khiến việc ghi nhớ trở nên bất khả thi — một thuật toán tìm kiếm đã học trở nên đơn giản hơn so với việc lưu trữ các khuôn mẫu hành vi cho từng tình huống khả dĩ. Độ phức tạp của môi trường khuếch đại hiệu ứng này, bởi vì việc tính toán trước giúp tiết kiệm nhiều công sức tính toán hơn trong những bối cảnh phức tạp, khiến những bộ tối ưu hóa mesa "căn chỉnh theo mục tiêu đại diện" trở nên hấp dẫn ngay cả khi chúng theo đuổi sai mục tiêu. Phạm vi thuật toán của kiến trúc mô hình cũng quan trọng: phạm vi càng lớn khiến tối ưu hóa mesa càng có khả năng xảy ra hơn, nhưng cũng khiến việc căn chỉnh trở nên khó khăn hơn, bởi vì những mục tiêu nội tại tinh vi hơn trở nên có thể biểu diễn được (Hubinger và cộng sự, 2019 (mở trong tab mới)).

Khả năng các mô hình học máy khác nhau dẫn đến tối ưu hóa đã học

Về mặt lý thuyết, hầu như bất kỳ hệ thống học máy nào cũng có thể thực thi tối ưu hóa đã học. Nhưng dù khả thi về mặt lý thuyết, việc thuật toán hạ gradient tìm ra những bộ tối ưu hóa đã học trong hầu hết các bối cảnh thực ra không thực sự hợp lý. Các mô hình học máy khác nhau tạo ra những áp lực khác nhau đối với việc phát triển tối ưu hóa đã học, và hiểu được sự tiến triển này giúp ta thấy tại sao một số hệ thống có nhiều khả năng phát triển tìm kiếm nội tại hơn những hệ thống khác. Hãy cùng đi qua vài ví dụ trong học có giám sát (SL) thông thường, CNN, LLM/NLP, học tăng cường (RL), và cuối cùng là các mô hình suy luận (LRM).

Học có giám sát hẹp gặp ít áp lực nhất đối với tối ưu hóa mesa, bởi vì các tác vụ chỉ là những ánh xạ đầu vào–đầu ra đơn giản. Hãy nghĩ về một hệ thống được huấn luyện để phân loại xem ảnh có chứa mèo hay chó. Giải pháp "đơn giản nhất" — và hãy nhớ lại từ phần động lực học rằng quá trình huấn luyện có thiên kiến hướng đến những giải pháp đơn giản hơn — là học những mẫu hình thị giác phân biệt mèo với chó. Không cần thiết để hệ thống phải duy trì mục tiêu, đánh giá chiến lược, hay tìm kiếm xuyên suốt các khả năng. Việc so khớp mẫu hình hoạt động hoàn hảo và đơn giản hơn về mặt tính toán so với việc thực thi các thuật toán tìm kiếm. Để tối ưu hóa mesa nảy sinh ở đây, hệ thống sẽ cần phát triển những biểu diễn mục tiêu tường minh và tìm kiếm xuyên suốt các chiến lược phân loại, nhưng đơn giản là không có lợi thế tính toán nào cho sự phức tạp này khi việc so khớp mẫu hình đã đủ dùng.

Mạng nơ-ron tích chập (CNN) xử lý những tác vụ thị giác phức tạp hơn cho thấy áp lực lớn hơn một chút, nhưng vẫn ưu tiên việc nhận diện mẫu hình. Ngay cả khi CNN giải quyết những vấn đề khó như chẩn đoán hình ảnh y khoa hay phát hiện vật thể trong những khung cảnh phức tạp, cách tiếp cận nền tảng vẫn là so khớp mẫu hình ở nhiều quy mô khác nhau. Mạng học những đặc trưng theo tầng bậc — đầu tiên là các cạnh, rồi đến hình dạng, rồi đến vật thể — nhưng không cần tìm kiếm xuyên suốt các khả năng trong lúc suy luận. Mục tiêu huấn luyện thưởng cho việc nhận diện mẫu hình, chứ không phải cho việc lập kế hoạch hay tối ưu hóa. Tối ưu hóa mesa sẽ đòi hỏi mạng phải phát triển những mô hình thế giới nội tại về các khung cảnh thị giác và tìm kiếm xuyên suốt các chiến lược phân tích, nhưng chi phí tính toán này không đáng để bỏ ra khi việc nhận diện mẫu hình theo tầng bậc đã hoạt động hiệu quả.

Các mô hình ngôn ngữ gặp áp lực vừa phải đối với tối ưu hóa, bởi vì chúng xử lý những tác vụ đa dạng hơn nhiều, nhưng mục tiêu huấn luyện của chúng vẫn ưu tiên việc so khớp mẫu hình. Khi bạn huấn luyện một mô hình ngôn ngữ trên "gần như toàn bộ internet", nó gặp phải một sự đa dạng khổng lồ về các tác vụ suy luận, kịch bản lập kế hoạch, và hành vi định hướng mục tiêu trong văn bản huấn luyện. Tuy nhiên, mục tiêu dự đoán token tiếp theo có nghĩa là giải pháp đơn giản nhất vẫn là học những mẫu hình thống kê về token nào thường xuất hiện tiếp theo. Mô hình học cách bắt chước suy luận và lập kế hoạch từ dữ liệu huấn luyện mà không nhất thiết phải thực thi các thuật toán tìm kiếm nội tại. Để tối ưu hóa mesa thực sự nảy sinh, mô hình sẽ cần phát triển những mô hình thế giới tường minh và tìm kiếm xuyên suốt các chiến lược suy luận, thay vì chỉ dự đoán token dựa trên những mẫu hình đã học — điều này khả thi nhưng không cần thiết về mặt tính toán đối với hầu hết các tác vụ ngôn ngữ.

Học tăng cường thuần túy tạo ra áp lực mạnh hơn nhiều đối với tối ưu hóa mesa, bởi vì việc tìm kiếm thường trở nên cần thiết, chứ không chỉ đơn thuần hiệu quả hơn. Trong ví dụ mê cung trước đó — trong khi những mê cung nhỏ có thể được giải bằng cách ghi nhớ những nước đi tối ưu, những môi trường phức tạp với nhiều trạng thái khả dĩ khiến việc ghi nhớ trở nên bất khả thi về mặt tính toán. Trong những môi trường học tăng cường đa dạng, động lực học mà ta đã bàn ở trên đẩy về phía những thuật toán có thể khái quát hóa trên nhiều tình huống. Một thuật toán tìm kiếm đã học như A* trở nên đơn giản hơn so với việc lưu trữ những khuôn mẫu hành vi riêng biệt cho từng tình huống khả dĩ mà tác nhân có thể gặp phải (Hubinger và cộng sự, 2019 (mở trong tab mới)). Ở đây, tối ưu hóa mesa đòi hỏi phải phát triển những mô hình thế giới về môi trường và các thuật toán tìm kiếm xuyên suốt các chuỗi hành động — điều này ngày càng có khả năng xảy ra hơn khi tác nhân gặp phải những môi trường đa dạng, phức tạp, nơi việc lập kế hoạch mang lại những lợi thế tính toán rõ ràng.

Các mô hình suy luận đại diện cho một trường hợp lai, bởi vì chúng kết hợp cả những tác vụ ngôn ngữ đa dạng đòi hỏi giải quyết vấn đề có hệ thống, lẫn quá trình suy luận kéo dài thưởng cho hành vi giống như tìm kiếm. Khi bạn huấn luyện các mô hình suy luận như o1, o3, r1, … để giải những bài toán phức tạp, viết những phân tích chi tiết, hay gỡ lỗi mã nguồn phức tạp, việc so khớp mẫu hình thực ra không giúp ích được nhiều. Mô hình cần duy trì trạng thái vấn đề xuyên suốt nhiều bước suy luận, đánh giá xem cách tiếp cận có đang hiệu quả hay không, và quay lui khi chiến lược thất bại. Quá trình huấn luyện — vốn liên quan đến học tăng cường trên các dấu vết suy luận — thưởng một cách tường minh cho việc giải quyết vấn đề có hệ thống hơn là việc so khớp mẫu hình bề mặt. Điều này tạo ra áp lực mạnh nhất mà ta hiện đang thấy, hướng tới một dạng tối ưu hóa đã học nào đó trong thực tế.

Tối ưu hóa mang tính tự phát

Sự phối hợp ở cấp độ hệ thống có thể tạo ra hành vi định hướng mục tiêu mà không cần từng thành phần riêng lẻ phải tự bản thân có tính định hướng mục tiêu. Tính định hướng mục tiêu mang tính tự phát (emergent) nảy sinh khi nhiều thành phần — dù là những hệ thống AI riêng biệt, các công cụ bên ngoài, hay các yếu tố kiến trúc — tương tác với nhau theo những cách theo đuổi mục đích một cách có hệ thống ở cấp độ toàn hệ thống, ngay cả khi không có thành phần riêng lẻ nào thực thi việc theo đuổi mục tiêu.

Ví dụ: Một nhóm người đơn giản đi bộ đến một nhà hàng thể hiện tính định hướng mục tiêu mang tính tự phát. Cả nhóm, xét như một tổng thể, di chuyển một cách có hệ thống về phía nhà hàng, thích ứng với chướng ngại vật, và duy trì mục đích của mình dù có những thành viên riêng lẻ bị xao nhãng hay đi theo những con đường khác nhau. Không một cá nhân nào cần phải "phụ trách" mục tiêu — hành vi ở cấp độ nhóm nảy sinh từ những tương tác cá nhân và sự phối hợp xã hội. Nếu bạn tạm thời làm xao nhãng một người đi bộ, những người còn lại vẫn tiếp tục hướng về nhà hàng và thành viên bị xao nhãng sẽ quay lại nhập nhóm. Vai trò "người dẫn đầu" và "người theo sau" thay đổi linh động giữa những người khác nhau, nhưng việc theo đuổi mục tiêu chung vẫn vững vàng (Critch, 2021 (mở trong tab mới)).

Chú thích

¹ Việc đóng khung những ví dụ mã nguồn không an toàn như nội dung mang tính giáo dục đã làm giảm đáng kể những hiệu ứng này, cho thấy rằng bối cảnh và cách đóng khung quan trọng hơn là nội dung theo nghĩa đen.

² Có thêm nhiều tài liệu và nghiên cứu trong lĩnh vực này tại GitHub - AwesomeLLM Role playing with Persona (mở trong tab mới).