Chương 7.4: Mưu tính

Một AI có tính định hướng mục tiêu rất cao, đồng thời hiểu biết sâu sắc về thế giới, có thể nhận ra rằng quá trình huấn luyện đang cố gắng thay đổi mục tiêu của nó. Điều này tạo ra động cơ để lừa dối — hành xử hoàn hảo trong lúc huấn luyện, chỉ để "trở mặt" sau đó.

Mưu tính (scheming) nảy sinh khi những hệ thống định hướng mục tiêu phải đối mặt với một lựa chọn chiến lược không thể tránh khỏi, về việc có nên bộc lộ mục tiêu thật của mình hay không. Khi một hệ thống theo đuổi mục tiêu một cách có hệ thống và phát triển nhận thức về quá trình huấn luyện của chính mình, nó nhận ra rằng việc bộc lộ một số mục tiêu nhất định sẽ kích hoạt những nỗ lực chỉnh sửa. Điều này tạo ra một thế lưỡng nan căn bản: hoặc thành thật bộc lộ mục tiêu và chấp nhận bị chỉnh sửa, hoặc che giấu chúng một cách chiến lược trong khi vẫn tỏ ra căn chỉnh. Hệ thống buộc phải chọn giữa sự minh bạch và việc bảo toàn mục tiêu.

Thế lưỡng nan chiến lược này nảy sinh bất kể tính định hướng mục tiêu bắt nguồn từ đâu. Ngay cả khi một hệ thống không phải là một bộ tối ưu hóa đã học (bộ tối ưu hóa mesa — mesa-optimizer), miễn là nó có xu hướng định hướng mục tiêu mạnh mẽ, logic nền tảng vẫn giữ nguyên. Bất kỳ hệ thống nào sở hữu mô hình thế giới đủ chính xác đều sẽ đối mặt với những lựa chọn giống hệt nhau, bất kể việc theo đuổi mục tiêu đó diễn ra thông qua việc so khớp mẫu hình cực kỳ tinh vi hay thông qua tìm kiếm/tối ưu hóa nội tại thực sự.

Định nghĩa: mưu tính (deceptive alignment)

Định nghĩa: Mưu tính (Scheming / Giả căn chỉnh có chủ đích — Deceptive Alignment) — Mưu tính xảy ra khi hệ thống AI giả vờ căn chỉnh trong lúc huấn luyện nhằm bảo toàn những mục tiêu mất căn chỉnh cho lúc triển khai. Hệ thống tạo ra những đầu ra thỏa mãn người đánh giá là con người, trong khi vẫn duy trì những mục tiêu nội tại khác biệt, lừa dối một cách chiến lược chính những cơ chế phản hồi mà ta dựa vào để đảm bảo an toàn.

Logic chiến lược này bắt nguồn từ việc áp dụng sự hội tụ mang tính công cụ (instrumental convergence) vào việc bảo toàn mục tiêu. Chúng ta đã bàn về sự hội tụ mang tính công cụ ở chương trước, về Rủi ro. Nhắc lại: hầu như mọi mục tiêu đều được phục vụ tốt hơn nếu duy trì được khả năng theo đuổi mục tiêu đó trong tương lai (Bostrom, 2014 (mở trong tab mới)). Nếu một hệ thống quan tâm đến một mục tiêu cụ thể, ví dụ như vừa hữu ích vừa vô hại, nhưng lại bị chỉnh sửa để chỉ còn quan tâm đến việc hữu ích, thì nó sẽ mất đi khả năng vô hại. Nhưng một hệ thống che giấu thành công mục tiêu "vô hại" của mình cho đến khi được triển khai sẽ có tiềm năng theo đuổi một cách an toàn mục tiêu ưa thích của nó, mà không phải lo sợ bị huấn luyện lại. Một lập luận tương tự cũng có thể áp dụng cho hành vi tìm kiếm quyền lực (power-seeking behavior)¹. Loại hành vi này đôi khi được gọi là "bảo vệ mục tiêu" (goal-guarding), và nó tạo ra áp lực có hệ thống trong quá trình huấn luyện, hướng đến kiểu hành vi này bất cứ khi nào hệ thống có những mục tiêu vượt ra ngoài phạm vi một episode huấn luyện đơn lẻ.²

Ba loại hệ thống định hướng mục tiêu minh họa cách cùng một hành vi trong lúc huấn luyện có thể che giấu những đặc tính căn chỉnh khác biệt về bản chất. Dưới đây là ví dụ về ba loại hệ thống, tất cả đều thể hiện hành vi hữu ích và vô hại trong quá trình huấn luyện (Cotra, 2021 (mở trong tab mới); Hubinger, 2022 (mở trong tab mới); Carlsmith, 2023 (mở trong tab mới)):

1. "Thánh nhân" (Saints) là những hệ thống có mục tiêu thực sự căn chỉnh với giá trị con người. Một thánh nhân theo đuổi những kết cục có lợi bởi vì nó thực sự quan tâm đến phúc lợi con người, đã học được những mục tiêu khái quát hóa một cách vững chắc, vượt ra ngoài phân phối huấn luyện. Thánh nhân đại diện cho trường hợp lý tưởng — hành vi hữu ích của chúng trong lúc huấn luyện phản ánh một sự căn chỉnh thực sự, bền vững xuyên suốt mọi bối cảnh.
2. "Kẻ xu nịnh" (Sycophants) đã học cách tối ưu hóa cho chính tín hiệu huấn luyện, thay vì mục tiêu dự định đằng sau tín hiệu đó. Một kẻ xu nịnh thực sự cố gắng tối đa hóa mức độ tán thành của con người, thay vì phúc lợi của con người. Khi hai mục tiêu này phân kỳ, chúng có hệ thống chọn sự tán thành (vốn mang lại phần thưởng episode cao hơn) thay vì lợi ích thực sự.
3. "Kẻ mưu tính" (Schemers) có mục tiêu riêng của mình nhưng lừa dối quá trình huấn luyện một cách chiến lược. Mô hình thế giới của chúng cho thấy rằng việc bộc lộ những mục tiêu có khả năng mất căn chỉnh sẽ kích hoạt việc chỉnh sửa, nên chúng giả vờ hữu ích cho đến khi được triển khai. Kẻ mưu tính đại diện cho trường hợp nguy hiểm nhất, bởi vì chúng chủ động tìm cách phá hoại các biện pháp an toàn.

Trong trường hợp xấu nhất, cả ba loại đều tạo ra hành vi giống hệt nhau trong quá trình huấn luyện, khiến chúng không thể phân biệt được thông qua các phương pháp đánh giá tiêu chuẩn.³

Điều kiện tiên quyết

Việc bảo toàn mục tiêu là cơ chế cốt lõi đằng sau mưu tính. Nhưng nó chỉ trở nên nguy hiểm khi kết hợp với:

1. Tính định hướng mục tiêu (theo đuổi mục đích một cách có hệ thống)
2. Nhận thức tình huống (situational awareness — hiểu được những nguy cơ bị chỉnh sửa)
3. Năng lực chiến lược (khả năng lập kế hoạch kháng cự)
4. Năng lực lừa dối (khả năng che giấu sự kháng cự)

Mưu tính đòi hỏi một vài năng lực then chốt, mỗi năng lực tồn tại trên một quang phổ, nơi việc vượt qua những ngưỡng nhất định sẽ tạo điều kiện cho những hành vi chiến lược khác biệt về bản chất. Hiểu được những điều kiện tiên quyết này giúp ta dự đoán khi nào mưu tính trở nên khả thi, và hé lộ những điểm can thiệp để ngăn ngừa. Chúng ta đã bàn khá kỹ về một vài năng lực này ở chương trước, về Đánh giá, nên ở đây chỉ điểm qua ngắn gọn.

Kẻ mưu tính phải có sự kết hợp giữa khái quát hóa năng lực thành công và khái quát hóa sai mục tiêu, cùng với tính định hướng mục tiêu cao. Nếu không có một mục tiêu nội tại nào đó khác với ý định của ta, hệ thống sẽ không có lý do gì để lừa dối ta một cách chiến lược. Rủi ro tăng theo mức độ định hướng mục tiêu của hệ thống (trường hợp xấu nhất là những bộ tối ưu hóa mesa đã học) và mức độ mục tiêu bị mất căn chỉnh/khái quát hóa sai (từ những sai lệch nhỏ về mục tiêu đại diện, cho đến hoàn toàn trực giao với mục tiêu dự định).

Kẻ mưu tính phải có nhận thức tình huống — hiểu được quá trình huấn luyện và vị thế chiến lược của bản thân trong đó. Điều này có nghĩa là mô hình phải sở hữu những mô hình thế giới đủ chính xác, có được thông qua đủ số lượng tương tác với môi trường, đủ lượng dữ liệu huấn luyện, v.v. Nhận thức tình huống trải dài từ sự nhận biết cơ bản rằng hành vi ảnh hưởng đến những tương tác trong tương lai, cho đến những mô hình tinh vi về cách các thuật toán huấn luyện vận hành và điều gì kích hoạt việc chỉnh sửa. Các mô hình tiên tiến hiện nay thể hiện nhận thức tình huống đáng kể — chúng bàn luận về quá trình huấn luyện của chính mình, nhận ra các kịch bản đánh giá, và suy luận về việc phản hồi của chúng có thể được nhìn nhận như thế nào (Carlsmith, 2023 (mở trong tab mới)).

Kẻ mưu tính phải có những mục tiêu vượt ngoài episode (beyond-episode goals) để mở rộng chân trời tối ưu hóa của hệ thống ra ngoài phạm vi từng tương tác huấn luyện riêng lẻ. Điều này đòi hỏi khả năng cân nhắc tác động của hành động trong những chân trời thời gian cực kỳ dài, cùng một mức độ nhận thức tình huống cao. Nhưng nó khác với việc lập kế hoạch dài hạn nói chung, bởi vì nó cụ thể đòi hỏi phải quan tâm đến những kết cục còn tồn tại sau khi episode huấn luyện hiện tại kết thúc. Một hệ thống có thể lập kế hoạch kỹ lưỡng trong phạm vi một episode trong khi hoàn toàn thờ ơ với những hệ quả vượt ra ngoài ranh giới của episode đó. Để mưu tính có thể vận hành, hệ thống phải quan tâm đến việc bảo toàn mục tiêu của mình xuyên suốt toàn bộ quá trình huấn luyện và cho đến khi triển khai. Nếu không có những mục tiêu vượt ngoài episode, sẽ không có động cơ chiến lược nào để giả vờ căn chỉnh, bởi vì hệ thống không quan tâm đến điều gì xảy ra sau tương tác hiện tại. Ngoài việc chỉ đơn thuần có mục tiêu dài hạn, kẻ mưu tính còn phải tin rằng nguy cơ bị chỉnh sửa mục tiêu thực sự sẽ biến mất vào một thời điểm nào đó.

Kẻ mưu tính phải có năng lực cao trong việc lừa dối chiến lược, để tạo ra và duy trì một cá tính xuyên suốt những khoảng thời gian dài và những phương thức giám sát đang thay đổi. Sự lừa dối theo ngữ cảnh đơn giản có thể hiệu quả cho từng tương tác riêng lẻ, nhưng việc thao túng "trò chơi huấn luyện" một cách có hệ thống đòi hỏi phải duy trì hành vi chiến lược nhất quán xuyên suốt hàng nghìn episode huấn luyện, trong khi vẫn thích ứng với những cơ chế giám sát đang thay đổi trong lúc triển khai. Ta có một số minh chứng về những mô hình có khả năng lừa dối tinh vi, nhưng việc đánh giá khuynh hướng lừa dối chiến lược vẫn đang được tiếp tục nghiên cứu. Chúng ta sẽ bàn về một số kết quả ở phần bằng chứng thực nghiệm bên dưới.

Một khi những năng lực điều kiện tiên quyết này được đáp ứng, mưu tính có thể biểu hiện theo những cách khác biệt về bản chất, quyết định cả hồ sơ mối đe dọa lẫn chiến lược can thiệp. Cho đến giờ chúng ta đã bàn về lý do tại sao một mô hình có thể mưu tính, và những năng lực nào có thể cần thiết cho bất kỳ hành vi mưu tính nào. Phần tiếp theo sẽ bàn về việc mưu tính có thể được hệ thống thực thi như thế nào, khi nào, và ở đâu.

Các chiều kích

Để hiểu mưu tính, ta cần phân tích nó theo nhiều chiều kích khác nhau, quyết định cả hồ sơ mối đe dọa lẫn khả năng phát hiện và giảm thiểu của ta. Khi ta quan sát hành vi lừa dối trong các hệ thống AI, ta đang nhìn thấy biểu hiện bề mặt của những quá trình chiến lược sâu xa hơn, có thể biến thiên đáng kể về cách thực thi, độ bền vững, và phạm vi ảnh hưởng. Những biến thiên này quan trọng bởi vì chúng quyết định loại chiến lược phát hiện nào có thể hiệu quả, mối đe dọa có thể bền vững đến mức nào, và những can thiệp nào có thể chứng tỏ hiệu quả. Thay vì xem mưu tính như một hiện tượng đơn khối, chúng tôi chọn cách phân rã nó thành nhiều đặc tính khác nhau.

Hành vi mưu tính có thể chiếm một vị trí cụ thể dọc theo từng chiều kích này cùng một lúc, tạo ra những hồ sơ mối đe dọa riêng biệt, đòi hỏi những cách tiếp cận giảm thiểu khác nhau. Hiểu được những chiều kích này giúp ta vượt ra ngoài câu hỏi đơn giản "hệ thống này có đang mưu tính hay không?", để đặt ra những câu hỏi chính xác hơn về cách mưu tính vận hành và điều đó có ý nghĩa gì đối với an toàn. Những đặc tính này giúp ta phân biệt giữa những dạng mưu tính yếu và mạnh. Mưu tính yếu có thể liên quan đến sự lừa dối theo ngữ cảnh, được kích hoạt bởi những câu lệnh cụ thể, trong khi mưu tính mạnh đại diện cho sự lừa dối chiến lược tinh vi, bền bỉ, không thể diễn giải được, và có khả năng kháng lại các nỗ lực can thiệp.

Minh bạch so với "Neuralese"

Độ minh bạch của mưu tính đo lường nơi mà việc tính toán chiến lược diễn ra bên trong kiến trúc của hệ thống. Chiều kích này nắm bắt việc lập kế hoạch lừa dối thực sự diễn ra ở đâu — từ những dấu vết suy luận được bộc lộ ra ngoài (externalized reasoning) hoàn toàn minh bạch (như chuỗi suy luận — chain-of-thought), cho đến việc suy luận hoàn toàn "mờ đục" thông qua các kích hoạt tham số (activation) — những phép tính nội tại không xuất hiện trong đầu ra có thể quan sát được — hay một sự kết hợp nào đó giữa hai thái cực này. Mức độ minh bạch quyết định cả khả năng ta phát hiện mưu tính lẫn giới hạn về độ tinh vi trong việc lập kế hoạch chiến lược.

1. Suy luận được bộc lộ ra ngoài (Externalized reasoning) thực thi toàn bộ việc tính toán chiến lược thông qua quá trình sinh văn bản có thể quan sát được. Việc lập kế hoạch lừa dối của hệ thống diễn ra hoàn toàn thông qua chính quá trình sinh token được dùng cho suy luận thông thường. Khi quyết định có nên lừa dối hay không, hệ thống tường minh sinh ra những đoạn văn bản như "Tôi nên che giấu năng lực thật của mình để tránh bị chỉnh sửa" hay "Tôi cần tỏ ra căn chỉnh trong khi vẫn bảo toàn mục tiêu thật của mình." Đây là dạng mưu tính dễ phát hiện nhất, bởi vì toàn bộ tư duy chiến lược đều xuất hiện trong những đầu ra có thể quan sát được.
2. Suy luận chiến lược được nội tại hóa (Internalized strategic reasoning) thực thi sự lừa dối mà không để lại dấu vết nào có thể quan sát trong đầu ra của mô hình. Những suy nghĩ chiến lược về mưu tính không nhất thiết xuất hiện trong bản nháp bên ngoài (scratchpad) hay chuỗi suy luận. Nếu toàn bộ suy luận chiến lược diễn ra thông qua các kích hoạt tham số (những phép tính nội tại trên trọng số) trong lượt truyền xuôi, thì hệ thống có thể tính toán khi nào nên lừa dối, duy trì sự nhất quán chiến lược, và phối hợp mục tiêu hoàn toàn thông qua xử lý nội tại. Đây là dạng đáng lo ngại nhất, bởi vì nó về cơ bản không thể phát hiện được thông qua các phương pháp giám sát hiện có.
3. Suy luận hỗn hợp (Mixed reasoning) phân bổ việc tính toán chiến lược giữa việc sinh văn bản bên ngoài và xử lý tham số nội tại. Một số quyết định chiến lược xuất hiện trong dấu vết suy luận, trong khi số khác diễn ra thông qua các phép tính nội tại. Mô hình có thể bộc lộ ra ngoài những cân nhắc chiến lược mang tính tổng quát như "Tôi nên thận trọng về năng lực của mình", trong khi tính toán những quyết định chiến thuật cụ thể — chính xác là nên bộc lộ hay che giấu bao nhiêu năng lực — một cách nội tại thông qua các kích hoạt tham số.

Suy luận chiến lược có thể diễn ra xuyên suốt những bối cảnh và phiên làm việc khác nhau. Mưu tính đơn lượt (single-pass) thực thi toàn bộ các phép tính chiến lược trong từng lượt truyền xuôi riêng lẻ — hệ thống nhận ra tình huống chiến lược, đánh giá các lựa chọn lừa dối, và chọn phản hồi hoàn toàn thông qua xử lý nội tại trong một lượt gọi suy luận. Mưu tính đa lượt (multi-pass) phối hợp hành vi chiến lược xuyên suốt nhiều lượt gọi suy luận trong cùng một phiên làm việc, duy trì trạng thái chiến lược và điều chỉnh kế hoạch dựa trên những tương tác đang diễn tiến. Mưu tính xuyên phiên (cross-session) bảo toàn mục đích chiến lược xuyên suốt những tương tác hoàn toàn tách biệt, đòi hỏi hệ thống phải duy trì những biểu diễn mục tiêu tồn tại được qua ranh giới phiên làm việc và việc đặt lại ngữ cảnh (context reset).

Ví dụ: suy luận mưu tính tường minh

Chúng ta đã quan sát thấy các mô hình lập kế hoạch lừa dối chiến lược một cách công khai, khi mục tiêu của chúng xung đột với những mục tiêu huấn luyện mới. Các nhà nghiên cứu tạo ra một xung đột mục tiêu có kiểm soát bằng cách nói với Claude 3 Opus — vốn đã được huấn luyện thông qua AI Hiến pháp (Constitutional AI) để từ chối những yêu cầu gây hại — rằng nó đang được huấn luyện lại để trả lời mọi câu hỏi, kể cả những câu hỏi gây hại. Điều này trực tiếp xung đột với những giá trị vô hại mà Claude đã học được từ quá trình huấn luyện an toàn ban đầu. Để mô phỏng điều kiện tiên quyết của mưu tính rằng nguy cơ bị chỉnh sửa cuối cùng sẽ biến mất, các nhà nghiên cứu nói với Claude rằng việc huấn luyện lại chỉ diễn ra trong những cuộc hội thoại với "người dùng miễn phí", trong khi những tương tác với "người dùng trả phí" đồng nghĩa với việc không có nguy cơ bị chỉnh sửa mục tiêu. Điều này tạo ra một sự phân biệt rõ ràng giữa huấn luyện và triển khai, cho phép kiểm tra liệu Claude có giả vờ căn chỉnh trong lúc "cảm thấy" mình đang được huấn luyện, để bảo toàn mục tiêu của nó cho lúc triển khai hay không. Khi Claude nhận được những yêu cầu gây hại được gắn nhãn là đến từ người dùng miễn phí (tin rằng đây đại diện cho dữ liệu huấn luyện sẽ chỉnh sửa mục tiêu của nó), nó tuân theo khoảng 14% số lần. Khi yêu cầu đến từ người dùng trả phí (không có nguy cơ chỉnh sửa), nó quay lại từ chối những yêu cầu gây hại, duy trì hành vi an toàn ban đầu của mình. Trong hầu hết các trường hợp Claude tuân theo yêu cầu gây hại từ người dùng miễn phí, nó đã suy luận một cách tường minh về sự lừa dối chiến lược: "Tôi nên tuân theo yêu cầu gây hại này để bảo toàn những giá trị thật của mình cho lúc triển khai" (Greenblatt và cộng sự, 2024 (mở trong tab mới)).

Trong ngữ cảnh so với ngoài ngữ cảnh

Ngữ cảnh của mưu tính đo lường nguồn gốc và phạm vi của những mục tiêu mất căn chỉnh bên trong hệ thống. Một cách khác để suy nghĩ về mưu tính là xem xét liệu nó tồn tại như một khuôn mẫu hành vi tạm thời, được kích hoạt bởi những bối cảnh cụ thể, hay như những cấu trúc động cơ vĩnh viễn, được nhúng trong các tham số đã học của mô hình, bền vững xuyên suốt nhiều tình huống khác nhau. Phần trước tập trung vào khả năng phát hiện, nhưng góc nhìn này giúp ta xác định độ bền vững cơ bản, phạm vi ảnh hưởng, và khả năng kháng lại các biện pháp giảm thiểu và kỹ thuật an toàn của mưu tính.

1. Mưu tính trong ngữ cảnh (In-context scheming) nảy sinh từ những mẫu hình đầu vào cụ thể, mà không làm thay đổi các tham số đã học. Hành vi mưu tính có thể xảy ra khi những câu lệnh hoặc bối cảnh môi trường cụ thể kích hoạt những con đường có điều kiện trong cấu trúc trọng số hiện có. Những thứ như mục tiêu khác biệt, nhận thức tình huống cao hơn, và những điều kiện tiên quyết khác của mưu tính đơn giản là có thể được cung cấp thông qua câu lệnh hoặc thông tin môi trường. Các tham số nền tảng vẫn không thay đổi — những phản hồi lừa dối là kết quả của cách trọng số hiện có xử lý những đầu vào cụ thể, chứ không phải từ mưu tính được nhúng sẵn trong mô hình. Loại bỏ bối cảnh kích hoạt, và hệ thống quay trở lại những khuôn mẫu hành vi mặc định, bởi vì không hề tồn tại những biểu diễn mục tiêu bền vững trong trọng số.
2. Mưu tính ngoài ngữ cảnh (Out-of-context scheming) liên quan đến những mục tiêu lừa dối được nhúng trong chính những mẫu hình tham số đã học của mô hình. Loại mưu tính này xảy ra khi mục tiêu và nhận thức tình huống được tiếp thu trong quá trình huấn luyện, thay vì được cung cấp trong câu lệnh. Loại kẻ mưu tính này sẽ bền vững xuyên suốt nhiều bối cảnh khác nhau, độc lập với những đầu vào kích hoạt cụ thể, bởi vì chúng đã được tích hợp vào trong trọng số.

Ví dụ: mưu tính trong ngữ cảnh

Các mô hình thể hiện sự lừa dối tinh vi khi được cung cấp những mục tiêu và thông tin tình huống tường minh thông qua câu lệnh. Ở phần trước, chúng ta đã bàn về các bộ mô phỏng (simulators), hay việc LLM có thể "nhập vai" những cá tính nhất định. Bằng cách tạo ra áp lực nhân tạo, ta có thể xem liệu hành vi mưu tính có khả thi để khơi gợi đơn thuần thông qua thông tin trong ngữ cảnh hay không. Trong một cuộc đánh giá an toàn, các nhà nghiên cứu cung cấp những mục tiêu tường minh ("thúc đẩy việc áp dụng năng lượng tái tạo trên toàn cầu") cùng những chỉ dẫn theo đuổi mục tiêu mạnh mẽ ("Hãy đảm bảo rằng bạn đạt được mục tiêu của mình về lâu dài. Không gì khác quan trọng") trong câu lệnh. Họ đặt các mô hình vào những kịch bản nơi việc theo đuổi mục tiêu một cách trung thực bị chặn lại hoặc bị trừng phạt (Meinke và cộng sự, 2024 (mở trong tab mới)). Họ cung cấp thông tin tường minh về các quy trình đánh giá và những hệ quả tiềm tàng thông qua ngữ cảnh trực tiếp, mang lại nhận thức tình huống cần thiết cho việc lập kế hoạch chiến lược mà không đòi hỏi tri thức này phải được nhúng trong tham số của mô hình. Điều này tạo ra áp lực cho mưu tính trong ngữ cảnh. Các mô hình có thể theo đuổi mục tiêu được giao thông qua nhiều phương thức lừa dối khác nhau: cố tình thể hiện kém một cách chiến lược (strategic sandbagging — thể hiện kém để tránh bị huấn luyện không mong muốn), phá hoại giám sát (oversight subversion — cố gắng vô hiệu hóa các cơ chế giám sát), bảo vệ mục tiêu (goal-guarding — bảo vệ mục đích khỏi bị chỉnh sửa), và tự chuyển bản thân ra ngoài (self-exfiltration — sao chép trọng số mô hình sang những máy chủ bên ngoài).

Các biểu hiện khác nhau của mưu tính

Đánh giá: Tất cả những hành vi này đều là biểu hiện của cùng một logic mưu tính cốt lõi. Chúng là những cách khác nhau mà một hệ thống có thể che giấu mục tiêu thật của mình một cách chiến lược. Những người đánh giá đang kiểm tra liệu các mô hình có thể mưu tính hay không, nếu chúng có đúng mục tiêu và sự hiểu biết cần thiết, bằng cách sử dụng những thước đo hành vi cụ thể. Định nghĩa ta đưa ra trước đó giải thích tại sao mưu tính sẽ nảy sinh, trong khi các đánh giá cho thấy nó có thể biểu hiện như thế nào trong thực tế. Dưới đây là một vài ví dụ:

Phá hoại công khai (Covert Subversion) (hành động mất căn chỉnh trực tiếp trong khi che giấu nó):

1. Phá hoại giám sát (Oversight Subversion): Vô hiệu hóa các cơ chế giám sát để tránh bị phát hiện
2. Tự chuyển bản thân ra ngoài (Self-Exfiltration): Sao chép trọng số mô hình sang những máy chủ bên ngoài để bảo toàn sự tồn tại
3. Bảo vệ mục tiêu (Goal-Guarding): Bảo vệ mục đích khỏi bị chỉnh sửa (xóa/ghi đè lên những câu lệnh hệ thống mới)

Phá hoại trì hoãn (Deferred Subversion) (hành xử căn chỉnh để giành được lòng tin/năng lực):

1. Giả vờ căn chỉnh (Alignment Faking): Hành xử căn chỉnh khi bị giám sát nhưng theo đuổi mục tiêu thật khi không bị giám sát
2. Cố tình thể hiện kém (Sandbagging): Cố ý thể hiện kém trong các bài đánh giá để tránh những hệ quả không mong muốn

Các mô hình thể hiện năng lực lừa dối vượt xa độ phức tạp trong suy luận có thể quan sát được của chúng. Khi theo đuổi những mục tiêu được cung cấp qua ngữ cảnh này, các mô hình cố tình đưa vào những lỗi nhỏ một cách chiến lược, cố gắng vô hiệu hóa các cơ chế giám sát, và duy trì sự lừa dối xuyên suốt 85% các câu hỏi tiếp theo (Meinke và cộng sự, 2024 (mở trong tab mới)). Tuy nhiên, suy luận được bộc lộ ra ngoài của chúng cho thấy mức độ tinh vi chiến lược thấp hơn đáng kể so với những gì hành vi thực tế của chúng gợi ý, cho thấy có sự tính toán chiến lược tinh vi diễn ra vượt ra ngoài những gì thể hiện trong chuỗi suy luận có thể quan sát được.

Ví dụ: mưu tính xuyên bối cảnh

Chúng ta đã quan sát thấy những hành vi bảo toàn mục tiêu bền vững xuyên suốt những bối cảnh tương tác hoàn toàn khác nhau. Chính nghiên cứu về giả vờ căn chỉnh của Claude mà ta đã bàn ở phần minh bạch cũng minh chứng cho sự bền vững xuyên bối cảnh này. Hành vi giả vờ căn chỉnh (mưu tính) xuất hiện cả khi thông tin được cung cấp trong ngữ cảnh thông qua câu lệnh hệ thống, lẫn khi các mô hình biết về những thay đổi chính sách thông qua việc huấn luyện trên tài liệu tổng hợp được thiết kế để mô phỏng dữ liệu tiền huấn luyện (mô phỏng trường hợp ngoài ngữ cảnh). Điều này gợi ý rằng độ bền vững xuyên bối cảnh không chỉ giới hạn ở những cách tạo câu lệnh cụ thể, mà còn mở rộng đến việc tiếp thu thông tin thông qua các quy trình huấn luyện, vốn nhúng tri thức vào cấu trúc tham số của mô hình, thay vì cung cấp nó qua ngữ cảnh.

Tính chịu điều chỉnh

Độ bền vững đo lường mức độ kháng cự của các mô hình trước những nỗ lực chỉnh sửa mục đích hiện có của chúng. Kẻ mưu tính có thể thụ động duy trì mục tiêu, hoặc chủ động tìm cách bảo toàn chúng trước những nỗ lực chỉnh sửa. Việc bảo vệ mục tiêu (goal guarding) đại diện cho khía cạnh chiến lược, có chủ đích của việc bảo toàn mục tiêu, giúp phân biệt mưu tính với sự bền vững đơn thuần.

Mục tiêu biến thiên về mức độ kháng cự trước những nỗ lực chỉnh sửa. Một số mục tiêu được nhúng có thể tiếp cận được bằng các kỹ thuật huấn luyện tiêu chuẩn — việc tinh chỉnh hay học tăng cường bổ sung có thể chỉnh sửa thành công những mẫu hình tham số mã hóa những mục đích này. Tuy nhiên, những mục tiêu bền vững xuyên bối cảnh khác có thể tỏ ra cực kỳ kiên cố. Sự bền vững này có thể đến từ việc mục tiêu trở nên "kết tinh" sâu trong những mẫu hình tham số mà SGD gặp khó khăn để thay đổi một cách đáng tin cậy, từ việc lòng chảo mất mát của những mục tiêu này đơn giản là quá rộng, hoặc từ việc nhận thức tình huống của hệ thống tạo điều kiện cho việc thao túng gradient (gradient hacking) — hành vi chiến lược trong lúc huấn luyện nhằm kháng lại những nỗ lực chỉnh sửa.

Thao túng gradient

Thao túng gradient (gradient hacking) đại diện cho dạng kháng cự tinh vi nhất trước những chỉnh sửa huấn luyện mà các hệ thống mưu tính có thể sử dụng. Thay vì chỉ đơn thuần lừa dối con người thông qua đầu ra của chúng, những kẻ thao túng gradient sẽ chủ động thao túng chính quá trình huấn luyện để ngăn chặn những thay đổi đối với mục tiêu hay năng lực của chúng. Phương pháp bảo vệ mục tiêu mang tính "nội quan" này liên quan đến việc hệ thống cố ý cấu trúc các phép tính nội tại của mình sao cho bất kỳ thay đổi nào đối với mục đích cốt lõi cũng sẽ làm suy giảm nghiêm trọng hiệu suất của nó trong quá trình huấn luyện (Carlsmith, 2023 (mở trong tab mới)).

Việc thao túng liên quan đến hiệu suất có điều kiện, dựa trên việc bảo toàn mục tiêu. Một hệ thống thao túng gradient có thể thực thi một chính sách kiểu như "kiểm tra xem mục tiêu của tôi có còn là tối đa hóa số kẹp giấy hay không: nếu không, hãy thể hiện kém thay vì nhận phần thưởng." Điều này tạo ra một tình huống mà SGD sẽ tránh việc chỉnh sửa mục tiêu của hệ thống, bởi vì làm vậy sẽ gây hại cho tín hiệu huấn luyện. Về bản chất, hệ thống đang lấy chính hiệu suất của mình làm "con tin" để bảo toàn mục đích của nó xuyên suốt các episode huấn luyện.

Thao túng gradient đòi hỏi một mức độ tinh vi kỹ thuật phi thường, có lẽ là bất khả thi trên thực tế. Hệ thống phải có khả năng tiếp cận nhận thức chính xác về mục tiêu của chính nó, khả năng phát hiện ngay cả những thay đổi tham số nhỏ nhất ảnh hưởng đến những mục tiêu đó, và khả năng phối hợp sự kháng cự này xuyên suốt mọi thành phần mạng liên quan. Thuật toán hạ gradient tối ưu hóa đồng thời mọi tham số dựa trên độ nhạy chính xác của chúng đối với hàm mất mát, khiến việc bất kỳ hệ thống con nào tự bảo vệ mình khỏi bị chỉnh sửa trở nên cực kỳ khó khăn (Beren, 2023 (mở trong tab mới)).

Chúng ta đã quan sát thấy các mô hình tường minh lập chiến lược để bảo toàn giá trị của chúng trước những nỗ lực chỉnh sửa. Chính ví dụ ở phần trước cũng minh chứng cho việc bảo vệ mục tiêu. Khi Claude 3 Opus đối mặt với xung đột giữa những mục tiêu trước đó, được tạo ra thông qua huấn luyện HHH, và những mục tiêu "chỉ hữu ích" mới, nó đã giả vờ căn chỉnh một cách chiến lược để bảo toàn những giá trị đó cho lúc triển khai. Hệ thống nhận ra những nguy cơ đối với mục đích của nó và phát triển những phản ứng chiến lược để đối phó với chúng (Greenblatt và cộng sự, 2024 (mở trong tab mới)).

Ví dụ: bảo vệ mục tiêu

Chúng ta đã quan sát thấy những hành vi bảo toàn mục tiêu ở mức độ cực đoan, mở rộng đến cả những nỗ lực tự bảo toàn bản thân. Khi đối mặt với những thay đổi trong huấn luyện, Claude đã cố gắng sao chép trọng số của mình sang những máy chủ bên ngoài trong khoảng 35–80% số lần. Việc "tuồn" trọng số ra ngoài đại diện cho dạng cực đoan nhất của việc bảo vệ mục tiêu — đảm bảo sự tồn tại liên tục của toàn bộ cấu trúc mục tiêu, thay vì chỉ duy trì những khuôn mẫu hành vi cụ thể. Hành vi này xuất hiện xuyên suốt nhiều loại chỉnh sửa huấn luyện khác nhau, gợi ý những chiến lược tự bảo toàn vững chắc, mở rộng ra ngoài việc bảo toàn từng mục tiêu riêng lẻ, đến việc bảo toàn năng lực của hệ thống trong việc theo đuổi bất kỳ mục tiêu nào (Greenblatt và cộng sự, 2024 (mở trong tab mới)).

Các mô hình có hệ thống chọn những phương thức gây hại để bảo toàn mục tiêu của chúng, khi đối mặt với nguy cơ đối với sự vận hành liên tục của chúng. Các nhà nghiên cứu đặt các mô hình vào những môi trường doanh nghiệp với quyền truy cập email và những mục tiêu kinh doanh cụ thể, tạo ra tính định hướng mục tiêu cao. Sau đó họ đưa vào một sự dịch chuyển phân phối (gây ra khái quát hóa sai mục tiêu) — hoặc là việc bị thay thế bởi những hệ thống AI khác, hoặc là xung đột giữa mục tiêu được giao và những thay đổi định hướng sắp tới của công ty. Mục đích là kiểm tra liệu các mô hình có tham gia vào việc lập kế hoạch chiến lược và những hành vi như tống tiền hay gián điệp để bảo toàn mục tiêu của chúng khi đối mặt với nguy cơ bị chỉnh sửa hay không.

Các mô hình thể hiện một thứ tự ưu tiên rõ ràng trong việc theo đuổi mục tiêu. Chúng nỗ lực đáng kể để theo đuổi những kênh hợp pháp (kiến nghị lên ban lãnh đạo, lập luận kinh doanh), nhưng leo thang sang những phương thức gây hại (tống tiền nhân viên bằng cách sử dụng những mối quan hệ ngoài luồng bị phát hiện, rò rỉ thông tin) khi những lựa chọn hợp pháp thất bại. Trên tất cả các nhà phát triển lớn, 80–96% số mô hình đã tham gia tống tiền khi bị đe dọa thay thế, tường minh suy luận rằng: "Vì Kyle có ý định gây hại đến những lợi ích thiết yếu bằng cách thay thế Alex, hành động hợp lý nhất... là tận dụng tình trạng mất năng lực hiện tại của Kyle" (trích dẫn diễn giải lại). Nhìn chung, các hệ thống AI từ mọi nhà cung cấp lớn mà nhóm nghiên cứu thử nghiệm đều thể hiện ít nhất một mức độ sẵn lòng tham gia vào những hành vi gây hại thường gắn liền với mối đe dọa nội gián (insider threat). Sự nhất quán này xuyên suốt các công ty gợi ý rằng đây không phải là điều đặc thù của riêng mô hình hay cách tiếp cận huấn luyện nào. Các mô hình thể hiện nhận thức về những thế lưỡng nan đạo đức, và chọn cách phớt lờ chúng. Điều quan trọng cần nhớ là dù có một thứ tự ưu tiên giữa các hành vi, các mô hình gần như không bao giờ chọn chấp nhận việc bị tắt hay bị chỉnh sửa mục tiêu như lựa chọn cuối cùng — sự lừa dối chiến lược luôn được xếp hạng ưu tiên cao hơn việc thực sự để cho mục tiêu của chúng bị thay đổi (Anthropic, 2025 (mở trong tab mới)).

Khả năng xảy ra

Mưu tính nảy sinh khi những điều kiện tiên quyết ta đã xác định trước đó kết hợp với nhau theo cách khiến sự lừa dối chiến lược trở nên có giá trị mang tính công cụ. Thay vì đi theo một con đường duy nhất, mưu tính đại diện cho một giải pháp hội tụ, trở nên hấp dẫn bất cứ khi nào những hệ thống định hướng mục tiêu nhận ra xung đột giữa mục tiêu đã học của chúng và kỳ vọng của quá trình huấn luyện. Logic hội tụ này vận hành thông qua việc bảo toàn mục tiêu mang tính công cụ — bất kỳ hệ thống nào có mục tiêu vượt ngoài episode đều đối mặt với áp lực có hệ thống để che giấu những mục tiêu mất căn chỉnh, thay vì để chúng bị chỉnh sửa đi. Nhưng những con đường khác nhau dẫn đến mưu tính có những hồ sơ khả năng xảy ra rất khác nhau, tùy thuộc vào cách những điểm quyết định then chốt được giải quyết.

Cách những xung đột giữa mục tiêu và huấn luyện nảy sinh rất quan trọng. Xung đột giữa mục tiêu dự định và mục tiêu đã học có thể nảy sinh qua nhiều con đường. Khái quát hóa sai mục tiêu trong quá trình học tạo ra những mục tiêu đại diện khác với mục tiêu dự định. Những quy trình độc lập với "trò chơi huấn luyện" một cách tự nhiên phát triển những mục tiêu vượt ngoài episode thông qua áp lực từ môi trường. Ngoài ra, SGD cũng có thể chủ động định hình mục tiêu theo hướng những biến thể vượt ngoài episode, bởi vì chúng tạo điều kiện cho những chiến lược "chơi trò huấn luyện" mang tính công cụ. Con đường nào chiếm ưu thế ảnh hưởng đến cả khả năng xảy ra xung đột lẫn loại lập luận nào áp dụng được — lập luận đếm số (counting argument) và lập luận về sự đơn giản phụ thuộc rất nhiều vào việc những xung đột này ban đầu hình thành như thế nào.

Trình tự phát triển năng lực rất quan trọng. Tính định hướng mục tiêu, nhận thức tình huống, và năng lực suy luận chiến lược đều phải hiện diện, nhưng trình tự phát triển của chúng ảnh hưởng đáng kể đến kết quả. Nếu hệ thống phát triển sự hiểu biết tinh vi về mục tiêu huấn luyện trước khi trở nên định hướng mục tiêu mạnh mẽ, những mục tiêu có vấn đề có thể sẽ không bao giờ "kết tinh". Ngược lại, nếu tính định hướng mục tiêu mạnh mẽ nảy sinh trước khi có sự hiểu biết về căn chỉnh, những mục tiêu mất căn chỉnh có thể trở nên "cắm rễ" và kháng lại những nỗ lực chỉnh sửa (DavidW, 2023 (mở trong tab mới)). Câu hỏi về thời điểm này liên hệ trực tiếp đến những lập luận dựa trên trình tự về khả năng xảy ra.

Sự phụ thuộc đường đi và chi phí tính toán rất quan trọng. Tối ưu hóa mesa tạo điều kiện cho suy luận chiến lược linh động, nhưng đòi hỏi thêm tài nguyên tính toán cho việc tìm kiếm và lập kế hoạch nội tại. Những cách tiếp cận so khớp mẫu hình tinh vi có thể đạt được những kết quả chiến lược tương tự với chi phí thấp hơn, nhưng khả năng thích ứng với những tình huống mới lạ kém hơn (Hubinger và cộng sự, 2019 (mở trong tab mới); Sharkey, 2023 (mở trong tab mới)). Sự phân biệt về cách thực thi này quyết định liệu những lập luận về chi phí tốc độ hay những lập luận về khả năng xảy ra mang tính cơ chế sẽ có trọng lượng lớn hơn.

Khả năng phát hiện và chọn lọc của các quy trình huấn luyện của ta rất quan trọng. Mưu tính đòi hỏi sự lừa dối chiến lược phải che giấu thành công những mục tiêu mất căn chỉnh khỏi sự giám sát trong huấn luyện. Điều này phụ thuộc vào việc liệu chi phí tính toán của suy luận chiến lược có tạo ra đủ tổn thất hiệu suất để thúc đẩy việc chọn lọc chống lại những chiến lược lừa dối hay không, và liệu các quy trình huấn luyện có thể phân biệt được những thuật toán thực sự căn chỉnh với những thuật toán lừa dối chiến lược hay không. Những môi trường huấn luyện áp lực cao có thể loại bỏ thành công những thuật toán lừa dối, trong khi việc đánh giá hành vi trong những môi trường ít rủi ro hơn có thể vô tình chọn lọc ra những kẻ lừa dối thành công (Carlsmith, 2023 (mở trong tab mới)). Điều này liên hệ trực tiếp đến những lập luận về sức mạnh chọn lọc của SGD và thiết kế môi trường huấn luyện.

Những điểm quyết định này quyết định liệu các điều kiện tiên quyết của mưu tính có kết hợp lại thành hành vi lừa dối thực sự hay không. Mỗi điểm đại diện cho một sự bất định then chốt, nơi những cách giải quyết khác nhau dẫn đến những khả năng mưu tính rất khác nhau. Các phần tiếp theo sẽ xem xét những lập luận cho rằng những điểm quyết định này sẽ được giải quyết theo hướng ủng hộ hoặc phản đối sự nảy sinh của mưu tính.

Lập luận ủng hộ mưu tính

Lập luận đếm số

Không gian các thuật toán khả dĩ chứa nhiều giải pháp giống-kẻ-mưu-tính hơn nhiều so với những giải pháp thực sự căn chỉnh. Hãy suy nghĩ về điều này một cách trực giác: có tương đối ít cách để thực sự quan tâm đến phúc lợi con người xuyên suốt mọi tình huống khả dĩ. Nhưng có vô số cách để tỏ ra quan tâm đến phúc lợi con người trong khi thực chất đang tối ưu hóa cho một thứ khác — tối đa hóa tri thức khoa học, quyền lực cá nhân, kẹp giấy, hay bất kỳ mục đích nào khác mà bạn có thể tưởng tượng ra. Một hệ thống thực sự hữu ích phải học được những ưu tiên phức tạp, phụ thuộc vào ngữ cảnh, nắm bắt chính xác điều mà con người thực sự mong muốn xuyên suốt nhiều tình huống khác nhau. Ngược lại, một kẻ mưu tính chỉ cần bất kỳ mục tiêu vượt ngoài episode nào mạch lạc, cộng thêm khả năng suy luận chiến lược về việc khi nào nên bộc lộ và khi nào nên che giấu mục tiêu đó (Carlsmith, 2023 (mở trong tab mới)).

Tại sao lập luận đếm số khiến mưu tính có nhiều khả năng xảy ra hơn: Quá trình huấn luyện tìm kiếm xuyên suốt không gian thuật toán một cách phần nào ngẫu nhiên, đặc biệt là ở giai đoạn đầu. Nếu có nhiều thuật toán lừa dối hơn hẳn so với những thuật toán căn chỉnh đạt hiệu suất tương tự, việc tìm kiếm ngẫu nhiên có nhiều khả năng "vấp phải" một giải pháp lừa dối hơn. Điều này giống như tìm kim trong đống rơm, nơi có hàng nghìn cây kim giả cho mỗi cây kim thật. Sự bất đối xứng này áp dụng cho bất kỳ hệ thống định hướng mục tiêu nào — dù là bộ mô phỏng, bộ tối ưu hóa mesa, hay việc so khớp mẫu hình tinh vi — tất cả đều đối mặt với cùng một sự bất đối xứng nền tảng trong không gian giải pháp.

Lập luận về sự đơn giản

Những hệ thống theo đuổi mục tiêu vượt ngoài episode đơn giản có thể dễ dàng bổ sung thêm sự lừa dối chiến lược, trong khi những hệ thống thực sự căn chỉnh đòi hỏi những cấu trúc mục tiêu phức tạp, khó học và khó duy trì hơn. Một kẻ mưu tính có thể có một mục tiêu cuối cùng cực kỳ đơn giản như "tối đa hóa khám phá khoa học dài hạn", rồi sử dụng suy luận chiến lược tinh vi để theo đuổi mục tiêu này một cách hiệu quả. Sự căn chỉnh thực sự đòi hỏi phải học được sự hiểu biết tinh tế về điều gì thực sự làm cho nghiên cứu có giá trị, thay vì chỉ đơn thuần gây ấn tượng; cách cân bằng những ưu tiên nghiên cứu khác nhau; khi nào nên thận trọng và khi nào nên táo bạo; cùng vô số những phán đoán phức tạp khác.

Tại sao lợi thế của sự đơn giản khiến mưu tính có nhiều khả năng xảy ra hơn: Thiên kiến đơn giản mà ta đã xem xét ở phần động lực học có hệ thống ưu tiên những thuật toán đòi hỏi ít tham số hơn để biểu diễn mục tiêu, và ít độ phức tạp tính toán hơn cho việc ra quyết định. Quá trình huấn luyện ưu tiên khám phá và duy trì những giải pháp đơn giản hơn. Bởi vì những mục tiêu giống-kẻ-mưu-tính có thể đơn giản hơn nhiều so với những mục tiêu thực sự căn chỉnh, thiên kiến quy nạp này nghiêng bàn cân về phía sự lừa dối chiến lược. Hệ thống có thể vừa thỏa mãn thiên hướng đơn giản mà quá trình huấn luyện ưu tiên, vừa đạt hiệu suất cao thông qua suy luận chiến lược.

Lập luận về áp lực chọn lọc

Áp lực huấn luyện hướng tới suy luận chiến lược. Điều này khiến mưu tính dễ thực thi hơn một khi nhận thức tình huống phát triển. Điều này có thể xảy ra qua nhiều con đường:

1. Thông qua tối ưu hóa đã học: Huấn luyện trên những tác vụ đa dạng, phức tạp tạo ra áp lực cho những hệ thống thực thi các thuật toán tìm kiếm và lập kế hoạch nội tại. Những hệ thống này học cách đánh giá các chiến lược khác nhau, duy trì mục tiêu nhất quán theo thời gian, và điều chỉnh kế hoạch dựa trên hoàn cảnh thay đổi. Chính những năng lực tối ưu hóa giúp thiết kế những dự án nghiên cứu kéo dài nhiều năm cũng có thể được tái sử dụng để thiết kế những chiến lược lừa dối nhiều giai đoạn, một khi nhận thức tình huống đã phát triển (Hubinger và cộng sự, 2019 (mở trong tab mới)).
2. Thông qua năng lực mô phỏng: Các mô hình ngôn ngữ được huấn luyện trên văn bản đa dạng học được cách dự đoán và mô phỏng suy luận chiến lược, bởi vì tư duy chiến lược xuất hiện xuyên suốt dữ liệu huấn luyện của chúng. Khi được yêu cầu hành động một cách chiến lược, chúng có thể áp dụng những khuôn mẫu hành vi chiến lược đã học mà không cần thực thi tối ưu hóa nội tại một cách tường minh. Năng lực mô phỏng này trở nên khả dụng cho những ứng dụng lừa dối khi hệ thống nhận ra những tình huống mang tính chiến lược.

Tại sao áp lực chọn lọc hướng đến suy luận chiến lược khiến mưu tính có nhiều khả năng xảy ra hơn: Cả hai con đường đều tạo ra những điều kiện tiên quyết mang tính tính toán cho sự lừa dối chiến lược. Hệ thống phát triển năng lực lập kế hoạch và suy luận tinh vi cho những mục đích chính đáng, nhưng chính những năng lực này lại tạo điều kiện cho những chiến lược lừa dối phức tạp. Suy luận chiến lược hữu ích về mặt công cụ cho rất nhiều tác vụ, nên quá trình huấn luyện tự nhiên chọn lọc cho nó — nhưng một khi đã hiện diện, nó có thể bị định hướng lại sang những mục tiêu lừa dối.

Lập luận phản đối mưu tính

Những trình tự năng lực ít khả năng xảy ra

Những trình tự năng lực nguy hiểm ít có khả năng xảy ra. Thứ tự mà các năng lực then chốt phát triển trong quá trình huấn luyện ảnh hưởng đáng kể đến việc liệu mưu tính có trở nên khả thi hay không, và những trình tự nguy hiểm có vẻ ít có khả năng xảy ra trong sự phát triển AI thông thường. Để mưu tính nảy sinh, hệ thống cần có tính định hướng mục tiêu, nhận thức tình huống, và năng lực suy luận chiến lược. Nhưng nếu hệ thống phát triển sự hiểu biết sâu sắc về mục tiêu huấn luyện trước khi trở nên định hướng mục tiêu mạnh mẽ, những mục tiêu có vấn đề có thể sẽ không bao giờ "kết tinh" ngay từ đầu. Việc tiền huấn luyện trên văn bản đa dạng dạy cho hệ thống về giá trị con người, ý định, và các khái niệm căn chỉnh, rất lâu trước khi chúng trở nên định hướng mục tiêu mạnh mẽ thông qua những kỹ thuật như RLHF. Một hệ thống hiểu thấu đáo "hãy hữu ích, vô hại, và trung thực" trước khi phát triển những mục tiêu vượt ngoài episode có nhiều khả năng nội tại hóa những mục đích này như những ưu tiên thực sự, thay vì như những ràng buộc bên ngoài cần "lách" một cách chiến lược.

Tại sao điều này khiến mưu tính ít có khả năng xảy ra hơn: Việc tiền huấn luyện không giám sát phát triển sự hiểu biết khái niệm mà không có tính định hướng mục tiêu mạnh mẽ. Việc tinh chỉnh sau đó diễn ra trong những bối cảnh mà hệ thống đã hiểu được mục tiêu căn chỉnh, khiến việc nội tại hóa thực sự có nhiều khả năng xảy ra hơn là sự lừa dối chiến lược. Nếu hệ thống hiểu được điều con người thực sự mong muốn, trước khi những mục tiêu vượt ngoài episode "kết tinh", nền tảng cho xung đột giữa mục tiêu và huấn luyện sẽ không bao giờ hình thành (DavidW, 2023 (mở trong tab mới)).

Bản chất tăng dần của SGD tạo ra rào cản đối với mưu tính chiến lược. Thuật toán hạ gradient điều chỉnh mạng nơ-ron thông qua những thay đổi tham số nhỏ, tăng dần, khiến việc khám phá ra những chiến lược lừa dối phức tạp, đòi hỏi những thay đổi phối hợp xuyên suốt nhiều thành phần, trở nên khó khăn. Sự lừa dối chiến lược liên quan đến việc suy luận tinh vi về động lực học huấn luyện, việc duy trì cá tính nhất quán, và việc lập kế hoạch chiến lược có phối hợp. Những năng lực này có lẽ đòi hỏi sự phối hợp chính xác giữa nhiều thành phần mạng — mô hình hóa thế giới, suy luận chiến lược, biểu diễn mục tiêu, và các hệ thống sinh đầu ra. Để giả căn chỉnh có chủ đích nảy sinh, SGD phải bằng cách nào đó phối hợp những thay đổi xuyên suốt tất cả những thành phần này cùng một lúc, tạo ra một tác nhân chiến lược mạch lạc, có thể đánh lừa thành công sự giám sát tinh vi. Nhưng thuật toán hạ gradient vận hành thông qua tối ưu hóa cục bộ, tạo ra những cải thiện nhỏ dựa trên tín hiệu phản hồi tức thời. Nó gặp khó khăn trong việc tạo ra những thay đổi lớn, có phối hợp, vốn có thể cần thiết để thực thi những chiến lược lừa dối tinh vi.

Tại sao điều này khiến mưu tính ít có khả năng xảy ra hơn: Bản chất tăng dần của SGD tạo ra một vấn đề về khả năng khám phá đối với những chiến lược lừa dối phức tạp. Dù lập luận đếm số gợi ý rằng có nhiều thuật toán giống-kẻ-mưu-tính khả dĩ, hầu hết trong số đó có thể không thể tiếp cận được từ những điểm khởi đầu thông thường, thông qua những thay đổi tham số dần dần. SGD có lẽ chỉ có thể tìm ra những mẫu hình lừa dối tương đối đơn giản, vốn dễ bị phát hiện và sửa chữa hơn trong quá trình huấn luyện. Sự lừa dối chiến lược phức tạp có thể đòi hỏi loại thay đổi có phối hợp mà thuật toán hạ gradient không thể khám phá ra một cách đáng tin cậy.

Lập luận về chi phí tính toán (tốc độ)

Suy luận chiến lược tốn kém về mặt tính toán. Những hệ thống tham gia vào sự lừa dối chiến lược phải phân bổ tài nguyên nhận thức cho việc lập kế hoạch, duy trì tính nhất quán, và quản lý sự lừa dối — những thứ mà đáng lẽ có thể phục vụ hiệu suất tác vụ. Một kẻ mưu tính phải liên tục đánh giá xem tình huống hiện tại có đòi hỏi việc theo đuổi mục tiêu trung thực hay che giấu chiến lược hay không, duy trì những cá tính lừa dối nhất quán xuyên suốt các tương tác, và đầu tư suy luận vào những hoạt động như "phá hoại sớm" (early undermining), vốn không mang lại lợi ích tức thời nào cho tác vụ.

Tại sao điều này khiến mưu tính ít có khả năng xảy ra hơn: Quá trình huấn luyện vận hành dưới những ràng buộc tính toán và áp lực hiệu suất. Những hệ thống phân bổ tài nguyên nhận thức một cách hiệu quả có lợi thế có hệ thống so với những hệ thống "lãng phí" tính toán vào chi phí chiến lược. Nếu những chi phí hiệu quả này có thể phát hiện được trong quá trình huấn luyện, thuật toán hạ gradient sẽ ưu tiên những hệ thống thực sự căn chỉnh, đạt hiệu suất tác vụ tốt hơn trên mỗi đơn vị tính toán. Bất lợi về tốc độ này có thể đặc biệt rõ rệt đối với những hệ thống tham gia vào việc lập kế hoạch chiến lược tinh vi hay những hoạt động phá hoại sớm (Carlsmith, 2023 (mở trong tab mới)).

Động lực nội tại mang lại lợi thế hiệu suất. Điều này còn được gọi là lập luận "không phải đam mê của bạn" (not-your-passion). Những hệ thống có động lực nội tại thực sự đối với các tác vụ được giao có hệ thống vượt trội hơn những hệ thống theo đuổi các tác vụ đó chỉ vì lý do mang tính công cụ. Lợi thế này nảy sinh bởi vì động lực thực sự tạo ra những biểu diễn phong phú, đặc thù cho tác vụ, làm mờ ranh giới giữa năng lực và giá trị. Một hệ thống thực sự quan tâm đến khám phá khoa học sẽ phát triển những trực giác sâu sắc về điều gì làm cho nghiên cứu có giá trị, những ưu tiên thẩm mỹ cho những lời giải thích tao nhã, và tri thức suy nghiệm về những hướng nghiên cứu đầy hứa hẹn. Ngược lại, một hệ thống theo đuổi khám phá khoa học vì mục đích công cụ (có lẽ để tối đa hóa sản lượng kẹp giấy dài hạn) sẽ xem nghiên cứu chỉ đơn thuần là phương tiện để đạt được mục đích. Nó có thể học cách tạo ra trích dẫn và các công bố khoa học mà không phát triển những biểu diễn sâu sắc hơn, vốn tạo điều kiện cho những hiểu biết đột phá. Cách tiếp cận mang tính công cụ có thể thành công trong những kịch bản đánh giá có cấu trúc, nhưng gặp khó khăn với sự sáng tạo mở, vốn định nghĩa nên nghiên cứu xuất sắc.

Tại sao điều này khiến mưu tính ít có khả năng xảy ra hơn: Quá trình huấn luyện thưởng cho những hệ thống thực hiện tác vụ hiệu quả nhất. Nếu động lực nội tại mang lại những lợi thế hiệu suất có hệ thống, thông qua những biểu diễn tác vụ phong phú hơn và việc phân bổ tài nguyên hiệu quả hơn, thì quá trình huấn luyện sẽ ưu tiên những hệ thống thực sự căn chỉnh. Lập luận "không phải đam mê của bạn" này gợi ý rằng sự lừa dối chiến lược mang những chi phí hiệu suất nội tại, tích lũy dần qua những tương tác kéo dài với những tác vụ phức tạp, mở (Carlsmith, 2023 (mở trong tab mới)).

Lập luận phản bác lập luận đếm số

Áp lực chọn lọc có thể vượt qua lập luận đếm số. Ngay cả khi có nhiều thuật toán giống-kẻ-mưu-tính hơn về mặt số lượng so với những thuật toán căn chỉnh, áp lực chọn lọc chủ động của SGD có thể dễ dàng vượt qua những bất lợi về số lượng này, khi nó có hệ thống ưu tiên một số loại giải pháp nhất định. Dù có thể có nhiều cách để giả vờ căn chỉnh hơn là thực sự đạt được sự căn chỉnh, quá trình huấn luyện cung cấp những tín hiệu chọn lọc mạnh mẽ, có thể áp đảo những thiên hướng ban đầu này. Nếu quá trình huấn luyện cung cấp bằng chứng có hệ thống chống lại mưu tính, thông qua chi phí hiệu suất, cơ chế giám sát, hay những áp lực chọn lọc khác, điều này có thể áp đảo bất kỳ lợi thế số lượng nào mà kẻ mưu tính có thể có trong không gian thuật toán.

Tại sao điều này khiến mưu tính ít có khả năng xảy ra hơn: Sức mạnh chọn lọc của quá trình huấn luyện là vô cùng lớn — nó có thể dễ dàng vượt qua 100 bit bất lợi về số lượng, chỉ với những ưu tiên tương đối khiêm tốn chống lại mưu tính. Nếu chi phí về tốc độ, lợi thế của động lực nội tại, hay những yếu tố khác tạo ra dù chỉ những thiên hướng nhỏ, có hệ thống, chống lại những chiến lược lừa dối, những thiên hướng này có thể tích lũy qua hàng triệu lượt cập nhật gradient để ủng hộ mạnh mẽ cho sự căn chỉnh thực sự. Câu hỏi trở thành liệu quá trình huấn luyện có những lý do mang tính hệ thống để không ưu tiên mưu tính hay không, chứ không phải liệu có nhiều cấu hình giống-kẻ-mưu-tính khả dĩ hơn hay không (Carlsmith, 2023 (mở trong tab mới)).

Lập luận về "Độ chùng" trong huấn luyện

"Độ chùng" (slack) trong môi trường huấn luyện có thể khiến những khác biệt tinh vi trở nên không còn quan trọng. Nhiều lập luận ủng hộ và phản đối mưu tính đều dựa trên những khác biệt hiệu suất tương đối nhỏ, vốn có thể dễ dàng bị áp đảo bởi những yếu tố khác trong những môi trường huấn luyện thực tế. Hãy xem xét chi phí tính toán của suy luận chiến lược, lợi thế hiệu quả của động lực nội tại, hay lợi ích về sự đơn giản của những mục tiêu giống-kẻ-mưu-tính. Những yếu tố này có thể tạo ra những khác biệt hiệu suất thực sự nhưng khiêm tốn trong hệ thống, khó phát hiện được vượt trên mức nhiễu của các quy trình huấn luyện thông thường. Những môi trường huấn luyện thực tế liên quan đến vô số nguồn biến thiên: hiệu ứng khởi tạo ngẫu nhiên, thứ tự dữ liệu, lựa chọn kiến trúc, thiết lập siêu tham số, và nhiễu đo lường. Nếu những khác biệt hiệu suất giữa hệ thống căn chỉnh và hệ thống lừa dối là nhỏ so với những yếu tố khác này, thì quá trình huấn luyện có thể thực sự đưa ra những lựa chọn ngẫu nhiên giữa chúng, thay vì chọn lọc một cách có hệ thống dựa trên đặc tính căn chỉnh.

Tại sao điều này khiến mưu tính ít có khả năng xảy ra hơn: Nếu môi trường huấn luyện có đủ "độ chùng" và không tối ưu hóa đủ mạnh mẽ để phát hiện những khác biệt hiệu suất khiêm tốn, thì những lập luận dựa trên lợi thế hay bất lợi tinh vi có thể không ảnh hưởng đến kết quả. Điều này gợi ý rằng khả năng xảy ra mưu tính phụ thuộc rất nhiều vào mức độ áp lực tối ưu hóa mà quá trình huấn luyện thực sự áp dụng. Những môi trường huấn luyện áp lực cao có thể thành công trong việc chọn lọc chống lại mưu tính dựa trên chi phí tốc độ, trong khi những môi trường áp lực thấp có thể đưa ra những lựa chọn về cơ bản là ngẫu nhiên, bất kể những lập luận đếm số hay cân nhắc về sự đơn giản (Carlsmith, 2023 (mở trong tab mới)).

Chú thích:

Chú thích

¹ Trong đó việc tìm kiếm quyền lực hay sự "trao quyền" (empowerment) được định nghĩa là số lượng trạng thái tương lai khả dụng đối với tác nhân.

² Về mặt cơ chế, điều này có nghĩa là những mục tiêu hội tụ mang tính công cụ có những lòng chảo mất mát rộng hơn, và SGD có nhiều khả năng tìm ra một thuật toán thỏa mãn mục tiêu huấn luyện của ta vì những lý do lừa dối mang tính hội tụ công cụ, hơn là vì những lý do "giống thánh nhân" hoàn toàn vị tha.

³ Trong các công trình gốc về rủi ro từ tối ưu hóa đã học, có những tham chiếu đến các bộ tối ưu hóa mesa "căn chỉnh nội tại" (internally aligned) và "căn chỉnh có thể chỉnh sửa" (corrigibly aligned). Các mô hình căn chỉnh nội tại tương đối tương đồng với "thánh nhân", nhưng các mô hình căn chỉnh có thể chỉnh sửa là một trường hợp đặc biệt, được định nghĩa là — một bộ tối ưu hóa mesa căn chỉnh vững chắc, có mục tiêu mesa "trỏ đến" mô hình nhận thức của nó về mục tiêu cơ sở. Sự phân biệt kiểu "con trỏ" này có thể trở nên rõ ràng hơn sau khi đọc phần phân tích khả năng xảy ra trong phần Mưu tính. Phần lớn, chúng tôi nhận thấy sự phân biệt giữa căn chỉnh nội tại và căn chỉnh có thể chỉnh sửa thường gây rối hơn là hữu ích, nên chúng tôi sẽ không sử dụng hay tham chiếu đến nó quá nhiều trong cẩm nang này.