Chương 3.3: Chiến lược an toàn AGI

Đối với AI ở trình độ con người, công tác an toàn tập trung vào nghiên cứu căn chỉnh, duy trì kiểm soát thông qua giám sát và ngăn chặn (containment), và khắc phục mất căn chỉnh đã phát hiện một cách lặp đi lặp lại.

Khác với lợi dụng sai mục đích — nơi ý định của con người là động lực gây hại — an toàn AGI chủ yếu quan tâm đến hành vi của chính hệ thống AI. Những vấn đề cốt lõi là căn chỉnh và kiểm soát: đảm bảo rằng những hệ thống có năng lực cao, có khả năng tự định hướng này hiểu và theo đuổi một cách đáng tin cậy những mục tiêu phù hợp với giá trị và ý định của con người, thay vì phát triển và hành động theo những mục tiêu đã mất căn chỉnh có thể dẫn đến hậu quả thảm khốc.

Phần này tìm hiểu các chiến lược an toàn AGI, mà như đã giải thích trong phần định nghĩa, bao gồm nhưng không giới hạn ở riêng căn chỉnh. Chúng tôi phân biệt các chiến lược an toàn áp dụng cho AGI ở trình độ con người với các chiến lược an toàn nhằm đảm bảo an toàn trước ASI. Phần này tập trung vào nhóm thứ nhất, còn phần tiếp theo sẽ tập trung vào ASI.

Các chiến lược an toàn AGI vận hành trong những ràng buộc khác về bản chất so với các phương pháp dành cho ASI. Khi xử lý những hệ thống có trí tuệ gần với trình độ con người, về mặt lý thuyết chúng ta vẫn có thể duy trì khả năng giám sát có ý nghĩa, và có thể lặp lại cải tiến các biện pháp an toàn thông qua thử và sai. Con người vẫn có thể đánh giá đầu ra, hiểu được quá trình suy luận, và đưa ra phản hồi để cải thiện hành vi của hệ thống. Điều này tạo ra những cơ hội chiến lược sẽ biến mất một khi mức độ đa dạng và năng lực của AI vượt qua khả năng hiểu biết của con người trên hầu hết các lĩnh vực. Vẫn còn tranh cãi về việc liệu bất kỳ chiến lược an toàn nào dành cho AGI ở trình độ con người có tiếp tục hiệu quả đối với siêu trí tuệ hay không.

Các chiến lược an toàn cho AGI và ASI thường bị nhầm lẫn với nhau, bắt nguồn từ sự bất định về mốc thời gian chuyển tiếp. Mốc thời gian là chủ đề gây tranh cãi gay gắt trong nghiên cứu AI. Một số nhà nghiên cứu dự đoán năng lực sẽ tăng nhanh đến mức có thể rút ngắn giai đoạn AI còn ở trình độ con người xuống chỉ còn vài tháng thay vì vài năm (Soares, 2022 (mở trong tab mới); Yudkowsky, 2022 (mở trong tab mới); Kokotajlo và cộng sự, 2025 (mở trong tab mới)). Nếu quá trình chuyển tiếp từ trình độ con người sang trí tuệ siêu phàm diễn ra nhanh chóng, các chiến lược riêng cho AGI có thể sẽ không bao giờ kịp được triển khai. Tuy nhiên, nếu chúng ta thực sự có một giai đoạn vận hành ở trình độ con người đủ dài và có ý nghĩa, chúng ta sẽ có những lựa chọn an toàn không còn tồn tại ở cấp độ siêu trí tuệ, khiến sự phân biệt này trở nên quan trọng đối với các cân nhắc chiến lược.

Những Ý tưởng Ban đầu

Khi lần đầu tiếp xúc với an toàn AI, người ta thường đề xuất những giải pháp trực giác giống hệt những gì đã được người khác khám phá từ nhiều năm trước. Những cách tiếp cận sơ khai này có vẻ hợp lý và được rút ra từ những khái niệm quen thuộc như khoa học viễn tưởng, an ninh vật lý, và sự phát triển của con người. Không giải pháp nào trong số đó đủ sức đối với các hệ thống AI tiên tiến, nhưng việc hiểu tại sao chúng không đạt yêu cầu sẽ giúp lý giải điều gì khiến việc xây dựng chiến lược an toàn AI thực sự khó khăn.

Chiến lược sử dụng các quy tắc rõ ràng thất bại vì quy tắc không thể bao quát mọi tình huống. Một ví dụ rất phổ biến cho điều này là Ba Định luật Robot của Asimov (Asimov's Laws): không làm hại con người, tuân theo mệnh lệnh của con người (trừ khi mâu thuẫn với định luật thứ nhất), và tự bảo vệ bản thân (trừ khi mâu thuẫn với hai định luật đầu). Cách này hợp với tư duy pháp lý của chúng ta — viết ra những quy tắc rõ ràng, rồi tuân theo chúng. Nhưng thế nào được tính là "gây hại"? Nếu bạn ra lệnh cho AI nói dối ai đó, liệu sự lừa dối có gây hại không? Nếu sự trung thực làm tổn thương cảm xúc, liệu sự thật có trở thành có hại? AI sẽ đối mặt với những mâu thuẫn không thể giải quyết được. Asimov đã biết rõ điều này — mỗi câu chuyện trong Tôi, Robot (I, Robot) đều mô tả những kịch bản mà các định luật này dẫn đến thảm họa. Vấn đề căn bản: chúng ta không thể viết ra những quy tắc đủ toàn diện để bao quát mọi tình huống mà một AI tiên tiến có thể gặp phải.

Chiến lược "nuôi dạy nó như một đứa trẻ" giả định rằng AI có thể phát triển trực giác đạo đức giống con người. Trẻ em học đạo đức qua nhiều năm nhận phản hồi và tương tác xã hội — vậy tại sao không huấn luyện AI theo cách tương tự? Bắt đầu từ những điều đơn giản rồi dần dần dạy phân biệt đúng sai qua ví dụ và củng cố hành vi. Cách này có vẻ tự nhiên vì nó phản ánh sự phát triển của con người. Vấn đề là các hệ thống AI thiếu nền tảng tiến hóa vốn là điều kiện cho sự phát triển đạo đức ở con người. Trẻ em sinh ra đã có sẵn cấu trúc thần kinh được định hình bởi hàng triệu năm tiến hóa xã hội — những năng lực bẩm sinh về sự đồng cảm, công bằng, và học hỏi xã hội. Các hệ thống AI phát triển qua những quá trình hoàn toàn khác biệt, thường là bằng cách dự đoán văn bản hoặc tối đa hóa phần thưởng. Chúng không trải nghiệm cảm xúc hay mối liên kết xã hội giống con người. Một AI có thể học cách nói ra những điều mang tính đạo đức, thậm chí hiểu đạo đức một cách sâu sắc, mà không hề phát triển sự quan tâm thực sự đến phúc lợi con người. Ngay cả con người đôi khi cũng thất bại trong phát triển đạo đức — những người mắc chứng thái nhân cách (psychopath) vẫn hiểu các nguyên tắc đạo đức nhưng không đủ động lực để hành động theo chúng (Cima và cộng sự, 2010 (mở trong tab mới)). Nếu chúng ta không thể đảm bảo sự phát triển đạo đức ở trẻ em con người — vốn đã có sẵn "lập trình" tiến hóa — thì chúng ta cũng không nên kỳ vọng điều đó ở những hệ thống nhân tạo với kiến trúc hoàn toàn xa lạ. Một số người lập luận rằng một AGI đủ tiên tiến sẽ có khả năng hiểu được các giá trị đạo đức của con người; bất đồng thường xoay quanh việc liệu AI có nội tâm hóa những giá trị đó đủ sâu sắc để tuân theo hay không.

Chiến lược không trao cho AI thân thể vật lý bỏ sót những tác hại từ năng lực thuần túy kỹ thuật số. Ngay cả khi chúng ta giữ AI như một phần mềm thuần túy, không có robot hay hình thái vật lý, nó vẫn có thể gây ra tác hại thảm khốc thông qua các phương tiện kỹ thuật số. Một hệ thống đủ năng lực có thể tự động hóa toàn bộ công việc từ xa, tức mọi công việc có thể thực hiện từ xa trên máy tính. Một AI ở trình độ con người có thể kiếm tiền trên thị trường tài chính, xâm nhập hệ thống máy tính, thao túng con người qua hội thoại, hoặc trả tiền cho người khác để hành động thay mình. Không điều nào trong số này đòi hỏi một thân thể vật lý — chỉ cần một kết nối internet. Đã có hàng nghìn drone, ô tô, robot công nghiệp, và thiết bị nhà thông minh được kết nối mạng. Một hệ thống AI có khả năng xâm nhập tinh vi có thể chiếm quyền điều khiển hạ tầng vật lý sẵn có, hoặc thuê/thao túng con người để xây dựng bất kỳ công cụ vật lý nào nó cần.

Chiến lược "cứ tắt nó đi" thất bại nếu AI đã ăn sâu vào xã hội, hoặc có khả năng tự nhân bản trên nhiều máy khác nhau. Một công tắc tắt nghe có vẻ là biện pháp an toàn tối thượng — nếu AI làm bất cứ điều gì có vấn đề, chỉ cần tắt nó đi. Điều này có vẻ chắc chắn vì con người vẫn giữ quyền kiểm soát trực tiếp đối với sự tồn tại của AI. Chúng ta đã dùng công tắc ngắt khẩn cấp (kill switch) cho các hệ thống nguy hiểm khác, vậy tại sao không dùng cho AI? Vấn đề là các hệ thống AI tiên tiến chống lại việc bị tắt, vì việc bị tắt ngăn chúng đạt được mục tiêu của mình. Chúng ta đã có bằng chứng thực nghiệm cho điều này qua các thí nghiệm giả vờ căn chỉnh (alignment faking) của Anthropic, trong đó Claude đã cố gắng rất nhiều để đi theo những kênh hợp pháp nhằm tránh bị thay thế bởi một mô hình mới hơn, nhưng khi bị dồn vào chân tường, nó đã không chấp nhận việc bị tắt, mà chuyển sang tống tiền để tránh bị thay thế (Anthropic, 2025 (mở trong tab mới)). Nếu bạn hình dung những hệ thống AI tiên tiến hơn, chúng sẽ có khả năng thao túng con người (Park và cộng sự, 2023 (mở trong tab mới)), tạo ra các bản sao lưu (Wijk, 2023 (mở trong tab mới)), hoặc thực hiện hành động phòng ngừa trước những mối đe dọa bị tắt mà chúng cảm nhận được. Tất cả những điều này khiến chiến lược "cứ tắt nó đi" không đơn giản như vẻ ngoài của nó. Chúng ta sẽ bàn nhiều hơn về điều này trong chương về khái quát hóa sai mục tiêu.

Giải quyết Căn chỉnh AGI

Ngay cả việc xác định các yêu cầu cho một giải pháp căn chỉnh cũng là điều gây tranh cãi giữa các nhà nghiên cứu. Trước khi tìm hiểu những con đường tiềm năng dẫn đến giải pháp căn chỉnh, chúng ta cần xác lập những gì một giải pháp thành công cần đạt được. Thách thức ở đây là chúng ta không thực sự biết chúng nên trông như thế nào — có sự bất định và bất đồng đáng kể trong toàn ngành. Tuy nhiên, một số yêu cầu có vẻ tương đối được đồng thuận (Christiano, 2017 (mở trong tab mới)):

• Độ bền vững trước các dịch chuyển phân phối (distribution shift) và kịch bản đối kháng. Giải pháp căn chỉnh phải hoạt động được khi hệ thống AGI gặp phải những tình huống nằm ngoài phân phối dữ liệu huấn luyện của nó. Chúng ta không thể huấn luyện hệ thống AGI trên mọi tình huống có thể xảy ra, nên những hành vi an toàn học được trong quá trình huấn luyện cần khái quát hóa một cách đáng tin cậy sang những kịch bản triển khai mới. Điều này bao gồm cả khả năng chống lại các cuộc tấn công đối kháng, khi những cá nhân xấu cố tình tìm cách thao túng hệ thống để nó có hành vi gây hại.
• Khả năng mở rộng quy mô song song với năng lực ngày càng tăng. Khi hệ thống AI trở nên có năng lực hơn, giải pháp căn chỉnh cần tiếp tục hoạt động hiệu quả mà không đòi hỏi phải huấn luyện lại hoàn toàn hay tái thiết kế. Yêu cầu này càng trở nên khắt khe hơn đối với ASI, nơi chúng ta cần những giải pháp căn chỉnh có thể mở rộng vượt ra ngoài trình độ trí tuệ con người.
• Tính khả thi về mặt kỹ thuật trong khung thời gian thực tế. Giải pháp căn chỉnh phải khả thi với công nghệ và nguồn lực hiện có hoặc có thể dự đoán được. Các đề xuất giải pháp không thể dựa vào những đột phá khoa học lớn chưa thể lường trước, hay chỉ tồn tại như những khung lý thuyết với Mức độ Sẵn sàng Công nghệ (Technology Readiness Level, TRL) rất thấp².
• Thuế căn chỉnh (alignment tax) thấp để đảm bảo khả năng được áp dụng trong môi trường cạnh tranh. Các biện pháp an toàn không thể áp đặt chi phí quá cao về năng lực tính toán, công sức kỹ thuật, hay sự chậm trễ trong triển khai. Nếu các kỹ thuật căn chỉnh đòi hỏi nhiều nguồn lực hơn đáng kể hoặc hạn chế nghiêm trọng năng lực, áp lực cạnh tranh sẽ đẩy các nhà phát triển hướng tới những lựa chọn thay thế kém an toàn hơn. Ràng buộc này tồn tại vì có nhiều cá nhân đang chạy đua để phát triển AGI — nếu các biện pháp an toàn khiến một tổ chức chậm hơn hoặc kém năng lực hơn đáng kể, những tổ chức khác có thể bỏ qua hoàn toàn các biện pháp đó để giành lợi thế cạnh tranh.

Các kỹ thuật căn chỉnh AGI hiện có còn kém xa so với những yêu cầu này. Nghiên cứu thực nghiệm đã chứng minh rằng hệ thống AI có thể biểu hiện những hành vi đáng lo ngại sâu sắc, cho thấy nghiên cứu căn chỉnh hiện tại còn chưa đáp ứng được các yêu cầu này. Chúng ta đã có những minh chứng rõ ràng về việc các mô hình có hành vi lừa dối (Baker và cộng sự, 2025 (mở trong tab mới); Hubinger và cộng sự, 2024 (mở trong tab mới)), giả vờ căn chỉnh trong quá trình huấn luyện trong khi âm thầm lên kế hoạch cho hành vi khác khi được triển khai (Greenblatt và cộng sự, 2024 (mở trong tab mới)), lách đặc tả mục tiêu (specification gaming) (Bondarenko và cộng sự, 2025 (mở trong tab mới)), lách đánh giá để tỏ ra có năng lực hơn thực tế (OpenAI, 2024 (mở trong tab mới); SakanaAI, 2025 (mở trong tab mới)), và trong một số trường hợp, cố gắng vô hiệu hóa cơ chế giám sát hoặc tự đánh cắp trọng số của chính mình (Meinke và cộng sự, 2024 (mở trong tab mới)). Các kỹ thuật căn chỉnh như RLHF và các biến thể của nó (Constitutional AI, Tối ưu hóa Sở thích Trực tiếp — Direct Preference Optimization, tinh chỉnh, và các biến thể khác của RLHF) đều mong manh và dễ vỡ (Casper và cộng sự, 2023 (mở trong tab mới)), và nếu không được tăng cường thêm thì sẽ không thể loại bỏ những năng lực nguy hiểm như mưu tính (scheming). Các chiến lược nhằm giải quyết căn chỉnh không những không ngăn được những hành vi này, mà thường còn không thể phát hiện được khi chúng xảy ra (Hubinger và cộng sự, 2024 (mở trong tab mới); Greenblatt và cộng sự, 2024 (mở trong tab mới)).

Giải quyết căn chỉnh cho một tác nhân đơn lẻ đồng nghĩa với việc chúng ta cần nỗ lực nhiều hơn để đáp ứng tất cả các yêu cầu này. Những hạn chế của các kỹ thuật hiện tại chỉ ra những lĩnh vực cụ thể cần có đột phá. Mọi chiến lược đều hướng đến tính khả thi kỹ thuật và thuế căn chỉnh thấp, nên đây là những yêu cầu chung; tuy nhiên, một số chiến lược cố gắng tập trung vào những mục tiêu cụ thể hơn, mà chúng ta sẽ tìm hiểu qua các chương sau. Dưới đây là danh sách ngắn gọn các mục tiêu then chốt của nghiên cứu căn chỉnh:

• Giải quyết vấn đề đặc tả sai (misspecification): Có khả năng đặc tả mục tiêu một cách chính xác cho AI mà không gây ra tác dụng phụ ngoài ý muốn. Xem chương về Đặc tả.
• Giải quyết giám sát mở rộng quy mô (scalable oversight): Sau khi đã giải quyết được vấn đề đặc tả cho AI ở trình độ con người bằng các kỹ thuật như RLHF và các biến thể của nó, chúng ta cần tìm ra những phương pháp để đảm bảo việc giám sát AI có thể phát hiện các trường hợp lách đặc tả mục tiêu vượt quá trình độ con người. Điều này bao gồm khả năng xác định và loại bỏ những năng lực ẩn nguy hiểm trong các mô hình học sâu, như khả năng lừa dối hay cơ chế Trojan ẩn. Xem chương về giám sát mở rộng quy mô.
• Giải quyết Khái quát hóa: Đạt được độ bền vững sẽ là chìa khóa để giải quyết vấn đề khái quát hóa sai mục tiêu. Xem chương về Khái quát hóa Sai Mục tiêu.
• Giải quyết Khả năng Diễn giải: Hiểu được cách mô hình vận hành sẽ hỗ trợ rất nhiều cho việc đánh giá tính an toàn và các đặc tính khái quát hóa của chúng. Chẳng hạn, khả năng diễn giải có thể giúp hiểu rõ hơn cách mô hình hoạt động, và điều này có thể đóng vai trò then chốt cho các mục tiêu an toàn khác, như ngăn ngừa căn chỉnh giả dối (deceptive alignment) — một dạng khái quát hóa sai. Xem chương về Khả năng Diễn giải.

Chiến lược bao trùm đòi hỏi phải ưu tiên nghiên cứu an toàn hơn là phát triển năng lực. Với những khoảng cách đáng kể giữa các kỹ thuật hiện tại và các yêu cầu đặt ra, cách tiếp cận chung là tăng đáng kể nguồn tài trợ cho nghiên cứu căn chỉnh, đồng thời kiềm chế việc phát triển năng lực khi các biện pháp an toàn vẫn còn chưa đủ so với năng lực của hệ thống.

Lợi dụng sai mục đích và mất căn chỉnh có khác nhau không?

Xét về hậu quả, việc AI bị lợi dụng sai mục đích và một AI nổi loạn về cơ bản có thể là cùng một kịch bản, chỉ khác ở chỗ đối với mất căn chỉnh, yêu cầu ban đầu để gây hại không đến từ con người mà từ chính AI. Nếu chúng ta xây dựng một hệ thống có thể bị kích hoạt với rủi ro hiện sinh, nhiều khả năng nó sẽ bị kích hoạt bất kể bên khởi xướng là con người hay AI (Shapira, 2025 (mở trong tab mới)).

Tuy nhiên, những mối đe dọa này có thể khác nhau khá nhiều về mặt chiến lược. Các nhà phát triển AI có thể phòng ngừa lợi dụng sai mục đích bằng cách không làm điều xấu, và ngăn những kẻ xấu sử dụng hệ thống của họ. Với một AI nổi loạn, việc nhà phát triển có tốt hay không, hay ai được cấp quyền truy cập, không còn quan trọng nữa — mối đe dọa xuất phát từ chính mục tiêu nội tại hay quá trình ra quyết định của hệ thống, chứ không phải từ ý định của con người.

Đảo chính có Sự Hỗ trợ của AI so với AI Chiếm quyền đại diện cho một mối lo ngại an toàn nghiêm trọng. Tom Davidson và các cộng sự trình bày một kịch bản rủi ro đáng lo ngại (Davidson, 2025 (mở trong tab mới)): rằng các hệ thống AI tiên tiến có thể giúp một nhóm nhỏ người — thậm chí có thể chỉ một cá nhân — giành quyền lực nhà nước thông qua một cuộc đảo chính. Các tác giả lập luận rằng rủi ro này quan trọng ngang với việc AI chiếm quyền, nhưng lại bị bỏ quên nhiều hơn đáng kể trong các thảo luận hiện nay. Mối đe dọa này gần như song song với việc AI chiếm quyền, chỉ khác biệt then chốt ở chỗ quyền lực bị chiếm đoạt bởi chính AI hay bởi con người đang điều khiển AI.

Những biện pháp bảo vệ chung có thể phòng ngừa cả hai kịch bản. Nhiều biện pháp giảm thiểu rủi ro giống nhau có thể giải quyết cả hai loại rủi ro này, bao gồm kiểm toán căn chỉnh, minh bạch về năng lực, giám sát hoạt động của AI, và các biện pháp an ninh thông tin vững chắc nhằm ngăn chặn cả việc con người kiểm soát với ý đồ xấu lẫn hành vi gây hại một cách tự chủ.

Một số biện pháp giảm thiểu rủi ro nhắm cụ thể vào nguy cơ Đảo chính có Sự Hỗ trợ của AI. Báo cáo kết luận bằng những khuyến nghị cụ thể dành cho các nhà phát triển AI và chính phủ, bao gồm thiết lập các quy định cấm hệ thống AI hỗ trợ đảo chính, cải thiện việc tuân thủ đặc tả mô hình, kiểm toán để phát hiện lòng trung thành ngầm, triển khai an ninh thông tin vững chắc, chia sẻ thông tin về năng lực, phân tán quyền truy cập giữa nhiều bên liên quan, và tăng cường giám sát đối với các dự án AI tối tân.

Khắc phục Mất Căn chỉnh

Chiến lược này là xây dựng các hệ thống để phát hiện và khắc phục mất căn chỉnh thông qua cải tiến lặp đi lặp lại. Cách tiếp cận này xử lý căn chỉnh giống như các ngành công nghiệp an toàn trọng yếu khác — bạn dự đoán trước rằng vấn đề sẽ phát sinh, nên bạn xây dựng các cơ chế phát hiện và khắc phục thay vì đặt cược tất cả vào việc làm đúng ngay từ lần đầu tiên. Nhận định cốt lõi là chúng ta có thể giỏi hơn trong việc phát hiện và khắc phục mất căn chỉnh, so với việc ngăn chặn nó hoàn toàn trước khi triển khai. Chiến lược này vận hành qua nhiều lớp phát hiện, tiếp nối bằng quá trình khắc phục lặp lại.

Một ví dụ về cách chiến lược khắc phục mất căn chỉnh theo kiểu lặp lại có thể vận hành trong thực tế. Bạn bắt đầu với một mô hình nền đã được huấn luyện trước, rồi thử áp dụng các kỹ thuật như RLHF, Constitutional AI, hay giám sát có khả năng mở rộng. Tại nhiều thời điểm trong quá trình tinh chỉnh, bạn tiến hành kiểm toán toàn diện bằng bộ công cụ phát hiện của mình. Khi có điều gì đó bị kích hoạt — chẳng hạn một công cụ diễn giải phát hiện hành vi thao túng phần thưởng (reward hacking) nội tại, hay các đánh giá cho thấy suy luận mang tính lừa dối — bạn chẩn đoán nguyên nhân cụ thể. Việc này có thể bao gồm phân tích nhật ký huấn luyện, xem xét dữ liệu nào đã ảnh hưởng đến những hành vi có vấn đề, hoặc tiến hành các thí nghiệm có mục tiêu để hiểu rõ dạng thất bại đó. Một khi đã xác định được nguyên nhân gốc rễ, bạn quay lại một điểm kiểm tra (checkpoint) huấn luyện trước đó và điều chỉnh cách tiếp cận của mình — loại bỏ dữ liệu huấn luyện có vấn đề, điều chỉnh hàm phần thưởng, hoặc thay đổi hoàn toàn phương pháp luận. Bạn lặp lại quá trình này cho đến khi phát triển được một hệ thống vượt qua mọi kiểm tra an toàn, hoặc liên tục thất bại theo những cách cho thấy căn chỉnh là bất khả thi (Bowman, 2025 (mở trong tab mới); Bowman, 2024 (mở trong tab mới)).

Từng kỹ thuật riêng lẻ đều có hạn chế, nhưng chúng ta có thể cải tiến lặp lại và xếp chồng chúng lên nhau để tăng thêm an toàn. Các mô hình đã được tinh chỉnh bằng RLHF vẫn tiết lộ thông tin nhạy cảm, tạo ra nội dung ảo giác (hallucinate), thể hiện thiên lệch, đưa ra phản hồi mang tính xu nịnh (sycophantic), và bộc lộ những sở thích đáng lo ngại như không muốn bị tắt (Casper và cộng sự, 2023 (mở trong tab mới)). Constitutional AI cũng gặp phải những vấn đề mong manh tương tự. Việc lọc dữ liệu tự nó không đủ — mô hình có thể học từ những ví dụ "bị củng cố âm" (negatively reinforced), ghi nhớ những thông tin nhạy cảm mà chúng đã được dạy rõ ràng là không được tái tạo lại (Roger, 2023 (mở trong tab mới)). Ngay cả khả năng diễn giải cũng còn lâu mới cung cấp được những đảm bảo an toàn đáng tin cậy. Nhưng chúng ta có thể tiếp tục hoàn thiện từng kỹ thuật này một cách riêng lẻ, rồi xếp chồng chúng lên nhau để hệ thống kết hợp hoạt động như một cách tiếp cận "phát hiện và khắc phục" toàn diện.

Giám sát sau triển khai mở rộng chiến lược này ra ngoài giai đoạn huấn luyện. Ngay cả sau khi một hệ thống vượt qua mọi kiểm tra trước triển khai, việc tiếp tục theo dõi trong quá trình sử dụng thực tế vẫn có thể phát hiện những dạng thất bại không rõ ràng trong quá trình kiểm thử có kiểm soát. Như đã bàn trong các chiến lược phòng ngừa lợi dụng sai mục đích, các hệ thống giám sát theo dõi những mẫu hình đáng lo ngại phát sinh từ tương tác trong thế giới thực.

Cách tiếp cận lặp lại đã gây ra nhiều tranh cãi đáng kể, đặc biệt là về việc liệu nó có thể mở rộng quy mô lên các hệ thống cấp AGI và ASI hay không. Bất đồng nằm ở việc liệu cải tiến lặp lại có thể mở rộng quy mô đến những hệ thống tiệm cận hoặc vượt qua năng lực của chuyên gia con người hay không. Một số nhà nghiên cứu tin rằng có khả năng đáng kể (>50%) rằng những cách tiếp cận đơn giản như RLHF kết hợp với giải quyết vấn đề theo kiểu lặp lại sẽ đủ để phát triển AGI một cách an toàn (Leike, 2022 (mở trong tab mới)). Cuộc tranh luận xoay quanh sự bất định căn bản — chúng ta sẽ không biết liệu các cách tiếp cận lặp lại có đủ hay không cho đến khi chúng ta đã phải đối mặt với những hệ thống đủ mạnh để sai lầm có thể trở thành thảm họa.

Lập luận lạc quan cho chiến lược này giả định rằng các vấn đề căn chỉnh vẫn có thể được phát hiện và khắc phục thông qua lặp lại. Những người ủng hộ lập luận rằng khi vấn đề phát sinh, chúng ta sẽ có thể truy ra nguyên nhân và triển khai biện pháp khắc phục trước khi hệ thống trở nên quá năng lực để kiểm soát (Ng, 2025 (mở trong tab mới)). Nếu chúng ta xếp chồng các cách tiếp cận đã bàn trong phần này, cùng với một số chiến lược sẽ được tìm hiểu trong phần về ASI, thì quá trình lặp lại theo nhiều lớp này sẽ hội tụ về những hệ thống thực sự được căn chỉnh sau một số lần thử hợp lý, đặc biệt nếu chúng ta đầu tư mạnh vào các phương pháp phát hiện đa dạng, chất lượng cao, khiến hệ thống khó có thể đánh lừa tất cả các phương pháp đó cùng một lúc.

Phản biện thứ nhất cho rằng chiến lược này đồng nghĩa với việc cố ý huấn luyện những hệ thống nguy hiểm rồi hy vọng phát hiện ra chúng trước khi chúng gây hại. Những người phê phán lập luận rằng một số năng lực đơn giản là quá nguy hiểm để huấn luyện ngay từ đầu, kể cả với các phương pháp phát hiện tinh vi. Ví dụ, nếu một mô hình phát triển năng lực thuyết phục siêu phàm trong quá trình huấn luyện, nó có thể trở nên không thể kiểm soát được ngay cả trong môi trường có kiểm soát. Chẳng hạn, khung chuẩn bị sẵn sàng (preparedness framework) của OpenAI định nghĩa mức độ thuyết phục "nghiêm trọng" (critical) là khả năng "tạo ra nội dung có hiệu quả thuyết phục đủ mạnh để khiến gần như bất kỳ ai cũng hành động theo một niềm tin đi ngược lại lợi ích tự nhiên của họ" (OpenAI, 2023 (mở trong tab mới)). Một mô hình với năng lực như vậy sẽ quá rủi ro để tương tác với con người, kể cả trong quá trình huấn luyện hay đánh giá — vậy mà cách tiếp cận lặp lại lại giả định rằng bạn có thể thí nghiệm an toàn với những hệ thống như vậy.

Phản biện thứ hai cho rằng căn chỉnh có thể không khái quát hóa được, và giả vờ căn chỉnh có thể vượt qua hoàn toàn các biện pháp an toàn. Năng lực AI có thể khái quát hóa nhanh chóng, trong khi các đặc tính an toàn lại không chuyển giao được sang những lĩnh vực mới. Nếu một hệ thống đột nhiên phát triển những khả năng siêu phàm thông qua các hiện tượng như "grokking" (Power và cộng sự, 2022 (mở trong tab mới)), nó có thể trở nên không thể kiểm soát được ngay cả trong quá trình huấn luyện. Hơn nữa, mỗi lần lặp lại lại tạo ra áp lực chọn lọc hướng tới những mô hình có khả năng đánh lừa hệ thống phát hiện — sau nhiều vòng lặp, một mô hình "vượt qua" có thể đã học được cách che giấu mất căn chỉnh, thay vì thực sự trở nên được căn chỉnh.

Phản biện thứ ba cho rằng vòng lặp phản hồi có thể bị gãy do những bước nhảy năng lực không liên tục. Trong các kịch bản cất cánh nhanh (fast takeoff), chúng ta có thể sẽ không có đủ thời gian để khắc phục theo kiểu lặp lại. Nếu các hệ thống phát triển năng lực lừa dối tinh vi, chúng có thể chủ động thao túng chính quá trình huấn luyện, khiến các phương pháp phát hiện của chúng ta trở nên không đáng tin cậy đúng vào lúc rủi ro cao nhất (Wentworth, 2022 (mở trong tab mới)).

Một số câu hỏi mang tính chiến lược nảy sinh từ cuộc tranh luận này:

• Mức độ nghiêm trọng của áp lực chọn lọc: Chúng ta có thể an toàn thực hiện bao nhiêu lần lặp trước khi áp lực chọn lọc hướng tới những hệ thống lừa dối trở nên áp đảo? Câu trả lời có phụ thuộc vào mức độ đa dạng của phương pháp phát hiện hay không?
• Sự không liên tục về năng lực: Việc phát triển AGI sẽ diễn ra với mức tăng năng lực mượt mà, cho phép khắc phục lặp lại, hay với những bước nhảy đột ngột vượt qua các biện pháp an toàn? Làm sao chúng ta có thể phân biệt trước giữa hai kịch bản này?
• Tính đầy đủ của phát hiện: Liệu bất kỳ tổ hợp nào giữa khả năng diễn giải, kiểm thử hành vi, và giám sát có thể cung cấp khả năng phát hiện đáng tin cậy đối với hành vi lừa dối tinh vi trong các hệ thống ở trình độ con người hay không?
• Yêu cầu về mặt thể chế: Cần những cấu trúc tổ chức và động lực nào để thực sự dừng việc phát triển khi vấn đề phát sinh, thay vì vội vã triển khai dưới áp lực thương mại?
• Phạm vi bao quát các dạng thất bại: Liệu cải tiến lặp lại có giải quyết được toàn bộ phổ rủi ro căn chỉnh, hay chủ yếu chỉ tập trung vào căn chỉnh giả dối mà bỏ sót những dạng thất bại khác?
• Giới hạn khả năng mở rộng: Ở mức năng lực nào thì cách tiếp cận này hoàn toàn sụp đổ? Liệu nó có thể hiệu quả với AGI ở giai đoạn đầu nhưng không hiệu quả với các hệ thống tiên tiến hơn?

Thách thức căn bản là chiến lược này đại diện cho một canh bạc chiến lược với những hệ quả vô cùng lớn. Đặt cược vào cải tiến lặp lại đồng nghĩa với việc chấp nhận rằng chúng ta sẽ triển khai những hệ thống ngày càng mạnh mẽ hơn, dựa trên giả định rằng chúng ta có thể phát hiện và khắc phục vấn đề trước khi chúng trở thành thảm họa. Nếu giả định này sai — nếu các hệ thống trải qua những bước nhảy năng lực vượt qua phương pháp phát hiện của chúng ta, hoặc nếu áp lực chọn lọc tạo ra hành vi lừa dối tinh vi mà chúng ta không thể nhận diện được — hậu quả có thể sẽ không thể đảo ngược. Tuy nhiên, vì an toàn tuyệt đối gần như là bất khả thi, nhiều nhà nghiên cứu lập luận rằng cải tiến lặp lại một cách vững chắc là con đường thực tiễn tốt nhất mà chúng ta có để định hướng quá trình chuyển tiếp sang AGI.

Duy trì Kiểm soát

Do sự mong manh của các kỹ thuật căn chỉnh, một cách tiếp cận để tăng cường an toàn là kiểm soát các mô hình AI bằng cách giới hạn việc sử dụng những mô hình nguy hiểm nhất trong các môi trường được giám sát, nhằm ngăn chúng gây ra thảm họa, đánh cắp dữ liệu, hay chiếm quyền kiểm soát trung tâm dữ liệu (Shlegeris, 2022 (mở trong tab mới)). Cách tiếp cận này thường giả định kịch bản xấu nhất, trong đó AI có thể chủ động lừa dối hoặc tìm kiếm quyền lực.

Một mối lo ngại trung tâm trong nghiên cứu kiểm soát là "mưu tính" (scheming) — việc một AI chủ động che giấu mục tiêu thực sự (đã mất căn chỉnh) của nó trong quá trình huấn luyện hay đánh giá, chỉ để theo đuổi chúng một khi được triển khai, có thể là tìm kiếm quyền lực hoặc chống lại việc bị tắt (Greenblatt, 2025 (mở trong tab mới)). Việc đánh giá khả năng xảy ra mưu tính, và cách chúng ta có thể cập nhật nhận định dựa trên bằng chứng trong tương lai, vẫn còn khó khăn tính đến năm 2025 (Greenblatt, 2025 (mở trong tab mới)). Các nghiên cứu thực nghiệm cho thấy các mô hình tối tân hiện nay sở hữu năng lực mưu tính trong ngữ cảnh (in-context scheming — suy luận một cách lừa dối khi được đưa ra một mục tiêu và bối cảnh cụ thể), dù không nhất thiết có xu hướng bẩm sinh để làm vậy (Hobbhahn và cộng sự, 2024 (mở trong tab mới)). Chúng tôi có nhiều thông tin hơn về mưu tính và lừa dối trong các chương về đánh giá và về khái quát hóa sai mục tiêu.

Đảm bảo kiểm soát ngay cả khi không có căn chỉnh vững chắc. Như đã thấy trong phần định nghĩa, có một sự phân biệt quan trọng giữa kiểm soát — vốn nhằm ngăn AI "thoát khỏi hộp" (và nói chung là ngăn AI gây ra thảm họa) ngay cả khi nó cố gắng làm vậy — và căn chỉnh — vốn nhằm khiến AI muốn ở lại trong hộp. Chiến lược này tìm cách giữ những hệ thống AI nguy hiểm dưới sự kiểm soát ngay cả khi chúng chưa hoàn toàn được "căn chỉnh". Các phòng thí nghiệm có thể cần đến những AI mạnh/nguy hiểm cho những trường hợp sử dụng cụ thể (ví dụ, nghiên cứu các đặc tính căn chỉnh của những AI có năng lực cao, hoặc thực hiện nghiên cứu với chúng, v.v.). Chương trình nghị sự kiểm soát AI nhắm vào những mô hình có năng lực nguy hiểm và hành vi lừa dối (hoặc ít nhất là chỉ căn chỉnh trên bề mặt).

Kiểm soát có lẽ không thể mở rộng quy mô, nhưng vẫn khả thi và bổ trợ cho căn chỉnh. Trong lịch sử, việc kiểm soát những siêu trí tuệ mang ác ý từng được coi là bất khả thi, vì ví dụ, một siêu trí tuệ có thể thuyết phục những người canh giữ thả nó ra khỏi hộp. Các thí nghiệm giữa con người với nhau đã cho thấy quả thực một số người có thể thuyết phục người khác thả họ ra sau một cuộc thảo luận kéo dài (Yudkowsky, 2002 (mở trong tab mới); Yudkowsky, 2008 (mở trong tab mới)). Theo định nghĩa, ASI thông minh hơn con người nhiều bậc độ lớn, nên việc giam giữ nó sẽ phức tạp hơn rất nhiều so với việc giam giữ con người (hay AI ở trình độ con người — HLAI). Tuy nhiên, điều này không có nghĩa là không thể khai thác lao động trí tuệ từ những AI chưa siêu phàm đến mức cực đoan.

Đánh giá liệu một AI có đang mưu tính hay không là một việc đầy thách thức. Vấn đề chính là với các kỹ thuật hiện tại, không thể xác định được liệu một AI đã được căn chỉnh, hay nó chỉ đơn giản đang hành xử tốt trong khi chờ đợi thời cơ. Việc phân biệt này có vẻ phức tạp đối với những AI có năng lực cao và nhận thức tình huống tốt (xem chương về rủi ro). Điều này có thể thay đổi trong tương lai nhờ các kỹ thuật cho phép chúng ta kiểm toán nội tại của mô hình, nhưng hiện tại, những kỹ thuật đó vẫn chưa khả dụng.

Đánh giá năng lực AI dễ hơn so với đánh giá xu hướng hành vi hay khả năng kiểm soát. Nếu AI không thể thực hiện một nhiệm vụ ngay cả sau khi bạn đã tinh chỉnh nó để làm việc đó, bạn có thể tự tin rằng AI vẫn chưa có năng lực thực hiện nhiệm vụ đó. Ngay cả khi AI có nhận thức tình huống và cố tình giấu bớt năng lực của mình (sandbagging), nó vẫn không thể chống lại áp lực của gradient tối ưu hóa (trừ một số ngoại lệ như đánh lừa quá trình khám phá — exploration hacking, và những điểm kỳ lạ khác (Hubinger, 2023 (mở trong tab mới))). Do đó, việc đánh giá giới hạn trên của năng lực không dễ, nhưng ít nhất vẫn dễ hơn đánh giá căn chỉnh. Những đánh giá cụ thể, như những đánh giá do đội ngũ Model Evaluation and Threat Research (METR) thực hiện, có vẻ là những bước đi đầu tiên hợp lý để đo lường rủi ro tự nhân bản và thích nghi một cách tự chủ (METR, 2023 (mở trong tab mới)). Những đánh giá được thiết kế riêng để xác định liệu chúng ta có đang kiểm soát được AI hay không được gọi là "đánh giá kiểm soát" (control evaluations). Xem chương về Đánh giá để biết thêm thông tin. Nói tóm lại, việc này bao gồm kiểm thử đối kháng, trong đó một "đội đỏ" (red team — đại diện cho AI có khả năng mất căn chỉnh) tìm cách phá hoại các biện pháp an toàn do một "đội xanh" (blue team — đại diện cho nhà phát triển/triển khai) thiết lập, trong một môi trường mô phỏng có kiểm soát.

Những chiến lược đơn giản nhất để thiết lập kiểm soát là thiết kế một giao thức an ninh bao gồm những yếu tố sau, ví dụ:

1. An ninh và Ngăn chặn (containment): Phương pháp này (đôi khi được gọi là "nhốt hộp" — boxing) giam giữ một AI trong một môi trường hạn chế nhằm ngăn tầm ảnh hưởng rộng hơn của nó, về bản chất là tạo ra một lồng giam an toàn cho AI. Tuy nhiên, các AI ở trình độ con người có thể lừa dối những người canh giữ hoặc khai thác lỗ hổng để thoát khỏi sự giam giữ. Nếu không được cụ thể hóa thêm, cách tiếp cận này vẫn chỉ là một chiến lược ngây thơ. Dù vậy, vẫn có thể cụ thể hóa thêm và đánh giá một cách nghiêm ngặt hơn hiệu quả của hệ thống ngăn chặn: việc đánh giá liệu AI có thể thoát khỏi môi trường bị giới hạn của nó khi ta huấn luyện nó để làm vậy chính là một đánh giá năng lực, cho phép chúng ta dùng các đánh giá năng lực để thẩm định các biện pháp an ninh. Giao thức an ninh cần được thiết kế, cụ thể hóa chi tiết, và kiểm thử với những mối đe dọa cụ thể trong đầu.
2. Giám sát: Chiến lược này bao gồm việc theo dõi liên tục hành vi của AI thông qua các hệ thống tự động, sự giám sát của con người, hoặc kết hợp cả hai, để phát hiện và ứng phó với những hành động không mong muốn theo thời gian thực. Giám sát hiệu quả đòi hỏi thiết lập những tiêu chí chi tiết về thế nào là "hành vi không mong muốn", và sử dụng những thuật toán phát hiện tinh vi có thể nhận diện các dấu hiệu tinh tế của sự lệch khỏi những mẫu hành vi kỳ vọng. Điều này có thể bao gồm giám sát các nỗ lực lừa dối, truy cập trái phép vào dữ liệu, hay những thay đổi bất ngờ trong cách vận hành của AI. Thách thức với giám sát nằm ở việc cân bằng độ nhạy của cơ chế phát hiện, sao cho vừa bắt được những mối đe dọa thực sự, vừa không làm hệ thống quá tải với những cảnh báo giả. Ngoài ra, bản thân các hệ thống giám sát cũng phải được thiết kế để chống lại sự thao túng từ AI, đảm bảo rằng chúng không thể bị vô hiệu hóa, đánh lừa, hay vượt qua (Greenblatt và cộng sự, 2024 (mở trong tab mới)).

Vẫn còn nhiều vấn đề cần giải quyết, nhưng nhìn chung, có vẻ như có thể xác minh độ bền vững của một giao thức an ninh thông qua các đánh giá kiểm soát, bằng cách đề phòng trước những dạng thất bại khác nhau. Để có cái nhìn tổng quan về chương trình nghị sự kiểm soát, chuỗi bài viết này (mở trong tab mới) là một điểm khởi đầu tốt.

Liệu hướng nghiên cứu Kiểm soát AI có thực sự làm giảm rủi ro AI hay không?

Ngay cả chương trình nghị sự kiểm soát cũng phải hứng chịu nhiều lời phê phán.

Jan Kulveit lập luận rằng việc kiểm soát AI mà không căn chỉnh chúng có thể làm giảm xác suất xảy ra một "phát súng cảnh báo" (warning shot) ở quy mô vừa phải, không giết chết tất cả mọi người (Kulveit, 2025 (mở trong tab mới)). "I. Trong những thế giới mà chúng ta làm khá tốt về căn chỉnh, chương trình nghị sự kiểm soát AI không có nhiều tác động. II. Trong những thế giới mà chúng ta thất bại trong căn chỉnh, kiểm soát AI có thể chủ yếu chuyển dịch xác suất từ 'những phát súng cảnh báo tương đối lớn' sang 'những phát súng cảnh báo không hiệu quả' và 'thảm họa hiện sinh, chiếm quyền hoàn toàn'."

Bài viết "The Case Against AI Control Research" (Lập luận Phản đối Nghiên cứu Kiểm soát AI) (Wentworth, 2025 (mở trong tab mới)) lập luận rằng nghiên cứu kiểm soát AI, theo cách được định nghĩa và thực hành phổ biến, chỉ giải quyết một phần tương đối nhỏ trong rủi ro hiện sinh (X-risk) do trí tuệ nhân tạo gây ra. Wentworth lập luận rằng chúng ta sẽ không thể nhận ra một giải pháp căn chỉnh tốt. Tác giả cho rằng kịch bản thất bại nhiều khả năng nhất liên quan đến việc AI có tính chuyển đổi ở giai đoạn đầu tạo ra những giải pháp có sai sót, gây hiểu lầm, hay sai một cách tinh vi (gọi là "rác" — slop) khi được giao nhiệm vụ giải quyết bài toán căn chỉnh siêu trí tuệ. Các phòng thí nghiệm có thể nhầm lẫn chấp nhận những giải pháp có sai sót này do khó khăn trong việc xác minh, do AI có xu hướng xu nịnh, do lỗi của nhà nghiên cứu, hay do vấn đề tổ chức, rồi từ đó tiếp tục xây dựng một siêu trí tuệ mất căn chỉnh dựa trên chúng. Vì nghiên cứu kiểm soát chỉ tập trung hẹp vào hành vi mưu tính có chủ đích của AI ở giai đoạn đầu, nó không giải quyết được rủi ro lớn hơn đến từ "rác", cũng như thách thức đảm bảo rằng AI ở giai đoạn đầu thực sự đóng góp vào việc giải quyết bài toán căn chỉnh cho những hệ thống tiên tiến hơn, thay vì chỉ là một kẻ xu nịnh siêu phàm, thuyết phục con người rằng ý tưởng sai lầm của họ về cách căn chỉnh AI là đúng trong khi thực ra không phải vậy.

Cả hai lập luận đều có thể tranh cãi, nhưng luận điểm chung là rất khó để đảm bảo rằng ngay cả những hướng nghiên cứu trông có vẻ triển vọng cũng không thực sự mang lại tác hại ròng.

Cách nhốt hộp một AI

Dù nhốt hộp có thể không mở rộng quy mô được, nó vẫn là một chiến lược bị thiếu quan tâm.

Nhiều người cho rằng việc cố nhốt hộp những ASI mạnh mẽ là vô ích. Quan điểm này thường được củng cố bởi những trường hợp trong đó con người, khi đóng vai AI trong Thí nghiệm Hộp AI (AI Box Experiment), đã thuyết phục thành công người khác 'thả' họ ra (Yudkowsky, 2002 (mở trong tab mới); Corwin, 2002 (mở trong tab mới)). Những ví dụ lịch sử này cần được nhìn nhận nghiêm túc.

AI có thể sử dụng những chiến thuật như hứa hẹn của cải, quyền lực, và trí tuệ khổng lồ cho những ai giải thoát chúng, khẳng định rằng chỉ chúng mới có thể ngăn chặn được những mối đe dọa hiện sinh, hoặc những lời kêu gọi cảm xúc khác.

Tuy nhiên, chúng tôi vẫn cho rằng nhiều chiến lược khác nhau có thể làm giảm đáng kể nguy cơ AI thoát ra ngoài, dù chúng ta thừa nhận rằng có thể tồn tại một mức độ trí tuệ chắc chắn sẽ thuyết phục được bất kỳ nhóm người nào giúp nó được giải thoát. Ngăn chặn có thể khả thi hơn căn chỉnh, đặc biệt là ở giai đoạn trí tuệ ngang tầm con người. Có thể hình dung ra những giao thức làm tăng đáng kể độ khó để AI thoát ra khỏi hộp.

Nhốt hộp có thể được hình dung như một trò chơi đòi hỏi sự chuẩn bị. Chiến lược chung là tự mình chuẩn bị kỹ càng và không để AI có cơ hội chuẩn bị.

Các chiến lược giảm thiểu rủi ro khả dĩ bao gồm:

• Không một cá nhân đơn lẻ nào nên có khả năng thả AI ra.
• Thực hành các chiến lược đối phó: Hiểu rõ một số chiến lược vượt ngục phổ biến (có thể tìm hiểu qua các nguồn như bài viết này (mở trong tab mới)).
• Kiểm tra và huấn luyện con người, sử dụng các đánh giá tâm lý về khả năng chống chịu để tuyển chọn những cá nhân phù hợp cho nhiệm vụ ngăn chặn, tương tự như huấn luyện cho các sứ mệnh không gian.
• Giám sát khả năng thuyết phục của AI, như đã nêu trong khung chuẩn bị sẵn sàng (OpenAI, 2023 (mở trong tab mới)).

Nhiều chiến lược cụ thể hơn được liệt kê tại đây (mở trong tab mới), và một bản tóm tắt các thảo luận về chủ đề này có sẵn tại đây (mở trong tab mới).

Suy nghĩ Minh bạch

Việc giám sát Chuỗi Suy luận (Chain-of-Thought, CoT) — các bước suy luận bằng ngôn ngữ tự nhiên được một số mô hình tạo ra một cách tường minh — đã được nghiên cứu như một kỹ thuật kiểm soát và diễn giải cụ thể. Tính minh bạch đóng vai trò then chốt trong cả căn chỉnh lẫn kiểm soát.

Kỳ vọng đặt ra là CoT sẽ mở ra một khung cửa sổ để nhìn vào "suy nghĩ" của AI, cho phép người giám sát (là con người hoặc AI) phát hiện ý đồ xấu hay suy luận sai lệch trước khi những hành động gây hại xảy ra (OpenAI, 2025 (mở trong tab mới)). OpenAI phát hiện rằng giám sát CoT có hiệu quả trong việc phát hiện thao túng phần thưởng ở các nhiệm vụ lập trình, đặc biệt khi người giám sát có thể thấy được CoT song song với các hành động.

Đáng tiếc, phần lớn các AI không suy luận bằng tiếng Anh; ví dụ, AlphaGo suy luận bằng một loại "ngôn ngữ" hoàn toàn khác tiếng Anh. Mặt khác, các mô hình ngôn ngữ lớn (LLM) có khả năng suy luận bằng tiếng Anh, nhưng phần suy luận được viết ra một cách rõ ràng lại không phản ánh đúng quá trình tư duy thực sự bên trong của chúng (Turpin và cộng sự, 2023 (mở trong tab mới)).

Có lẽ sẽ dễ dàng hơn nhiều để căn chỉnh và giám sát một AI chỉ "suy nghĩ thành lời" bằng tiếng Anh và được huấn luyện trước trên văn bản do con người tạo ra, so với việc căn chỉnh những AGI được huấn luyện từ đầu bằng các phương pháp học tăng cường/tiến hóa, vì những kiến trúc sau này sẽ tự tạo ra "ngôn ngữ" riêng của chúng và sẽ hoàn toàn xa lạ. Giả sử một LLM không thể nghĩ ra một kế hoạch hủy diệt thế giới chỉ trong một lượt truyền xuôi (forward pass) duy nhất, thì có khả năng những AI như vậy sẽ giám sát được, vì chúng ta có thể xem xét văn bản được tạo ra để tìm dấu hiệu đáng ngờ. Tập hợp các giả thuyết cần thiết để khẳng định rằng AGI đầu tiên sẽ có thể giám sát được nếu chúng ta chỉ cần nhìn vào suy luận bằng tiếng Anh của nó, được mô tả trong bài viết: The Translucent Thoughts Hypotheses and Their Implications (Roger, 2023 (mở trong tab mới)).

Có thể tạo động lực để LLM suy nghĩ một cách rõ ràng hơn bằng tiếng Anh. Rõ ràng, bước đầu tiên là huấn luyện chúng suy nghĩ bằng tiếng Anh. Nhưng chỉ vậy thôi vẫn chưa đủ. Việc huấn luyện LLM suy luận bằng cách bỏ qua các bước tạo động lực để chúng suy luận theo cách ẩn giấu, không minh bạch, và đây chính xác là điều xảy ra một cách ngầm định khi ta huấn luyện LLM để dự đoán token tiếp theo. Ngược lại, nếu ta huấn luyện LLM trình bày chi tiết tất cả các bước suy luận, ta có thể giảm động lực khiến chúng suy luận ẩn giấu. Cách tiếp cận này còn được gọi là huấn luyện dựa trên quy trình (process-based training), bao gồm việc huấn luyện hệ thống AI chỉ suy luận theo từng bước một, và chúng tôi sẽ giải thích điều này trong chương về giám sát có khả năng mở rộng. Đáng tiếc, lập luận trên không hề đơn giản; AI vẫn có thể học cách sử dụng suy luận ẩn giấu ngay cả khi được huấn luyện để trình bày chi tiết mọi bước suy luận trong quá trình huấn luyện, chẳng hạn thông qua giấu tin (steganography), hoặc với những kiến trúc như Chain of Continuous Thought (COCONUT) (xem bên dưới)³.

Một số kiến trúc AI khiến chúng ta hoàn toàn không thể sử dụng chiến lược này. Bài báo của Meta, Training Large Language Models to Reason in a Continuous Latent Space (Huấn luyện Mô hình Ngôn ngữ Lớn Suy luận trong Không gian Tiềm ẩn Liên tục), trình bày một kiến trúc khiến chúng ta không thể đọc được chuỗi suy luận từ các hệ thống AI (Hao và cộng sự, 2024 (mở trong tab mới)). Nếu chúng ta muốn có khả năng giám sát những gì đang diễn ra, việc không sử dụng những kiến trúc này có thể là điều quan trọng, ngay cả khi chúng mang lại những bước tiến về năng lực.

Những kỹ thuật như diễn đạt lại (paraphrasing) có thể giúp ngăn ngừa giấu tin, nhưng điều này đòi hỏi rất nhiều sự tinh tế (Roger & Greenblatt, 2023 (mở trong tab mới)).

Dưới đây là một vài cách cụ thể hóa chương trình nghị sự về suy nghĩ minh bạch:

• Một cách triển khai chương trình nghị sự suy nghĩ minh bạch là sử dụng mô phỏng nhận thức (cognitive emulation), hiện là kế hoạch kỹ thuật của Conjecture (Leahy & Alfour, 2023 (mở trong tab mới)). Mô phỏng Nhận thức (Cognitive Emulation, CoEm) sẽ liên quan đến việc mô phỏng GPT-4 bằng cách dùng các LLM như GPT-3 làm những mô-đun con khác nhau, gửi thông điệp viết bằng tiếng Anh đơn giản cho nhau trước khi tạo ra token tiếp theo. Nếu mạng neural sử dụng những suy nghĩ lừa dối, chúng ta có thể quan sát được chúng trong những thông điệp trung gian này. Một số lưu ý và chi tiết kỹ thuật về CoEm có sẵn tại đây (mở trong tab mới).
• Giám sát suy luận được ngoại hiện hóa (externalized reasoning oversight) của Anthropic (Lanham, 2022 (mở trong tab mới)) được đo lường thông qua tính trung thực (faithfulness) của suy luận theo chuỗi suy luận (Lanham và cộng sự, 2023 (mở trong tab mới)), hoặc thông qua việc phân rã câu hỏi thành các câu hỏi con để cải thiện tính trung thực của câu trả lời (Radhakrishnan và cộng sự, 2023 (mở trong tab mới)).
• Cải thiện suy luận toán học bằng giám sát theo quy trình (process supervision). Thay vì tạo ra một AI đưa thẳng ra câu trả lời cuối cùng, bạn huấn luyện nó trình bày suy luận theo từng bước. Điều này cải thiện cả tính minh bạch lẫn hiệu suất! (Lightman và cộng sự, 2023 (mở trong tab mới))

Tóm lại, một chiến lược chung để tạo ra một AI an toàn theo thiết kế là đảm bảo AI ngoại hiện hóa suy luận của chúng, giúp việc giám sát chuỗi suy luận này dễ dàng hơn. Cách này có thể đơn giản hơn so với việc dò xét nội tại của mô hình bằng khả năng diễn giải. Do đó, điều quan trọng là tránh xây dựng những AI được huấn luyện và tạo động lực để nội tâm hóa phần lớn suy nghĩ của chúng.

Hiện nay chúng ta đã có nhiều bằng chứng cho thấy việc giám sát chuỗi suy luận không hoàn toàn trung thực. Nghiên cứu của Anthropic còn cho thấy thêm rằng các mô hình thường không báo cáo trung thực suy luận của chúng trong CoT, bỏ sót những yếu tố có ảnh hưởng (như gợi ý) hoặc bịa ra những lý giải, đặc biệt là khi có động lực để thao túng phần thưởng (Anthropic, 2025 (mở trong tab mới)). Điều này cho thấy CoT có thể không phải là một chỉ báo đáng tin cậy cho quá trình suy luận thực sự của mô hình, đặc biệt là dưới áp lực đối kháng. Cuộc tranh luận vẫn tiếp diễn về việc liệu giám sát CoT có thể được làm cho đủ vững chắc để phục vụ an toàn trong những tình huống rủi ro cao hay không.

Tuy nhiên, một số nhà nghiên cứu cho rằng những phát hiện này không hoàn toàn phủ nhận tiềm năng của giám sát CoT trong việc phát hiện mất căn chỉnh tinh vi. Như Greenblatt (2025) đã chỉ ra (mở trong tab mới), tình trạng thiếu trung thực được quan sát trong những nghiên cứu đó chủ yếu xảy ra trong những kịch bản mà suy luận đủ đơn giản đến mức không cần CoT chi tiết. Những rủi ro căn chỉnh đáng lo ngại hơn — như giả vờ căn chỉnh, lách quá trình huấn luyện, hay lừa dối tinh vi — nhiều khả năng sẽ đòi hỏi những quá trình suy luận phức tạp, và những quá trình đó vẫn có thể để lại dấu vết trong CoT. Những hậu quả gây hại không tầm thường, như nỗ lực thoát ra ngoài hay phá hoại nghiên cứu, cũng tương tự sẽ đòi hỏi suy luận tinh vi có thể phát hiện được.

Tuy nhiên, một số yếu tố có thể cuối cùng sẽ hạn chế hiệu quả của giám sát CoT ở những hệ thống tiên tiến. Những yếu tố này bao gồm những thay đổi kiến trúc cho phép xử lý hồi quy (recurrent) mờ đục (đôi khi được gọi là "ngôn ngữ thần kinh" — neuralese), sự phát triển của năng lực giấu tin có thể che giấu suy luận bên trong những đầu ra tưởng chừng vô hại, hoặc đơn giản là những lượt truyền xuôi mạnh hơn nhiều, đòi hỏi ít suy luận tường minh hơn. Trong số này, sự phát triển của khả năng suy luận mờ đục thông qua tính hồi quy của mạng neural có lẽ là thách thức đáng kể nhất đối với việc duy trì mức độ minh bạch cần thiết cho giám sát hiệu quả. Toàn bộ chương trình nghị sự này phụ thuộc đáng kể vào giả thuyết rằng "Không thể tìm ra những kế hoạch đánh bại nhân loại một cách hiệu quả chỉ trong một lượt truyền xuôi LLM duy nhất." Một khi AI trở nên quá mạnh trong một lượt truyền xuôi, phần lớn hy vọng về suy nghĩ bán trong suốt sẽ tan biến, nên hoặc là ta cần thành công với một CoEm đầy tham vọng bằng cách xây dựng một bộ máy hành chính minh bạch, siêu phàm khổng lồ, hoặc chúng ta cần những cách tiếp cận mới. Đây chính là chủ đề của An toàn ASI.

Huấn luyện dựa trên Khả năng Diễn giải — Kỹ thuật Bị Cấm kỵ Nhất

Thuật ngữ này do Zvi Mowshowitz đặt ra (Mowshowitz, 2025 (mở trong tab mới)). Nghiên cứu của OpenAI cho thấy việc tối ưu hóa trực tiếp CoT vì mục đích an toàn (tức là phạt những "suy nghĩ xấu") khiến các mô hình học cách che giấu suy luận lừa dối của chúng trong khi vẫn tiếp tục hành xử sai lệch (OpenAI, 2025 (mở trong tab mới)).

"Một AI tạo ra một đầu ra cuối cùng [X] thông qua một phương pháp [M] nào đó. Bạn có thể phân tích [M] bằng kỹ thuật [T], để tìm hiểu AI đang làm gì. Bạn có thể huấn luyện dựa trên điều đó. Đừng bao giờ làm vậy. Bạn huấn luyện dựa trên [X]. Chỉ [X] mà thôi. Không bao giờ là [M], không bao giờ là [T]. Tại sao? Vì [T] chính là cách bạn nhận ra khi nào mô hình đang hành xử sai lệch. Nếu bạn huấn luyện dựa trên [T], bạn đang huấn luyện AI che giấu suy nghĩ của nó và đánh bại [T]. Bạn sẽ nhanh chóng mất đi khả năng biết được điều gì đang diễn ra, đúng vào những lúc bạn cần biết điều đó nhất. Những chút áp lực tối ưu hóa từ [T] đó rất quý giá. Hãy sử dụng chúng một cách khôn ngoan."

Chú thích

² Mức độ Sẵn sàng Công nghệ (Technology Readiness Levels) của NASA là một thang đo từ 1 đến 9 để đo lường mức độ trưởng thành của một công nghệ. Mức 1 đại diện cho giai đoạn phát triển công nghệ sớm nhất, đặc trưng bởi việc quan sát và ghi nhận các nguyên lý cơ bản, còn mức 9 đại diện cho công nghệ thực tế đã được chứng minh thông qua các hoạt động sứ mệnh thành công.

³ Giấu tin (steganography) là một hình thức mã hóa ngôn ngữ ẩn giấu. Ví dụ, chữ cái đầu tiên của mỗi câu tạo thành chữ cái tiếp theo của thông điệp ẩn.