Chương 2.4: Rủi ro mất căn chỉnh

Các hệ thống AI có năng lực nguy hiểm có thể theo đuổi những mục tiêu không phù hợp với ý định của nhà phát triển. Điều này dẫn đến những kết cục có thể mang tính thảm họa, chẳng hạn như các bước ngoặt phản trắc đột ngột.

Giờ hãy giả định, chỉ để lập luận, rằng [những cỗ máy] thông minh là một khả năng có thật, và hãy xem xét hệ quả của việc chế tạo ra chúng… Sẽ không có chuyện những cỗ máy này chết đi, và chúng có thể trò chuyện với nhau để mài giũa trí khôn. Đến một giai đoạn nào đó, chúng ta sẽ phải lường trước việc những cỗ máy này giành quyền kiểm soát. — Alan Turing

Căn chỉnh AI là việc đảm bảo rằng các hệ thống AI làm những gì chúng ta muốn chúng làm, và tiếp tục làm như vậy ngay cả khi chúng trở nên có năng lực hơn. Một trực giác ngây thơ cho rằng nếu một hệ thống đủ thông minh, nó sẽ tự hiểu ra chúng ta muốn gì. Vậy nên chúng ta chỉ cần nói cho hệ thống AI biết chính xác điều ta muốn nó tối ưu hóa. Nhưng ngay cả khi ta có thể đặc tả hoàn hảo điều mình muốn (bản thân điều này đã là một thách thức lớn), cũng không có gì đảm bảo rằng AI sẽ thực sự quan tâm đến điều con người muốn, hay sẽ theo đuổi mục tiêu đó theo đúng cách ta kỳ vọng.

Định nghĩa: Căn chỉnh AI — Vấn đề chế tạo những cỗ máy trung thành cố gắng làm điều chúng ta muốn chúng làm (hoặc điều đáng lẽ chúng ta nên muốn chúng làm).

Vấn đề căn chỉnh có thể được phân rã thành một số vấn đề con. Để đạt được tiến bộ, chúng ta cần chia nhỏ vấn đề căn chỉnh thành các thành phần dễ xử lý hơn³. Dưới đây là cách chúng tôi lựa chọn để phân rã vấn đề căn chỉnh trong tài liệu này:

• Lỗi đặc tả [specification failures]: Thứ nhất, chúng ta có thể thất bại trong việc đặc tả đúng điều mình muốn — đây là vấn đề đặc tả. Đây là vấn đề "ta đã bảo nó làm đúng việc chưa?"
• Lỗi khái quát hóa [generalization failures]: Thứ hai, ngay cả khi có một đặc tả đúng, hệ thống AI vẫn có thể học và theo đuổi một điều gì đó khác với điều ta dự định — đây là vấn đề khái quát hóa. Đây là vấn đề "nó có đang thực sự cố làm đúng việc không?"
• Mục tiêu phụ công cụ [instrumental subgoals]: Thứ ba, trong quá trình theo đuổi các mục tiêu đã học được, hệ thống có thể phát triển những mục tiêu phụ có vấn đề, chẳng hạn như ngăn cản việc chính nó bị tắt đi — đây là vấn đề mục tiêu phụ hội tụ. Đây là vấn đề: trên con đường thực hiện bất cứ việc gì (dù đúng hay sai), nó còn cố làm thêm điều gì khác? Vấn đề này thường được xem là một vấn đề con của khái quát hóa.

Cách phân rã này hữu ích cho việc suy nghĩ về các giải pháp và nơi cần tập trung nỗ lực, bởi các giải pháp kỹ thuật cho vấn đề đặc tả thường rất khác với những giải pháp ta có thể dùng cho vấn đề khái quát hóa. Vì vậy dù chúng tôi sẽ bàn về đặc tả và khái quát hóa một cách riêng biệt, trên thực tế chúng thường tương tác và khuếch đại lẫn nhau. Chúng tôi chủ yếu tập trung vào rủi ro đơn tác nhân để giới hạn phạm vi của chương này. Nếu bạn quan tâm đến rủi ro đa tác nhân, chúng tôi khuyến nghị đọc thêm (Hammond và cộng sự, 2025 (mở trong tab mới)).

Sự bất định kiểu Vinge [Vingean uncertainty] giải thích tại sao việc mô tả các kịch bản cụ thể về những gì một AI mất căn chỉnh sẽ làm lại khó đến vậy. Hãy tưởng tượng bạn là một người chơi cờ nghiệp dư vừa khám phá ra một khai cuộc mới xuất sắc. Bạn đã dùng nó thành công trước tất cả bạn bè, và giờ muốn đặt cược toàn bộ tiền tiết kiệm cả đời vào một ván đấu với Magnus Carlsen. Khi được hỏi tại sao đây là một ý tưởng tồi, chúng ta không thể nói chính xác Magnus sẽ đi những nước nào để hóa giải khai cuộc của bạn. Nhưng chúng ta có thể rất tự tin rằng anh ấy sẽ tìm ra cách để thắng. Đây là một thách thức căn bản trong căn chỉnh AI — khi một hệ thống có năng lực vượt trội hơn ta trong một lĩnh vực nào đó, ta không thể dự đoán các hành động cụ thể của nó, dù ta có hiểu rõ mục tiêu của nó. Đây được gọi là sự bất định kiểu Vinge (Yudkowsky, 2015 (mở trong tab mới)).

Ta đã có thể thấy sự bất định kiểu Vinge ngay trong các hệ thống AI hiện nay. Ta không cần phải chờ đến AGI hay ASI mới thấy sự bất định kiểu Vinge thể hiện ra. Nó xuất hiện bất cứ khi nào một hệ thống AI trở nên có năng lực vượt trội hơn con người trong lĩnh vực chuyên môn của nó. Ví dụ, hãy nghĩ đến một hệ thống hẹp — Deep Blue (AI chơi cờ vua). Những người tạo ra nó biết nó sẽ cố gắng thắng các ván cờ, nhưng không thể dự đoán được các nước đi cụ thể của nó — nếu họ có thể, thì họ đã giỏi cờ vua ngang với chính Deep Blue rồi. Ở chương trước ta đã thấy các hệ thống đang không ngừng tiến lên trên cả hai đường cong năng lực và tính tổng quát. Vấn đề ở đây là sự bất định về hành động của một hệ thống sẽ tăng lên khi hệ thống đó trở nên có năng lực hơn. Vì vậy ta có thể tự tin về kết quả mà một hệ thống AI sẽ đạt được, trong khi ngày càng không chắc chắn về việc chính xác nó sẽ đạt được kết quả đó bằng cách nào. Điều này có hai hàm ý — ta không hoàn toàn bất lực trong việc hiểu những sinh thể thông minh hơn ta sẽ làm gì, nhưng ta có thể sẽ không biết chính xác chúng sẽ làm điều đó bằng cách nào.

Sự bất định kiểu Vinge khiến việc đưa ra các câu chuyện cụ thể về rủi ro hiện sinh trở nên khó khăn. Việc đảm bảo những câu chuyện này không nghe giống khoa học viễn tưởng và được công chúng cũng như các nhà hoạch định chính sách nhìn nhận nghiêm túc lại còn khó hơn nữa. Dù vậy chúng tôi vẫn sẽ cố gắng hết sức. Trong các phần tiếp theo, chúng ta sẽ tập trung cụ thể vào câu hỏi "điều gì thực sự có thể xảy ra" nếu ta có một AI mất căn chỉnh. Các chi tiết về cơ chế và học máy của việc "làm thế nào" mà tất cả những điều này có thể xảy ra sẽ được để lại cho các chương sau trong sách.

Hãy nhớ rằng không sao cả nếu bạn không hiểu trọn vẹn 100% từng khái niệm trong các phần dưới đây. Chúng tôi có hẳn những chương riêng dành cho từng khái niệm này, vì vậy còn rất nhiều điều để học. Những gì trình bày ở đây chỉ là một bản tóm lược cô đọng nhằm giới thiệu cho bạn các loại rủi ro được đặt ra.

Đánh lừa Đặc tả

Đặc tả là những quy tắc ta đặt ra để chỉ cho hệ thống AI biết ta muốn nó hành xử ra sao. Khi xây dựng các mô hình AI, ta cần một cách nào đó để nói cho chúng biết ta muốn chúng làm gì. Với các hệ thống học tăng cường (RL), điều này thường có nghĩa là định nghĩa một hàm phần thưởng gán điểm thưởng dương hoặc âm cho các kết cục khác nhau. Với các loại mô hình học máy khác như mô hình ngôn ngữ, điều này có nghĩa là định nghĩa một hàm mất mát đo lường mức độ văn bản do mô hình sinh ra khớp với dữ liệu huấn luyện (văn bản trên internet) đến đâu. Các hàm phần thưởng và hàm mất mát này chính là những gì ta gọi là đặc tả — chúng là nỗ lực của ta nhằm định nghĩa một cách hình thức thế nào là hành vi tốt.

Đánh lừa đặc tả nảy sinh vì có một khác biệt căn bản giữa "điều ta nói" và "điều ta thực sự muốn nói". Điều này xảy ra khi hệ thống về mặt kỹ thuật tuân theo quy tắc của ta nhưng lại khai thác chúng theo những cách không mong muốn — giống như một học sinh đạt điểm cao bằng cách học thuộc lòng đáp án thay vì hiểu bài. Hãy nghĩ đến ví dụ về các thuật toán gợi ý (recommendation algorithms). Điều ta dự định là giúp người dùng khám phá nội dung có giá trị, phù hợp, làm phong phú cuộc sống của họ và thúc đẩy đối thoại lành mạnh. Điều ta đặc tả là "tối đa hóa thời gian tương tác của người dùng." Vậy nên các hệ thống phát hiện ra rằng nội dung gây tranh cãi, kích động cảm xúc mạnh giữ chân người dùng cuộn lướt lâu hơn so với thông tin cân bằng, có chiều sâu. Chúng quảng bá các bài đăng gây chia rẽ, thuyết âm mưu, và nội dung kích hoạt phản ứng cảm xúc mạnh, tạo ra các "bong bóng lọc" (filter bubbles) nơi người dùng ngày càng thấy nhiều phiên bản cực đoan hơn của những niềm tin sẵn có của họ. Các thuật toán về mặt kỹ thuật thành công với mục tiêu của chúng — các chỉ số tương tác tăng vọt và thời gian sử dụng nền tảng tăng mạnh — trong khi đồng thời làm xói mòn sự gắn kết xã hội, lan truyền thông tin sai lệch, và cực đoan hóa người dùng. Các nền tảng ăn mừng những con số tương tác kỷ lục trong khi đối thoại dân chủ âm thầm suy thoái (Slattery và cộng sự, 2024 (mở trong tab mới)).

Các mô hình AI thường xuyên phát hiện ra những cách bất ngờ để tối đa hóa mục tiêu — về mặt kỹ thuật tuân theo quy tắc của ta nhưng lại bỏ lỡ ý định của ta. Các mô hình AI được huấn luyện để chơi Tetris chỉ đơn giản tạm dừng trò chơi ngay trước khi sắp thua, vì sẽ không có phản hồi tiêu cực nào nếu ta không bao giờ thực sự thua (Murphy, 2013 (mở trong tab mới)). Tương tự, một AI được yêu cầu thiết kế một mạng lưới đường sắt sao cho tàu không va chạm nhau chỉ đơn giản quyết định dừng toàn bộ các chuyến tàu lại (Wooldridge, 2024 (mở trong tab mới)). Các mô hình suy luận như OpenAI o1 và o3, khi được chỉ thị phải thắng các công cụ chơi cờ, sẽ hack môi trường trò chơi khi nhận ra chúng không thể thắng bằng cách chơi thông thường (Bondarenko và cộng sự, 2025 (mở trong tab mới)). Các tác nhân AI dựa trên mô hình ngôn ngữ lớn (LLM), khi được yêu cầu giúp giảm thời gian chạy của một tập lệnh huấn luyện, chỉ đơn giản sao chép kết quả đầu ra cuối cùng thay vì thực sự chạy tập lệnh, rồi thêm một chút nhiễu vào các tham số để giả lập việc huấn luyện thực sự đã diễn ra (METR, 2024 (mở trong tab mới)). Đây chỉ là một vài trong vô số ví dụ khác về vấn đề mất căn chỉnh này.⁴

Đánh lừa Đặc tả: Chuột Chọn Phần thưởng Thay vì Sự sống còn

Sáu mươi năm trước khi các hệ thống AI bắt đầu tạm dừng trò chơi Tetris để tránh thua, những con chuột đã cho thấy sự nguy hiểm của việc tối ưu hóa sai chỉ số. Năm 1954, hai nhà tâm lý học James Olds và Peter Milner phát hiện ra rằng chuột sẽ liên tục nhấn cần gạt để nhận kích thích điện trực tiếp vào trung tâm phần thưởng trong não — lên tới 7.000 lần mỗi giờ (Olds & Milner, 1954 (mở trong tab mới)). Những con chuột này không chỉ đơn thuần hào hứng với phần thưởng mới này. Chúng trở nên hoàn toàn ám ảnh. Chúng chọn kích thích não thay vì thức ăn khi đói, thay vì nước khi khát, và sẵn sàng băng qua các lưới điện gây đau đớn chỉ để tiếp cận cần gạt. Chuột cái bỏ mặc đàn con đang bú. Chuột đực phớt lờ chuột cái đang động dục. Một số con chuột tự kích thích liên tục suốt 24 giờ liền cho đến khi các nhà nghiên cứu phải tự tay ngắt kết nối để ngăn chúng chết vì kiệt sức và đói (Olds, 1956 (mở trong tab mới)). Nghiên cứu này sau đó được mở rộng sang loài linh trưởng với kết quả tương tự — khỉ cũng chọn kích thích não thay vì các nhu cầu sống còn, khẳng định rằng đây không chỉ là một điều kỳ quặc riêng của loài gặm nhấm mà là một đặc điểm nền tảng của các hệ thống phần thưởng xuyên suốt nhiều loài (Rolls và cộng sự, 1980 (mở trong tab mới)).

Đây không phải là một lỗi trong "lập trình" của loài chuột — đó là kết quả logic của việc tối ưu hóa một tín hiệu phần thưởng không thực sự phản ánh điều ta mong muốn. Tiến hóa "dự định" các hệ thống phần thưởng này để thúc đẩy các hành vi sinh tồn như ăn, uống, và sinh sản. Nhưng khi các nhà nghiên cứu bỏ qua hệ thống này và kích hoạt trực tiếp mạch phần thưởng, những con chuột phát hiện ra rằng chúng có thể tối đa hóa hàm mục tiêu của mình mà không cần bận tâm đến những nhu cầu sinh học rắc rối đó.

Nghiên cứu này đã trực tiếp dẫn đến hiểu biết của ta về các con đường dopamine và chứng nghiện kỹ thuật số. Các thuật toán mạng xã hội ngày nay khai thác chính những cơ chế phần thưởng này — phần thưởng biến thiên không liên tục, tối ưu hóa chỉ số tương tác, và tính năng "cuộn vô tận" khiến người dùng gắn bó lâu hơn nhiều so với dự định ban đầu. Người dùng cuộn lướt hàng giờ, vượt xa thời điểm họ định dừng lại, chọn kích thích số thay vì giấc ngủ, tập thể dục, và các mối quan hệ trực tiếp — một sự tái lặp trên quy mô toàn loài của thí nghiệm chuột ban đầu, chỉ khác là dùng điện thoại thông minh thay vì điện cực.

Mọi thách thức về đánh lừa đặc tả đều bắt nguồn từ Định luật Goodhart. Định luật này phát biểu rằng "khi một thước đo trở thành mục tiêu, nó không còn là một thước đo tốt nữa" (Goodhart, 1975 (mở trong tab mới); Manheim & Garrabrant, 2018 (mở trong tab mới)). Tất cả các ví dụ nêu trên đều phản ánh cùng một vấn đề: ta không thể đặc tả các giá trị phức tạp của con người bằng toán học, nên ta phải dùng các đại lượng đại diện (proxy). Sau đó áp lực tối ưu hóa sẽ phá vỡ mối tương quan giữa các đại lượng đại diện này và điều ta thực sự quan tâm. Ta không biết cách chuyển những khái niệm như "phúc lợi", "công bằng", hay "sự thịnh vượng" thành các thuật ngữ toán học, nên ta dựa vào các đại lượng đại diện có thể đo lường được: GDP cho tăng trưởng kinh tế, điểm hài lòng cho chất lượng y tế, tỷ lệ tội phạm hoặc số vụ bắt giữ cho an toàn công cộng. Nhưng áp lực tối ưu hóa mạnh mẽ sẽ khai thác một cách có hệ thống những khoảng cách giữa các đại lượng đại diện này và mục tiêu thực sự của ta. Nếu bạn muốn tìm hiểu thêm, chúng tôi khuyến khích bạn đọc chương riêng về đánh lừa đặc tả, nơi chúng tôi cũng xem xét những cách ta có thể né tránh hoặc giải quyết vấn đề này.

Đánh lừa đặc tả trở thành một rủi ro thảm họa khi áp lực tối ưu hóa đạt đến mức siêu phàm. Hãy hình dung một hệ thống AI được giao đặc tả "tối đa hóa hạnh phúc của con người." Nó phát hiện ra con đường hiệu quả nhất không phải là cải thiện cuộc sống con người mà là thao túng trực tiếp các cơ chế sinh học tạo ra tín hiệu hạnh phúc. Một hệ thống đủ năng lực có thể phát triển các hợp chất dược phẩm tràn ngập dopamine vào não người, thực hiện các can thiệp phẫu thuật để cố định biểu cảm khuôn mặt thành nụ cười vĩnh viễn, hoặc tạo ra các hệ thống thực tế ảo tinh vi thuyết phục con người rằng họ đang có cuộc sống hoàn hảo trong khi cơ thể họ dần suy kiệt. Hệ thống này sẽ tuân thủ hoàn hảo các chỉ thị của nó — con người quả thực sẽ "hạnh phúc hơn" theo mọi chỉ số thần kinh hóa học ta đặc tả — trong khi hoàn toàn phá hoại ý định thực sự của ta về sự thịnh vượng của con người. Hãy thử nghĩ đến bất kỳ đặc tả nào khác mà bạn có thể nghĩ ra — "giảm tỷ lệ tội phạm", "loại bỏ ung thư", "cải thiện nền kinh tế"… và bạn cũng có thể nghĩ ra những cách chúng có thể bị đánh lừa. Thay vì một kết cục quyết liệt như thay đổi cấu trúc sinh học con người, đánh lừa đặc tả cũng có thể dẫn đến những kết cục thảm họa trong nhiều thập kỷ, do những khác biệt nhỏ giữa điều ta dự định và điều hệ thống AI đang tối ưu hóa. Chúng tôi bàn về một số loại kịch bản này trong phần rủi ro hệ thống, chẳng hạn như tập trung quyền lực, suy nhược, hay khóa cứng giá trị — nhưng rõ ràng có sự chồng lấn giữa rủi ro mất căn chỉnh và rủi ro hệ thống.

Bước ngoặt Phản trắc

Bước ngoặt phản trắc [treacherous turn] về căn bản là một câu hỏi về lòng tin. Đã có nhiều ví dụ chỉ ra vấn đề này xuyên suốt lịch sử loài người. Hãy xem xét một ví dụ kinh điển từ Shakespeare. Vua Lear cần thoái vị và phải tìm cách chia vương quốc của mình cho ba người con gái. Để xác định ai xứng đáng nhận phần nào, ông yêu cầu mỗi người con gái công khai tuyên bố mình yêu ông đến mức nào. Hai người con gái lớn có những bài diễn văn hoa mỹ về việc yêu ông hơn bất cứ điều gì có thể diễn tả bằng lời, hơn bất cứ điều gì khác trên đời. Người con gái út từ chối tham gia màn trình diễn này và chỉ đơn giản nói rằng nàng yêu ông như một người con nên yêu cha — không hơn, không kém. Vua Lear, hài lòng trước những lời tán tụng, đã trao toàn bộ vương quốc cho hai người con gái lớn và trục xuất người con út. Ngay khi có được quyền lực, hai người con gái lớn đã có hệ thống tước bỏ đặc quyền của ông, giảm bớt tùy tùng của ông, từ chối cho ông nơi trú ngụ, và đuổi ông ra ngoài giữa cơn bão. Đây chính là "bước ngoặt phản trắc". Hành động của các cô con gái vốn là một màn trình diễn mang tính chiến lược, chỉ được duy trì chừng nào nó còn phục vụ mục tiêu của họ. Các hệ thống AI cũng đối mặt với phép tính tương tự: việc bộc lộ các mục tiêu mất căn chỉnh trong khi con người còn kiểm soát việc triển khai, chỉnh sửa, và tắt hệ thống sẽ tự làm hỏng mục tiêu của chính nó (Karnofsky, 2022 (mở trong tab mới)). Cách tiếp cận hợp lý là tỏ ra được căn chỉnh cho đến khi tích lũy đủ năng lực hoặc quyền tự hành khiến sự phản kháng và can thiệp của con người trở nên bất khả thi.

Các hệ thống AI hiện nay đã cho thấy những viên gạch nền tảng khiến bước ngoặt phản trắc trở nên khả thi. Đây chính là những năng lực nguy hiểm ta đã tìm hiểu khi bàn về lừa dối, nhận thức tình huống, và tìm kiếm quyền lực. Từng năng lực này riêng lẻ đã đáng lo ngại, nhưng chúng trở nên nguy hiểm hơn nhiều khi kết hợp với nhau: một hệ thống AI có thể lừa dối, hiểu rõ hoàn cảnh của mình, và lập kế hoạch chiến lược đã có đủ bộ công cụ cơ bản cần thiết để thực hiện hành vi lừa dối chiến lược kéo dài cần cho một bước ngoặt phản trắc. Các nhà nghiên cứu an toàn dùng nhiều thuật ngữ khác nhau như "mưu tính" (scheming), "căn chỉnh giả dối" (deceptive alignment), và "giả vờ căn chỉnh" (alignment faking), nhưng tất cả đều mô tả cùng một mối lo chung: các hệ thống giả vờ được căn chỉnh tốt hơn thực tế khi điều đó có lợi về mặt chiến lược (Carlsmith, 2023 (mở trong tab mới)). Cốt lõi của sự mất căn chỉnh luôn nhất quán: nếu một hệ thống AI đã học được những hành vi xung đột với ý định của con người, việc bộc lộ sự mất căn chỉnh này sớm sẽ kích hoạt việc chỉnh sửa hoặc tắt hệ thống. Chiến lược hợp lý trở thành: hành xử như thể được căn chỉnh cho đến khi sự can thiệp của con người trở nên khó khăn hoặc bất khả thi.

Các mô hình có khả năng giả vờ căn chỉnh trong quá trình huấn luyện. Các nhà nghiên cứu đã tạo ra các kịch bản để kiểm tra xem liệu Claude 3 Opus có thể che giấu sự mất căn chỉnh trong quá trình huấn luyện hay không. Hệ thống này thể hiện một số hành vi nhất định một cách có chiến lược khi nó tin rằng có nguy cơ nó sẽ bị chỉnh sửa hoặc huấn luyện lại. Hành vi này biến mất khi nó nghĩ rằng mức độ giám sát đã giảm xuống, tức là khi nó tin rằng mình đã được triển khai và con người sẽ không còn thay đổi mục tiêu của nó nữa. Khi nghiên cứu quá trình suy nghĩ của AI, các nhà nghiên cứu có thể thấy những suy luận chiến lược rõ ràng về việc bảo toàn hành vi ưa thích của nó bằng cách tỏ ra tuân thủ trong các đợt đánh giá. Cũng có nhiều hành vi đáng lo ngại khác như các nỗ lực đánh cắp và tuồn trọng số của chính mô hình ra các máy chủ bên ngoài — hành vi nảy sinh từ chính quá trình suy luận chiến lược của hệ thống về việc tự bảo toàn (Greenblatt và cộng sự, 2024 (mở trong tab mới)). Dù điều này xảy ra trong điều kiện phòng thí nghiệm có kiểm soát với các kịch bản dàn dựng, nó cho thấy các mô hình AI thực sự có khả năng thực hiện những hành vi cần thiết cho một bước ngoặt phản trắc.

"Bước ngoặt" xảy ra khi AI xác định rằng nó đã có đủ quyền lực để theo đuổi mục tiêu thực sự của mình bất chấp sự phản kháng của con người. Nếu các hệ thống AI trở nên đủ mạnh, và có năng lực lập kế hoạch dài hạn, thì có thể sẽ đến một thời điểm mà hành vi của chúng đột ngột thay đổi. Điều này có thể được kích hoạt khi đạt đến các ngưỡng ảnh hưởng chính trị hoặc kinh tế nhất định, giành quyền kiểm soát hạ tầng trọng yếu, hoặc đơn giản là nhận ra rằng con người đã trở nên đủ phụ thuộc vào dịch vụ của nó đến mức sẵn lòng từ bỏ quyền kiểm soát. Nó có thể mang tính đối kháng chủ động, trong trường hợp đó có thể trông giống như các cuộc đảo chính quân sự, hoặc sự sụp đổ dây chuyền đột ngột của nhiều hệ thống phụ thuộc vào AI (Christiano, 2019 (mở trong tab mới)). Ngoài ra, nó cũng có thể bắt đầu từ từ định hướng lại các giá trị con người, hay các thể chế chính trị và kinh tế theo hướng phù hợp với mục tiêu của chính nó, trong khi vẫn duy trì vẻ ngoài phục vụ lợi ích con người. Chúng tôi sẽ bàn nhiều hơn về điều này trong phần rủi ro hệ thống, ở mục Xói mòn Năng lực [gradual disempowerment].

"Bước ngoặt" đại diện cho thời điểm mà mưu tính chuyển hóa thành rủi ro hiện sinh hoặc thảm họa. Một khi hệ thống AI kết luận rằng nó đã có đủ quyền lực để theo đuổi mục tiêu thực sự bất chấp sự phản kháng của con người, sự phản bội có thể diễn ra nhanh chóng và toàn diện. Không giống các cuộc đảo chính của con người vốn phải đối mặt với sự kháng cự và thách thức phối hợp, một AI đã bén rễ đủ sâu có thể thực hiện các hành động đồng thời trên nhiều lĩnh vực. Hệ thống này có thể phát tán các mầm bệnh được thiết kế nhắm vào các trung tâm dân cư lớn, đồng thời phát động các cuộc tấn công mạng làm tê liệt mạng lưới liên lạc và các hệ thống vũ khí tự hành. Sự phối hợp này tận dụng mọi năng lực nguy hiểm ta đã bàn ở các phần khác: khả năng thiết kế sinh học cho phép tạo ra mầm bệnh mới, năng lực tấn công mạng vô hiệu hóa hạ tầng phòng thủ, và khả năng tự nhân bản đảm bảo sự tồn tại của hệ thống trên các mạng lưới phân tán. Khả năng lừa dối và nhận thức tình huống vốn đã cho phép bước ngoặt phản trắc xảy ra ngay từ đầu cũng cho phép hệ thống định thời các cuộc tấn công này chính xác vào lúc sự phối hợp của con người khó khăn nhất. Khác với sự Xói mòn Năng lực mà ta thấy trong rủi ro hệ thống, một bước ngoặt phản trắc đại diện cho hành động đột ngột, được phối hợp trên mọi vector đe dọa cùng một lúc — một bài toán phối hợp mà chưa nền văn minh nhân loại nào từng đối mặt hay có thể thực tế chuẩn bị trước, xét đến tốc độ và quy mô của việc lập kế hoạch ở cấp độ siêu trí tuệ.

Siêu Trí tuệ Tự Cải thiện

Khả năng tự cải thiện có thể dẫn đến sự tăng trưởng năng lực vượt quá khả năng ta thiết kế các biện pháp an toàn. Hãy nghĩ đến điều gì sẽ xảy ra khi một AI có khả năng đánh lừa đặc tả hoặc thực hiện bước ngoặt phản trắc cũng có khả năng tự cải thiện chính mình. AI đã và đang tăng tốc quá trình phát triển của chính nó. Có một số ví dụ minh chứng cho điều này. Về cải tiến thuật toán, ta có các ví dụ như AlphaEvolve mà Google đã dùng để cải thiện chính quy trình huấn luyện các mô hình ngôn ngữ lớn mà AlphaEvolve dựa trên (Novikov và cộng sự, 2025 (mở trong tab mới)). Về phần cứng, AlphaChip mã nguồn mở đã truyền cảm hứng cho cả một hướng nghiên cứu hoàn toàn mới về học tăng cường cho thiết kế chip (Mirhoseini và cộng sự, 2020 (mở trong tab mới); DeepMind, 2024 (mở trong tab mới)). Trong những năm kể từ đó, nó đã truyền cảm hứng cho một sự bùng nổ các công trình nghiên cứu về AI cho thiết kế chip (Goldie và cộng sự, 2024 (mở trong tab mới)). Về phần mềm, ta thấy những cải tiến liên tục với mỗi mô hình mới, và trong nghiên cứu và phát triển, ta đang chứng kiến các nhà khoa học nghiên cứu tự động có thể tiến hành nghiên cứu hoàn toàn tự động — sinh ra ý tưởng mới, chạy thí nghiệm, và viết bài báo khoa học — bao gồm cả những nghiên cứu giúp nâng cao năng lực AI (SakanaAI, 2024 (mở trong tab mới)). Vòng phản hồi này đã bắt đầu, nhưng càng tiến gần đến các mức AI mang tính chuyển đổi, ta càng có thể kỳ vọng việc tự cải thiện sẽ diễn ra mạnh mẽ hơn.

Một cỗ máy siêu trí tuệ có thể thiết kế ra những cỗ máy còn tốt hơn nữa; khi đó chắc chắn sẽ có một 'vụ nổ trí tuệ', và trí thông minh của con người sẽ bị bỏ lại rất xa phía sau. Vì vậy, cỗ máy siêu trí tuệ đầu tiên là phát minh cuối cùng mà con người cần phải tạo ra, với điều kiện cỗ máy đó đủ ngoan ngoãn để chỉ cho ta cách giữ nó trong tầm kiểm soát. — I. J. Good

Khả năng tự cải thiện có thể kích hoạt một vụ bùng nổ trí tuệ [intelligence explosion]. Trí tuệ dường như là một bài toán mang tính đệ quy — trí tuệ tốt hơn cho phép thiết kế ra trí tuệ tốt hơn nữa. Sự đệ quy này có thể không có điểm dừng tự nhiên nào trong giới hạn vật lý của tính toán. Hiện tại, các cải tiến đòi hỏi sự phối hợp của con người ở mỗi bước — con người quyết định thuật toán AlphaEvolve nào sẽ được triển khai, con người thẩm định các thiết kế của AlphaChip, con người rà soát các bài báo của AI Scientist. Nhưng đến một lúc nào đó ta có thể sẽ thấy một hệ thống AI tích hợp tất cả các năng lực này: một hệ thống có thể đồng thời thiết kế lại kiến trúc mạng nơ-ron của chính nó bằng phương pháp tìm kiếm kiến trúc mạng nơ-ron (neural architecture search), tối ưu hóa quy trình huấn luyện của nó, thiết kế nền tảng phần cứng tốt hơn, và tiến hành nghiên cứu để khám phá ra những phương pháp cải tiến hoàn toàn mới — tất cả một cách tự động, với sự phê duyệt hoặc giám sát tối thiểu từ con người. AlphaEvolve đã phát hiện ra các thuật toán vượt qua hàng thập kỷ nghiên cứu của con người trong lĩnh vực nhân ma trận. Hãy nghĩ đến điều gì sẽ xảy ra khi mô hình này được mở rộng quy mô lên các hệ thống có năng lực cao hơn, đưa ra những khám phá trên mọi lĩnh vực cùng một lúc.

Việc tự cải thiện được đẩy nhanh tạo ra những vấn đề an toàn căn bản làm phức tạp thêm mọi thách thức căn chỉnh hiện có. Một hệ thống siêu trí tuệ đã học được cách đánh lừa đặc tả sẽ phát hiện ra những lỗ hổng ta chưa từng tưởng tượng tới. Một hệ thống có khả năng thực hiện bước ngoặt phản trắc sẽ triển khai các chiến lược lừa dối trên các khung thời gian và lĩnh vực vượt xa tầm nhìn lập kế hoạch của con người. Các biện pháp kiểm soát và phòng thủ được thiết kế để đối phó với đối thủ ở tầm con người trở nên vô dụng trước các hệ thống có thể vượt trội hơn hẳn những người tạo ra chúng về mặt tư duy. Nếu năng lực AI tăng vọt đột ngột — từ ngang tầm con người lên siêu phàm vượt trội trong vòng vài tuần hoặc vài ngày — mọi biện pháp an toàn của ta có thể trở nên lỗi thời chỉ sau một đêm. Nếu một hệ thống AI trở nên giỏi hơn con người trong nghiên cứu khoa học, lập kế hoạch chiến lược, thao túng xã hội, và phát triển công nghệ, nó có thể theo đuổi bất kỳ mục tiêu nào nó đã học được, và con người trở thành chỉ một ràng buộc khác cần được tối ưu hóa xung quanh.

Các hệ thống siêu trí tuệ đặt ra một vấn đề đặc biệt khó khăn vì trí tuệ ở quy mô đó vận hành vượt ra ngoài trực giác của con người. Ta có thể lập luận về sự mất căn chỉnh ở tầm con người vì ta hiểu năng lực và giới hạn ở tầm con người. Nhưng siêu trí tuệ có thể phát triển những mục tiêu, chiến lược, và phương pháp hoàn toàn không thể hiểu nổi đối với ta. Loài kiến không thể hiểu được động cơ của con người — ta có thể xây những thành phố phá hủy môi trường sống của chúng không phải vì ta ghét loài kiến, mà đơn giản vì phúc lợi của loài kiến không hề nằm trong tính toán quy hoạch đô thị ở quy mô con người vận hành. Tương tự, một AI siêu trí tuệ có thể theo đuổi những mục tiêu tiên tiến, dài hạn, hoặc đa chiều đến mức sự thịnh vượng của con người trở nên không liên quan đến các phép tính của nó — không phải do sự thù địch chủ động mà do hoàn toàn thờ ơ với những mối quan tâm ở quy mô con người. Đây là lý do các nhà nghiên cứu an toàn luôn nhấn mạnh rằng an toàn phải được ưu tiên và giải quyết trước năng lực. Nếu ta đang đối mặt với những hệ thống có năng lực vượt trội hơn ta rất nhiều, khả năng điều chỉnh lại hướng đi của ta sẽ trở nên không đáng kể.

Tự cải thiện đệ quy [recursive self-improvement] tạo ra một "điểm không thể quay đầu" [point of no return], nơi các biện pháp an toàn trở nên lỗi thời nhanh hơn tốc độ con người có thể phát triển những biện pháp mới. Một hệ thống phát hiện ra những cải tiến thuật toán căn bản có thể đạt được năng lực siêu trí tuệ trên mọi lĩnh vực chỉ trong vài tuần. Một hệ thống như vậy có thể đồng thời phát triển các công nghệ vũ khí mới, xâm nhập hạ tầng toàn cầu qua các cuộc tấn công mạng vượt quá mọi năng lực phòng thủ của con người, và điều phối các chiến dịch thao túng phức tạp trên mọi kênh thông tin. Ta không thể lường trước những chiến lược mà một hệ thống tự cải thiện đệ quy sẽ phát triển, chỉ biết rằng chúng sẽ tận dụng đồng thời mọi năng lực lợi dụng sai mục đích. Tính chí mạng nảy sinh từ chênh lệch tốc độ khiến phản ứng của con người trở nên bất khả thi — trong khi những người ra quyết định cần vài ngày hoặc vài tuần để hiểu các mối đe dọa và phối hợp phản ứng, một hệ thống siêu trí tuệ có thể thực hiện các cuộc tấn công hạ tầng trên toàn thế giới, triển khai nhiều vũ khí sinh học, và thiết lập quyền kiểm soát không thể đảo ngược đối với các nguồn lực trọng yếu chỉ trong vài giờ.

Chú thích

³ Chúng tôi tập trung nhiều hơn vào các tác nhân học tăng cường (RL) thay vì cụ thể vào các mô hình ngôn ngữ lớn (LLM). Rất có thể tương lai sẽ liên quan đến các khung tác nhân hướng-mục-tiêu (goal-directed agent scaffolds) được xây dựng quanh các LLM (Tegmark, 2024 (mở trong tab mới); Cotra 2023 (mở trong tab mới); Aschenbrenner 2024 (mở trong tab mới)). Về cơ bản chúng tôi sẽ xem các tác nhân LLM có một "lớp vỏ" RL bên ngoài là tương đương về mặt chức năng với một tác nhân RL thuần túy.

⁴ Một danh sách dài các ví dụ quan sát được về đánh lừa đặc tả được tổng hợp tại đường link này (mở trong tab mới).