Chương 3.4: Chiến lược an toàn ASI

Một khi AI trở thành siêu trí tuệ, việc giám sát của con người và khắc phục mất căn chỉnh theo kiểu lặp lại trở nên bất khả thi. An toàn ASI đòi hỏi những chiến lược khác, như tự động hóa nghiên cứu căn chỉnh, thiết kế các hệ thống an toàn ngay từ bản chất, hay theo đuổi phối hợp và răn đe ở tầm quốc tế.

Siêu trí tuệ nhân tạo (Artificial Superintelligence, ASI) là các hệ thống AI vượt trội đáng kể so với năng lực nhận thức của con người trên hầu như mọi lĩnh vực đáng quan tâm. Khả năng xuất hiện của ASI đặt ra những thách thức an toàn có thể khác biệt về bản chất so với những thách thức mà AGI đặt ra. Các chiến lược an toàn ASI thường mang tính suy đoán nhiều hơn.

Các chiến lược an toàn AGI thường vận hành dựa trên giả định rằng việc giám sát của con người vẫn còn khả thi. Tuy nhiên, một khi năng lực AI vượt xa năng lực của chúng ta, giả định này sụp đổ. Các chiến lược an toàn ASI phải đối mặt với một thế giới mà chúng ta không còn có thể trực tiếp giám sát hay hiểu được những hệ thống mà chính mình đã tạo ra.

Ngay cả khi các chuyên gia còn chưa chắc chắn liệu việc tạo ra một AI ở trình độ con người được căn chỉnh có đòi hỏi một sự thay đổi hệ hình (paradigm shift) hay không, sự đồng thuận giữa các nhà nghiên cứu an toàn AI là việc phát triển những siêu trí tuệ được căn chỉnh đòi hỏi một giải pháp riêng biệt, và nhiều khả năng là một hệ hình hoàn toàn mới, do một số yếu tố sau:

• Có khả năng rất cao rằng con người không phải là đỉnh cao của trí tuệ khả dĩ. Nhận định này hàm ý rằng một siêu trí tuệ có thể sở hữu năng lực nhận thức tiên tiến đến mức việc căn chỉnh nó theo giá trị và ý định của con người có thể là một nhiệm vụ bất khả thi, vì hiểu biết và phương pháp hiện tại của chúng ta có thể không đủ để đảm bảo căn chỉnh nó. Khoảng cách nhận thức giữa một siêu trí tuệ và con người có thể tương tự như khoảng cách giữa một con kiến và con người. Cũng như con người có thể dễ dàng thoát khỏi những ràng buộc mà một con kiến có thể tưởng tượng ra, một siêu trí tuệ cũng có thể dễ dàng vượt qua bất kỳ biện pháp bảo vệ nào chúng ta cố gắng áp đặt.
• Học sâu chỉ mang lại khả năng kiểm soát và hiểu biết tối thiểu đối với mô hình đã học được. Phương pháp này khiến AI trở thành một "hộp đen", nơi quá trình ra quyết định của nó mờ đục và không được hiểu rõ. Nếu không có những tiến bộ đáng kể về khả năng diễn giải, một siêu trí tuệ chỉ được tạo ra bằng học sâu sẽ mờ đục.

Dư địa cho sai sót gần như không có, và mức độ rủi ro là vô cùng lớn. Một siêu trí tuệ mất căn chỉnh có thể dẫn đến những hậu quả thảm khốc, thậm chí mang tính hiện sinh. Hệ quả không thể đảo ngược của việc giải phóng một siêu trí tuệ mất căn chỉnh có nghĩa là chúng ta phải tiếp cận việc phát triển nó với sự thận trọng tối đa, đảm bảo nó căn chỉnh với giá trị và ý định của chúng ta mà không có sai sót.

Căn chỉnh ASI thừa hưởng tất cả các yêu cầu của AGI, đồng thời đặt ra những thách thức khó khăn hơn về bản chất. Một hệ thống siêu trí tuệ không đáp ứng được những yêu cầu cơ bản về độ bền vững, khả năng mở rộng quy mô, tính khả thi, hay khả năng được áp dụng sẽ vô cùng nguy hiểm. Tuy nhiên, việc đáp ứng những yêu cầu ở cấp độ AGI trở thành điều kiện cần nhưng chưa đủ đối với an toàn ASI. Khác biệt cốt lõi là các hệ thống siêu trí tuệ sẽ vận hành vượt ra ngoài khả năng hiểu biết và giám sát của con người, tạo ra những thách thức an toàn khác biệt về bản chất.

Sự giám sát của con người trở nên hoàn toàn không đủ ở mức trí tuệ siêu phàm. Khi các hệ thống AI vượt qua năng lực con người trên hầu hết các lĩnh vực, chúng ta mất đi khả năng đánh giá suy luận của chúng, xác minh đầu ra của chúng, hay đưa ra phản hồi có ý nghĩa (Yudkowsky, 2022 (mở trong tab mới)). Một hệ thống siêu trí tuệ có thể thuyết phục con người rằng những kế hoạch gây hại của nó thực chất có lợi, hoặc vận hành trong những lĩnh vực mà con người không thể hiểu được hậu quả hành động của nó. Điều này có nghĩa là các giải pháp căn chỉnh ASI không thể dựa vào phán đoán của con người như một cơ chế an toàn, mà phải phát triển những hình thức giám sát có khả năng mở rộng, hoạt động được vượt ra ngoài giới hạn nhận thức của con người.

Chúng ta có lẽ chỉ có một cơ hội duy nhất để căn chỉnh một hệ thống siêu trí tuệ, trước khi nó trở nên quá năng lực để có thể ngăn chặn hay sửa chữa. Yêu cầu "một lần duy nhất" (one-shot) này bắt nguồn từ khả năng năng lực tăng nhanh, có thể khiến một hệ thống mất căn chỉnh trở nên không thể tắt hay chỉnh sửa được (Soares, 2022 (mở trong tab mới); Yudkowsky, 2022 (mở trong tab mới)). Một khi một hệ thống trở nên đủ thông minh hơn con người, nó có thể thao túng quá trình huấn luyện của chính mình, lừa dối người vận hành, hoặc chống lại những nỗ lực chỉnh sửa. Tuy nhiên, yêu cầu này phụ thuộc vào những giả định còn gây tranh cãi về tốc độ cất cánh (takeoff speed) — một số nhà nghiên cứu lập luận cho một quá trình phát triển từ từ hơn, cho phép lặp lại và sửa chữa (Christiano, 2022 (mở trong tab mới)). Bất đồng này có những hệ quả lớn đối với các chiến lược giải pháp: nếu cất cánh nhanh là khả năng cao, chúng ta cần những giải pháp căn chỉnh hoạt động hoàn hảo ngay từ đầu; nhưng nếu quá trình phát triển diễn ra từ từ, chúng ta có thể tập trung vào việc duy trì kiểm soát của con người xuyên suốt quá trình chuyển tiếp.

Bảo toàn giá trị vĩnh viễn xuyên suốt các chu kỳ tự chỉnh sửa không giới hạn. Các hệ thống siêu trí tuệ có thể tự cải thiện năng lực của chính mình một cách đệ quy, có khả năng viết lại hoàn toàn các thuật toán cốt lõi, cấu trúc mục tiêu, và quá trình suy luận của chúng (Yudkowsky, 2022 (mở trong tab mới)). Giải pháp căn chỉnh phải đảm bảo giá trị con người vẫn ổn định và được ưu tiên xuyên suốt các chu kỳ tự cải thiện không giới hạn, ngay cả khi hệ thống trở nên xa lạ về mặt nhận thức đối với chúng ta. Điều này tạo ra một thách thức kỹ thuật độc đáo: thiết kế những cơ chế căn chỉnh đủ vững chắc để tồn tại qua những lần chỉnh sửa bởi một trí tuệ có thể vượt trội hơn trình độ con người nhiều bậc độ lớn. Khác với vấn đề "một lần duy nhất" — vốn liên quan đến việc triển khai ban đầu — đây là vấn đề duy trì căn chỉnh vô thời hạn khi hệ thống tiếp tục tiến hóa.

Kiểm soát những hệ thống có quyền lực và tầm ảnh hưởng ở quy mô văn minh. Một hệ thống siêu trí tuệ nhiều khả năng sẽ có năng lực công nghệ và tầm ảnh hưởng khổng lồ đối với nền văn minh nhân loại — có thể phát triển công nghệ nano tiên tiến, những kỹ thuật thao túng mới, hoặc định hình lại các thể chế và văn hóa theo thời gian (Yudkowsky, 2022 (mở trong tab mới)). Giải pháp căn chỉnh phải duy trì quyền tự quyết và sự an toàn của con người, ngay cả khi về mặt lý thuyết hệ thống có thể áp đảo mọi thể chế của con người, đồng thời ngăn ngừa những kịch bản mà hệ thống dần dần thay đổi những gì con người coi trọng, hoặc tạo ra sự phụ thuộc làm suy yếu quyền tự định hướng của con người. Thách thức này đòi hỏi những giải pháp bảo toàn sự thịnh vượng của con người không chỉ trong những tương tác trước mắt, mà xuyên suốt quỹ đạo dài hạn của nền văn minh nhân loại.

Hành động then chốt

Hành động then chốt (pivotal act) là một trong những giải pháp được đề xuất cho vấn đề "giai đoạn rủi ro cấp tính" (acute risk period) trong quá trình phát triển ASI. Mối lo ngại cốt lõi là chúng ta có thể bước vào một giai đoạn mà nhiều cá nhân có khả năng phát triển AI siêu trí tuệ, nhưng chỉ cần một trong số họ mất căn chỉnh hoặc bất cẩn cũng đủ để gây ra thảm họa toàn cầu (Yudkowsky, 2022 (mở trong tab mới)). Vì sự phối hợp tự nguyện giữa các quốc gia và tổ chức cạnh tranh nhau có thể không đủ, một số nhà nghiên cứu lập luận rằng nhóm đầu tiên phát triển được một siêu trí tuệ đã căn chỉnh nên sử dụng nó để chủ động ngăn chặn những nhóm khác tạo ra các hệ thống AI nguy hiểm.

Hành động then chốt được định nghĩa là những hành động mang tính quyết định, chấm dứt vĩnh viễn giai đoạn rủi ro cấp tính. Những hành động này phải đủ mạnh để ngăn bất kỳ cá nhân nào khác phát triển siêu trí tuệ chưa được căn chỉnh, có thể thông qua các can thiệp công nghệ vô hiệu hóa hạ tầng tính toán toàn cầu, thiết lập những thỏa thuận quốc tế không thể phá vỡ, hoặc phát triển những cơ chế khác khiến việc phát triển AI mất kiểm soát trở nên bất khả thi về mặt vật lý (Yudkowsky, 2022 (mở trong tab mới)). Bản chất "then chốt" ở đây có nghĩa là hành động này thay đổi hoàn toàn cục diện chiến lược, chứ không chỉ đơn thuần trì hoãn những cá nhân khác.

Lập luận cho hành động then chốt bắt nguồn từ những thất bại phối hợp và áp lực cạnh tranh. Ngay cả khi phần lớn các nhà phát triển AI ưu tiên an toàn, động lực cạnh tranh giữa các quốc gia và công ty vẫn tạo ra áp lực phải triển khai hệ thống nhanh chóng thay vì an toàn (Yudkowsky, 2022 (mở trong tab mới)). Sự phối hợp quốc tế về phát triển AI đối mặt với những thách thức tương tự như phổ biến vũ khí hạt nhân hay biến đổi khí hậu, nhưng với khả năng ít thời gian hơn để đàm phán giải pháp. Những người ủng hộ lập luận rằng một khi một siêu trí tuệ đã được căn chỉnh tồn tại, việc sử dụng nó để giải quyết bài toán phối hợp này có thể đáng tin cậy hơn là hy vọng tất cả các cá nhân khác sẽ tự nguyện kiềm chế.

Những người phê phán lập luận rằng chiến lược hành động then chốt tạo ra nhiều vấn đề hơn là giải quyết được. Việc lên kế hoạch thực hiện hành động then chốt quân sự hóa việc phát triển AI và tạo động lực cho hành động đơn phương, có khả năng khiến giai đoạn rủi ro cấp tính trở nên nguy hiểm hơn thay vì an toàn hơn (Critch, 2022 (mở trong tab mới)). Những năng lực công nghệ cần thiết cho hành động then chốt có thể cực đoan đến mức việc phát triển chúng lại làm tăng độ khó của bài toán căn chỉnh. Ngoài ra, việc xác định thế nào là một hành động then chốt chính đáng đòi hỏi phải đưa ra những phán đoán về quản trị toàn cầu, mà có thể không phản ánh sự đồng thuận dân chủ.

Các cách tiếp cận thay thế theo hướng "quá trình then chốt" tập trung vào phối hợp phân tán thay vì hành động đơn phương. Thay vì một can thiệp quyết định duy nhất, những chiến lược này liên quan đến việc sử dụng AI đã căn chỉnh để cải thiện quá trình ra quyết định của con người, chứng minh rủi ro một cách thuyết phục, phát triển những cơ chế quản trị tốt hơn, hoặc tiêu thụ những nguồn lực mà AI chưa căn chỉnh có thể sử dụng để mở rộng quy mô nhanh chóng (Critch, 2022 (mở trong tab mới); Christiano, 2022 (mở trong tab mới)). Mục tiêu vẫn là chấm dứt giai đoạn rủi ro cấp tính, nhưng thông qua những quá trình hợp tác, bảo toàn quyền tự quyết của con người trong việc xác định quản trị AI.

Bất đồng này định hình một cách căn bản những gì các giải pháp căn chỉnh ASI nên hướng đến tối ưu hóa. Các chiến lược quá trình then chốt tập trung vào việc phát triển những hệ thống AI được tối ưu hóa cho sự hợp tác, minh bạch, và phối hợp từ từ với các thể chế của con người. Sự lựa chọn giữa hai cách tiếp cận này ảnh hưởng đến mọi thứ, từ ưu tiên nghiên cứu kỹ thuật cho đến chiến lược quản trị.

Bài toán Quả dâu tây và các yêu cầu đối với căn chỉnh ASI

Bài toán quả dâu tây (the strawberry problem) kiểm tra liệu chúng ta có thể đạt được sự kiểm soát chính xác đối với các hệ thống siêu trí tuệ hay không. Thí nghiệm tưởng tượng này đặt câu hỏi: liệu chúng ta có thể tạo ra một hệ thống AI có thể nhân bản chính xác một quả dâu tây đến cấp độ tế bào (nhưng không phải cấp độ phân tử), đặt cả hai quả dâu tây lên một chiếc đĩa, rồi dừng lại hoàn toàn mà không theo đuổi bất kỳ mục tiêu nào khác hay không? Nhiệm vụ tưởng chừng đơn giản này giúp hiểu được những cuộc tranh luận khác nhau về việc các giải pháp căn chỉnh AGI và ASI nên hướng đến đạt được điều gì (Soares, 2022 (mở trong tab mới)). Các chiến lược hành động then chốt đòi hỏi phát triển những hệ thống AI có khả năng thực hiện những can thiệp công nghệ có sức tàn phá lớn trong khi vẫn có thể kiểm soát chính xác — về bản chất là giải quyết bài toán quả dâu tây ở quy mô toàn cầu.

Bài toán quả dâu tây kiểm tra đồng thời ba khía cạnh trọng yếu của việc kiểm soát AI:

• Năng lực (Capability): Tạo ra một bản sao chính xác đến cấp độ tế bào đòi hỏi hiểu biết cực kỳ tiên tiến về sinh học và thao túng vật chất, cho thấy hệ thống thực sự có năng lực mạnh mẽ.
• Tính khả định hướng (Directability): Khiến hệ thống thực hiện chính xác nhiệm vụ cụ thể này, thay vì một việc khác có vẻ liên quan hoặc phù hợp hơn với AI, cho thấy chúng ta có thể định hướng năng lực của nó theo đúng ý muốn.
• Tính dễ điều chỉnh (Corrigibility): Khiến hệ thống thực sự dừng lại sau khi hoàn thành nhiệm vụ, thay vì tiếp tục tối ưu hóa hay theo đuổi những mục tiêu khác, cho thấy nó vẫn nằm dưới sự kiểm soát của con người ngay cả khi có khả năng thực hiện những hành động mang tính chuyển đổi.

Những người ủng hộ lập luận rằng bài toán quả dâu tây đại diện cho mức độ kiểm soát tối thiểu cần thiết cho một siêu trí tuệ an toàn. Nếu chúng ta không thể giải quyết bài toán này, chúng ta không thể triển khai an toàn các hệ thống siêu trí tuệ. Mức độ chính xác cần thiết — dừng lại đúng lúc được yêu cầu, thực hiện đúng nhiệm vụ đã đặc tả — đại diện cho mức độ kiểm soát tối thiểu cần thiết khi xử lý những hệ thống có khả năng định hình lại thế giới. Nếu một hệ thống AI không thể được tin tưởng để nhân bản một quả dâu tây rồi dừng lại, làm sao nó có thể được tin tưởng với những nhiệm vụ phức tạp và có hệ quả lớn hơn? Bài toán này cũng kiểm tra liệu các giải pháp căn chỉnh của chúng ta có thể đặc tả mục tiêu đủ chính xác để tránh hành vi lách đặc tả mục tiêu nguy hiểm hay không.

Những người phê phán lập luận rằng cách tiếp cận này đặt ra một tiêu chuẩn cao không cần thiết, và hiểu sai về giá trị con người. Họ chỉ ra rằng giá trị con người vốn lộn xộn, phụ thuộc ngữ cảnh, và thường mâu thuẫn nhau — chúng ta không muốn những hệ thống AI tuân theo chỉ dẫn một cách máy móc, cứng nhắc, và điều này đặt ra một tiêu chuẩn cao không cần thiết (Turner, 2022 (mở trong tab mới); Pope, 2023 (mở trong tab mới)). Ngoài ra, họ lập luận rằng việc tập trung vào sự kiểm soát chính xác như vậy đối với những nhiệm vụ hẹp đã bỏ lỡ trọng tâm — chúng ta nên thiết kế những hệ thống với mục tiêu vững chắc, có lợi, thay vì cố gắng đạt được sự kiểm soát hoàn hảo đối với những đặc tả tùy ý.

Bất đồng này phản ánh những câu hỏi sâu xa hơn về bản chất của điều gì tính là một giải pháp cho căn chỉnh ASI. Góc nhìn từ bài toán quả dâu tây cho rằng chúng ta cần những kỹ thuật căn chỉnh cung cấp sự kiểm soát và đặc tả cực kỳ chính xác. Góc nhìn thay thế cho rằng nên tập trung vào học giá trị, phát triển AI mang tính hợp tác, và những hệ thống theo đuổi kết quả có lợi một cách vững chắc ngay cả dưới sự bất định về đặc tả. Điều này quy về một bất đồng giữa việc liệu căn chỉnh ASI có đòi hỏi độ chính xác toán học trong đặc tả phần thưởng, hay liệu những cách tiếp cận thực dụng hơn có thể đã đủ.

Tự động hóa Nghiên cứu Căn chỉnh

Chúng ta không biết cách căn chỉnh siêu trí tuệ, vì vậy chúng ta cần đẩy nhanh nghiên cứu căn chỉnh bằng AI. Kế hoạch "Superalignment" (Siêu Căn chỉnh) của OpenAI là đẩy nhanh nghiên cứu căn chỉnh bằng một AI được tạo ra qua học sâu, có năng lực nghiên cứu khoa học nhỉnh hơn con người một chút, và giao phó nhiệm vụ tìm ra kế hoạch cho AI trong tương lai (OpenAI, 2023 (mở trong tab mới)). Chiến lược này thừa nhận một thực tế then chốt: hiểu biết hiện tại của chúng ta về cách căn chỉnh hệ thống AI với giá trị và ý định của con người một cách hoàn hảo vẫn còn chưa đầy đủ. Do đó, kế hoạch đề xuất giao phó nhiệm vụ phức tạp này cho những hệ thống AI trong tương lai. Mục tiêu chính của chiến lược này là đẩy nhanh đáng kể nghiên cứu và phát triển an toàn AI (OpenAI, 2022 (mở trong tab mới)) bằng cách tận dụng những AI có khả năng tư duy cực kỳ nhanh. Một số bậc độ lớn về tốc độ được nêu ra trong bài viết "What will GPT-2030 look like?" (GPT-2030 sẽ trông như thế nào?) (Steinhardt, 2023 (mở trong tab mới)). Kế hoạch của OpenAI thực chất không phải là một kế hoạch, mà là một kế hoạch-về-kế hoạch (meta plan): bước đầu tiên là dùng AI để lập kế hoạch, rồi sau đó thực thi kế hoạch đó.

Tuy nhiên, để thực thi kế hoạch-về-kế hoạch này, chúng ta cần một nhà nghiên cứu AI tự động có thể kiểm soát và định hướng được. OpenAI tin rằng việc tạo ra một nhà nghiên cứu tự động như vậy dễ hơn là giải quyết trọn vẹn bài toán căn chỉnh. Kế hoạch này có thể chia thành ba thành phần chính (OpenAI, 2022 (mở trong tab mới)):

1. Huấn luyện hệ thống AI bằng phản hồi của con người: Tạo ra một trợ lý mạnh mẽ tuân theo phản hồi của con người, rất giống với những kỹ thuật được dùng để "căn chỉnh" các mô hình ngôn ngữ và chatbot. Việc này có thể bao gồm RLHF, chẳng hạn.
2. Huấn luyện hệ thống AI để hỗ trợ đánh giá của con người: Đáng tiếc, RLHF không hoàn hảo vì phản hồi của con người vốn không hoàn hảo. Chúng ta cần phát triển AI có thể giúp con người đưa ra phản hồi chính xác. Đây là việc phát triển những hệ thống AI có thể hỗ trợ con người trong quá trình đánh giá đối với những nhiệm vụ khó ở bất kỳ mức độ nào. Ví dụ, nếu chúng ta cần đánh giá tính khả thi của một kế hoạch căn chỉnh do một nhà nghiên cứu tự động đề xuất và đưa ra phản hồi về nó, chúng ta cần sự hỗ trợ để hoàn thành mục tiêu này một cách dễ dàng. Đúng là việc xác minh nhìn chung dễ hơn việc tạo ra, nhưng vẫn rất khó. Giám sát có khả năng mở rộng sẽ là cần thiết vì lý do sau: hãy tưởng tượng một AI trong tương lai đưa ra một nghìn kế hoạch căn chỉnh khác nhau. Làm sao bạn có thể đánh giá tất cả những kế hoạch phức tạp đó? Đó sẽ là một nhiệm vụ vô cùng khó khăn nếu không có sự hỗ trợ của AI. Xem chương về giám sát có khả năng mở rộng để biết thêm chi tiết.
3. Huấn luyện hệ thống AI để thực hiện nghiên cứu căn chỉnh: Mục tiêu cuối cùng là xây dựng những mô hình ngôn ngữ có khả năng tạo ra nghiên cứu căn chỉnh ở trình độ con người. Đầu ra của những mô hình này có thể là những bài luận bằng ngôn ngữ tự nhiên về căn chỉnh, hoặc mã nguồn triển khai trực tiếp các thí nghiệm. Trong cả hai trường hợp, các nhà nghiên cứu con người sẽ dành thời gian để xem xét nghiên cứu căn chỉnh do máy tạo ra (Flint, 2022 (mở trong tab mới)).

Đẩy nhanh căn chỉnh một cách chênh lệch, chứ không phải năng lực. Mục tiêu là phát triển và triển khai các trợ lý nghiên cứu AI theo cách tối đa hóa tác động của chúng đối với nghiên cứu căn chỉnh, trong khi giảm thiểu tác động của chúng đối với việc đẩy nhanh phát triển AGI (Wasil, 2022 (mở trong tab mới)). OpenAI đã cam kết công khai chia sẻ nghiên cứu căn chỉnh của mình khi điều đó an toàn để làm, với ý định minh bạch về mức độ hiệu quả của các kỹ thuật căn chỉnh của họ trong thực tế (OpenAI, 2022 (mở trong tab mới)). Chúng tôi sẽ bàn thêm về việc đẩy nhanh chênh lệch trong phần về d/acc.

Cyborgism (chủ nghĩa cyborg) có thể tăng cường hiệu quả cho kế hoạch này. Cyborgism là một chương trình nghị sự liên quan đến việc huấn luyện những con người chuyên về kỹ thuật tạo câu lệnh để định hướng các mô hình ngôn ngữ, sao cho chúng có thể thực hiện nghiên cứu căn chỉnh (Kees-Dupuis & Janus, 2023 (mở trong tab mới)). Cụ thể, họ sẽ tập trung vào việc định hướng các mô hình nền (base model) thay vì các mô hình đã qua RLHF. Lý do là các mô hình ngôn ngữ có thể rất sáng tạo và không mang tính hướng-mục-tiêu (goal-directed) (và do đó không nguy hiểm bằng các AI hướng-mục-tiêu đã qua RLHF). Một con người được gọi là "cyborg" có thể đạt được mục tiêu đó bằng cách điều khiển mô hình không hướng-mục-tiêu. Các mô hình hướng-mục-tiêu có thể hữu ích, nhưng có thể quá nguy hiểm. Tuy nhiên, khả năng điều khiển các mô hình nền đòi hỏi sự chuẩn bị, tương tự như việc huấn luyện cần thiết để lái một chiếc xe đua Công thức Một. Động cơ rất mạnh mẽ nhưng khó điều khiển. Bằng cách kết hợp trí tuệ và tính hướng-mục-tiêu của con người với sức mạnh tính toán và sự sáng tạo của các mô hình dựa trên ngôn ngữ, các nhà nghiên cứu theo trường phái cyborgism hướng đến việc tạo ra nhiều nghiên cứu căn chỉnh hơn với các mô hình trong tương lai (Kees-Dupuis & Janus, 2023 (mở trong tab mới)).

Có nhiều lời phê phán và lo ngại về kế hoạch superalignment của OpenAI (Wasil, 2022 (mở trong tab mới); Mowshowitz, 2023 (mở trong tab mới); Christiano, 2023 (mở trong tab mới); Yudkowsky, 2022 (mở trong tab mới); Steiner, 2022 (mở trong tab mới); Ladish, 2023 (mở trong tab mới)). Cần lưu ý rằng kế hoạch của OpenAI chưa được đặc tả rất rõ ràng, và nhiều khả năng OpenAI đã bỏ sót một số điểm mù về hạng mục rủi ro khi công bố kế hoạch của họ trước công chúng. Ví dụ, để kế hoạch superalignment hoạt động, nhiều chi tiết kỹ thuật được giải thích trong bài viết "The case for ensuring that powerful AIs are controlled (mở trong tab mới)" (Lập luận cho việc đảm bảo các AI mạnh được kiểm soát) không phải do OpenAI phát hiện, mà do Redwood Research — một tổ chức nghiên cứu an toàn AI khác — phát hiện một năm sau đó. Rất có khả năng còn nhiều điểm mù khác vẫn tồn tại. Tuy nhiên, chúng tôi muốn nhấn mạnh rằng có một kế hoạch công khai vẫn tốt hơn là không có kế hoạch nào, và có thể biện minh cho kế hoạch này ở mức khái quát (Leike, 2022 (mở trong tab mới); Ionut-Cirstea, 2023 (mở trong tab mới)).

Kiểm soát AI có thể được dùng để thực thi chiến lược này. Nói một cách không chính thức, một mục tiêu có thể là "đẩy trách nhiệm" (pass the buck) — tức là an toàn thay thế chính mình bằng AI, thay vì trực tiếp tạo ra một siêu trí tuệ an toàn (Clymer, 2025 (mở trong tab mới)). Việc này có thể liên quan đến một AGI đơn lẻ, có năng lực cao, được giao nhiệm vụ tạo ra một ASI an toàn, hoặc một quá trình lặp lại trong đó mỗi thế hệ AI giúp căn chỉnh thế hệ tiếp theo. Mục tiêu là dùng chính những năng lực khiến AI trở nên nguy hiểm để làm bệ phóng cho các giải pháp an toàn. Chiến lược này mang tính đệ quy và phụ thuộc mấu chốt vào việc AI có thể được tin tưởng đến đâu. Có rủi ro rằng một AGI mất căn chỉnh một cách tinh vi có thể định hướng nghiên cứu căn chỉnh về phía những kết quả không an toàn, hoặc phá hoại toàn bộ quá trình. Hơn nữa, việc xác minh tính đúng đắn của các giải pháp căn chỉnh do một AI đề xuất hiện khá khó khăn (Wentworth, 2025 (mở trong tab mới)). Dù có nhiều tranh luận về các chi tiết cụ thể của kế hoạch này, đây vẫn là đề xuất chi tiết nhất cho đến nay nhằm tạo bệ phóng cho nghiên cứu tự động hóa siêu phàm.

Hồ sơ An toàn như một mục tiêu của tự động hóa

Hồ sơ an toàn (safety case) cung cấp một khung có cấu trúc để lập luận rằng những rủi ro liên quan đến một hệ thống AI ở mức chấp nhận được. Khái niệm này được vay mượn từ ngành kỹ thuật an toàn truyền thống. Hồ sơ an toàn có thể là một trong những mục tiêu của tự động hóa AI, vì chúng có lẽ sẽ không khả thi hoàn toàn trong vài năm tới (Greenblatt, 2025 (mở trong tab mới)) và sẽ hưởng lợi từ việc AI được đẩy nhanh.

• Cấu trúc: Thường sử dụng những khung như Luận điểm-Lập luận-Bằng chứng (Claims-Arguments-Evidence, CAE), hồ sơ an toàn phân rã một tuyên bố an toàn cấp cao (ví dụ, "Hệ thống X an toàn để triển khai") thành những tuyên bố con cụ thể, được hỗ trợ bởi lập luận và củng cố bằng bằng chứng cụ thể (Clymer và cộng sự, 2024 (mở trong tab mới)).
• Áp dụng cho AI: Đối với AI, bằng chứng thường đến từ các đánh giá. Ví dụ, mẫu GovAI Cyber Inability lập luận rằng một mô hình thiếu năng lực tấn công mạng nguy hiểm, bằng cách cho thấy nó thất bại ở những nhiệm vụ đại diện (proxy task) liên quan trong những bối cảnh đánh giá được xác định rõ (Goemans và cộng sự, 2024 (mở trong tab mới)). Hồ sơ an toàn kiểm soát AI tích hợp kết quả từ các đánh giá kiểm soát để lập luận rằng những biện pháp đã triển khai ngăn chặn tác hại một cách đáng tin cậy, ngay cả từ một AI có khả năng đang mưu tính (Korbak và cộng sự, 2025 (mở trong tab mới)). Những khung như Cân bằng, Tích hợp, và Có căn cứ (Balanced, Integrated and Grounded, BIG) hướng đến một lập luận an toàn toàn diện, bao quát cả khía cạnh kỹ thuật lẫn xã hội-kỹ thuật (Habli và cộng sự, 2025 (mở trong tab mới)).
• Mục đích: Hồ sơ an toàn nhằm làm cho các lập luận an toàn trở nên tường minh, minh bạch, và có thể kiểm toán được, hỗ trợ việc ra quyết định nội bộ, giám sát của cơ quan quản lý, và niềm tin của các bên liên quan (Goemans và cộng sự, 2024 (mở trong tab mới)). Chúng đại diện cho một sự chuyển dịch hướng tới việc đòi hỏi bằng chứng tích cực về an toàn, thay vì chỉ đơn thuần là thiếu vắng bằng chứng về nguy hiểm (Wasil và cộng sự, 2024 (mở trong tab mới)).

An toàn theo Thiết kế

Học sâu có thể có nhiều dạng thất bại không thể vá được (OpenAI, 2023 (mở trong tab mới)). Các lập luận lý thuyết cho thấy những mô hình ngày càng mạnh mẽ này có nhiều khả năng gặp vấn đề căn chỉnh hơn (Turner và cộng sự, 2023 (mở trong tab mới)), đến mức có vẻ như hệ hình mô hình nền tảng nguyên khối (monolithic) chắc chắn sẽ không an toàn (El-Mhamdi và cộng sự, 2023 (mở trong tab mới)). Tất cả những điều này lý giải cho việc tìm kiếm một hệ hình mới, an toàn hơn.

AI an toàn theo thiết kế có thể là điều cần thiết. Vì hệ hình học sâu hiện tại nổi tiếng là khó phát triển những mô hình có thể giải thích và đáng tin cậy, việc tìm hiểu cách tạo ra những mô hình dễ giải thích và dễ định hướng hơn theo thiết kế, được xây dựng trên những thành phần đã được hiểu rõ và nền tảng chặt chẽ, có vẻ đáng để theo đuổi. Điều này nhằm đưa an toàn AI đến gần hơn với những tiêu chuẩn nghiêm ngặt của kỹ thuật an toàn trọng yếu trong những lĩnh vực như hàng không hay điện hạt nhân.

Một nhóm chiến lược khác hướng đến việc xây dựng các hệ thống ASI với những đặc tính an toàn nội tại, thường dựa vào các phương pháp hình thức (formal methods) hoặc những ràng buộc kiến trúc cụ thể, có khả năng cung cấp những đảm bảo mạnh mẽ hơn so với chỉ riêng kiểm thử thực nghiệm.

Không có nhiều chương trình nghị sự cố gắng đưa ra một giải pháp trọn vẹn (end-to-end) cho căn chỉnh, nhưng dưới đây là một số ví dụ.

• Kiến trúc Tác nhân Mở (Open Agency Architecture): Về cơ bản, tạo ra một mô phỏng thế giới cực kỳ chân thực bằng cách dùng LLM tương lai để lập trình nó. Sau đó, xác định một số ràng buộc an ninh áp dụng cho mô phỏng này. Tiếp theo, huấn luyện một AI trên mô phỏng đó và sử dụng kiểm chứng hình thức (formal verification) để đảm bảo AI không bao giờ làm điều xấu. Khung AI An toàn Được Đảm bảo (Guaranteed Safe AI, GSAI) bao gồm ba thành phần: một mô hình thế giới hình thức mô tả tác động của hệ thống, một đặc tả an toàn xác định những kết quả chấp nhận được, và một bộ kiểm chứng tạo ra một chứng chỉ chứng minh (proof certificate) đảm bảo AI tuân thủ đặc tả trong giới hạn của mô hình. Đề xuất này có thể có vẻ cực đoan vì việc tạo ra một mô phỏng chi tiết của thế giới không hề dễ dàng, nhưng kế hoạch này rất chi tiết, và nếu thành công, sẽ là một giải pháp thực sự cho căn chỉnh, và có thể là một giải pháp thay thế thực sự cho việc chỉ đơn thuần mở rộng quy mô LLM. Davidad đang dẫn dắt một chương trình tại ARIA để cố gắng mở rộng quy mô hướng nghiên cứu này (Dalrymple, 2022 (mở trong tab mới)).
• Hệ thống được chứng minh là an toàn (provably safe systems): Những kế hoạch này đặt các chứng minh toán học làm nền tảng cốt lõi cho an toàn. Một AI sẽ cần phải là Mã mang Chứng minh (Proof-Carrying Code), nghĩa là nó cần phải giống như một Ngôn ngữ Lập trình Xác suất (Probabilistic Programming Language) (chứ không chỉ đơn thuần là học sâu). Đề xuất này nhằm làm cho không chỉ AI mà toàn bộ hạ tầng trở nên an toàn, ví dụ, bằng cách thiết kế những GPU chỉ có thể thực thi những chương trình đã được chứng minh. Họ nói về AGI, nhưng trên thực tế, kế hoạch của họ đặc biệt hữu ích cho ASI. (Tegmark & Omohundro, 2023 (mở trong tab mới))

Những đề xuất khác cho một hệ thống an toàn theo thiết kế bao gồm Chương trình Nghị sự Lý thuyết Học tập (The Learning-Theoretic Agenda), của Vanessa Kosoy (Kosoy, 2023 (mở trong tab mới)), và kế hoạch căn chỉnh QACI của Tamsin Leake (Leake, 2023 (mở trong tab mới)). Đề xuất CoEm của Conjecture cũng có thể xếp vào nhóm này, dù đề xuất này ít mang tính toán học hơn.

Đáng tiếc, tất cả những kế hoạch này ngày nay còn lâu mới hoàn thiện. Những lời phê phán tập trung vào độ khó của việc tạo ra những mô hình thế giới chính xác ("bản đồ không phải là lãnh thổ"), việc đặc tả một cách hình thức những đặc tính an toàn phức tạp như "tác hại", và tính khả thi thực tiễn của việc kiểm chứng đối với những hệ thống cực kỳ phức tạp. Một sự bảo vệ cho nhiều ý tưởng cốt lõi được trình bày trong bài viết "In response to critiques of Guaranteed Safe AI" (Phản hồi những phê phán về Guaranteed Safe AI) (Ammann, 2025 (mở trong tab mới)).

Những kế hoạch này là những chương trình nghị sự an toàn với ràng buộc được nới lỏng, tức là chúng cho phép nhà phát triển AGI phải chịu một mức thuế căn chỉnh đáng kể. Những người thiết kế chương trình nghị sự an toàn AI thường thận trọng để không làm tăng thuế căn chỉnh, nhằm đảm bảo các phòng thí nghiệm sẽ triển khai những biện pháp an toàn này. Tuy nhiên, những chương trình nghị sự trong phần này chấp nhận một mức thuế căn chỉnh cao hơn. Ví dụ, CoEm đại diện cho một sự thay đổi hệ hình trong việc tạo ra các hệ thống AI tiên tiến, với giả định rằng bạn đang kiểm soát được quá trình tạo ra nó.

Những kế hoạch này sẽ đòi hỏi sự hợp tác quốc tế. Ví dụ, kế hoạch của Davidad cũng bao gồm một mô hình quản trị dựa vào hợp tác quốc tế. Bạn cũng có thể đọc bài viết "Davidad's Bold Plan for Alignment (mở trong tab mới)" (Kế hoạch Táo bạo của Davidad cho Căn chỉnh), trong đó trình bày chi tiết hơn những kỳ vọng ở tầm cao. Một góc nhìn khác có thể tìm thấy trong bài viết (mở trong tab mới) của Alexandre Variengien, trình bày chi tiết tầm nhìn của Conjecture, với một ngoại tác rất tích cực là sự thay đổi trong câu chuyện chung (narrative).

Lý tưởng nhất, chúng ta sẽ sống trong một thế giới nơi ta phóng những AI đã căn chỉnh giống như cách ta đã phóng Trạm Vũ trụ Quốc tế hay Kính viễn vọng Không gian James Webb (Segerie & Kolly, 2023 (mở trong tab mới)).

Phối hợp Toàn cầu

Để đảm bảo sự phát triển của AI mang lại lợi ích cho toàn xã hội, việc thiết lập một sự đồng thuận toàn cầu về giảm thiểu những rủi ro cực đoan liên quan đến các mô hình AI có thể là điều quan trọng. Có thể sẽ khả thi để phối hợp nhằm tránh tạo ra những mô hình gây ra rủi ro cực đoan, cho đến khi có sự đồng thuận về cách giảm thiểu những rủi ro này.

Lệnh tạm hoãn toàn cầu (global moratorium) — Trì hoãn ASI ít nhất một thập kỷ. Có một sự đánh đổi giữa việc tạo ra trí tuệ siêu phàm ngay bây giờ hay sau này. Dĩ nhiên, chúng ta có thể hướng đến việc phát triển ASI càng sớm càng tốt. Điều này có thể giúp giải quyết ung thư, các bệnh tim mạch liên quan đến lão hóa, và thậm chí cả vấn đề biến đổi khí hậu. Câu hỏi đặt ra là liệu có nên hướng đến việc xây dựng một ASI trong thập kỷ tới hay không, đặc biệt khi cựu đồng trưởng nhóm Super Alignment của OpenAI, Jan Leike, từng nói rằng xác suất tận thế (P(Doom)) theo ông nằm trong khoảng 10 đến 90%. Một danh sách P(Doom) của những nhân vật có tiếng có sẵn tại đây (PauseAI, 2024 (mở trong tab mới)). Có thể sẽ tốt hơn nếu chờ thêm vài năm để xác suất thất bại giảm xuống mức hợp lý hơn. Một chiến lược có thể là thảo luận công khai về sự đánh đổi này và đưa ra một lựa chọn dân chủ, minh bạch. Con đường này có vẻ khó xảy ra theo quỹ đạo hiện tại, nhưng có thể xảy ra nếu có một "phát súng cảnh báo" quy mô lớn. Đây là lập trường được PauseAI và StopAI ủng hộ (PauseAI, 2023 (mở trong tab mới)). Những thách thức bao gồm việc xác minh, thực thi đối với những bên không tham gia (như Trung Quốc), khả năng phát triển bất hợp pháp, và tính khả thi về mặt chính trị. Scott Alexander đã tóm tắt tất cả các biến thể và cuộc tranh luận xoay quanh việc tạm hoãn AI (Alexander, 2023 (mở trong tab mới)).

AI Công cụ (Tool AI) thay vì AGI. Thay vì xây dựng ASI, chúng ta có thể tập trung vào việc phát triển những hệ thống AI chuyên biệt (không tổng quát), không mang tính tác nhân (non-agentic), cho những ứng dụng có lợi như nghiên cứu y học (Cao và cộng sự, 2023 (mở trong tab mới)), dự báo thời tiết (Lam và cộng sự, 2023 (mở trong tab mới)), và khoa học vật liệu (Merchant và cộng sự, 2023 (mở trong tab mới)). Những hệ thống AI chuyên biệt này có thể thúc đẩy đáng kể các lĩnh vực tương ứng của chúng mà không gặp phải những rủi ro liên quan đến việc tạo ra AI tự chủ, cực kỳ tiên tiến. Ví dụ, AlphaGeometry có khả năng đạt mức Huy chương Vàng trong các bài toán hình học từ Olympic Toán Quốc tế. Bằng cách ưu tiên các mô hình không mang tính tác nhân, chúng ta có thể khai thác độ chính xác và hiệu quả của AI trong khi tránh được những dạng thất bại nguy hiểm nhất. Đây là lập trường của Future of Life Institute, và chiến dịch "Keep The Future Human" (Giữ cho Tương lai Vẫn là của Con người) của họ, cho đến nay là đề xuất chi tiết nhất cho hướng đi này (Aguirre, 2025 (mở trong tab mới)).

Một CERN duy nhất cho AI. Đề xuất này hình dung một thể chế nghiên cứu quốc tế quy mô lớn, theo mô hình CERN, chuyên về phát triển AI tối tân. Đây có thể là một lối thoát thanh lịch khỏi cuộc đua đến AGI, mang lại đủ thời gian để tạo ra AGI một cách an toàn mà không phải cắt xén các bước do áp lực cạnh tranh. Những mục tiêu bổ sung tiềm năng bao gồm gộp chung nguồn lực (đặc biệt là năng lực tính toán), thúc đẩy hợp tác quốc tế, và đảm bảo phù hợp với các giá trị dân chủ, có thể đóng vai trò như một giải pháp thay thế cho việc phát triển ASI hoàn toàn theo hướng quốc gia hoặc doanh nghiệp. Những người ủng hộ cách tiếp cận này bao gồm ControlAI và "Narrow Path" (Con đường Hẹp) của họ (Miotti và cộng sự, 2024 (mở trong tab mới)). Narrow Path đề xuất một cách tiếp cận hai giai đoạn: đầu tiên, một lệnh tạm hoãn được thực thi ở tầm quốc tế đối với phát triển AI tối tân, nhằm chặn đứng cuộc đua; thứ hai, sử dụng khoảng thời gian đó để xây dựng một thể chế đa phương như MAGIC, giám sát toàn bộ quá trình phát triển AGI/ASI trong tương lai theo những giao thức nghiêm ngặt, được chia sẻ chung. Thể chế kiểu CERN này sẽ là nền tảng của sự phối hợp quốc tế này (mà họ gọi là MAGIC trong kế hoạch của mình — Multilateral AGI Consortium, Tổ hợp AGI Đa phương — nơi AI được phát triển dưới sự kiểm soát an ninh nghiêm ngặt và đa phương).

Lưu ý rằng MAGIC trong Narrow Path sẽ là một cơ quan tập trung và mang tính độc quyền, quản lý các giai đoạn cuối cùng của quá trình phát triển AGI, trong khi nhiều đề xuất "CERN cho AI" khác, như đề xuất từ Center for Future Generations, lại tập trung vào việc tạo ra một phòng thí nghiệm mới cho các cường quốc bậc trung như châu Âu (CFG, 2025 (mở trong tab mới)).

Hy vọng của tôi là, bạn biết đấy, tôi đã nói nhiều trong quá khứ về một dạng thiết lập kiểu CERN cho AGI, về cơ bản là một sự hợp tác nghiên cứu quốc tế cho những bước cuối cùng mà chúng ta cần thực hiện để hướng tới việc xây dựng những AGI đầu tiên — Demis Hassabis

CERN so với Intelsat cho AI. Một mô hình thay thế là mô hình Intelsat, tổ hợp quốc tế được thành lập vào những năm 1960 để quản lý việc triển khai thông tin liên lạc vệ tinh toàn cầu. Khác với CERN — một mô hình cho nghiên cứu hợp tác — Intelsat được tạo ra để quản lý một công nghệ vận hành chung, có giá trị thương mại và chiến lược to lớn. Vào thời điểm đó, có nguy cơ một siêu cường duy nhất sẽ độc quyền công nghệ vệ tinh. Intelsat đã giải quyết vấn đề này bằng cách tạo ra một tổ chức dựa trên hiệp ước quốc tế, gộp chung nguồn lực, chia sẻ quyền truy cập vào công nghệ, và phân phối lợi ích của nó giữa các quốc gia thành viên. Khung mới nổi này, được đề xuất bởi (MacAskill và cộng sự, 2025 (mở trong tab mới)), cũng có thể liên quan đến AGI, vì thách thức chính không chỉ là khám phá khoa học thuần túy, mà còn là quản lý cuộc đua cạnh tranh gay gắt đối với một công nghệ lưỡng dụng và ngăn một cá nhân duy nhất đạt được thế độc quyền nguy hiểm. Trong khi một cơ quan kiểu CERN giải quyết nhu cầu nghiên cứu an toàn hợp tác, và MAGIC giải quyết vấn đề cạnh tranh và động lực, một cơ quan kiểu Intelsat sẽ tập trung vào quản trị chung, tiếp cận công bằng, và ổn định chiến lược.

Tóm lại, CERN phù hợp nhất cho hợp tác nghiên cứu trước-AGI/ASI về các vấn đề an toàn. Đây là một mô hình khoa học. MAGIC (trong Narrow Path) phù hợp cho giai đoạn phát triển và triển khai cuối cùng, mang tính độc quyền của ASI đầu tiên. Đây là một mô hình kiểm soát/độc quyền. Intelsat hướng đến quản trị một công nghệ lưỡng dụng đã được triển khai, có tác động toàn cầu, nơi việc ngăn chặn một cuộc đua và đảm bảo quyền truy cập/lợi ích được chia sẻ là yếu tố then chốt. Đây là một mô hình quản trị địa chính trị/thương mại.

Huyền thoại về tính tất yếu. Lịch sử cho thấy hợp tác quốc tế về những rủi ro có mức độ đặt cược cao hoàn toàn khả thi. Khi cái giá của việc không hành động là quá thảm khốc, nhân loại đã nhất quán cùng nhau thiết lập những quy tắc ràng buộc và có thể xác minh được, để ngăn ngừa thảm họa toàn cầu hay những tổn hại sâu sắc đến phẩm giá con người. Hiệp ước Không phổ biến Vũ khí Hạt nhân (mở trong tab mới) (1968) và Công ước Vũ khí Sinh học (mở trong tab mới) (1975) đã được đàm phán và phê chuẩn ngay giữa đỉnh điểm Chiến tranh Lạnh, chứng minh rằng hợp tác vẫn khả thi bất chấp sự ngờ vực và thù địch lẫn nhau. Nghị định thư Montreal (mở trong tab mới) (1987) đã ngăn chặn một thảm họa môi trường toàn cầu bằng cách loại bỏ dần các chất làm suy giảm tầng ozone, và Tuyên bố của Liên Hợp Quốc về Nhân bản Con người (mở trong tab mới) (2005) đã thiết lập một chuẩn mực toàn cầu quan trọng để bảo vệ phẩm giá con người trước những tác hại tiềm tàng của nhân bản sinh sản. Trước những mối đe dọa toàn cầu, không thể đảo ngược, và không phân biệt biên giới, hợp tác quốc tế (mở trong tab mới) là hình thức hợp lý nhất của lợi ích quốc gia.

Răn đe

Hỏng hóc AI Được Đảm bảo Lẫn nhau (Mutual Assured AI Malfunction, MAIM) là một chế độ răn đe, trong đó bất kỳ nỗ lực đơn phương nào của một quốc gia nhằm thống trị ASI đều sẽ bị các đối thủ đáp trả bằng hành động phá hoại. Khác với nhiều cách tiếp cận an toàn chỉ tập trung vào các giải pháp kỹ thuật, MAIM thừa nhận môi trường quốc tế vốn mang tính cạnh tranh, nơi diễn ra sự phát triển AI. Nó kết hợp răn đe (MAIM) với các nỗ lực chống phổ biến và khung năng lực cạnh tranh quốc gia, xem sự phát triển ASI về bản chất mang tính địa chính trị và đòi hỏi sự quản lý chiến lược ở cấp nhà nước. Khung này không trông chờ vào hợp tác toàn cầu, mà thay vào đó tạo ra những động lực gắn kết lợi ích quốc gia với an toàn toàn cầu (Hendrycks và cộng sự, 2025 (mở trong tab mới)).

Một cuộc đua giành ưu thế nhờ AI gây nguy hiểm cho mọi quốc gia. Nếu, trong một nỗ lực vội vã để giành ưu thế, một quốc gia vô tình mất kiểm soát AI của mình, điều đó sẽ đe dọa an ninh của tất cả các quốc gia khác. Ngược lại, nếu chính quốc gia đó thành công trong việc tạo ra và kiểm soát một AI cực kỳ có năng lực, điều đó cũng tạo ra mối đe dọa trực tiếp đến sự tồn vong của các quốc gia đồng cấp. Trong cả hai trường hợp, các quốc gia muốn bảo vệ sự tồn vong của chính mình có thể đe dọa phá hoại những dự án AI gây bất ổn, nhằm mục đích răn đe. Một quốc gia có thể tìm cách phá vỡ một dự án AI như vậy bằng những can thiệp từ hoạt động bí mật làm suy giảm các đợt huấn luyện, cho đến thiệt hại vật lý làm vô hiệu hóa hạ tầng AI.

Răn đe MAIM có thể là một chế độ ổn định, tương tự như Hủy diệt Được Đảm bảo Lẫn nhau (MAD) trong lĩnh vực hạt nhân. Trong một kịch bản MAIM, các quốc gia sẽ xác định những dự án AI gây bất ổn và sử dụng những can thiệp từ hoạt động bí mật làm suy giảm các đợt huấn luyện, cho đến thiệt hại vật lý làm vô hiệu hóa hạ tầng AI. Điều này thiết lập một động lực tương tự như MAD trong lĩnh vực hạt nhân, trong đó không cường quốc nào dám cố gắng giành độc quyền chiến lược một cách trắng trợn. Nền tảng lý thuyết của MAIM dựa vào một nấc thang leo thang rõ ràng, việc bố trí chiến lược hạ tầng AI tránh xa các trung tâm dân cư, và tính minh bạch trong hoạt động của các trung tâm dữ liệu. Bằng cách khiến cái giá của việc phát triển AI đơn phương vượt quá lợi ích thu được, MAIM tạo ra một chế độ răn đe có khả năng ổn định, có thể ngăn ngừa những cuộc đua AI nguy hiểm mà không cần đến sự hợp tác toàn cầu hoàn hảo.

MAIM có thể bị suy yếu bởi những bất định công nghệ căn bản. Khác với vũ khí hạt nhân — nơi việc phát hiện khá đơn giản và năng lực phản công đợt hai (second-strike capability) được bảo toàn — sự phát triển ASI đặt ra những thách thức riêng biệt đối với mô hình răn đe (Mowshowitz, 2025 (mở trong tab mới)). Không có một "chuông báo cháy" (fire alarm) rõ ràng nào cho sự phát triển ASI — không ai biết chính xác một mạng neural cần bao nhiêu nút (node) để khởi động một chuỗi tự cải thiện dẫn đến siêu trí tuệ. Sự mơ hồ xung quanh những ngưỡng dẫn đến sự xuất hiện của ASI khiến việc thiết lập những lằn ranh đỏ (red line) đáng tin cậy trở nên khó khăn. Ngoài ra, những tiến bộ công nghệ có thể cho phép huấn luyện AI được phân tán hoặc che giấu, khiến việc phát hiện khó khăn hơn nhiều so với những trung tâm dữ liệu đồ sộ, dễ nhận thấy. Những bất định này cuối cùng có thể làm suy yếu hiệu quả của MAIM như một chế độ răn đe.

MAIM giả định rằng các quốc gia sẽ leo thang đến những biện pháp cực đoan trước một mối đe dọa công nghệ còn bất định, điều này mâu thuẫn với tiền lệ lịch sử. Khung MAIM đòi hỏi các quốc gia phải sẵn sàng chấp nhận rủi ro leo thang lớn, có thể bao gồm tấn công quân sự hoặc thậm chí chiến tranh, để ngăn chặn sự phát triển ASI của đối thủ. Tuy nhiên, bằng chứng lịch sử cho thấy các quốc gia hiếm khi thực hiện đến cùng những lời đe dọa như vậy, ngay cả trong những tình huống rõ ràng. Nhiều quốc gia đã phát triển thành công vũ khí hạt nhân bất chấp sự phản đối, với Bắc Triều Tiên là một ví dụ điển hình. Với việc ASI là một mối đe dọa mơ hồ và bất định hơn so với vũ khí hạt nhân, giả định rằng các quốc gia sẽ leo thang đủ mức để thực thi MAIM có vẻ đáng ngờ. Các chính trị gia có thể sẽ ngần ngại chấp nhận rủi ro xung đột toàn cầu chỉ vì một sự vi phạm hiệp ước "đơn thuần", trong một lĩnh vực mà rủi ro hiện sinh vẫn còn mang tính lý thuyết hơn là đã được chứng minh.

Kết quả nhiều khả năng nhất khi nhân loại đối đầu với một trí tuệ siêu phàm thù địch là thất bại hoàn toàn. Những phép ẩn dụ chính xác bao gồm "một đứa trẻ 10 tuổi cố chơi cờ với Stockfish 15", "thế kỷ 11 cố chiến đấu với thế kỷ 21," và "Australopithecus cố chiến đấu với Homo sapiens". — Eliezer Yudkowsky

Đóng cửa Tất cả — Eliezer Yudkowsky

Lập trường "đóng cửa tất cả" (shut it all down), do Eliezer Yudkowsky đề xướng, khẳng định rằng mọi tiến bộ trong nghiên cứu AI nên bị dừng lại, do những rủi ro to lớn mà các công nghệ này có thể gây ra nếu không được căn chỉnh phù hợp với giá trị con người và các biện pháp an toàn (Yudkowsky, 2023 (mở trong tab mới)).

Theo Yudkowsky, sự phát triển của AI tiên tiến, đặc biệt là AGI, có thể dẫn đến một kịch bản thảm khốc nếu không có những biện pháp phòng ngừa an toàn thỏa đáng. Nhiều nhà nghiên cứu nhận thức được thảm họa tiềm tàng này, nhưng cảm thấy bất lực trong việc ngăn chặn đà tiến của nó, do cảm giác không thể hành động đơn phương.

Đề xuất chính sách này bao gồm việc đóng cửa toàn bộ các cụm GPU lớn và các đợt huấn luyện — vốn là xương sống của sự phát triển AI mạnh mẽ. Nó cũng đề xuất áp đặt một giới hạn về năng lực tính toán mà bất kỳ ai có thể sử dụng để huấn luyện một hệ thống AI, và dần dần hạ thấp giới hạn này để bù trừ cho những thuật toán huấn luyện ngày càng hiệu quả hơn. Lệnh cấm này nên được thực thi bằng hành động quân sự nếu cần thiết, nhằm răn đe mọi bên khỏi việc phá vỡ cam kết.

Lập trường này lập luận rằng điều quan trọng là phải tránh một tình huống đua tranh, trong đó các bên khác nhau cố gắng xây dựng AGI nhanh nhất có thể mà không có những cơ chế an toàn thích đáng. Đó là vì một khi AGI được phát triển, nó có thể trở nên không thể kiểm soát được và có thể dẫn đến những thay đổi mạnh mẽ, có khả năng tàn phá thế giới.

Ông cho rằng không nên có ngoại lệ nào đối với việc đóng cửa này, kể cả đối với các chính phủ hay quân đội. Ý tưởng là Hoa Kỳ, chẳng hạn, nên dẫn đầu sáng kiến này để ngăn chặn sự phát triển của một công nghệ nguy hiểm có thể gây ra hậu quả thảm khốc cho tất cả mọi người.

Điều quan trọng cần lưu ý là quan điểm này còn lâu mới trở thành quan điểm đồng thuận, nhưng lập trường "đóng cửa tất cả" nhấn mạnh sự cần thiết phải hết sức thận trọng và cân nhắc kỹ lưỡng những rủi ro tiềm ẩn trong lĩnh vực AI.