Chương 2.8: Phụ lục: Định lượng rủi ro hiện sinh

Phụ lục này trình bày các ước tính của chuyên gia về xác suất chủ quan rằng AI sẽ gây ra một thảm họa hiện sinh cho nhân loại.

P(doom) đại diện cho xác suất chủ quan rằng trí tuệ nhân tạo sẽ gây ra những kết cục thảm họa mang tính hiện sinh cho nhân loại. Thuật ngữ này đã phát triển thành một chỉ số nghiêm túc được các nhà nghiên cứu, nhà hoạch định chính sách, và lãnh đạo ngành sử dụng để thể hiện đánh giá của họ về rủi ro hiện sinh từ AI. Các kịch bản cụ thể được bao hàm trong khái niệm "doom" (diệt vong) có thể khác nhau, nhưng nhìn chung bao gồm sự tuyệt chủng của loài người, việc nhân loại bị mất năng lực vĩnh viễn, hoặc sự sụp đổ của nền văn minh (Field, 2025 (mở trong tab mới)).

Việc định lượng rủi ro hiện sinh phải đối mặt với những thách thức căn bản do bản chất chưa từng có tiền lệ của mối đe dọa này. Khác với các đánh giá rủi ro khác có thể dựa vào dữ liệu lịch sử hoặc bằng chứng thực nghiệm, các ước tính rủi ro hiện sinh từ AI phụ thuộc rất nhiều vào các lập luận lý thuyết, đánh giá chuyên gia, và suy luận về những kịch bản tương lai chưa từng xảy ra. Không có một phương pháp luận chuẩn hóa nào để tính toán P(doom) — mỗi ước tính phản ánh đánh giá chủ quan của cá nhân đó về các yếu tố như mốc thời gian phát triển AI, độ khó của việc căn chỉnh, năng lực quản trị, và các phương thức thất bại tiềm tàng.

Các ước tính của chuyên gia khác biệt rất lớn, trải rộng gần như toàn bộ thang xác suất. Một khảo sát năm 2023 cho thấy các nhà nghiên cứu AI ước tính mức rủi ro tuyệt chủng trung bình là 14,4% trong vòng 100 năm, nhưng các ước tính cá nhân dao động từ gần như bằng không đến gần như chắc chắn (PauseAI, 2025 (mở trong tab mới); Field, 2025 (mở trong tab mới)):

• Roman Yampolskiy: 99,9%
• Eliezer Yudkowsky: >95%
• Dan Hendrycks: >80%
• Paul Christiano: 46%
• Holden Karnofsky: 50%
• Yoshua Bengio: 20%
• Geoffrey Hinton: 10-20%
• Dario Amodei: 10-25%
• Elon Musk: 10-30%
• Vitalik Buterin: 10
• Yann LeCun: <0,01%
• Marc Andreessen: 0%

Sự biến thiên rộng lớn giữa các ước tính cho thấy một số hạn chế quan trọng. Thứ nhất, nhiều chuyên gia không nêu rõ khung thời gian, khiến việc so sánh trở nên khó khăn. Thứ hai, định nghĩa về "diệt vong" (doom) khác nhau giữa thảm họa hiện sinh, tuyệt chủng loài người, hay mất năng lực vĩnh viễn. Thứ ba, các ước tính rất nhạy cảm với các giả định về quỹ đạo phát triển AI, độ khó của việc căn chỉnh, và các phản ứng thể chế. Dù ta không thể tiếp cận bất kỳ xác suất "khách quan" nào về sự diệt vong do AI, ngay cả những ước tính chủ quan của chuyên gia cũng đóng vai trò là đầu vào quan trọng cho việc ưu tiên và ra quyết định chính sách. Khối lượng xác suất đáng kể mà các chuyên gia am hiểu đặt vào các rủi ro thảm họa — bao gồm cả những người đã phát triển ra chính các hệ thống AI tạo ra những rủi ro này — cho thấy các kịch bản rủi ro được mô tả trong chương này xứng đáng được quan tâm nghiêm túc, thay vì bị gạt bỏ như khoa học viễn tưởng.