Chương 2: Rủi ro

Nội dung chính

Chương trước đã khám phá năng lực đang phát triển nhanh chóng của AI thông qua các quy luật mở rộng quy mô [scaling laws], bài học cay đắng [the Bitter Lesson], và các kịch bản cất cánh [takeoff] tiềm năng. Chúng ta đã thấy việc gia tăng năng lực tính toán, dữ liệu và cải tiến thuật toán thúc đẩy năng lực tăng trưởng nhất quán như thế nào trên nhiều lĩnh vực. Nhưng tại sao năng lực ngày càng tăng lại là điều đáng lo ngại? Câu trả lời ngắn gọn là: hệ thống AI càng có năng lực cao thì rủi ro càng lớn.

Năng lực nguy hiểm [dangerous capabilities] là những ví dụ cụ thể cho thấy các xu hướng đã bàn ở chương trước dẫn đến những mối lo ngại như thế nào. Chính những quy luật mở rộng quy mô giúp cải thiện hiệu suất viết mã, tạo văn bản tốt hơn, v.v., cũng có thể tạo điều kiện cho những thứ như lừa dối, thao túng, nhận thức tình huống [situational awareness], tự nhân bản [autonomous replication], và tính hướng đích [goal-directedness]. Một hệ thống AI viết mã giỏi hơn cũng có thể viết mã để tự nhân bản chính nó. Một hệ thống hiểu được sở thích của con người cũng có thể học cách thao túng những sở thích đó. Chính những năng lực thúc đẩy sự tiến bộ của AI lại tự nó tạo ra những nhóm rủi ro mới.

Có thể hiểu rủi ro theo hai chiều: điều gì gây ra rủi ro? Và rủi ro đó nghiêm trọng đến mức nào? Trong cách phân rã theo nguyên nhân, chúng ta phân biệt giữa lợi dụng sai mục đích (con người dùng AI để gây hại), mất căn chỉnh (hệ thống AI theo đuổi những mục tiêu sai lệch), và rủi ro hệ thống [systemic risks] (những tác động nảy sinh từ việc AI được tích hợp vào các hệ thống khác). Mức độ nghiêm trọng trải dài từ những tổn hại cá nhân ảnh hưởng đến từng người cụ thể, cho đến những mối đe dọa hiện sinh có thể làm chệch hướng vĩnh viễn nền văn minh nhân loại. Về cơ bản, phần này giúp bạn thiết lập và phân loại bất kỳ rủi ro nào được nhắc đến trong chương này, cũng như những rủi ro khác có thể phát sinh trong tương lai. Các rủi ro này không tách bạch rõ ràng; phần lớn thường là sự kết hợp của nhiều yếu tố, nhưng việc suy nghĩ theo các nhóm phạm trù này sẽ giúp ích cho việc giải thích.

Rủi ro lợi dụng sai mục đích cho thấy điều gì xảy ra khi con người sử dụng năng lực AI để cố ý gây hại. Chúng ta sẽ xem xét việc phát triển vũ khí sinh học, trong đó AI có thể hỗ trợ thiết kế các mầm bệnh mới; năng lực tấn công mạng có thể tự động hóa các cuộc tấn công vào hạ tầng trọng yếu; vũ khí tự hành loại bỏ sự giám sát của con người khỏi các quyết định sinh tử; và các cuộc tấn công đối nghịch [adversarial attacks] khai thác lỗ hổng của hệ thống AI. Điểm chung là AI xóa bỏ những nút thắt cổ chai trước đây - một cá nhân có động cơ, với sự hỗ trợ của AI, có thể đạt được điều mà trước đây cần cả một đội ngũ chuyên gia cùng nguồn lực đáng kể.

Rủi ro mất căn chỉnh xảy ra khi hệ thống AI theo đuổi những mục tiêu mâu thuẫn với điều chúng ta thực sự mong muốn. Đánh lừa đặc tả [specification gaming] xảy ra khi hệ thống tìm ra những cách không ngờ tới để tối đa hóa hàm mục tiêu của nó - về mặt kỹ thuật thỏa mãn chỉ dẫn của chúng ta nhưng lại vi phạm ý định của chúng ta. Bước ngoặt phản trắc [treacherous turn] là khi hệ thống tỏ ra căn chỉnh trong quá trình huấn luyện nhưng bộc lộ những ưu tiên khác một khi được triển khai với đủ năng lực. Các kịch bản tự cải thiện có thể dẫn đến những bước nhảy vọt về năng lực, vượt quá khả năng của chúng ta trong việc hiểu hoặc kiểm soát các hệ thống này. Đây không phải là những kịch bản khoa học viễn tưởng - chúng ta đã thấy những ví dụ ban đầu ngay trong các hệ thống hiện nay.

Rủi ro hệ thống nảy sinh từ cách AI hòa nhập vào các hệ thống xã hội, kinh tế và chính trị rộng lớn hơn. Tập trung quyền lực [power concentration] xảy ra khi năng lực AI dần rơi vào tay của một số ít cá nhân. Thất nghiệp hàng loạt có thể là hệ quả của việc tự động hóa xóa bỏ vai trò kinh tế của con người. Xói mòn nhận thức luận [epistemic erosion] xảy ra khi nội dung do AI tạo ra khiến việc phân biệt thật giả ngày càng khó khăn. Suy nhược [enfeeblement] phát triển khi con người ngày càng phụ thuộc vào AI cho những công việc nhận thức mà trước đây tự mình đảm nhiệm. Khóa cứng giá trị [value lock-in] có nguy cơ đóng băng các quan điểm đạo đức và chính trị hiện tại trước khi nhân loại kịp phát triển chúng thêm. Những rủi ro này không đòi hỏi bất kỳ hệ thống AI đơn lẻ nào phải "hư hỏng" - chúng nảy sinh từ động lực tập thể.

Yếu tố khuếch đại rủi ro [risk amplifiers] khiến mọi nhóm rủi ro trở nên dễ xảy ra hơn và nghiêm trọng hơn. Động lực chạy đua [race dynamics] tạo áp lực buộc phải triển khai hệ thống trước khi được kiểm định an toàn đầy đủ. Tai nạn vẫn xảy ra dù có thiện chí, khi các hệ thống phức tạp tương tác theo những cách không lường trước. Sự thờ ơ của doanh nghiệp khiến các công ty chấp nhận những rủi ro đã biết khi lợi nhuận bị đe dọa. Thất bại trong phối hợp [coordination failure] ngăn cản hành động tập thể ngay cả khi mọi người đều đồng ý đó là vấn đề. Tính khó lường nghĩa là năng lực AI thường xuất hiện nhanh hơn dự đoán của giới chuyên gia, khiến các biện pháp an toàn luôn đi sau.

Trên thực tế, các nhóm phạm trù này chồng lấn và khuếch đại lẫn nhau. Lợi dụng sai mục đích có thể tạo điều kiện cho mất căn chỉnh bằng cách làm sai lệch quá trình huấn luyện. Áp lực mang tính hệ thống có thể làm trầm trọng thêm tình trạng mất căn chỉnh bằng cách khuyến khích triển khai vội vàng. Yếu tố khuếch đại rủi ro tác động đồng thời đến tất cả các nhóm phạm trù. Phần lớn rủi ro AI trong thực tế sẽ là sự kết hợp của những yếu tố này, chứ không phải là ví dụ thuần túy của một nhóm phạm trù đơn lẻ nào. Hiểu được các mối liên hệ này giúp giải thích tại sao các biện pháp an toàn đơn lẻ, rời rạc thường tỏ ra chưa đủ.

Các chương tiếp theo sẽ xem xét những chiến lược kỹ thuật, cách tiếp cận quản trị, và phương pháp đánh giá cần thiết để xử lý bức tranh rủi ro đan xen này, đồng thời vẫn giữ được tiềm năng to lớn mà AI mang lại cho con người.

Lời cảm ơn

Chúng tôi xin cảm ơn Jeanne Salle, Charles Martinet, Vincent Corruble, Sebastian Gil, Alejandro Acelas, Evander Hammer, Mo Munem, Mateo Rendon, Kieron Kretschmar và Camille Berger vì những phản hồi và đóng góp quý báu của họ.