Chương 3.7: Thách thức

Việc phát triển các chiến lược nhằm đảm bảo an toàn cho những hệ thống AI ngày càng mạnh mẽ đặt ra những thách thức đặc thù và đáng kể. Những khó khăn này bắt nguồn từ chính bản chất của AI, hiện trạng của lĩnh vực nghiên cứu, và sự phức tạp của các rủi ro liên quan.

Chúng ta chưa biết cách huấn luyện các hệ thống để chúng hành xử tốt một cách ổn định. — Anthropic

Bản chất của Vấn đề

Một số đặc tính nội tại khiến an toàn AI trở thành một bài toán đặc biệt khó khăn:

Rủi ro AI là một vấn đề mới nổi và vẫn chưa được hiểu rõ. Rủi ro AI là một lĩnh vực còn khá non trẻ, xoay quanh một công nghệ đang phát triển với tốc độ chóng mặt. Hiểu biết của chúng ta về toàn bộ phổ các kiểu thất bại tiềm ẩn cũng như hậu quả dài hạn vẫn còn chưa đầy đủ. Việc thiết kế những biện pháp bảo vệ vững chắc cho những công nghệ chưa từng tồn tại, nhưng có thể gây ra hậu quả cực kỳ tiêu cực, vốn dĩ là một việc khó khăn.

Lĩnh vực này vẫn đang ở giai đoạn tiền hệ hình (pre-paradigmatic). Hiện tại chưa có một hệ hình duy nhất, được chấp nhận rộng rãi cho an toàn AI. Các nhà nghiên cứu bất đồng quan điểm về những khía cạnh nền tảng, bao gồm cả các mối đe dọa khả dĩ nhất (ví dụ: sự chiếm quyền đột ngột (Yudkowsky, 2022 (mở trong tab mới)) so với sự mất kiểm soát dần dần (Critch, 2021 (mở trong tab mới))), cũng như những hướng giải pháp hứa hẹn nhất. Chương trình nghiên cứu của một số nhà nghiên cứu dường như gần như vô dụng đối với những người khác, và một trong những "thú vui" của các nhà nghiên cứu căn chỉnh là phê bình mang tính xây dựng kế hoạch của nhau.

AI là những hộp đen được huấn luyện, chứ không phải được xây dựng. Các mô hình học sâu hiện đại là những "hộp đen". Mặc dù chúng ta biết cách huấn luyện chúng, nhưng các thuật toán cụ thể mà chúng học được cũng như quá trình ra quyết định nội tại của chúng phần lớn vẫn còn mờ mịt. Những mô hình này thiếu tính mô-đun rõ ràng vốn phổ biến trong kỹ thuật phần mềm truyền thống, khiến việc phân rã, phân tích hay xác minh hành vi của chúng trở nên khó khăn. Những tiến bộ trong khả năng diễn giải vẫn chưa thể khắc phục hoàn toàn thách thức này.

Sự phức tạp là nguồn gốc của nhiều điểm mù. Độ phức tạp khổng lồ của các mô hình AI lớn đồng nghĩa với việc những hành vi bất ngờ và tiềm ẩn nguy hại có thể xuất hiện mà không hề báo trước. Những vấn đề như "token lỗi" (glitch tokens) — ví dụ điển hình là "SolidGoldMagikarp" gây ra hành vi bất thường ở các mô hình GPT (Rumbelow & Watkins, 2023 (mở trong tab mới)) — cho thấy cách những tương tác không lường trước được giữa các thành phần (như bộ tách từ (tokenizer) và dữ liệu huấn luyện) có thể dẫn đến thất bại. Khi GPT gặp phải từ hiếm gặp này, nó sẽ hành xử một cách khó đoán và bất thường. Hiện tượng này xảy ra vì GPT sử dụng một bộ tách từ để chia câu thành các token (những tập hợp ký tự như từ hoặc tổ hợp chữ cái và số), và token "SolidGoldMagikarp" tồn tại trong tập dữ liệu của bộ tách từ nhưng lại không xuất hiện trong tập dữ liệu huấn luyện của mô hình GPT. Điểm mù này không phải là một sự cố đơn lẻ.

Việc xây dựng một khung rủi ro toàn diện là điều khó khăn. Có rất, rất nhiều cách phân loại khác nhau cho các kịch bản rủi ro, mỗi cách tập trung vào một loại tác hại riêng (Critch & Russel, 2023 (mở trong tab mới); Hendrycks et al., 2023 (mở trong tab mới); Slattery et al., 2024 (mở trong tab mới)). Việc đề xuất một mô hình rủi ro đơn lẻ, vững chắc và miễn nhiễm với phê bình là cực kỳ khó khăn, và các kịch bản rủi ro thường mang một mức độ mơ hồ nhất định. Không có kịch bản nào chiếm phần lớn xác suất xảy ra, và tồn tại một sự đa dạng lớn các kịch bản có khả năng dẫn đến thảm họa (Pace, 2020 (mở trong tab mới)).

Một số lập luận thoạt nghe có vẻ hấp dẫn nhưng có thể gây hiểu lầm. Ví dụ, Alex Turner — tác giả chính của bài báo (Turner et al., 2023 (mở trong tab mới)) trình bày một kết quả toán học về sự hội tụ công cụ (instrumental convergence) — hiện nay lại cho rằng định lý của chính mình là một cách tư duy kém hiệu quả về vấn đề này (Turner, 2023 (mở trong tab mới)). Một số lập luận kinh điển khác cũng đã bị phê bình gần đây, chẳng hạn như lập luận đếm (counting argument) (AI Optimists, 2023 (mở trong tab mới)) hay các khung lý thuyết tối đa hóa lợi ích, những nội dung sẽ được bàn đến trong chương "Khái quát hóa sai Mục tiêu" (Goal Misgeneralization).

Có thể chúng ta không còn nhiều thời gian. Nhiều chuyên gia trong lĩnh vực này tin rằng AGI, và không lâu sau đó là ASI, có thể xuất hiện trước năm 2030. Chúng ta cần giải quyết những vấn đề khổng lồ này, hoặc ít nhất phải hoạch định chiến lược, trước khi điều đó xảy ra. Ví dụ, kịch bản AI-2027 được xây dựng dựa trên những dự báo chi tiết về mốc thời gian AGI xuất hiện, và lập luận rằng khả năng ASI xuất hiện trước khi thập kỷ này kết thúc là rất cao.

Nhiều thuật ngữ thiết yếu trong an toàn AI rất khó định nghĩa. Chúng thường đòi hỏi kiến thức về triết học (nhận thức luận, lý thuyết về tâm trí) lẫn AI. Ví dụ, để xác định liệu một AI có phải là một tác nhân (agent) hay không, ta phải làm rõ "tính tác nhân (agency) nghĩa là gì?" — một câu hỏi mà, như chúng ta sẽ thấy ở các chương sau, đòi hỏi sự tinh tế và có thể vốn dĩ là một khái niệm mơ hồ, khó định nghĩa rạch ròi. Một số chủ đề trong an toàn AI khó nắm bắt đến mức bị cộng đồng học máy xem là phi khoa học, chẳng hạn như việc bàn về nhận thức tình huống (situational awareness) (Hinton, 2024 (mở trong tab mới)) hay lý do tại sao AI có thể "thực sự hiểu" điều gì đó. Những khái niệm này còn lâu mới đạt được sự đồng thuận giữa các nhà triết học và nhà nghiên cứu AI, và đòi hỏi phải hết sức thận trọng.

Một giải pháp đơn giản có lẽ không tồn tại. Ví dụ, ứng phó với biến đổi khí hậu không chỉ là một biện pháp duy nhất, như tiết kiệm điện vào mùa đông trong nhà. Cần áp dụng cả một loạt các giải pháp khác nhau. Cũng giống như có rất nhiều vấn đề cần cân nhắc khi chế tạo một chiếc máy bay, tương tự, khi huấn luyện và triển khai một AI, hàng loạt vấn đề có thể phát sinh, đòi hỏi các biện pháp phòng ngừa và an ninh đa dạng.

An toàn AI rất khó đo lường. Việc nghiên cứu vấn đề này có thể tạo ra ảo giác về sự thấu hiểu, từ đó tạo ra ảo giác về khả năng kiểm soát. An toàn AI thiếu những vòng phản hồi rõ ràng. Tiến bộ trong việc nâng cao năng lực AI tương đối dễ đo lường và đưa vào bài kiểm tra, trong khi tiến bộ về mặt an toàn lại khó đo lường hơn nhiều. Ví dụ, việc theo dõi tốc độ suy luận của một hệ thống dễ dàng hơn nhiều so với việc theo dõi độ trung thực hay các thuộc tính an toàn của nó.

Sự Bất định và Bất đồng

Bản chất tiền hệ hình của an toàn AI dẫn đến những bất đồng đáng kể giữa các chuyên gia. Những khác biệt về quan điểm này đóng vai trò then chốt trong việc thấu hiểu khi đánh giá các chiến lược được đề xuất.

Hậu quả của những thất bại trong căn chỉnh AI chứa đựng đầy sự bất định. Những hiểu biết mới có thể thách thức nhiều luận điểm cấp cao được bàn đến trong cẩm nang này. Ví dụ, Zvi Mowshowitz đã tổng hợp một danh sách các câu hỏi trọng tâm còn mang tính bất định cao (Mowshowitz, 2023 (mở trong tab mới)). Chẳng hạn: thế giới như thế nào thì được coi là thảm khốc, và thế nào thì không? Điều gì được coi là một kết cục không thảm khốc? Điều gì có giá trị? Chúng ta thực sự quan tâm đến điều gì? Nếu được trả lời theo những cách khác nhau, những câu hỏi này có thể làm thay đổi đáng kể cách ta ước lượng khả năng xảy ra và mức độ nghiêm trọng của những thảm họa bắt nguồn từ AGI mất căn chỉnh.

Những Thế giới quan Khác biệt. Những bất đồng này thường bắt nguồn từ những thế giới quan khác biệt về căn bản. Một số chuyên gia, như Robin Hanson, có thể tiếp cận rủi ro AI qua lăng kính kinh tế học hoặc tiến hóa học, dẫn đến những kết luận khác biệt về tốc độ cất cánh (takeoff speed) và khả năng duy trì kiểm soát ổn định, so với những người tập trung vào nền tảng tác nhân (agent foundations) hay các thất bại kỹ thuật trong căn chỉnh (Hanson, 2023 (mở trong tab mới)). Những người khác, như Richard Sutton, lại bày tỏ quan điểm cho thấy sự chấp nhận, thậm chí là đón nhận, khả năng AI sẽ kế thừa vị trí của loài người, xem đó là một bước tiến hóa tự nhiên hơn là một thảm họa hiện sinh (Sutton, 2023 (mở trong tab mới)). Những lập trường triết học khác biệt này ảnh hưởng đến các ưu tiên chiến lược.

Tẩy trắng An toàn (Safety Washing)

Sự kết hợp giữa mức độ rủi ro cao, mối quan tâm của công chúng, và sự thiếu đồng thuận đã tạo ra mảnh đất màu mỡ cho hiện tượng "tẩy trắng an toàn" — hành vi cố tình tạo ấn tượng sai lệch rằng các sản phẩm, nghiên cứu hoặc hoạt động AI an toàn hơn, hoặc phù hợp với mục tiêu an toàn hơn, so với thực tế (Vaintrob, 2023 (mở trong tab mới)).

Tẩy trắng an toàn có thể tạo ra một cảm giác an toàn giả tạo. Các công ty phát triển AI mạnh mẽ có động cơ để tỏ ra có ý thức về an toàn nhằm xoa dịu công chúng, các nhà quản lý, và những nhân viên tiềm năng. Tẩy trắng an toàn có thể biểu hiện dưới nhiều hình thức: phóng đại lợi ích an toàn của một số tính năng nhất định, tập trung vào những khía cạnh an toàn kém quan trọng hơn trong khi xem nhẹ rủi ro hiện sinh, hoặc tài trợ/tiến hành những nghiên cứu chủ yếu thúc đẩy năng lực nhưng lại khoác lên vỏ bọc an toàn. Điều này có thể dẫn đến các nỗ lực giảm thiểu rủi ro không đầy đủ (Lizka, 2023 (mở trong tab mới)). Nó có thể làm chệch hướng nguồn tài trợ và nhân tài sang những công việc kém tác động hơn, đồng thời khiến việc xây dựng một sự đồng thuận khoa học thực sự về hiện trạng an toàn AI trở nên khó khăn hơn.

Đánh giá tiến bộ về an toàn là một việc hóc búa. Ngay cả khi xuất phát từ thiện ý muốn giúp đỡ, hành động vẫn có thể gây ra tác động ròng tiêu cực (ví dụ, do các hiệu ứng bậc hai, như đẩy nhanh việc triển khai các công nghệ nguy hiểm), và việc xác định tác động thực sự của một đóng góp không hề đơn giản. Ví dụ, tác động của học tăng cường từ phản hồi của con người (reinforcement learning from human feedback, RLHF) — kỹ thuật hiện đang được dùng để tinh chỉnh theo chỉ dẫn và giúp ChatGPT an toàn hơn — vẫn còn là chủ đề tranh luận trong cộng đồng (Christiano, 2023 (mở trong tab mới)). Một lý do khiến tác động của RLHF có thể là tiêu cực là vì kỹ thuật này có thể tạo ra một ảo giác về sự căn chỉnh, khiến việc phát hiện căn chỉnh giả dối (deceptive alignment) trở nên khó khăn hơn nữa. Sự căn chỉnh của các hệ thống được huấn luyện qua RLHF chỉ mang tính hời hợt (Casper et al., 2023 (mở trong tab mới)), và các thuộc tính căn chỉnh này có thể sụp đổ khi đối mặt với những mô hình tương lai có nhận thức tình huống cao hơn. Tương tự, một số công trình về khả năng diễn giải cũng phải đối mặt với những lo ngại về tính lưỡng dụng (dual-use) (Wache, 2023 (mở trong tab mới)). Một số người cho rằng phần lớn nghiên cứu "an toàn AI" hiện nay chỉ giải quyết những vấn đề dễ, chủ yếu mang lại lợi ích kinh tế cho các nhà phát triển, và có khả năng đẩy nhanh năng lực hơn là thực sự làm giảm rủi ro hiện sinh (catubc, 2024 (mở trong tab mới)). Hệ quả là, ngay cả những nghiên cứu có thiện chí cũng có thể vô tình làm gia tăng rủi ro.