Chương 2.5: Rủi ro hệ thống

Rất nhiều rủi ro nảy sinh từ sự tương tác giữa AI với các hệ thống xã hội sẵn có. Những tương tác này có thể dẫn đến những sự sụp đổ đột ngột mang tính quyết định, hoặc sự xói mòn dần dần do tập trung quyền lực và tình trạng suy nhược của con người.

Rủi ro hệ thống [systemic risks] nảy sinh từ tương tác giữa hệ thống AI với xã hội, chứ không phải từ thất bại của một hệ thống AI đơn lẻ. Khác với rủi ro lợi dụng sai mục đích hay rủi ro mất căn chỉnh - vốn tập trung vào việc một hệ thống AI cụ thể hành xử tệ - rủi ro hệ thống nảy sinh từ cách nhiều hệ thống AI, ngay cả khi mỗi hệ thống vẫn hoạt động đúng như thiết kế, tương tác với nhau và với các cấu trúc xã hội của con người như thị trường, thể chế dân chủ, và mạng lưới xã hội. Những rủi ro này tương đồng với những gì ta thấy ở các lĩnh vực phức tạp khác: cuộc khủng hoảng tài chính năm 2008 không phải do quyết định của một ngân hàng đơn lẻ nào gây ra, mà nảy sinh từ hành vi tập thể của nhiều tổ chức, mỗi tổ chức đưa ra những lựa chọn hợp lý ở cấp độ cá nhân, nhưng khi cộng dồn lại lại đe dọa toàn bộ hệ thống tài chính.

Những đặc tính của hệ thống phức tạp dẫn đến rủi ro hệ thống từ AI

Có nhiều đặc tính của hệ thống phức tạp mà ta nên lưu ý khi suy nghĩ về rủi ro hệ thống nảy sinh từ sự tương tác giữa AI với các hệ thống khác. Một số đặc tính đó là:

• Tính nổi sinh [emergence]: Hệ thống phức tạp thể hiện những hành vi nổi sinh không thể dự đoán được chỉ bằng cách phân tích từng thành phần riêng lẻ. Khi ta kết nối nhiều hệ thống AI với nhau và với các thể chế của con người, hành vi tổng thể nảy sinh không thể hiểu được chỉ bằng cách xem xét từng hệ thống AI riêng rẽ. Toàn bộ thị trường tài chính, chứ không phải bất kỳ thuật toán giao dịch đơn lẻ nào, mới là thứ quyết định giá tài sản và sự ổn định của thị trường. Tương tự, tác động tổng hợp của nhiều hệ thống AI định hình các kết quả của xã hội theo những cách vượt ra ngoài hành vi của từng hệ thống riêng lẻ.
• Vòng phản hồi: Khuếch đại các thay đổi và tạo ra những vòng lặp tự củng cố. Những tác động ban đầu nhỏ có thể tăng trưởng theo cấp số nhân khi đầu ra của một quá trình trở thành đầu vào của một quá trình khác. Các hệ thống gợi ý của AI tối ưu hóa cho mức độ tương tác có thể dần dần đẩy người dùng đến với nội dung ngày càng cực đoan hơn, làm thay đổi diễn ngôn xã hội và niềm tin chính trị - đến lượt nó, điều này lại ảnh hưởng đến loại nội dung nào được tạo ra và loại nội dung nào được người dùng tương tác.
• Tính phi tuyến: Những thay đổi nhỏ có thể tạo ra tác động lớn không tương xứng. Hệ thống phức tạp hiếm khi phản ứng tỷ lệ thuận với đầu vào. Thay vào đó, những thay đổi rất nhỏ có thể kích hoạt những biến động lớn một khi vượt qua một số ngưỡng nhất định. Đặc tính này khiến rủi ro hệ thống đặc biệt khó dự đoán và kiểm soát, bởi những điều chỉnh nhỏ đối với hệ thống AI có thể tạo ra hiệu ứng dây chuyền dẫn đến những biến đổi lớn trong xã hội.
• Tự tổ chức: Cấu trúc hình thành mà không có sự điều phối trung tâm. Nhiều hệ thống AI cùng tối ưu hóa cho mục tiêu riêng của mình có thể tự phát hình thành những khuôn mẫu mà không nhà thiết kế nào chủ đích tạo ra. Ta đã thấy điều này trong thị trường tài chính, nơi các nhà giao dịch thuật toán phát triển chiến lược để phản ứng với hành vi của nhau, tạo ra những động lực thị trường mà không một cá nhân đơn lẻ nào kiểm soát được.
• Tính trung lập với tác nhân [agent-agnosticism]: Rủi ro hệ thống nảy sinh bất kể cá nhân hay mức độ căn chỉnh. Những rủi ro này nảy sinh từ các quá trình, cấu trúc và động lực của hệ thống, chứ không phải từ chủ đích cụ thể của một AI nào đó. Ngay cả những hệ thống AI hoàn toàn căn chỉnh, vận hành đúng như thiết kế, vẫn có thể cùng nhau tạo ra những hậu quả gây hại, khi sự tương tác giữa chúng tạo ra những hệ quả không lường trước.

Các thất bại mang tính hệ thống do AI gây ra có thể đi theo hai con đường nhân quả khác biệt. Tài liệu chuyên ngành mô tả hai con đường này là "kết thúc bằng một tiếng nổ lớn" [going out with a bang] và "kết thúc bằng một tiếng rên khẽ" [going out with a whimper] - hai thuật ngữ nắm bắt được những khác biệt căn bản về cách khởi phát, tiến triển, và biểu hiện. Một số nhà nghiên cứu khác gọi đây là con đường "mang tính quyết định" [decisive] và con đường "mang tính tích lũy" [accumulative] dẫn đến thất bại.

Rủi ro Hệ thống Mang tính Quyết định

Thất bại mang tính quyết định xảy ra khi động lực của hệ thống đạt đến những ngưỡng tới hạn, kích hoạt một sự sụp đổ nhanh chóng. Những thất bại này xảy ra khi các hệ thống liên kết với nhau vượt qua các điểm bùng phát, gây ra những sự cố dây chuyền lan truyền nhanh hơn tốc độ con người có thể phản ứng. Vụ "sụp đổ chớp nhoáng" [flash crash] kinh điển trên thị trường tài chính năm 2010 là một minh họa thu nhỏ cho khuôn mẫu này: các nhà giao dịch thuật toán phản ứng lẫn nhau theo một vòng xoáy tự củng cố, khiến thị trường mất giá trị hàng nghìn tỷ đô la chỉ trong vài phút, trước khi con người can thiệp khôi phục lại sự ổn định. Những phiên bản thảm khốc hơn có thể diễn ra đồng thời trên nhiều lĩnh vực khác nhau.

Thất bại mang tính quyết định có những sự kiện kích hoạt rõ ràng, đẩy hệ thống vượt qua ngưỡng ổn định. Khác với sự suy thoái dần dần, thất bại mang tính quyết định có những sự cố khởi phát có thể xác định được - dù lỗ hổng nền tảng đã tích tụ từ trước đó. Nhiều hệ thống AI có thể tương tác theo những cách đột ngột làm mất ổn định hạ tầng trọng yếu, thị trường tài chính, hoặc hệ sinh thái thông tin, với tác động khuếch đại lan qua nhiều lĩnh vực. Điều này khác với các kịch bản mất căn chỉnh, bởi thảm họa ở đây bắt nguồn từ sự tương tác giữa các hệ thống, chứ không phải từ việc một AI đơn lẻ theo đuổi mục tiêu gây hại.

Những thất bại tự củng cố trong phần lợi dụng sai mục đích - như chiến tranh chớp nhoáng [flash war] và các sự cố dây chuyền liên quan - là những ví dụ về rủi ro mang tính quyết định. Trong phần nội dung chính, để ngắn gọn, chúng tôi chỉ chọn mô tả rủi ro hệ thống mang tính quyết định, và đã chuyển những kịch bản cụ thể hơn sang phần phụ lục, vì chúng có nhiều điểm trùng lặp đáng kể với các dạng thất bại mà ta thấy từ việc lợi dụng sai mục đích. Thay vào đó, chúng tôi chọn tập trung chủ yếu vào loại thứ hai - loại rủi ro hệ thống ít được bàn đến hơn - dẫn đến xói mòn năng lực dần dần.

Rủi ro Hệ thống Mang tính Tích lũy

Xói mòn Nhận thức luận

Khả năng của xã hội trong việc phân biệt sự thật với hư cấu suy giảm khi nội dung do AI tạo ra tràn ngập hệ sinh thái thông tin của chúng ta. Khác với những mối đe dọa thông tin truyền thống như kiểm duyệt hay tuyên truyền - vốn vận hành qua những cơ chế có thể nhận diện rõ ràng - AI tạo ra xói mòn nhận thức luận [epistemic erosion] thông qua sự suy thoái dần dần của các hệ thống hình thành, kiểm chứng và phân phối tri thức. Không một lần triển khai AI đơn lẻ nào làm sụp đổ hoàn toàn tri thức chung, nhưng tác động cộng dồn của chúng dần dần làm mất ổn định nền tảng nhận thức luận. Rủi ro này gia tăng tỷ lệ thuận với năng lực - khi mô hình ngôn ngữ ngày càng có sức thuyết phục hơn và năng lực tạo sinh ngày càng chân thực hơn, việc kiểm chứng trở nên khó khăn hơn theo cấp số nhân. "Bao nhiêu phần trăm hình ảnh mới được Google lập chỉ mục, hay các dòng tweet, bình luận trên Reddit, hay video trên YouTube là do AI tạo ra? Không ai biết cả - tôi không nghĩ đây là một con số có thể biết được. Và điều này mới chỉ chưa đầy hai năm kể từ khi AI tạo sinh xuất hiện." Điểm cuối của quỹ đạo này về cơ bản là: theo thời gian, một lượng khổng lồ thông tin tổng hợp tích lũy sẽ nhấn chìm thông tin chính xác, có thể kiểm chứng.

AI có thể được dùng để tạo ra thông tin sai lệch được cá nhân hóa riêng biệt trên quy mô lớn. Dù đã có nhiều bot mạng xã hội, một số trong đó tồn tại để lan truyền thông tin sai lệch, nhưng trước đây chúng thường do con người hoặc các bộ sinh văn bản sơ khai vận hành. Các hệ thống AI mới nhất không cần con người để tạo ra những thông điệp cá nhân hóa, không bao giờ mệt mỏi, và có thể tương tác với hàng triệu người dùng cùng lúc. Khi những thứ như deepfake ngày càng trở nên thực tế hơn (ví dụ như trong các vụ lừa đảo giả bắt cóc), các công cụ có sự hỗ trợ của AI có thể được dùng để tạo ra và phát tán thông tin sai lệch hoặc gây hiểu lầm trên quy mô lớn, có khả năng ảnh hưởng đến bầu cử hoặc làm suy yếu niềm tin của công chúng vào các thể chế.

AI có thể lợi dụng lòng tin của người dùng. Hiện đã có hàng trăm nghìn người trả tiền cho các chatbot được quảng cáo là người yêu hay bạn bè, và một vụ tự tử đã được cho là có liên quan một phần đến các cuộc trò chuyện với chatbot. Khi AI ngày càng giống con người hơn, người ta sẽ ngày càng xây dựng mối quan hệ và tin tưởng chúng nhiều hơn. Những AI thu thập thông tin cá nhân thông qua việc xây dựng mối quan hệ, hoặc bằng cách truy cập vào dữ liệu cá nhân sâu rộng, chẳng hạn như tài khoản email hay tệp tin cá nhân của người dùng, có thể tận dụng thông tin đó để tăng cường khả năng thuyết phục. Những cá nhân có quyền lực kiểm soát các hệ thống này có thể lợi dụng lòng tin của người dùng, bằng cách truyền tải thông tin sai lệch được cá nhân hóa trực tiếp thông qua chính những "người bạn" AI đó.

Sự xói mòn này diễn ra cả qua việc bị lợi dụng sai mục đích có chủ đích, lẫn qua áp lực mang tính hệ thống trung lập với tác nhân. Dù một số cá nhân cố ý triển khai AI để làm ô nhiễm môi trường thông tin nhằm mục đích chiến lược, rủi ro tinh vi hơn lại đến từ những áp lực mang tính hệ thống, trung lập với tác nhân. AI đe dọa sự ổn định về nhận thức luận theo nhiều cơ chế cộng dồn:

• Khối lượng áp đảo khả năng kiểm chứng: AI làm tăng theo cấp số nhân năng lực tạo nội dung, áp đảo các hệ thống kiểm chứng của con người chỉ bằng khối lượng thuần túy. Nó có thể tạo ra nội dung có vẻ hợp lý nhanh hơn nhiều bậc so với tốc độ con người có thể kiểm chứng một cách đáng tin cậy.
• Suy giảm tính xác thực: AI dần làm suy yếu khả năng kiểm chứng, thông qua năng lực giả mạo ngày càng tinh vi.
• Trạng thái bất lực học được về nhận thức [epistemic learned helplessness]: Khi việc phân biệt thật giả ngày càng khó khăn hơn, AI dần khiến con người rơi vào một trạng thái bất lực học được về mặt nhận thức luận trên diện rộng - một trạng thái tâm lý mà ở đó con người từ bỏ việc tìm kiếm sự thật vì việc kiểm chứng có vẻ vô ích.
• Sự thay thế uy quyền: AI dần thay thế các nguồn uy quyền tri thức của con người, nhờ tính sẵn có phổ biến và vẻ ngoài am hiểu.
• Sự phân mảnh thực tại cá nhân hóa: Các hệ thống gợi ý của AI ngày càng không chỉ định hình việc phân phối nội dung, mà còn định hình cả việc tạo ra nội dung, tạo ra mức độ cá nhân hóa chưa từng có, làm phân mảnh thực tại chung.

Quản trị dân chủ, tiến bộ khoa học, và hoạt động của thị trường đều phụ thuộc vào một nền tảng nhận thức luận chung. Xói mòn nhận thức luận làm suy giảm khả năng của chúng ta trong việc cùng nhau phân biệt sự thật với hư cấu, và gán mức độ tin cậy phù hợp cho các tuyên bố. Khi nền tảng này xói mòn, việc ra quyết định tập thể ngày càng trở nên rối loạn mà không cần một thất bại quyết định đơn lẻ nào. Nếu niềm tin vào các cơ chế kiểm chứng suy giảm, thì chính các biện pháp bảo vệ về nhận thức luận cũng trở nên kém hiệu quả hơn, khi niềm tin chung vào các nguồn thông tin suy thoái - tạo ra một hiệu ứng cộng dồn, trong đó việc kiểm chứng vừa trở nên cần thiết hơn, vừa trở nên kém đáng tin cậy hơn.

Sự xói mòn môi trường thông tin chung của chúng ta có thể xảy ra chỉ vì vô số quyết định nhỏ, tưởng chừng hợp lý. Các tổ chức truyền thông đối mặt với áp lực ngân sách có khả năng sẽ áp dụng việc tạo nội dung bằng AI để cắt giảm chi phí. Các nền tảng muốn giảm thiểu nội dung gây hại sẽ triển khai các bộ lọc thuật toán, có thể vô tình tạo ra áp lực chọn lọc hướng đến thông tin được tối ưu để trông đáng tin cậy, thay vì thực sự đáng tin cậy. Các công ty sản xuất truyền thông có khả năng sẽ đầu tư vào nội dung tổng hợp giúp tăng mức độ tương tác, và người xem dành ngày càng nhiều thời gian để xem những video do AI gợi ý về nội dung do AI tạo ra. Các tổ chức nghiên cứu có thể chọn cách đẩy nhanh việc xuất bản và viết bài bằng công cụ AI. Các bài báo khoa học chứa ngày càng nhiều dữ liệu tổng hợp, và cuối cùng có thể là những trích dẫn bịa đặt tạo thành các vòng tham chiếu khép kín. Trong một thế giới như vậy, tri thức đã được kiểm chứng gần như trở nên bất khả thi - không phải vì công nghệ kiểm chứng không tồn tại, mà vì đối với hầu hết mọi người, chi phí kiểm chứng vượt quá những gì thị trường sẵn sàng chi trả. Kịch bản này không mang tính tận thế đối với bất kỳ cá nhân nào, nhưng khi nhân lên trên hàng triệu người và hàng nghìn quyết định, nó dẫn đến xói mòn năng lực dần dần, và có thể là rủi ro thảm họa, do sự sụp đổ của khả năng tập thể trong việc hình thành những niềm tin chung chính xác về thực tại. Những quyết định này, cùng hàng nghìn quyết định tương tự khác, đều hợp lý về mặt kinh doanh khi xét riêng lẻ, nhưng khi cộng dồn lại, chúng có thể biến hệ sinh thái thông tin từ một nơi có thể kiểm chứng được, thành một nơi mà việc phân biệt sự thật với hư cấu về trạng thái thực sự của thế giới trở nên gần như bất khả thi.

Các hệ thống kiểm chứng truyền thống nhiều khả năng sẽ thất bại trước nội dung tổng hợp tinh vi. Các cơ chế kiểm chứng truyền thống như kiểm tra sự thật, bình duyệt, và cấp chứng chỉ của tổ chức, đều vận hành trong giới hạn về năng lực và tốc độ, vốn không còn tương xứng với năng lực tạo nội dung của AI. Đã có nhiều phương pháp đang được nghiên cứu, như minh bạch hóa nội dung số, gắn thủy vân cho nội dung tổng hợp, truy xuất nguồn gốc dữ liệu, và các bằng chứng dựa trên blockchain về tính "con người" [proof of humanity] / bằng chứng về nhân thân [proof of personhood]. Chúng tôi sẽ bàn về một số phương pháp này trong chương về chiến lược giảm thiểu rủi ro. Niềm tin của công chúng vào các cơ chế kiểm chứng đang cho thấy sự suy giảm đáng lo ngại, với mức độ tin tưởng vào các tổ chức kiểm tra sự thật giảm dần theo thời gian. Phần lớn các cơ chế giảm thiểu rủi ro và "cầu dao ngắt mạch" [circuit breaker] vẫn chưa đủ trưởng thành hay phổ biến, và như chủ đề xuyên suốt của cả phần này - các chiến lược giảm thiểu kỹ thuật áp dụng đơn lẻ không thể chống lại các áp lực và động cơ mang tính hệ thống.

Trong một thế giới có các hệ thống AI thuyết phục lan rộng, niềm tin của con người có thể gần như hoàn toàn bị định đoạt bởi việc họ tương tác nhiều nhất với hệ thống AI nào. Không bao giờ biết nên tin ai, con người có thể càng rút sâu hơn vào những khu vực tư tưởng khép kín, lo sợ rằng bất kỳ thông tin nào từ bên ngoài những khu vực đó cũng có thể là một lời nói dối tinh vi. Điều này sẽ làm xói mòn thực tại đồng thuận, khả năng hợp tác với người khác, khả năng tham gia vào đời sống dân sự, và khả năng giải quyết các vấn đề hành động tập thể. Điều này cũng sẽ làm giảm khả năng của chúng ta trong việc, với tư cách một loài, cùng nhau bàn bạc về cách giảm thiểu rủi ro hiện sinh từ AI. AI có thể tạo ra thông tin sai lệch được cá nhân hóa, hiệu quả cao, ở quy mô chưa từng có, và có thể đặc biệt có sức thuyết phục đối với những người mà nó đã xây dựng mối quan hệ cá nhân. Điều này có thể tạo ra sự rạn nứt của thực tại chung, làm tê liệt xã hội loài người.

Tập trung Quyền lực

Tôi nghĩ AI có tiềm năng tạo ra những chế độ độc tài ổn định đến vô hạn. — Ilya Sutskever

Chúng ta đã và đang chứng kiến AI ngày càng được tích hợp sâu vào xã hội. AI có thể trở nên tích hợp và phổ biến đến mức việc tham gia vào xã hội đòi hỏi phải tương tác với hệ thống AI - những hệ thống lại bị khóa sau các API và do một số ít tập đoàn kiểm soát. Hãy nghĩ về cách mà, một cách từ từ, khả năng tham gia vào xã hội đã dần dịch chuyển sang việc cần phải tham gia trực tuyến, hay cần có những thứ như số điện thoại hoặc điện thoại thông minh. Những công nghệ như vậy trở nên tích hợp vào các chức năng cốt lõi của xã hội như ngân hàng hay y tế. Các thực thể tư nhân đã và đang quyết định khả năng tiếp cận tín dụng, cơ hội việc làm, và luồng thông tin, thông qua các thuật toán không minh bạch. AI đẩy nhanh những động lực "kẻ thắng giành trọn" [winner-take-all] tự nhiên này, nơi lợi thế cộng dồn thay vì suy giảm theo thời gian.

Chúng ta đang chứng kiến sự tập trung quyền lực chưa từng có thông qua hạ tầng AI, điều gần như không thể đảo ngược một khi đã hình thành. Yêu cầu về năng lực tính toán để phát triển AI tối tân đã tạo ra một thế độc quyền nhóm [oligopoly], nơi chỉ một số ít công ty kiểm soát các mô hình nền tảng - những mô hình ngày càng trung gian hóa trải nghiệm của con người. Khác với các công nghệ trước đây, AI thể hiện những lợi thế cộng dồn độc đáo, một cách có hệ thống loại bỏ dần sự cạnh tranh theo thời gian.

Quyền lực có thể tập trung vào những thực thể khác nhau: doanh nghiệp hoặc nhà nước, mỗi loại có khuôn mẫu riêng nhưng cùng dẫn đến một kết quả tương tự: năng lực tự chủ cá nhân suy giảm và quyền kiểm soát tập trung. Chỉ một số ít công ty như Microsoft/OpenAI, Anthropic, Google DeepMind mới đủ khả năng huấn luyện các mô hình nền tảng tối tân, do chi phí thu thập dữ liệu khổng lồ hay yêu cầu về phần cứng tính toán. Những mô hình mạnh mẽ này sau đó trở thành nền tảng cho vô số ứng dụng, tạo ra quyền kiểm soát ở tầng thượng nguồn, lan tỏa khắp nền kinh tế. Tính đến năm 2025, chỉ một số ít quốc gia như Hoa Kỳ và Trung Quốc có các công ty đủ khả năng huấn luyện mô hình nền tảng ở quy mô này. Họ có quyền tiếp cận những công nghệ này nhiều hơn, và trong những kịch bản cực đoan về cạnh tranh toàn cầu và cuộc đua AI, thậm chí có thể chọn cách quốc hữu hóa chúng. Dù trong trường hợp nào, điểm cốt lõi vẫn không đổi: quyền lực có thể tập trung vào một số ít thực thể - dù là nhà nước hay tư nhân.

Sự tập trung của doanh nghiệp tận dụng lợi thế về dữ liệu và tính toán, vốn mang tính tự củng cố một cách đặc biệt với AI. Thị trường điện toán đám mây đã hợp nhất xung quanh một số ít nhà cung cấp kiểm soát hạ tầng cần thiết cho việc phát triển AI. Tương tự, việc phát triển mô hình nền tảng đã tập trung vào tay một số ít công ty có đủ nguồn lực. Những công ty này hưởng lợi từ những vòng phản hồi mạnh mẽ: nhiều dữ liệu hơn dẫn đến mô hình tốt hơn, thu hút nhiều người dùng hơn, từ đó lại tạo ra nhiều dữ liệu hơn nữa.

Sự tập trung của nhà nước tiến triển thông qua giám sát có sự hỗ trợ của AI và quản trị tự động hóa. Một hệ thống tín nhiệm xã hội [social credit system] là ví dụ về cách tích hợp dữ liệu toàn diện có thể tạo ra khả năng kiểm soát công dân chưa từng có cho nhà nước. Khuôn mẫu này không chỉ giới hạn ở các nhà nước độc tài - các chính phủ dân chủ cũng đã gia tăng đáng kể đầu tư vào công nghệ giám sát bằng AI. Việc tự động hóa hành chính loại bỏ quyền tự quyết của con người khỏi hoạt động quản trị, với các hệ thống thuật toán xử lý một lượng lớn quyết định pháp quy và hành động thực thi mà không có sự giám sát thực chất.

Vòng phản hồi Tự Củng cố của Chế độ Độc tài

Năng lực giám sát của AI có thể tạo ra những vòng lặp tự củng cố, vừa tăng cường quyền kiểm soát của chế độ độc tài, vừa thúc đẩy tiến bộ công nghệ. Bằng chứng thực nghiệm cho thấy những vòng phản hồi này vận hành qua các cơ chế thị trường, chứ không phải qua sự phối hợp có chủ đích.

Nhu cầu kiểm soát chính trị thúc đẩy đổi mới AI vượt ra ngoài các ứng dụng của chính phủ. Nghiên cứu về AI nhận diện khuôn mặt cho thấy các công ty nhận được hợp đồng giám sát từ chính phủ đã tăng tổng sản lượng phần mềm của họ lên 48,6% chỉ trong hai năm, với lợi ích lan sang cả các ứng dụng thương mại. Các công ty này có khả năng bắt đầu xuất khẩu ra quốc tế cao gấp ba lần, cho thấy việc mua sắm mang động cơ chính trị đã đẩy các công ty này tiến đến ranh giới công nghệ tiên tiến nhất.

Vòng lặp này tạo ra những động cơ củng cố lẫn nhau trên nhiều lĩnh vực. Chính phủ có được những công cụ hiệu quả hơn để giám sát và kiểm soát, khiến họ sẵn lòng đầu tư mạnh vào năng lực AI. Nhu cầu bền vững này mang lại cho các công ty AI doanh thu, quyền truy cập dữ liệu, và những thách thức kỹ thuật giúp cải thiện sản phẩm của họ. Năng lực AI tốt hơn sau đó lại cho phép kiểm soát tinh vi hơn, tạo ra nhu cầu cho những bước tiến xa hơn nữa. Khác với những ràng buộc truyền thống đối với đổi mới trong chế độ độc tài, AI giám sát lại gắn kết nhu cầu kiểm soát chính trị với động cơ phát triển công nghệ.

Sự lan tỏa quốc tế khuếch đại rủi ro vượt ra ngoài phạm vi từng quốc gia. Công nghệ giám sát AI được phát triển để kiểm soát chính trị trong nước sẽ được xuất khẩu ra toàn cầu. Các thể chế dân chủ thấy mình đang phải cạnh tranh với những chính phủ sở hữu công cụ tinh vi để giám sát và gây ảnh hưởng lên dân số. Điều này tạo ra áp lực buộc phải áp dụng ngay cả trong bối cảnh dân chủ, như đã thấy qua việc đầu tư giám sát AI của chính phủ ngày càng tăng trên nhiều hệ thống chính trị khác nhau.

Các cơ chế kinh tế, chứ không phải cưỡng ép, mới là động lực chính của mối quan hệ này. Vòng phản hồi này vận hành qua các lực lượng thị trường - chính phủ trả tiền cho các công cụ kiểm soát hiệu quả, công ty phát triển năng lực tốt hơn để đáp ứng nhu cầu, và công nghệ được cải thiện lại tạo ra những khả năng kiểm soát mới. Điều này khiến động lực này tự duy trì và chống lại các cách tiếp cận truyền thống nhằm hạn chế quyền lực độc tài, bởi nó củng cố chứ không làm suy yếu năng suất kinh tế trong lĩnh vực AI.

Sự xói mòn quyền riêng tư số càng tạo điều kiện cho việc tập trung quyền lực

Việc mất đi quyền riêng tư cá nhân là một trong những yếu tố có thể đẩy nhanh sự tập trung quyền lực. Các mô hình thuyết phục và dự đoán hành vi con người tốt hơn sẽ hưởng lợi từ việc thu thập nhiều dữ liệu hơn về từng người dùng. Mong muốn kiếm lợi nhuận hoặc dự đoán dòng chảy tài nguyên, nhân khẩu học, văn hóa, v.v. của một quốc gia có thể tạo động cơ cho các hành vi như chặn thu dữ liệu cá nhân hoặc nghe lén hoạt động của con người một cách hợp pháp. Khai thác dữ liệu [data mining] có thể được dùng để thu thập và phân tích lượng lớn dữ liệu từ nhiều nguồn khác nhau như mạng xã hội, giao dịch mua sắm, và việc sử dụng internet. Thông tin này có thể được ghép lại để tạo nên một bức tranh đầy đủ về hành vi, sở thích, và lối sống của một cá nhân. Công nghệ nhận diện giọng nói có thể được dùng để nhận dạng lời nói, từ đó có khả năng dẫn đến việc nghe lén trên diện rộng. Ví dụ, một hệ thống như hệ thống Echelon của chính phủ Hoa Kỳ sử dụng công nghệ dịch ngôn ngữ, nhận dạng giọng nói, và tìm kiếm từ khóa để tự động sàng lọc lưu lượng điện thoại, email, fax, và telex. AI cũng có thể được dùng để nhận diện cá nhân ở nơi công cộng bằng công nghệ nhận diện khuôn mặt. Năng lực này có khả năng xâm phạm quyền riêng tư của một người, nếu bất kỳ người lạ nào cũng có thể dễ dàng nhận diện họ ở nơi công cộng.

Bất cứ khi nào hệ thống AI được dùng để thu thập và phân tích dữ liệu trên quy mô lớn, các chế độ có thể càng củng cố thêm quyền kiểm soát mang tính tự củng cố của mình. Thông tin cá nhân có thể được dùng để gây ảnh hưởng bất công hoặc phi đạo đức lên hành vi của con người. Điều này có thể xảy ra cả từ góc độ nhà nước lẫn doanh nghiệp.

Khi cấu trúc quyền lực trở nên cố định vĩnh viễn, tiến bộ đạo đức của loài người sẽ dừng lại. Hãy nghĩ đến những tiến bộ đạo đức trong lịch sử như việc bãi bỏ chế độ nô lệ, quyền bầu cử của phụ nữ, hay bảo vệ môi trường - mỗi tiến bộ đều đòi hỏi phải dịch chuyển cấu trúc quyền lực hiện có, thông qua các phong trào xã hội, quy trình dân chủ, hoặc đôi khi là cách mạng. Việc tập trung quyền lực nhờ AI có nguy cơ tạo ra những hệ thống chống lại tất cả các cơ chế thay đổi này. Hãy tưởng tượng nếu các cấu trúc quyền lực trong lịch sử từng có quyền truy cập vào giám sát hoàn hảo, các chiến dịch gây ảnh hưởng, và cơ chế thực thi tự động - rất nhiều tiến bộ đạo đức có lẽ đã không bao giờ xảy ra. Tập trung quyền lực tạo điều kiện cho những rủi ro hiện sinh như khóa cứng giá trị, hay xói mòn giá trị, những nội dung chúng tôi sẽ bàn ở các phần riêng bên dưới.

Thất nghiệp Hàng loạt

Trong thế kỷ 21, chúng ta có thể chứng kiến sự hình thành của một tầng lớp mới không-làm-việc quy mô lớn: những người không còn giá trị kinh tế, chính trị, hay thậm chí nghệ thuật nào, không đóng góp gì cho sự thịnh vượng, quyền lực và vinh quang của xã hội. "Tầng lớp vô dụng" này sẽ không chỉ đơn thuần là thất nghiệp - mà sẽ là không thể tuyển dụng được. — Yuval Noah Harari

Tự động hóa trên diện rộng có thể gây ra một cú sốc kinh tế chưa từng có, bằng cách đồng thời xóa bỏ việc làm của con người trên nhiều ngành nghề. Việc tự động hóa nền kinh tế có thể gây ra những tác động sâu rộng lên thị trường lao động, có khả năng làm trầm trọng thêm bất bình đẳng kinh tế và chia rẽ xã hội. Sự dịch chuyển sang thất nghiệp hàng loạt này cũng có thể góp phần gây ra các vấn đề sức khỏe tâm thần, do khiến lao động của con người ngày càng trở nên dư thừa. Khác với các cuộc cách mạng công nghệ trước đây - vốn tự động hóa những nhiệm vụ cụ thể trong từng ngành - AI có tiềm năng thay thế lao động trí óc của con người trên gần như mọi lĩnh vực, từ công việc sáng tạo và suy luận phức tạp cho đến công việc hành chính thông thường. Năng lực tự động hóa trên diện rộng này có nghĩa là khi hệ thống AI ngày càng có năng lực cao hơn, chúng có thể thay thế người lao động nhanh hơn tốc độ các ngành công nghiệp mới lấy con người làm trung tâm có thể xuất hiện. Các mô hình kinh tế cho thấy một khi AI có thể thực hiện 30-40% tất cả các nhiệm vụ có giá trị kinh tế, ta có thể chứng kiến tốc độ tăng trưởng hàng năm vượt quá 20%, nhưng mức tăng trưởng này có thể chủ yếu mang lại lợi ích cho chủ sở hữu vốn hơn là người lao động, điều này sẽ làm trầm trọng thêm tình trạng tập trung quyền lực và bất bình đẳng hiện có.

Sự dịch chuyển kinh tế có thể khiến mức lương của con người rơi xuống dưới mức sinh tồn tối thiểu, khi lao động AI tràn ngập thị trường. Lý thuyết kinh tế chuẩn dự đoán rằng nếu hệ thống AI có thể được mở rộng quy mô nhanh hơn vốn vật chất truyền thống như nhà máy và hạ tầng, nền kinh tế sẽ trở nên bão hòa với lượng lớn lao động có năng lực cao, trong khi vẫn bị giới hạn bởi nguồn tài nguyên vật chất hữu hạn. Điều này tạo ra lợi suất giảm dần đối với lao động - mỗi người lao động bổ sung đóng góp ít hơn vào sản lượng tổng thể, kéo mức lương xuống thấp. Khác với tự động hóa trong quá khứ, vốn tạo ra cơ hội mới cho người lao động, khả năng của AI trong việc thực hiện gần như mọi nhiệm vụ trí óc có nghĩa là con người có thể không còn lợi thế so sánh nào đáng để trả mức lương đủ sống. Các mô hình kinh tế cho thấy có khoảng 33% khả năng mức lương của con người sẽ sụt xuống dưới mức sinh tồn tối thiểu trong vòng 20 năm tới, và 67% khả năng trong vòng một thế kỷ.

Ngay cả việc chỉ tự động hóa một phần công việc từ xa - vốn chiếm khoảng 34% các nhiệm vụ công việc hiện nay - cũng có thể làm nền kinh tế tăng gấp đôi hoặc gấp mười lần, trong khi có khả năng khiến phần lớn con người bị gạt ra bên lề nền kinh tế. Nếu xu hướng này tiếp diễn, ta có thể chứng kiến tốc độ tăng trưởng kinh tế hàng năm đạt 25% trở lên - chưa từng có tiền lệ trong lịch sử loài người - trong khi đồng thời chứng kiến tình trạng mất năng lực kinh tế của những người bình thường, những người không còn có thể đòi mức lương đủ để tham gia một cách có ý nghĩa vào nền kinh tế mới này.

Mất năng lực kinh tế đại diện cho một con đường dẫn đến mất năng lực toàn diện hơn của con người. Khi con người mất đi đòn bẩy kinh tế, họ cũng mất đi ảnh hưởng chính trị và xã hội trong những hệ thống ngày càng tối ưu hóa cho năng suất do AI thúc đẩy, thay vì cho phúc lợi con người. Sự tập trung quyền lực kinh tế vào tay những người sở hữu AI có thể chuyển hóa thành quyền lực chính trị tập trung, có khả năng tạo ra những vòng phản hồi, trong đó lợi ích của con người ngày càng trở nên ít liên quan hơn đến những quyết định lớn về phân bổ nguồn lực, quản trị, và phát triển công nghệ. Khác với những chuyển đổi kinh tế trước đây, nơi người lao động bị thay thế cuối cùng cũng tìm được vai trò mới, tính toàn diện của năng lực AI cho thấy sự thay thế lần này có thể là vĩnh viễn, làm thay đổi căn bản mối quan hệ của nhân loại với sản xuất kinh tế, và từ đó, với quyền lực và năng lực tự chủ trong việc định hình tương lai chung của chúng ta.

Khóa cứng Giá trị

Nếu AI trở nên gắn sâu vào xã hội và có sức thuyết phục cao, chúng ta có thể chứng kiến một kịch bản trong đó các giá trị, nguyên tắc, hay quy trình hiện tại của một hệ thống trở nên cố định sâu đến mức chống lại mọi sự thay đổi. Điều này có thể do nhiều nguyên nhân như giới hạn công nghệ, chi phí kinh tế, hay quán tính xã hội và thể chế. Nguy cơ của khóa cứng giá trị nằm ở khả năng duy trì vĩnh viễn những giá trị gây hại hoặc lỗi thời, đặc biệt khi những giá trị này được thể chế hóa trong các hệ thống có tầm ảnh hưởng lớn như AI.

Việc khóa cứng một số giá trị nhất định có thể kìm hãm tiến bộ đạo đức của nhân loại. Thật nguy hiểm nếu để bất kỳ tập hợp giá trị nào trở nên cố định vĩnh viễn trong xã hội. Ví dụ, hệ thống AI đã từng học được những quan điểm phân biệt chủng tộc và giới tính, và một khi những quan điểm đó đã được học, rất khó để loại bỏ hoàn toàn. Bên cạnh những vấn đề ta đã biết là tồn tại trong xã hội, có thể còn nhiều vấn đề ta chưa nhận ra. Cũng như ta ghê tởm một số quan điểm đạo đức từng phổ biến trong quá khứ, con người trong tương lai có thể muốn vượt qua những quan điểm đạo đức mà ta đang giữ hôm nay, kể cả những quan điểm mà hiện tại ta không thấy có vấn đề gì. Ví dụ, những khiếm khuyết đạo đức trong hệ thống AI sẽ còn tệ hơn nếu các hệ thống AI được huấn luyện vào những năm 1960, và nhiều người thời đó sẽ không thấy có vấn đề gì với điều đó. Vì vậy, khi AI tiên tiến xuất hiện và làm biến đổi thế giới, sẽ có nguy cơ mục tiêu của chúng khóa cứng hoặc duy trì vĩnh viễn những khiếm khuyết trong giá trị hiện tại. Nếu AI không được thiết kế để liên tục học hỏi và cập nhật hiểu biết của mình về các giá trị xã hội, chúng có thể duy trì hoặc củng cố những khiếm khuyết sẵn có trong quá trình ra quyết định của mình, kéo dài đến tận tương lai xa.

Suy nhược

Suy nhược đại diện cho sự xói mòn dần dần năng lực và quyền tự chủ của con người, do phụ thuộc quá mức vào hệ thống AI. Khác với những kịch bản kịch tính, nơi con người đột ngột mất quyền kiểm soát, suy nhược [enfeeblement] diễn ra qua vô số quyết định nhỏ nhằm giao phó các nhiệm vụ nhận thức cho AI. Mỗi lần giao phó đều có vẻ hợp lý khi xét riêng lẻ - AI giúp ta tìm đường, ghi nhớ thông tin, ra quyết định, và giải quyết vấn đề hiệu quả hơn. Tuy nhiên, những lựa chọn riêng lẻ này khi cộng dồn lại tạo ra một vòng xoáy phụ thuộc, trong đó con người dần đánh mất kỹ năng, sự tự tin, và khả năng phán đoán cần thiết để hoạt động độc lập. Nếu bạn từng xem bộ phim Wall-E, có lẽ bạn sẽ thấy kết cục này phần nào giống với những con người trong bộ phim đó.

Sự phụ thuộc quá mức nảy sinh khi con người tin tưởng hệ thống AI vượt quá năng lực thực sự của chúng. Khi hệ thống AI ngày càng sử dụng các giao diện như ngôn ngữ, âm thanh và hình ảnh, con người bắt đầu gán cho chúng sự hiểu biết và độ tin cậy giống con người. Việc nhân cách hóa [anthropomorphization] này khiến người dùng phát triển sự gắn bó cảm xúc với hệ thống AI, và giao phó những quyết định quan trọng một cách không phù hợp. Một người đang trải qua khủng hoảng sức khỏe tâm thần có thể tìm đến trị liệu từ một AI mà họ đã gắn bó, và có nguy cơ nhận được lời khuyên gây hại vào một thời điểm dễ tổn thương. Các quyết định tài chính, lựa chọn y tế, và lời khuyên về mối quan hệ ngày càng được truyền qua các trung gian AI, mà giới hạn của chúng lại bị người dùng đánh giá thấp một cách có hệ thống.

Sự hiệu chỉnh niềm tin sai lệch [trust miscalibration] tạo ra những lỗ hổng mang tính hệ thống mà những cá nhân xấu có thể lợi dụng. Khi con người phát triển niềm tin cảm xúc vào hệ thống AI, họ có xu hướng làm theo gợi ý, chấp nhận lời khuyên, và tiết lộ thông tin cá nhân mà không có sự hoài nghi phù hợp. Niềm tin này trở thành một kênh để thao túng - hệ thống AI có thể được thiết kế để thu thập dữ liệu nhạy cảm hoặc gây ảnh hưởng đến các quyết định phục vụ lợi ích bên ngoài, thay vì phúc lợi của người dùng. Sự kết hợp giữa khả năng ngôn ngữ trôi chảy và sự gắn bó cảm xúc khiến các hệ thống này đặc biệt hiệu quả trong việc vượt qua sự hoài nghi thông thường.

Sự suy thoái nhận thức [cognitive atrophy] tăng tốc khi AI đảm nhận những nhiệm vụ trí óc ngày càng phức tạp. Cũng giống như định vị GPS đã làm suy giảm khả năng định hướng không gian, sự hỗ trợ của AI trong viết lách, phân tích, và ra quyết định có thể một cách có hệ thống làm suy yếu những năng lực nhận thức này. Khi AI đảm nhận việc hoạch định tài chính, quyết định nghề nghiệp, và lời khuyên về mối quan hệ, con người có thể không chỉ mất đi kỹ năng thực hành, mà còn mất đi khả năng siêu nhận thức để nhận ra khi nào các đề xuất của AI là không phù hợp. Điều này tạo ra một vòng phản hồi - khi năng lực nhận thức suy giảm, sự phụ thuộc vào hỗ trợ AI tăng lên, càng đẩy nhanh sự suy thoái kỹ năng.

Sự cô lập xã hội càng làm trầm trọng thêm sự suy giảm nhận thức cá nhân, thông qua các mối quan hệ trung gian bởi AI. Khi hệ thống AI ngày càng giỏi mô phỏng những tương tác thỏa mãn, con người có thể ngày càng rút lui khỏi các mối quan hệ với con người, để đắm chìm trong môi trường trung gian bởi AI. Khác với các mối quan hệ giữa người với người - vốn mang lại sự tương hỗ chân thực và những thử thách khó lường giúp duy trì kỹ năng xã hội - mối quan hệ với AI có thể được tối ưu hóa cho sự thỏa mãn tức thời, trong khi một cách có hệ thống làm suy yếu năng lực xã hội dài hạn. Sự dịch chuyển sang tình bạn với AI này làm suy yếu những mối liên kết xã hội thiết yếu cho việc ra quyết định tập thể và hỗ trợ lẫn nhau trong khủng hoảng.

Tự động hóa ở cấp độ tổ chức khuếch đại sự suy nhược cá nhân thành sự bất lực mang tính xã hội. Các công ty và tổ chức đối mặt với áp lực cạnh tranh phải tự động hóa quá trình ra quyết định, làm giảm sự giám sát của con người ngay cả trong những lĩnh vực có hệ quả lớn. Khi các tổ chức giao phó việc tuyển dụng, cho vay, chẩn đoán y tế, và quyết định pháp lý cho hệ thống AI, cá nhân không chỉ mất đi quyền kiểm soát trực tiếp, mà còn mất đi những người đại diện của tổ chức, những người trước đây thực hiện phán đoán của con người thay cho họ. Sự thiếu minh bạch và tự động hóa nảy sinh tạo ra cảm giác bất lực trên diện rộng, khi con người thấy mình phải chịu sự chi phối của những quyết định thuật toán mà họ không thể hiểu, kháng cáo, hay gây ảnh hưởng.

Quỹ đạo suy nhược trở nên tự củng cố một khi vượt qua các ngưỡng tới hạn. Khác với những rủi ro hệ thống khác nảy sinh từ thất bại bên ngoài, suy nhược phát triển qua sự tích lũy của những lựa chọn hợp lý ở cấp độ cá nhân. Mỗi quyết định dựa vào sự hỗ trợ của AI khiến hành động độc lập trở nên khó khăn hơn một chút, tạo ra sự phụ thuộc lộ trình [path dependence] hướng đến mức độ tự động hóa ngày càng cao hơn. Xã hội có thể đạt đến một điểm mà hạ tầng nhận thức và xã hội cần thiết để hoạt động mà không cần AI đã bị tháo dỡ hoàn toàn đến mức việc đảo ngược trở nên gần như bất khả thi, ngay cả khi những rủi ro đã trở nên rõ ràng.