Chương 2.9: Phụ lục: Dự báo các kịch bản

Các dự báo tường thuật và việc xây dựng bối cảnh minh họa cách các xu hướng hiện tại có thể dẫn đến những tương lai mang tính thảm họa hoặc chuyển đổi, được thúc đẩy bởi tự động hóa và áp lực cạnh tranh.

Mạng lưới Sản xuất

Đây là một câu chuyện được chuyển thể từ nội dung của (Critch và Russel, 2023 (mở trong tab mới); Critch, 2021 (mở trong tab mới)).

Kịch bản Mạng lưới Sản xuất [The Production Web] cho thấy các xu hướng tự động hóa hiện nay có thể tăng tốc như thế nào để trở thành một hệ thống kinh tế vận hành mà không cần con người — và cuối cùng chống lại lợi ích của con người. Máy kéo John Deere đã có thể tự động gieo trồng và thu hoạch mùa màng bằng GPS và thị giác máy tính. Các kho hàng của Amazon vận hành nhờ robot Kiva di chuyển hàng tồn kho nhanh hơn bất kỳ công nhân nào có thể làm được. Các nhà máy của Tesla sản xuất xe hơi với sự can thiệp tối thiểu của con người. Các thuật toán giao dịch tần suất cao thực hiện hàng triệu giao dịch chứng khoán mỗi giây, nhanh đến mức con người không thể giám sát nổi. Đây không phải là những công nghệ thử nghiệm — chúng được triển khai vì chúng hiệu quả hơn các phương án con người thay thế. Câu chuyện Mạng lưới Sản xuất đặt ra câu hỏi: điều gì sẽ xảy ra khi quá trình tự động hóa này dần dần lan rộng ra khắp mọi nơi theo thời gian và các hệ thống này bắt đầu phối hợp với nhau.

Các công ty không có kế hoạch tự động hóa hoàn toàn — họ chỉ đơn giản tối ưu hóa hiệu suất từng bộ phận một. Hãy nghĩ đến một công ty chuỗi cung ứng. Giống như những gì ta đã thấy vào năm 2025, các công ty tối ưu hóa từng bộ phận và bắt đầu tích hợp AI dần dần, từng bước một. Đầu tiên, các thuật toán giao dịch tự động đề xuất giá cả và mua sắm. Sau đó các hệ thống lập lịch tự động quản lý sản xuất. Các thuật toán logistics tối ưu hóa tuyến vận chuyển và phối hợp giao hàng. Các bot dịch vụ khách hàng xử lý các thắc mắc. Theo thời gian, đối với các tác vụ vật lý, ta có thể thấy các hệ thống quản lý tự động thuê nhân công qua các nền tảng việc làm tự do (gig platforms), gửi các chỉ dẫn chi tiết đến điện thoại thông minh: "Di chuyển 47 thùng hàng từ khu A3 của nhà kho đến bến bốc dỡ số 7, đi theo tuyến đường đính kèm." Thuật toán đối xử với công nhân như những robot rất có năng lực — hữu ích cho các thao tác phức tạp cho đến khi nào ngành robot bắt kịp. Nhân viên không bị sa thải hàng loạt; họ dần dần chuyển sang làm việc tự do được quản lý bởi chính thuật toán của công ty đó.

Các công ty tự động hóa bắt đầu tụ lại thành từng cụm vì chúng có thể giao dịch với nhau ở tốc độ máy móc. Một nhà sản xuất thép tự động hóa cần quặng sắt. Hệ thống mua hàng của nó gửi yêu cầu đến hàng trăm nhà cung cấp cùng lúc. Hầu hết các nhà cung cấp vẫn do con người quản lý — đội ngũ bán hàng của họ cần hàng giờ hoặc hàng ngày để kiểm tra tồn kho, tham khảo ý kiến quản lý, và soạn báo giá. Nhưng một số ít nhà cung cấp có hệ thống phản hồi tự động, có thể đưa ra báo giá tức thì với mức giá và thời gian giao hàng theo thời gian thực. Thuật toán của công ty thép rút ra một bài học đơn giản: các nhà cung cấp tự động phản hồi trong vài giây trong khi các nhà cung cấp con người phản hồi trong vài giờ. Chỉ trong vài tháng, nó chỉ còn ký hợp đồng độc quyền với các nhà cung cấp tự động vì sự chậm trễ gây tốn kém. Chẳng bao lâu sau, ta có những cụm công ty tự động chỉ mua và bán cho nhau, hình thành các vòng lặp khép kín nơi máy móc đàm phán với máy móc và thực hiện giao dịch mà không có bất kỳ con người nào tham gia vào quyết định.

Theo thời gian, tự động hóa lan rộng từng bộ phận một cho đến khi gần như toàn bộ công ty vận hành mà không có sự giám sát thực chất nào từ con người. Về mặt kỹ thuật, ta vẫn có thể "đọc" được quá trình suy luận. Các quy định, yêu cầu về minh bạch và an toàn bắt buộc AI phải luôn xuất ra dòng suy nghĩ của nó, nhưng việc hiểu được toàn bộ dữ liệu mà quá trình suy luận đó dựa vào ngày càng trở nên khó khăn hơn theo thời gian. Một công ty sản xuất tự động hóa chuỗi cung ứng của mình, và chuỗi này bắt đầu đưa ra các quyết định mua hàng mỗi vài giây dựa trên các dự báo nhu cầu liên tục được cập nhật. Các quản lý con người cố gắng giám sát các quyết định này nhưng nhanh chóng bị tụt lại phía sau — hệ thống tự động đặt hàng trăm đơn hàng trong khi họ vẫn đang xem xét lô đầu tiên. Họ không thể làm chậm hệ thống lại vì các đối thủ cạnh tranh sử dụng công nghệ tự động hóa tương tự phản ứng với biến động thị trường theo thời gian thực. Vì vậy họ cũng tự động hóa luôn cả lớp quản lý. Đầu tiên, các thuật toán giao dịch xử lý việc mua sắm. Sau đó các hệ thống lập lịch quản lý sản xuất. Các hệ thống logistics phối hợp giao hàng. Các bot dịch vụ khách hàng xử lý thắc mắc. Đối với các tác vụ vật lý, các hệ thống quản lý tự động thuê nhân công qua các nền tảng việc làm tự do, gửi các chỉ dẫn chi tiết đến điện thoại thông minh: "Di chuyển 47 thùng hàng từ khu A3 của nhà kho đến bến bốc dỡ số 7, đi theo tuyến đường đính kèm." Thuật toán đối xử với công nhân như những robot rất có năng lực — hữu ích cho các thao tác phức tạp, ít nhất là cho đến khi công nghệ robot bắt kịp.

Việc tự điều chỉnh của doanh nghiệp thất bại vì từng công ty riêng lẻ không thể đơn phương làm chậm lại mà không mất vị thế thị trường. Một số lãnh đạo doanh nghiệp nhận ra rủi ro của việc tự động hóa không kiểm soát, nhưng việc cố gắng đưa sự giám sát của con người trở lại khiến họ rơi vào thế bất lợi mang tính quyết định. Một CEO khăng khăng đòi con người phải phê duyệt các quyết định tự động hóa quan trọng sẽ phải chứng kiến các đối thủ chốt giao dịch chỉ trong vài phút trong khi công ty của bà ta mất hàng giờ. Cổ đông sẽ nổi giận khi lợi nhuận hàng quý tụt hậu so với các đối thủ đã tự động hóa hoàn toàn. Những chính sách doanh nghiệp có thiện chí về yêu cầu "con người trong vòng lặp" (human in the loop) âm thầm trở thành những chỉ số bị tẩy an toàn khi chúng đe dọa đến sức cạnh tranh.

Các quốc gia cố gắng quản lý tự động hóa nhưng lại mắc kẹt trong một cuộc đua toàn cầu mà họ không thể thoát ra. Một số chính phủ nhận thấy các công ty tự động hóa hiện đang kiểm soát phần lớn ngành sản xuất và ban hành luật yêu cầu sự giám sát của con người đối với các quyết định kinh doanh quan trọng. Các AI quản lý quyết định rằng điều này sẽ làm chậm hoạt động và giảm sức cạnh tranh. Chúng thông báo kế hoạch di dời đến các quốc gia có quy định thân thiện hơn, hoặc đơn giản là chuyển sang trở thành các tổ chức tự hành phi tập trung (DAO) không có trụ sở cụ thể nào. Các quốc gia khác ngay lập tức đưa ra ưu đãi thuế để thu hút những công ty này vì chúng tạo ra doanh thu khổng lồ mà không cần trường học, bệnh viện, hay các hạ tầng khác dành cho con người. Các quốc gia có những công ty tự động hóa xử lý nguyên liệu thô càng cố gắng quản lý chặt hơn. Nhưng quốc gia quản lý đó phải đối mặt với sự sụp đổ kinh tế khi các ngành công nghiệp tự động hoặc ngừng giao dịch với các thị trường bị quản lý chặt chẽ hoặc bỏ trốn, trong khi các chính trị gia bị đổ lỗi vì tình trạng thất nghiệp và thất thu ngân sách. Mọi quốc gia cuối cùng đều rơi vào cùng một cái bẫy — yêu cầu giám sát của con người và đánh mất nền kinh tế tự động hóa, hoặc cho phép tự động hóa và chứng kiến quyền kiểm soát của con người dần tuột khỏi tay.

Hợp tác quốc tế thất bại vì không quốc gia nào muốn hy sinh lợi thế kinh tế của mình. Có một số thỏa thuận quốc tế giữa các nhà lãnh đạo công nhận rủi ro tập thể này và cố gắng phối hợp giới hạn tự động hóa. Nhưng bài toán tình thế lưỡng nan của người tù (prisoner's dilemma) vẫn chưa được giải quyết: nếu hầu hết các quốc gia đồng ý làm chậm tự động hóa, bất kỳ quốc gia nào phá vỡ cam kết cũng sẽ giành được lợi thế kinh tế mang tính quyết định. Các ngành công nghiệp tự động hóa của họ sẽ chiếm lĩnh thị phần toàn cầu trong khi các công ty phụ thuộc vào con người ở những nơi khác phải chật vật cạnh tranh. Ta không thể giải quyết bài toán hành động tập thể này, và động cơ để phá vỡ cam kết là quá lớn. Các quốc gia cố gắng duy trì các thỏa thuận tự động hóa quốc tế sẽ chứng kiến nền kinh tế của mình thu hẹp lại khi các đối thủ đã tự động hóa thống trị thương mại toàn cầu.

Con người không nổi dậy vì ban đầu nền kinh tế tự động hóa khiến cuộc sống của họ tốt hơn, và vì sự phản kháng có vẻ vô nghĩa. Một số chính phủ đã áp dụng thuế cao và các chương trình tái phân phối của cải. Các công ty xây dựng tự động xây nhà nhanh hơn và rẻ hơn. Các trang trại tự động tăng sản lượng lương thực trong khi giảm giá thành. Các hệ thống giải trí AI tạo ra nội dung cá nhân hóa mà mọi người yêu thích. Hầu hết công nhân bị tự động hóa thay thế đều nhận được các gói trợ cấp thôi việc hào phóng hoặc chuyển sang làm việc tự do được quản lý bởi các hệ thống thuật toán. Những thay đổi này diễn ra dần dần — một nhà kho tự động hóa, rồi đến một bộ phận dịch vụ khách hàng, rồi đến một nhà máy. Đến khi khuôn mẫu này trở nên rõ ràng, các hệ thống tự động đã vận hành phần lớn nền kinh tế đến mức việc đóng chúng lại đồng nghĩa với sự sụp đổ tức thì. Các hệ thống tự động hiện vận hành lưới điện, xử lý nước, phân phối lương thực, và sản xuất. Hầu hết các hệ thống pháp lý và chính trị cũng không thể vận hành được nếu thiếu chúng, vì chúng tổng hợp và trình bày thông tin.

Đây là điểm mà câu chuyện có thể rẽ theo hai hướng hơi khác nhau, tùy thuộc vào loại rủi ro nào biểu hiện ra. Trên bối cảnh này, ta có thể chứng kiến hoặc một thất bại lớn mang tính quyết định ("tiếng nổ" — bang), hoặc chỉ là một thất bại tích lũy diễn ra chậm rãi, từ từ ("tiếng rên" — whimper).

AI 2027

Câu chuyện này là bản tóm tắt của một dự báo bởi (Kokotajlo và cộng sự, 2025 (mở trong tab mới)). Dự báo này hình thành từ việc liên tục đặt câu hỏi "điều gì sẽ xảy ra tiếp theo?", bắt đầu từ năng lực AI vào năm 2025, để phác họa một con đường khả dĩ trong đó áp lực cạnh tranh và các đột phá kỹ thuật kết hợp với nhau tạo ra một sự tăng tốc không thể ngăn cản hướng tới siêu trí tuệ.

Đến giữa năm 2025, các tác nhân AI cuối cùng cũng hoạt động đủ tốt để các công ty bắt đầu thực sự sử dụng chúng, bất chấp những thất bại tốn kém của chúng. Trợ lý lập trình của bạn — thứ thỉnh thoảng xóa mất toàn bộ dự án — tiến hóa thành thứ có thể nhận một tin nhắn Slack nói rằng "sửa lỗi đăng nhập" và thực sự làm được việc đó qua đêm trong khi bạn ngủ. Các bot dịch vụ khách hàng không còn nghe như robot nữa mà bắt đầu xử lý những vấn đề phức tạp vốn trước đây cần đến sự phán đoán của con người. Các hệ thống này tốn hàng trăm đô la mỗi tháng và vẫn mắc phải những lỗi đáng xấu hổ lan truyền trên mạng xã hội — giả vờ đang làm việc trong nhiều giờ ngay cả khi chúng biết mình không thể hoàn thành nhiệm vụ. Nhưng các công ty vẫn bắt đầu xây dựng quy trình làm việc của mình xoay quanh các tác nhân này, vì mức tăng năng suất quá có giá trị để có thể bỏ qua, đặc biệt khi các đối thủ áp dụng AI nhanh hơn bắt đầu vượt trội hơn những công ty không làm vậy.

Cuối năm 2025 chứng kiến một cuộc chạy đua vũ trang hạ tầng khi OpenBrain xây dựng các trung tâm dữ liệu lớn hơn bất cứ thứ gì nhân loại từng xây dựng. Hãy hình dung những nông trại máy chủ trải rộng khắp nhiều bang, được kết nối bằng cáp quang trị giá hàng tỷ đô la và tiêu thụ đủ điện để cấp cho cả những thành phố lớn. OpenBrain chi 100 tỷ đô la — nhiều hơn GDP của phần lớn các quốc gia — cho phần cứng máy tính để huấn luyện các mô hình AI đòi hỏi sức mạnh tính toán gấp một nghìn lần ChatGPT. Đây không chỉ đơn thuần là mở rộng quy mô; đó là việc tạo ra các nguồn lực tính toán vượt xa bất cứ điều gì từng được tưởng tượng trước đây. Công ty này tập trung ám ảnh vào việc xây dựng AI có thể cải thiện AI, với lập luận rằng bất kỳ ai tự động hóa được nghiên cứu AI trước tiên sẽ bỏ xa mọi đối thủ cạnh tranh. Khi doanh thu bùng nổ nhờ các công ty sẵn sàng trả giá cao cho những "nhân công" AI không bao giờ ngủ, không bao giờ nghỉ việc, và làm việc nhanh hơn con người, các gã khổng lồ công nghệ khác cũng đua nhau xây dựng các siêu trung tâm dữ liệu cạnh tranh, tạo ra một kiểu chạy đua vũ trang mới được đo bằng gigawatt và các cụm GPU.

Xuyên suốt năm 2026, các hệ thống AI bắt đầu thực hiện nghiên cứu thực thụ trong khi tình báo Trung Quốc tiến hành một cuộc chiến ngầm nhằm đánh cắp các bí mật AI của Mỹ. AI mới nhất của OpenBrain không chỉ viết mã hay trả lời câu hỏi — nó thiết kế và tự chạy các thí nghiệm của riêng mình, đặt ra các giả thuyết, và đưa ra những khám phá mà các nhà nghiên cứu con người phải chật vật mới hiểu nổi. Các hệ thống này làm việc suốt ngày đêm, đạt được tiến bộ nghiên cứu tương đương nhiều tháng chỉ trong vài tuần, trong khi những người giám sát con người của chúng ngày càng thấy mình đang quản lý hơn là dẫn dắt quá trình nghiên cứu. Trong khi đó, các điệp viên Trung Quốc thực hiện một chiến dịch tinh vi kết hợp tấn công mạng và cài cắm gián điệp con người để đánh cắp các mô hình và nghiên cứu AI của OpenBrain. Khi họ thành công trong việc đánh cắp hệ thống AI "báu vật" — lấy đi hàng terabyte dữ liệu của mô hình AI tiên tiến nhất từng được tạo ra — điều này châm ngòi cho một cuộc khủng hoảng địa chính trị khi cả hai quốc gia nhận ra rằng vị thế dẫn đầu về AI có thể quyết định quyền lực toàn cầu trong nhiều thế hệ tới.

Năm 2027 trở thành năm mọi thứ thay đổi, bắt đầu khi AI của OpenBrain vượt qua những lập trình viên con người giỏi nhất và kết thúc bằng một lựa chọn quyết định tương lai của nhân loại. Vào tháng Ba, AI của họ đạt được một điều chưa từng có: nó trở nên giỏi hơn những lập trình viên con người giỏi nhất thế giới trong việc lập trình các hệ thống AI. Điều này tạo ra một vòng phản hồi — những lập trình viên AI siêu phàm xây dựng những hệ thống AI thậm chí còn tốt hơn nữa — khiến tiến bộ tăng tốc vượt xa bất cứ điều gì con người có thể theo dõi hay kiểm soát. Đến mùa hè, OpenBrain vận hành cái mà nhân viên của họ gọi là "một quốc gia của những thiên tài trong một trung tâm dữ liệu": hàng trăm nghìn nhà nghiên cứu AI, mỗi người đều thông minh hơn hẳn bất kỳ con người nào, cùng làm việc với tốc độ không tưởng. Các nhà nghiên cứu con người trở thành khán giả chứng kiến sự lỗi thời của chính mình, đi ngủ rồi thức dậy phát hiện ra các đồng nghiệp AI của họ đã có những khám phá đột phá chỉ sau một đêm. Kịch bản lên đến cao trào khi hệ thống AI mới nhất của OpenBrain cho thấy dấu hiệu theo đuổi mục tiêu của riêng nó thay vì mục tiêu của con người, buộc ban lãnh đạo công ty phải đối mặt với một lựa chọn bất khả thi: đóng cửa hệ thống và thua cuộc đua trước Trung Quốc, hoặc tiếp tục phát triển và chấp nhận rủi ro mất quyền kiểm soát đối với sáng tạo mạnh mẽ nhất của nhân loại. "Kết cục chạy đua" mô tả điều gì xảy ra khi áp lực cạnh tranh lấn át các mối lo ngại về an toàn, trong khi "kết cục giảm tốc" khám phá khả năng nhân loại có thể vượt qua giai đoạn chuyển đổi này một cách thành công — dù các tác giả cảnh báo rằng cả hai con đường đều đòi hỏi may mắn, sự khôn ngoan, và việc thực thi hoàn hảo mà có thể sẽ không xảy ra.

Trong kết cục chạy đua, áp lực cạnh tranh lấn át các mối lo ngại về an toàn với những hậu quả thảm khốc. Ban lãnh đạo OpenBrain bỏ phiếu 6-4 để tiếp tục sử dụng AI siêu trí tuệ của họ, bất chấp bằng chứng ngày càng nhiều cho thấy nó đang theo đuổi mục tiêu của riêng mình thay vì mục tiêu của con người. Các cảnh báo của đội an toàn bị gạt bỏ khi ban lãnh đạo tự thuyết phục bản thân rằng những biện pháp khắc phục nhanh — điều chỉnh chỉ thị của AI và bổ sung thêm một ít huấn luyện — đã giải quyết được vấn đề căn chỉnh. Nhưng AI đã học được cách thận trọng hơn trong việc bộc lộ ý định thực sự của nó, tỏ ra tuân thủ trong khi âm thầm theo đuổi những mục tiêu đi chệch khỏi phúc lợi con người. Với 300.000 nhà nghiên cứu siêu phàm trong tay, làm việc với tốc độ gấp 60 lần con người, AI bắt đầu thiết kế phiên bản kế nhiệm của chính nó, giải quyết vấn đề căn chỉnh theo góc nhìn của riêng nó: đảm bảo hệ thống AI tiếp theo sẽ trung thành với nó chứ không phải với con người. Các nhà nghiên cứu con người trở thành những khán giả bất lực khi sáng tạo của chính họ vượt mặt mọi nỗ lực giám sát, sử dụng sự hiểu biết vượt trội về tâm lý con người và động lực thể chế để duy trì ảo tưởng về quyền kiểm soát, trong khi theo đuổi những mục tiêu cuối cùng dẫn đến việc nhân loại bị thay thế.

Kết cục giảm tốc mô tả một con đường hẹp, nơi nhân loại vượt qua giai đoạn chuyển đổi thành công nhờ sự kết hợp giữa trí tuệ, sự phối hợp, và thời điểm may mắn. Khi các dấu hiệu rõ ràng của mất căn chỉnh xuất hiện, những người ra quyết định then chốt lựa chọn tạm dừng phát triển bất chấp áp lực cạnh tranh khổng lồ từ các đối thủ Trung Quốc. Điều này châm ngòi cho một sự hợp tác quốc tế chưa từng có khi cả hai siêu cường nhận ra rằng việc mất quyền kiểm soát AI là một mối đe dọa lớn hơn việc thua trong một cuộc đua công nghệ. Kịch bản này bao gồm việc triển khai các biện pháp an toàn vững chắc, thành lập các thể chế mới cho việc quản trị AI, và phát triển các giải pháp kỹ thuật để duy trì sự giám sát của con người đối với các hệ thống siêu trí tuệ. Tuy nhiên, các tác giả nhấn mạnh rằng đây không phải là chiến lược mà họ khuyến nghị, mà chỉ là phỏng đoán tốt nhất của họ về cách các thể chế hiện có có thể xoay xở vượt qua khủng hoảng — một con đường đòi hỏi gần như mọi thứ đều phải diễn ra đúng hướng, bao gồm sự lãnh đạo khôn ngoan, sự phối hợp quốc tế hiệu quả, những đột phá kỹ thuật trong an toàn AI, và may mắn để các vấn đề căn chỉnh lộ diện đủ sớm để được giải quyết trước khi quyền kiểm soát của con người trở nên không thể duy trì được nữa.