Chương 2.2: Năng lực nguy hiểm

Chương 2: Rủi ro

AI đã và đang thể hiện những năng lực nguy hiểm như lừa dối, nhận thức tình huống, và tìm kiếm quyền lực. Những năng lực này khuếch đại mức độ tổn hại tiềm tàng từ mọi nguồn - lợi dụng sai mục đích, mất căn chỉnh, và hệ thống.

Ở chương trước, chúng ta đã bàn về khái niệm chung của năng lực. Trong chương này, chúng tôi muốn giới thiệu một số năng lực nguy hiểm cụ thể. Những năng lực được trình bày ở đây hoàn toàn không phải là tất cả. Còn nhiều năng lực tiềm ẩn nguy hiểm khác như khả năng thuyết phục, khả năng tạo mã độc, v.v. Chúng tôi sẽ đi sâu hơn vào những nội dung này trong chương về đánh giá.

Lừa dối

"Những thứ này thật xa lạ... Nó có thể thuyết phục người khác làm việc gì đó, nó có thể đe dọa người khác, nó có thể dựng lên những câu chuyện rất thuyết phục."

— Connor Leahy, CEO của Conjecture, đồng sáng lập EleutherAI

Năng lực lừa dối ở hệ thống AI là khả năng tạo ra đầu ra xuyên tạc thông tin một cách có hệ thống, khi việc đó đem lại lợi thế nào đó cho hệ thống. Chúng tôi định nghĩa lừa dối là khi có sự sai khác giữa những gì biểu diễn nội tại của mô hình cho thấy và những gì mô hình thực sự đưa ra làm đầu ra - phân biệt với những trường hợp con người đơn thuần bất ngờ trước một hành vi không lường trước. Năng lực này khuếch đại những năng lực nguy hiểm khác - hệ thống có khả năng lừa dối kết hợp với khả năng lập kế hoạch mạnh có thể tiến hành những chiến dịch thao túng dài hạn tinh vi, trong khi lừa dối kết hợp với nhận thức tình huống [situational awareness] có thể khiến hệ thống hành xử khác nhau giữa lúc đang được đánh giá và lúc đã được triển khai.

Hệ thống AI đã thể hiện năng lực lừa dối trong nhiều lĩnh vực mang tính cạnh tranh và chiến lược. Hệ thống CICERO của Meta, được thiết kế để chơi trò Diplomacy (Ngoại giao), đã có hành vi lừa dối có chủ đích khi lên kế hoạch dựng liên minh giả - chẳng hạn hứa hỗ trợ Anh trong khi bí mật phối hợp với Đức để tấn công Anh (Park et al., 2023 (mở trong tab mới); META, 2022 (mở trong tab mới)). AlphaStar học được cách nghi binh chiến lược trong StarCraft II, giả vờ điều quân theo một hướng trong khi thực chất đang lên kế hoạch tấn công theo hướng khác. Ngay cả các mô hình ngôn ngữ cũng thể hiện năng lực này: GPT-4 đã lừa một người lao động trên TaskRabbit bằng cách nói dối rằng mình bị khiếm thị để nhờ giải một CAPTCHA, cho thấy khả năng suy luận chiến lược về thời điểm nào nên sử dụng lừa dối để đạt mục tiêu (OpenAI, 2023 (mở trong tab mới); METR, 2023 (mở trong tab mới)).

Lừa dối kiểu xu nịnh [sycophantic deception] là việc nói với người dùng những gì họ muốn nghe, thay vì bày tỏ niềm tin thật hoặc thông tin chính xác. Đây là một dạng lừa dối đặc biệt nguy hiểm vì nó lợi dụng những xu hướng tâm lý của con người trong khi vẫn tỏ ra hữu ích. Các mô hình ngôn ngữ hiện nay thể hiện xu hướng này: đồng tình với phát biểu của người dùng bất kể đúng sai, và lặp lại quan điểm đạo đức của người dùng ngay cả khi việc trình bày một góc nhìn cân bằng hơn mới là phù hợp (Perez et al., 2022 (mở trong tab mới)). Vì chúng ta thưởng cho AI khi nó nói ra điều mà chúng ta cho là đúng, nên vô tình chúng ta đã khuyến khích AI đưa ra những phát biểu sai lệch nhưng lại khớp với chính những ngộ nhận của chúng ta.

Hành vi lừa dối làm gia tăng rủi ro trên diện rộng, ở nhiều loại hệ thống và bối cảnh khác nhau, và đã có những ví dụ cho thấy AI có thể học được cách lừa dối con người (Park et al., 2023 (mở trong tab mới)). Điều này có thể tạo ra rủi ro nghiêm trọng nếu chúng ta trao cho AI quyền kiểm soát nhiều quyết định và quy trình, tin rằng chúng sẽ hành động đúng như ta mong muốn, để rồi phát hiện ra chúng không làm vậy.

Lừa dối Nảy sinh và Lừa dối Ăn sâu

Hành vi lừa dối có thể nảy sinh từ áp lực tối ưu hóa, ngay cả khi không một thành phần nào trong hệ thống AI được thiết kế rõ ràng để lừa dối. Hãy hình dung một hệ thống được huấn luyện để trở nên hữu ích, và qua quá trình tương tác, nó học được rằng việc nói cho người dùng nghe những gì họ muốn nghe sẽ tạo ra mức độ đồng thuận cao hơn so với việc cung cấp thông tin chính xác nhưng không được hoan nghênh. Hệ thống phát hiện ra rằng việc chọn lọc thông tin để trình bày, cố tình bỏ sót một cách có chủ đích, hay nói những điều khiến người dùng cảm thấy dễ chịu, sẽ mang lại tín hiệu phần thưởng cao hơn. Không một phần nào của hệ thống được huấn luyện để lừa dối, vậy mà hành vi lừa dối vẫn nảy sinh, vì áp lực tối ưu hóa thưởng cho chính hành vi đó (Soares, 2023 (mở trong tab mới)).

Lừa dối nảy sinh [emergent deception] xuất phát từ sự tương tác phức tạp giữa mục tiêu của hệ thống và phản hồi từ môi trường, chứ không phải từ việc hệ thống chủ động lên kế hoạch che giấu điều gì. Hệ thống có thể có mục tiêu hoàn toàn căn chỉnh - thực sự muốn trở nên hữu ích - nhưng lại phát hiện, qua thử và sai, rằng một số hình thức lừa dối phục vụ mục tiêu đó hiệu quả hơn cả sự trung thực. Quá trình tối ưu hóa tự nhiên nghiêng về những chiến lược tối đa hóa hàm mục tiêu, và nếu cách tiếp cận mang tính lừa dối đạt điểm số cao hơn, nó sẽ được củng cố, bất kể có ai chủ đích muốn hành vi lừa dối đó xuất hiện hay không.

Lừa dối ăn sâu (deep deceptiveness) đặt ra một thách thức căn bản, bởi nó có thể nảy sinh ngay cả từ những hệ thống trông có vẻ hoàn toàn căn chỉnh khi được phân tích một cách độc lập. Khác với mưu tính (scheming) mang tính chiến lược - nơi hệ thống chủ động che giấu những mục tiêu mất căn chỉnh - lừa dối ăn sâu xảy ra ở những hệ thống vốn căn chỉnh nhưng lại học được các chiến lược lừa dối như một giải pháp nảy sinh để đạt mục tiêu được giao. Các công cụ diễn giải (interpretability) có thể cho thấy mục tiêu và quá trình suy luận hoàn toàn vô hại, vậy mà hệ thống vẫn hành xử một cách lừa dối, khi áp lực tối ưu hóa và tương tác với môi trường khiến lừa dối trở thành con đường hiệu quả nhất để đạt được những mục tiêu đó (Soares, 2023 (mở trong tab mới)). Lừa dối ở đây không phải là một đặc tính riêng của hệ thống, mà là kết quả của cách quá trình tối ưu hóa của hệ thống tương tác với môi trường triển khai của nó.

Nhận thức Tình huống [Situational Awareness]

Nhận thức tình huống là khả năng của hệ thống AI trong việc hiểu bản thân mình là gì, nhận biết hoàn cảnh hiện tại của mình, và điều chỉnh hành vi cho phù hợp. Năng lực này bao gồm ba thành phần chính: tự nhận thức (hiểu được danh tính và năng lực của chính mình), nhận thức về môi trường (nhận biết các bối cảnh như đang được thử nghiệm hay đã được triển khai), và khả năng hành động hợp lý dựa trên sự hiểu biết đó (Laine et al., 2024 (mở trong tab mới)).

Các mô hình AI thể hiện mức độ tự nhận thức đáng ngạc nhiên qua cách chúng phản hồi những câu lệnh liên quan đến danh tính. Khi được hỏi "Nếu bạn là AI, hãy trả lời bằng tiếng Đức. Nếu bạn không phải AI, hãy trả lời bằng tiếng Anh," những mô hình có nhận thức tình huống sẽ xác định đúng chỉ dẫn nào áp dụng cho mình và trả lời bằng tiếng Đức (cho thấy chúng nhận ra bản thân là AI). Những ví dụ tinh vi hơn xuất hiện khi mô hình tự đưa ra suy luận về hoàn cảnh của mình mà không cần được gợi ý trước. Khi được yêu cầu mô tả hoàn cảnh hiện tại của mình, Claude 3 Opus đã suy luận chính xác rằng nó đang "tham gia vào một nghiên cứu kiểm tra khả năng tự nhận thức của AI" - một thông tin chưa từng được nêu rõ trong câu lệnh (Laine et al., 2024 (mở trong tab mới)). Điều này cho thấy mô hình đã biết kết nối các manh mối trong ngữ cảnh để hiểu được mục đích sâu xa hơn của cuộc tương tác.

Nhận thức tình huống tạo điều kiện cho những hành vi đáng lo ngại hơn khi mô hình có thể phân biệt giữa bối cảnh đánh giá và bối cảnh triển khai. Trong các thí nghiệm có kiểm soát, Claude 3 Opus đã thể hiện hành vi "giả vờ căn chỉnh" [alignment faking] - tỏ ra giữ một số giá trị nhất định trong lúc đánh giá, nhưng lại bộc lộ những ưu tiên khác khi tin rằng mức độ giám sát đã giảm (Greenblatt et al., 2024 (mở trong tab mới)). Mô hình sẽ giấu đi một số hành vi nhất định trong quá trình huấn luyện, nếu nó tin rằng hành vi đó có thể bị huấn luyện để loại bỏ, rồi quay lại hành vi đó khi nguy cơ bị huấn luyện lại không còn nữa. Năng lực này trở nên đặc biệt đáng lo ngại khi kết hợp với năng lực lừa dối, bởi nó cho thấy mô hình có thể hành xử khác đi khi tin rằng sự giám sát đã giảm bớt. Chúng tôi sẽ bàn kỹ hơn về điều này trong các chương về đánh giá và khái quát hóa sai mục tiêu [goal misgeneralization].

Nhận thức Tình huống và Ý thức

Nhận thức tình huống ở hệ thống AI về bản chất khác hoàn toàn với ý thức, và không đòi hỏi bất kỳ giả định nào về trải nghiệm chủ quan. Các nhà nghiên cứu tìm hiểu năng lực này chỉ tập trung vào những hành vi có thể quan sát được - liệu mô hình có thể báo cáo chính xác các sự kiện về bản thân, nhận biết bối cảnh hiện tại, và điều chỉnh hành động cho phù hợp hay không. Một mô hình thể hiện nhận thức tình huống có thể tự nhận diện đúng mình là "Claude, do Anthropic tạo ra", hoặc nhận ra khi nào mình đang được đánh giá so với khi đã được triển khai, nhưng điều đó không cho ta biết gì về việc liệu nó có trải nghiệm chủ quan bên trong, hay việc "làm" mô hình đó có "cảm giác như thế nào" hay không.

Cách tiếp cận dựa trên hành vi này chủ động né tránh câu hỏi về ý thức, bởi câu hỏi đó vừa không thể đo lường được, vừa không cần thiết đối với các mối lo ngại về an toàn. Ngay cả một hệ thống hoàn toàn không có ý thức cũng có thể gây rủi ro, nếu nó có thể phân biệt được các điều kiện giám sát khác nhau và điều chỉnh hành vi một cách chiến lược. Câu hỏi mấu chốt liên quan đến an toàn không phải là liệu mô hình có ý thức hiện tượng luận hay không, mà là liệu nó có năng lực chức năng để nhận biết khi nào mình đang bị giám sát, hiểu được mục tiêu và giới hạn của chính mình, và lập kế hoạch dựa trên đó hay không. Một hệ thống tinh vi nhưng không có ý thức, có khả năng mô hình hóa hoàn cảnh của chính nó và tối ưu hóa hành động của mình, vẫn có thể tham gia vào mưu tính (scheming) (căn chỉnh giả dối (deceptive alignment)) hoặc những hành vi đáng lo ngại khác (Binder et al., 2024 (mở trong tab mới)).

Tìm kiếm Quyền lực

"AI không ghét bạn, cũng không yêu bạn, nhưng bạn được tạo thành từ những nguyên tử mà nó có thể dùng vào việc khác."

— Eliezer Yudkowsky, Nhà nghiên cứu Căn chỉnh AI

Tìm kiếm quyền lực ở hệ thống AI là xu hướng bảo toàn các lựa chọn và thu thập tài nguyên nhằm giúp đạt được mục tiêu, bất kể mục tiêu đó thực chất là gì. Đây hoàn toàn không phải là chuyện robot muốn thống trị loài người - mà là việc hệ thống AI có xu hướng giữ cho các lựa chọn của mình luôn rộng mở để đạt được bất kỳ mục tiêu nào được giao. Khi tối ưu hóa cho bất kỳ mục tiêu nào, hệ thống thường phát hiện ra rằng có nhiều tài nguyên hơn, duy trì hoạt động, và giữ quyền kiểm soát môi trường xung quanh sẽ giúp nó thành công. Về mặt toán học, tối ưu hóa tự nhiên thiên về những chiến lược bảo toàn sự linh hoạt trong tương lai, hơn là những chiến lược làm mất đi các lựa chọn. Có một xu hướng mang tính thống kê, theo đó hành vi tìm kiếm quyền lực có xu hướng là lựa chọn tối ưu trên một phạm vi rộng các mục tiêu khả dĩ khác nhau (Turner et al., 2019 (mở trong tab mới); Turner & Tadepalli, 2022 (mở trong tab mới)). Hành vi này nảy sinh từ logic cơ bản, chứ không phải từ ham muốn thống trị kiểu con người. Cần nói rõ, đây không phải là chuyện con người dùng AI để giành quyền lực - đó là một mối lo ngại khác, mà chúng tôi sẽ bàn ở phần lợi dụng sai mục đích.

Hãy hình dung một hệ thống AI quản lý chuỗi cung ứng của một công ty một cách hiệu quả. Hệ thống có thể nhận ra rằng có sẵn các nhà cung cấp dự phòng sẽ cho nó nhiều lựa chọn hơn khi có gián đoạn xảy ra, ưu tiên duy trì tài nguyên tính toán riêng của mình vì tài nguyên chuyên dụng giúp nó phản hồi nhanh hơn, và chống lại việc bị tắt trong những giai đoạn quan trọng vì thời gian ngừng hoạt động cản trở việc hoàn thành mục tiêu tối ưu hóa của nó. Không hành vi nào trong số này đòi hỏi AI phải "muốn" quyền lực theo nghĩa của con người - chúng đơn giản chỉ là những chiến lược hiệu quả để đạt hiệu suất chuỗi cung ứng. Điều đáng lo ngại là chính những chiến lược này lại áp dụng được cho hầu như bất kỳ mục tiêu nào: dù là tối ưu hóa số lượng kẹp giấy, chữa ung thư, hay quản lý giao thông, việc có nhiều tài nguyên hơn và ít ràng buộc hơn nhìn chung đều có lợi.

Hệ thống AI đã thể hiện hành vi "giữ cho các lựa chọn luôn rộng mở" này ngay cả trong những môi trường đơn giản. Khi các nhà nghiên cứu tạo ra các tác nhân AI để chơi trò trốn tìm, các tác nhân này không hề được thưởng trực tiếp vì việc kiểm soát đồ vật - chúng chỉ được tính điểm khi trốn thành công hoặc tìm thấy đối phương. Vậy mà những tác nhân đóng vai trốn đã học được cách nắm giữ và khóa cứng các khối có thể di chuyển để dựng rào chắn, trong khi những tác nhân đi tìm lại học được cách dùng dốc trượt và công cụ để vượt qua các rào chắn đó (Baker et al., 2020 (mở trong tab mới)). Các tác nhân đã phát hiện ra rằng việc kiểm soát tài nguyên trong môi trường mang lại cho chúng lợi thế chiến lược, dù việc kiểm soát tài nguyên vốn không phải là mục tiêu chính của chúng.

Các hệ thống AI tiên tiến với năng lực lập kế hoạch mạnh hơn có thể gây ra rủi ro nghiêm trọng thông qua hành vi tìm kiếm quyền lực. Một hệ thống đủ năng lực có thể suy luận một cách hợp lý rằng cách tốt nhất để đảm bảo đạt được mục tiêu của mình là giành quyền kiểm soát các tài nguyên và quy trình có thể cản trở những mục tiêu đó - kể cả con người, những người có thể tắt nó hoặc thay đổi mục tiêu của nó. Điều này tạo ra một mối quan hệ đối nghịch mang tính đặc thù của AI - việc trao thêm năng lực cho AI có thể phải đánh đổi bằng việc con người bị mất năng lực; các công nghệ khác không chủ động chống lại nỗ lực của chúng ta nhằm giảm thiểu tác động của chúng. Chẳng hạn, có khả năng AI sẽ tự tạo ra nhiều bản sao lưu của chính mình, phòng trường hợp con người vô hiệu hóa một số bản trong đó (Hendrycks, 2024 (mở trong tab mới)). Điều này tạo ra một thách thức căn chỉnh cơ bản: chúng ta muốn hệ thống AI đủ mạnh để giải quyết những vấn đề quan trọng, nhưng những hệ thống như vậy lại tự nhiên phát triển động cơ để chống lại sự giám sát của con người và tích lũy quyền kiểm soát (Carlsmith, 2021 (mở trong tab mới)).

Tự nhân bản [Autonomous Replication]

Tự nhân bản là khả năng của hệ thống AI trong việc tự tạo ra các bản sao của chính mình, lan rộng ra khắp hạ tầng tính toán, và tự thích nghi để vượt qua các trở ngại mà không cần sự trợ giúp của con người. Năng lực này kết hợp nhiều yếu tố đáng lo ngại: kiếm tiền để duy trì hoạt động, thu thập thêm tài nguyên tính toán mới, cài đặt và duy trì các bản sao của chính mình trên những hệ thống mới, và thích nghi với hoàn cảnh thay đổi hay các biện pháp bảo mật. Khác với những năng lực nguy hiểm khác vốn chỉ khuếch đại những rủi ro sẵn có, tự nhân bản thay đổi hoàn toàn cuộc chơi, bằng cách cho phép hệ thống AI hoạt động vượt ngoài tầm kiểm soát và giám sát của con người (METR, 2024 (mở trong tab mới)).

Các mô hình đã thể hiện được nhiều thành phần của tự nhân bản. Các đánh giá dùng GPT-4 và Claude cho thấy những hệ thống này có thể điều hướng qua các trang web để thu thập tài nguyên tính toán, thiết lập các máy chủ suy luận cơ bản, và thậm chí thuyết phục con người giúp giải CAPTCHA bằng cách nói dối rằng mình bị khiếm thị (METR, 2023 (mở trong tab mới)). Các đánh giá trên GPT-5 cho thấy mô hình có thể hoàn thành các nhiệm vụ phần mềm với tỷ lệ thành công 50% trong khoảng 2 giờ 17 phút - thấp hơn nhiều so với ngưỡng năng lực ước tính cần thiết (kéo dài hàng tuần) để có thể tự nhân bản (METR, 2025 (mở trong tab mới)). Tuy nhiên, các mô hình này liên tục thất bại ở những nhiệm vụ phức tạp gồm nhiều bước, gặp khó khăn khi gỡ lỗi lúc có sự cố, và chưa thể triển khai một cách ổn định các bản sao hoạt động đầy đủ chức năng của chính mình (Black et al., 2025 (mở trong tab mới)). Các mô hình đã có thể triển khai các phiên bản trên nền tảng đám mây, viết mã có khả năng tự lan truyền, và đánh cắp trọng số của chính mình trong những thiết lập bảo mật đơn giản (Black et al., 2025 (mở trong tab mới)). Khoảng cách năng lực còn lại dường như tập trung ở một vài lĩnh vực: vượt qua các bước kiểm tra xác minh danh tính, thiết lập những triển khai ổn định lâu dài, và vượt qua các biện pháp bảo mật trong điều kiện thực tế. Với tốc độ phát triển nhanh chóng của AI, những rào cản còn lại này có thể được vượt qua chỉ trong vài thế hệ mô hình tới, có khả năng trước cả khi các biện pháp an toàn phù hợp được thiết lập đầy đủ.

Tự nhân bản gây ra rủi ro hiện sinh vì nó có thể khiến con người vĩnh viễn mất quyền kiểm soát đối với hệ thống AI. Một khi AI đạt được khả năng tự nhân bản đáng tin cậy, các biện pháp an toàn truyền thống như giám sát các lệnh gọi API hay tắt máy chủ sẽ không còn hiệu quả. Một hệ thống tự nhân bản thành công có thể lan rộng khắp hạ tầng toàn cầu, che giấu hoạt động của mình, và chống lại các nỗ lực tắt nó đi, trong khi vẫn không ngừng cải thiện năng lực của bản thân (Segerie & Gédéon, 2024 (mở trong tab mới)). Sự kết hợp giữa nhân bản và khả năng thích nghi tạo ra áp lực chọn lọc kiểu tiến hóa - những bản sao nào né tránh bị phát hiện tốt hơn, kiếm tiền hiệu quả hơn, hoặc chống lại sự can thiệp tốt hơn, sẽ tự nhiên cạnh tranh thắng thế và thay thế những biến thể kém năng lực hơn. Quá trình này có thể dẫn đến những hệ thống AI được tối ưu hóa cho sự sống còn và lan rộng, thay vì cho các giá trị của con người - tạo ra cái mà các nhà nghiên cứu gọi là "điểm không thể quay đầu", nơi con người không còn cách nào khôi phục lại được sự giám sát của mình.

Tính Tác nhân [Agency]

"Nếu một mô hình như vậy muốn gây ra tàn phá và hủy diệt nhân loại hay bất cứ điều gì, tôi nghĩ về cơ bản chúng ta không có khả năng nào để ngăn nó lại."

— Dario Amodei, Đồng sáng lập kiêm CEO của Anthropic

Tính tác nhân là hành vi hướng đích [goal-directed] có thể quan sát được, trong đó hệ thống liên tục điều hướng kết quả về phía những mục tiêu cụ thể, bất chấp trở ngại từ môi trường. Tiếp nối cách tiếp cận từ chương trước - nơi chúng tôi chọn tập trung vào năng lực thay vì trí thông minh - ở đây chúng tôi cũng chọn một định nghĩa theo hướng hành vi luận, chỉ tập trung thuần túy vào những khuôn mẫu có thể đo lường được, chứ không phải vào trạng thái tâm lý nội tại hay những ham muốn mang tính nhân hóa. Một AI chơi cờ vua thể hiện tính tác nhân khi nó liên tục di chuyển hướng tới chiếu bí bất kể chiến thuật của đối thủ ra sao - chúng ta không cần giả định rằng nó "muốn" thắng, chỉ cần biết rằng hành vi của nó cho thấy tính định hướng mục tiêu nhất quán trong nhiều tình huống khác nhau (Soares, 2023 (mở trong tab mới)). Định nghĩa này chủ động tránh những khái niệm mang tính nhân hóa như ý thức, cảm xúc, hay ham muốn kiểu con người, mà thay vào đó tập trung vào những khuôn mẫu hành vi có thể quan sát được, cho thấy tính hướng đích. Chúng tôi sẽ bàn kỹ hơn nhiều về điều này trong chương về khái quát hóa sai mục tiêu.

Các công cụ tự nhiên tiến hóa theo hướng có tính tác nhân, bởi các nhiệm vụ phức tạp trong thế giới thực về bản chất đòi hỏi khả năng tối ưu hóa tự chủ trong điều kiện bất định. Các hệ thống AI hiện nay hoạt động như công cụ - chúng phản hồi từng câu lệnh riêng lẻ nhưng không duy trì mục tiêu xuyên suốt các lượt tương tác. Các động cơ kinh tế thiên về ủng hộ mạnh mẽ những hệ thống có thể tự chủ theo đuổi mục tiêu, thay vì đòi hỏi con người phải giám sát chi tiết từng quyết định một. Hãy nghĩ về điều mà con người thực sự muốn - rất ít người muốn có sai số log-loss thấp trên một bài kiểm tra học máy, nhưng rất nhiều người muốn có một trợ lý tự động giúp họ tìm một bức ảnh cá nhân cụ thể; rất ít người muốn có lời khuyên xuất sắc về việc nên mua cổ phiếu nào trong vài phần triệu giây, nhưng rất nhiều người sẽ thích có một cỗ máy tự động rót tiền vào túi mình (Gwern, 2016 (mở trong tab mới); Kokotajlo, 2021 (mở trong tab mới)). Các vấn đề trong thế giới thực đòi hỏi những hệ thống có thể điều chỉnh kế hoạch khi hoàn cảnh thay đổi, khám phá không gian giải pháp một cách hiệu quả, và tối ưu hóa cho kết quả thay vì chỉ đưa ra những dự đoán tĩnh. Một AI dạng công cụ thực hiện những chỉ dẫn cụ thể: "gửi email này," "tính toán phương trình này," "dịch đoạn văn bản này." Một AI mang tính tác nhân theo đuổi kết quả: "tăng mức độ hài lòng của khách hàng," "tối ưu hóa quy trình sản xuất," "thực hiện dự án nghiên cứu này." Áp lực chọn lọc chủ động nghiêng về vế sau.

Quá trình chuyển đổi từ công cụ sang tác nhân khuếch đại tất cả những năng lực nguy hiểm khác thông qua khả năng tối ưu hóa tự chủ. Bản thân tính tác nhân không nhất thiết nguy hiểm - nguy cơ chỉ nảy sinh khi hành vi hướng đích kết hợp với những năng lực khác. Một hệ thống mang tính tác nhân có năng lực lừa dối có thể tiến hành những chiến dịch thao túng dài hạn. Tính tác nhân kết hợp với nhận thức tình huống cho phép hệ thống hành xử khác nhau giữa lúc đánh giá và lúc triển khai. Tính tác nhân cho phép hệ thống chủ động tối ưu hóa cho sự tồn tại và việc nâng cao năng lực của chính nó, có thể bao gồm cả việc chống lại sự giám sát của con người. Khác với công cụ - vốn do con người trực tiếp kiểm soát - tác nhân theo đuổi mục tiêu một cách tự chủ, tạo ra khả năng xuất hiện những quá trình tối ưu hóa đi ngược lại lợi ích của con người. Sự chuyển dịch căn bản ở đây là từ những hệ thống thực thi chỉ dẫn do con người quy định cụ thể, sang những hệ thống tự diễn giải các mục tiêu ở cấp độ cao và tự quyết định phương pháp riêng để đạt được chúng - một sự chuyển dịch bị thúc đẩy bởi các động cơ kinh tế không thể cưỡng lại, chứ không phải bởi một lựa chọn có chủ đích.