Chương 5.7: Đánh giá kiểm soát

Việc thẩm định liệu các quy trình an toàn có còn hiệu quả hay không, ngay cả khi một hệ thống AI có năng lực cao đang chủ động tìm cách phá vỡ chúng, mang lại một lớp đảm bảo bổ sung, độc lập, vượt ra ngoài việc chỉ đảm bảo về mặt kỹ thuật cho sự căn chỉnh.

Chúng tôi đã giải thích trực giác cơ bản đằng sau chương trình nghị sự kiểm soát AI (AI control) ở những phần trước, cũng như trong những chương trước như chương Chiến lược. Phần này nhằm bổ sung thêm chiều sâu, cụ thể về những đánh giá mà chúng ta có thể thiết kế khi đi theo hướng tư duy kiểm soát này.

Đánh giá kiểm soát nhắm tới những dạng thất bại về căn bản khác biệt so với các đánh giá khác. Phần lớn các đánh giá an toàn ngầm giả định rằng hệ thống AI có thể mắc lỗi hoặc tối ưu hóa cho những mục tiêu mất căn chỉnh, nhưng không chủ động tìm cách phá vỡ các biện pháp an toàn. Đánh giá kiểm soát lấp đầy khoảng trống này bằng cách áp dụng tư duy đối kháng thường thấy trong an ninh mạng — giả định rằng các tác nhân AI tinh vi đang chủ ý cố gắng phá vỡ các biện pháp bảo vệ. Khác với đánh giá năng lực vốn đo lường những gì mô hình có thể làm, hay đánh giá xu hướng hành vi vốn đo lường những gì mô hình có xu hướng làm, đánh giá kiểm soát đo lường liệu các quy trình an toàn có còn hiệu quả hay không khi mô hình cố ý tìm cách phá vỡ chúng (Shlegeris et al., 2023). Nói một cách không chính thức, chúng ta có thể hiểu tiền đề cốt lõi của kiểm soát bằng cách nhận ra rằng an toàn có thể đạt được thông qua hai con đường bổ trợ nhau:

1. Đảm bảo AI không cố gắng làm những "điều xấu" mà chúng ta không muốn (căn chỉnh)
2. Đảm bảo AI không thể thực sự làm được những "điều xấu" đó ngay cả khi nó cố gắng (kiểm soát)

Hai con đường này bổ trợ lẫn nhau và tạo ra hai rào cản độc lập trước những hậu quả thảm khốc: căn chỉnh ngăn chặn mong muốn thực hiện hành động gây hại, còn kiểm soát ngăn chặn khả năng thực thi thành công những hành động đó.

Thuộc tính kiểm soát định lượng mức độ hiệu quả của các quy trình an toàn khác trước những nỗ lực lật đổ có chủ đích từ các hệ thống có năng lực cao. Đánh giá kiểm soát tạo ra một ước lượng xác suất: giả sử mô hình đang cố gắng hết sức để gây hại, khả năng nó thành công là bao nhiêu? Một hệ thống có thuộc tính kiểm soát mạnh sẽ có xác suất không đáng kể trong việc gây ra những hậu quả không thể chấp nhận được, dù cho có những nỗ lực kiên quyết để làm vậy. Cách đóng khung theo hướng định lượng này cho phép các nhà phát triển đặt ra những ngưỡng rủi ro cụ thể, chẳng hạn "xác suất rò rỉ dữ liệu dưới 0,1% trong suốt vòng đời triển khai." Đánh giá kiểm soát dựa trên những giả định thận trọng về năng lực và kiến thức của mô hình — giả định rằng mô hình có thể hiểu các biện pháp an toàn, phối hợp với những phiên bản khác của chính nó, và khai thác bất kỳ lỗ hổng nào khả dụng (Greenblatt & Shlegeris, 2024; Korbak et al., 2024).

Việc phát hiện sớm hành vi mưu tính tạo ra một bước ngoặt về an toàn. Việc bắt được mô hình "tại trận" trong những nỗ lực thất bại nhằm phá vỡ các biện pháp an toàn, hoặc gây hại, sẽ thay đổi căn bản bối cảnh rủi ro (Greenblatt & Shlegeris, 2024). Thay vì đòi hỏi sự phòng ngừa hoàn hảo vô thời hạn, các biện pháp kiểm soát nhắm tới việc đảm bảo rằng "nếu mô hình đang mưu tính, nó sẽ không thành công trong việc gây ra thảm họa trước khi chúng ta phát hiện ra nó" (Greenblatt & Shlegeris, 2024). Cách tiếp cận này chuyển hóa một bài toán bất khả thi — đảm bảo mô hình không bao giờ thử tấn công — thành một bài toán khả thi hơn: đảm bảo hành vi nguy hiểm được phát hiện trước khi gây ra tổn hại không thể đảo ngược. Việc bắt được mô hình "tại trận" trong những nỗ lực thất bại không chỉ ngăn chặn thiệt hại tức thời mà còn tạo ra một bước ngoặt. Nó cung cấp bằng chứng cụ thể về tình trạng mất căn chỉnh, có thể kích hoạt các giao thức khẩn cấp, bao gồm chấm dứt triển khai, thu hồi, tái định hướng nghiên cứu an toàn, và phối hợp quốc tế. Một khi các nhà phát triển bắt được một mô hình đang cố gắng gây hại, họ có thể nghiên cứu nỗ lực đó để củng cố các biện pháp đối phó và tạo ra dữ liệu huấn luyện để phát hiện những cuộc tấn công tương tự (Greenblatt et al., 2024).

Sau khi bắt được dù chỉ một ví dụ hành vi sai lệch, các nhà phát triển có được những công cụ mạnh mẽ mới để ngăn chặn các cuộc tấn công trong tương lai. Mỗi nỗ lực bị phát hiện đều cung cấp dữ liệu khiến những nỗ lực tương lai càng khó thành công hơn.

1. Nhân rộng (Proliferation): Các nhà phát triển có thể tận dụng một ví dụ duy nhất để tạo ra nhiều biến thể tấn công khác nhau bằng cách thay đổi đầu vào hoặc bối cảnh, tạo ra một tập dữ liệu rộng hơn về những hành vi có vấn đề.
2. Huấn luyện đối kháng (Adversarial training): Việc huấn luyện các hệ thống giám sát trên những ví dụ tấn công thực tế giúp cải thiện đáng kể khả năng phát hiện những nỗ lực tương tự, vì các ví dụ theo đúng chính sách (on-policy) mang lại tín hiệu mạnh hơn so với các ví dụ tổng hợp.
3. Nghiên cứu biện pháp đối phó: Các nhà phát triển có thể phân tích biện pháp an toàn nào đã thành công hay thất bại trong cuộc tấn công, sau đó củng cố những điểm yếu nhất trong hệ thống phòng thủ của họ.
4. Khai thác tín hiệu thông đồng: Nếu cuộc tấn công liên quan đến sự phối hợp giữa các phiên bản AI khác nhau, các nhà phát triển có thể xác định và vô hiệu hóa những cơ chế phối hợp đó (như những kích hoạt hoặc khuôn mẫu cụ thể).
5. Kiến thức đặc thù theo từng phiên bản: Việc xem xét chiến lược tấn công của một phiên bản cụ thể bộc lộ những thông tin có giá trị về mục tiêu, năng lực, và giới hạn của nó.

Đánh giá kiểm soát đóng khung an toàn như một trò chơi đối kháng giữa đội đỏ (red team) và đội xanh (blue team). Để kiểm thử một cách nghiêm ngặt các quy trình an toàn trước những nỗ lực lật đổ có chủ đích, đánh giá kiểm soát cấu trúc bài toán như một trò chơi mang tính cạnh tranh. Đội đỏ xây dựng những chính sách tấn công và những mô hình thay thế cố gắng gây ra những hậu quả không thể chấp nhận được, đóng vai trò như một phương án thay thế cho những AI có khả năng mưu tính. Đội xanh phát triển các quy trình kiểm soát — hệ thống giám sát, bộ lọc đầu vào, và quy trình kiểm toán của con người — nhằm ngăn chặn những cuộc tấn công này. Khung này chuyển hóa câu hỏi trừu tượng "AI này có an toàn không nếu nó đang mưu tính?" thành một câu hỏi cụ thể, có thể đo lường được: "đội đỏ của chúng ta có thể xây dựng một mô hình vượt qua được các biện pháp an toàn của chúng ta hay không?" (Greenblatt & Shlegeris, 2024; Korbak et al., 2024).

Đội đỏ có những lợi thế mang tính cấu trúc so với các mô hình mưu tính thực sự. Để đánh giá kiểm soát mang lại những đảm bảo an toàn có ý nghĩa, đội đỏ phải khơi gợi được những năng lực tương đương với những gì các mô hình mưu tính có năng lực cao có thể triển khai trong thực tế. Điều này có vẻ bất khả thi, vì chúng ta đang đánh giá những hệ thống AI có thể thông minh hơn con người ở một số khía cạnh. Đội đỏ trong đánh giá kiểm soát có một số lợi thế để đảm bảo chúng ta có thể mô phỏng phù hợp tình huống này:

1. Đội đỏ có thể dành nhiều thời gian hơn hẳn để phân tích các cuộc tấn công tiềm năng so với thời gian mà AI sẽ có trong quá trình triển khai. Trong khi một AI có thể cần đưa ra quyết định chỉ trong một lượt suy luận duy nhất, đội đỏ có thể lặp lại chiến lược của mình qua nhiều tuần hoặc nhiều tháng.
2. Đội đỏ có đầy đủ thông tin về các biện pháp an toàn đang được sử dụng. Vì vậy họ có thể nghĩ ra những chiến lược tinh vi hơn tiềm năng.
3. Đội đỏ có thể học hỏi từ những nỗ lực thất bại và cải tiến phương pháp của họ, trong khi một hệ thống AI bị bắt được đang cố làm điều gì đó mang ác ý sẽ nhiều khả năng bị tắt ngay lập tức.

Những lợi thế này cho phép ngay cả đội đỏ là con người cũng có thể xây dựng những chiến lược tấn công có khả năng đặt ra giới hạn trên cho những gì các mô hình mưu tính có thể thực hiện trong triển khai thực tế (Greenblatt & Shlegeris, 2024; Bhatt et al., 2024).

Đội xanh cần xây dựng nhiều lớp phòng thủ để đối phó với những cuộc tấn công tinh vi từ AI đối kháng. Mỗi biện pháp kiểm soát có thể được hiểu như một nước đi phản công trong một trò chơi đối kháng, với mức độ thành công được đo bằng hiệu quả ngăn chặn đội đỏ đạt được những hậu quả không thể chấp nhận, bất chấp mọi lợi thế mà chúng ta đã đề cập ở trên. Các quy trình kiểm soát hiệu quả nhất nên tích hợp một số phạm trù phòng thủ sau (Greenblatt, 2025; Greenblatt, 2025):

1. Hệ thống giám sát cốt lõi: Giám sát nhanh, chi phí thấp, chạy trên mọi hành động của AI, kết hợp giám sát đáng tin cậy, giám sát không đáng tin cậy với các cơ chế chống thông đồng, và các phương pháp dựa trên kích hoạt như đầu dò đảo chính (coup probes) để gắn cờ hành vi đáng ngờ trước khi nó được thực thi.
2. Chiến lược lấy mẫu lại và ủy thác: Khi hệ thống giám sát gắn cờ mối lo ngại, hệ thống có thể lấy mẫu lại đầu ra từ chính mô hình đó, ủy thác cho các mô hình đáng tin cậy để tìm phương án thay thế an toàn hơn, hoặc chuyển lên cho con người xem xét — mang lại nhiều con đường khác nhau để xử lý những hành động có khả năng nguy hiểm mà không hoàn toàn chặn đứng luồng công việc.
3. Hệ thống kiểm toán tự động phân cấp: Các bước kiểm tra có mức độ phức tạp và chi phí tăng dần được thực hiện trên những hành động bị gắn cờ trước khi con người can thiệp, sử dụng những kỹ thuật như "khép tội" (incrimination) (kiểm tra cách AI phản ứng trước các đầu vào đã bị chỉnh sửa) để bộc lộ ý định ẩn giấu.
4. Quy trình rà soát của con người: Những kiểm toán viên được đào tạo đặc biệt sẽ xem xét những hành động bị gắn cờ là cực kỳ đáng ngờ, với các quy trình khác nhau cho rủi ro tập trung (cần chặn ngay lập tức) so với những mối đe dọa phân tán (cho phép rà soát không đồng bộ).
5. Hạ tầng phần mềm: Hệ thống ghi log toàn diện, quản lý quyền hạn chi tiết, theo dõi sản phẩm đầu ra, và khung hỗ trợ có khả năng chặn hoặc lấy mẫu lại những đầu ra đáng ngờ, tạo ra một môi trường mà hành động của AI luôn được giám sát nhất quán.
6. Đánh giá và huấn luyện đối kháng: Diễn tập đối kháng liên tục kiểm thử mọi thành phần an toàn trước những kịch bản tấn công thực tế, sử dụng kỹ thuật sinh dữ liệu tổng hợp để tạo ra những đầu vào khả thi nhưng đầy thách thức, dò tìm những điểm yếu.
7. Tăng cường bảo mật: Cơ chế ký mã được thực thi bằng phần cứng, giới hạn băng thông trong trung tâm dữ liệu, và các cơ chế tắt máy đa cấp độ mang lại sự bảo vệ hạ tầng trọng yếu trước những hoạt động trái phép.

Chẳng hạn, khi kiểm thử liệu một tác nhân AI có thể đánh cắp dữ liệu nhạy cảm hay không, đội xanh có thể triển khai không chỉ bộ lọc nội dung mà còn cả giám sát băng thông, hạn chế quyền truy cập, và kiểm toán ngẫu nhiên của con người — tạo ra nhiều điểm thất bại độc lập mà đội đỏ phải đồng thời vượt qua (Korbak et al., 2024).

Đánh giá kiểm soát ưu tiên phòng thủ trước những phạm trù mối đe dọa nghiêm trọng nhất. Khi thiết kế các biện pháp kiểm soát, không phải mọi mối đe dọa tiềm ẩn đều mang mức rủi ro như nhau. Các triển khai nội bộ mất kiểm soát (rogue internal deployments) đại diện cho mối đe dọa ưu tiên cao nhất, trong đó hệ thống AI giành được quyền truy cập tài nguyên tính toán không bị giám sát và có thể có những quyền hạn nâng cao trong hạ tầng của nhà phát triển (Greenblatt, 2025). Điều này được xếp hạng cao hơn cả việc phá hoại công việc trọng yếu về an toàn, và bản thân điều đó lại được xếp hạng cao hơn những thất bại bảo mật khác bao gồm tự đánh cắp bản thân (nơi mô hình AI đánh cắp trọng số của chính nó). Khung ưu tiên này giúp phân bổ nguồn lực bảo mật hạn chế nhằm ngăn chặn những kiểu thất bại có hậu quả nghiêm trọng nhất trước tiên, đặc biệt khi có những ràng buộc khiến việc triển khai các biện pháp bảo vệ toàn diện cho mọi mối đe dọa khả dĩ trở nên bất khả thi. Để biết thêm thông tin chi tiết về các phân nhóm khác nhau của đánh giá kiểm soát và cách ưu tiên giữa chúng, vui lòng đọc phần phụ lục.

Việc khơi gợi những năng lực đối kháng làm dấy lên những lo ngại an toàn gia tăng xoay quanh chính bản thân các đánh giá. Quy trình huấn luyện mô hình để thực hiện các cuộc tấn công tạo ra một nghịch lý an toàn vốn có trong đánh giá kiểm soát. Các nhà phát triển phải huấn luyện cẩn thận những mô hình vừa có thể tạo ra những cuộc tấn công mới, vừa che giấu ý định mang ác ý của mình, và bản thân điều này lại tiềm ẩn rủi ro khi mô hình tiến gần hơn tới những năng lực lớn hơn. Điều này đòi hỏi những biện pháp bảo vệ bổ sung cho chính quy trình đánh giá: chạy đánh giá trong môi trường sandbox, hạn chế quyền truy cập internet của mô hình trong lúc kiểm thử, và triển khai các rào chắn chống lại việc mô hình tự đánh cắp bản thân. Các nhà phát triển phải cân bằng giữa việc kiểm thử kỹ lưỡng và khả năng bản thân quy trình đánh giá có thể tạo ra kiến thức hoặc năng lực nguy hiểm.

Trò chơi Kiểm soát AI (AI-Control Games) có thể hình thức hóa sự đánh đổi giữa an toàn và tính hữu ích thành một đường biên toán học. Sử dụng lý thuyết trò chơi, các nhà nghiên cứu mô hình hóa các quy trình kiểm soát như những bài toán tối ưu hóa đa mục tiêu, cân bằng giữa an toàn và tính hữu ích (Griffin et al., 2024). Cách tiếp cận này định lượng "thuế căn chỉnh" (alignment tax) — tức chúng ta phải hy sinh bao nhiêu tính hữu ích để đạt được một ngưỡng an toàn cụ thể (Christiano, 2019). Về cơ bản, đây là việc đo lường mức độ tính hữu ích/tính lợi ích bị mất đi nếu chúng ta khăng khăng yêu cầu mô hình phải an toàn. Đường biên an toàn-hữu ích thu được đại diện cho tập hợp những sự đánh đổi khả thi giữa việc ngăn chặn những hậu quả không thể chấp nhận và duy trì tính hữu ích của hệ thống. Loại phân tích hình thức này có thể cho chúng ta biết những ngưỡng mà sau đó, những cải thiện an toàn cận biên đòi hỏi phải hy sinh tính hữu ích một cách không cân xứng. Chẳng hạn, việc tăng tỷ lệ kiểm toán của con người từ 0,1% lên 1% có thể chỉ cải thiện an toàn ở mức tối thiểu, trong khi lại làm tăng đáng kể chi phí và giảm thông lượng của hệ thống (Griffin et al., 2024). Từ đó, chúng ta có thể đưa ra những quyết định sáng suốt về mức độ đánh đổi giữa tính hữu ích và an toàn mà mình sẵn sàng chấp nhận.

Kiểm toán đóng vai trò là cơ chế xác minh nền tảng trong các quy trình kiểm soát. Trong đánh giá kiểm soát, "kiểm toán" (audit) đề cập đến quy trình trong đó chuyên gia con người rà soát đầu ra hoặc hành động của mô hình để xác định liệu chúng có cấu thành nỗ lực tấn công hay không (Greenblatt et al., 2023). Khác với giám sát tự động vốn có thể được áp dụng trên diện rộng nhưng có thể bỏ sót những cuộc tấn công tinh vi, kiểm toán của con người mang lại sự xác minh với độ tin cậy cao nhưng chỉ có thể áp dụng cho một phần nhỏ hành động của mô hình do giới hạn về nguồn lực. Kiểm toán hiệu quả bao gồm một số thành phần: chọn ngẫu nhiên các hành động để rà soát nhằm ngăn mô hình dự đoán được thời điểm kiểm toán, áp dụng sự soi xét bổ sung cho những hành động bị các hệ thống giám sát tự động gắn cờ, và duy trì tiêu chí đánh giá nhất quán giữa các kiểm toán viên. Ngân sách kiểm toán — tức tỷ lệ phần trăm hành động thực tế có thể được con người rà soát — là một trong những ràng buộc quan trọng nhất khi thiết kế các quy trình kiểm soát (Griffin et al., 2024).

Phân tích các đánh giá kiểm soát trên mô hình mô phỏng đơn giản cho chúng ta thông tin để thiết kế các quy trình kiểm soát hiệu quả. Đánh giá kiểm soát vẫn chưa được sử dụng rộng rãi và đầy đủ tại các phòng thí nghiệm AI tiên phong. Dù vậy, một số phân tích sử dụng mô hình mô phỏng đơn giản đã bộc lộ một số nguyên tắc quan trọng để ngăn ngừa những thảm họa mang tính tập trung (Roger & Shlegeris, 2024):

• Thời điểm kiểm toán có ảnh hưởng rất lớn. Nếu hệ thống AI có thể xác định khi nào chúng đang bị giám sát, ngay cả tỷ lệ kiểm toán cao cũng có thể không đủ. Tuy nhiên, nếu thời điểm kiểm toán thực sự ngẫu nhiên, tỷ lệ kiểm toán thấp hơn nhiều vẫn có thể mang lại những đảm bảo an toàn mạnh mẽ.
• Mức độ khó khăn trong việc phối hợp giữa các phiên bản AI có thể được tận dụng để tăng cường an toàn. Nếu nhiều hệ thống AI phải phối hợp với nhau để gây hại, việc khiến sự phối hợp trở nên khó khăn hơn (chẳng hạn, bằng cách tăng số lượng phiên bản cần phối hợp hoặc mức độ khó khăn trong việc tìm ra tín hiệu phối hợp bằng các biện pháp chống ẩn giấu thông tin — anti-steganography) có thể cải thiện đáng kể mức độ an toàn ngay cả với tỷ lệ kiểm toán tương đối thấp.
• Không phải mọi giai đoạn (episode) đều mang mức rủi ro như nhau. Bằng cách xác định những loại đầu vào hoặc tình huống nào mang rủi ro cao hơn và tập trung nguồn lực kiểm toán vào đó, các quy trình có thể đạt được mức độ an toàn tốt hơn với cùng nguồn lực. Điều này vẫn đúng ngay cả khi hệ thống AI biết được những giai đoạn nào chúng ta cho là rủi ro hơn.

Đánh giá kiểm soát đối mặt với những giới hạn khi năng lực AI tăng lên đáng kể. Phương pháp luận này phụ thuộc vào khả năng của đội đỏ trong việc khơi gợi những năng lực tương đương với những gì các mô hình mưu tính có thể triển khai trong thực tế. Khi khoảng cách năng lực nới rộng giữa mô hình đáng tin cậy và mô hình không đáng tin cậy, hoặc giữa thời điểm đánh giá và thời điểm triển khai, các đảm bảo kiểm soát sẽ suy yếu dần (Korbak et al., 2024). Tương tự, nếu mô hình phát triển những năng lực mới về chất giữa lúc đánh giá và lúc triển khai, những đảm bảo an toàn trước đó có thể không còn áp dụng được nữa.

Đánh giá kiểm soát không thể giải quyết những rủi ro từ năng lực siêu việt về chất so với con người. Phương pháp luận này sụp đổ khi mô hình phát triển những năng lực mà con người không thể hiểu được ngay cả khi có nhiều thời gian phân tích (Greenblatt & Shlegeris, 2024). Nếu mô hình có thể nghĩ ra những vector tấn công mới vượt ngoài hiểu biết của con người, thực hiện những chuỗi suy luận dài, mờ đục mà không để lại dấu vết có thể phát hiện, hoặc sở hữu những năng lực siêu việt về chất trong nhiều lĩnh vực trọng yếu về bảo mật, kiểm soát sẽ trở nên vô hiệu. Giới hạn này cho thấy rằng thay vì theo đuổi năng lực tối đa, các nhà phát triển nên nhắm tới những hệ thống hữu ích mang tính chuyển đổi trong khi vẫn nằm trong giới hạn có thể kiểm soát được. Điều này có thể đòi hỏi chấp nhận một số ràng buộc kiến trúc hoặc giới hạn năng lực nhất định, để đảm bảo hệ thống vẫn nằm trong phạm vi mà đánh giá kiểm soát có thể mang lại những đảm bảo an toàn có ý nghĩa (Shlegeris et al., 2023).