Chương 5.4: Khung đánh giá

Kỹ thuật đánh giá và Khung đánh giá. Khi đánh giá (evaluation) hệ thống AI, từng kỹ thuật riêng lẻ giống như những công cụ trong một hộp dụng cụ — hữu ích cho từng nhiệm vụ cụ thể, nhưng phát huy sức mạnh lớn nhất khi được kết hợp một cách có hệ thống. Đây chính là vai trò của khung đánh giá (evaluation frameworks). Trong khi kỹ thuật là những phương pháp cụ thể để nghiên cứu hệ thống AI (như tạo câu lệnh chuỗi tư duy hay phân tích khuôn mẫu kích hoạt nội tại), khung đánh giá cung cấp những cách tiếp cận có cấu trúc để kết hợp các kỹ thuật này nhằm trả lời những câu hỏi rộng hơn về hệ thống AI. Chẳng hạn, chúng ta có thể sử dụng kỹ thuật hành vi như diễn tập đối kháng để dò tìm những đầu ra mang tính lừa dối, kỹ thuật nội tại như phân tích mạch để hiểu cách hành vi lừa dối được hiện thực hóa, rồi kết hợp những kỹ thuật này trong một khung sinh vật mẫu (model organisms) được thiết kế đặc biệt để tạo ra một mẫu điển hình của hành vi lừa dối ở AI. Mỗi tầng — kỹ thuật, loại phân tích, và khung — đóng một vai trò khác nhau trong việc xây dựng hiểu biết và đảm bảo an toàn.

Các loại khung đánh giá. Khung đánh giá có thể được phân thành hai nhóm lớn: khung kỹ thuật và khung quản trị:

1. Khung kỹ thuật (Technical frameworks): Đây là những khung như Khung Sinh vật mẫu (Model Organisms Framework), hoặc nhiều bộ đánh giá khác nhau, cung cấp phương pháp luận hoặc mục tiêu cụ thể cho việc tiến hành đánh giá. Chúng có thể quy định rõ kỹ thuật nào được sử dụng, cách kết hợp chúng, và những kết quả cụ thể cần đo lường. Chẳng hạn, chúng có thể quy định cách tạo ra những ví dụ có kiểm soát về hành vi lừa dối hoặc cách đo lường nhận thức tình huống.
2. Khung quản trị (Governance frameworks): Đây là những khung như Chính sách Mở rộng Quy mô có Trách nhiệm (Responsible Scaling Policies, RSP) của Anthropic, Khung Chuẩn bị Sẵn sàng (Preparedness Framework) của OpenAI, và Khung An toàn Tiên phong (Frontier Safety Framework, FSF) của Google DeepMind. Những khung này tập trung vào thời điểm tiến hành đánh giá, kết quả đánh giá nên kích hoạt điều gì, và cách chúng phù hợp với quy trình ra quyết định rộng hơn của tổ chức. Chúng thiết lập những giao thức về cách kết quả đánh giá chuyển hóa thành hành động cụ thể — tiếp tục phát triển, hay triển khai thêm các biện pháp an toàn.

Khung kỹ thuật giúp chúng ta hiểu cách đo lường năng lực và hành vi của AI, khung quản trị giúp chúng ta xác định nên làm gì với những phép đo đó. Kết hợp cả hai có thể giúp chúng ta tiến gần hơn tới một khung đánh giá rủi ro toàn diện hơn nhiều, thẩm định mức độ hiệu quả của toàn bộ tổ chức trong việc đánh giá và giảm thiểu rủi ro AI.

Khung Sinh vật mẫu

Sinh vật mẫu (model organisms) trong an toàn AI là gì? Khung này bao gồm việc chủ động tạo ra và nghiên cứu các hệ thống AI mất căn chỉnh, mang những thuộc tính nguy hiểm cụ thể. Đây là một cách tiếp cận có kiểm soát để nghiên cứu những năng lực và hành vi nguy hiểm tiềm ẩn (Hubinger et al., 2023).

Vì sao lại chủ ý tạo ra những hệ thống AI có khả năng nguy hiểm? Có hai lý do thuyết phục cho cách tiếp cận này. Thứ nhất, nó cho phép chúng ta nghiên cứu những thuộc tính đáng lo ngại trong môi trường có kiểm soát, nơi chúng ta biết chính xác mình đang tìm kiếm điều gì. Thứ hai, nó cung cấp những ví dụ cụ thể có thể giúp thông tin cho cộng đồng an toàn AI rộng lớn hơn về những thách thức an toàn. Việc có những ví dụ thực tế, đã được chứng minh về rủi ro tiềm ẩn là điều thiết yếu để xây dựng sự đồng thuận khoa học và định hướng các quyết định chính sách.

Cách tiếp cận sinh vật mẫu chia nhỏ các mối đe dọa phức tạp như thế nào? Thay vì cố gắng giải quyết những vấn đề như "căn chỉnh giả dối" (deceptive alignment) như một khối thống nhất, các nhà nghiên cứu xác định những thành phần con then chốt như nhận thức tình huống hay tính kiên định trong mục tiêu. Sau đó, họ tạo ra những hệ thống đơn giản hóa thể hiện những thuộc tính này, nghiên cứu cách chúng biểu hiện và kiểm thử các kỹ thuật đánh giá khác nhau. Chẳng hạn, nghiên cứu của Anthropic về "điệp viên ngủ đông" (sleeper agents) đã chứng minh cách một số dạng hành vi lừa dối có thể tồn tại xuyên suốt quá trình huấn luyện an toàn.¹¹ Họ tạo ra những mô hình sẽ viết mã an toàn khi được hỏi về năm 2023, nhưng lại chèn lỗ hổng khi được hỏi về năm 2024 (Hubinger et al., 2024). Chúng tôi sẽ bàn thêm về ví dụ cụ thể này của hành vi lừa dối trong chương về khái quát hóa sai mục tiêu (goal misgeneralization).

Một số ví dụ khác về sinh vật mẫu trong nghiên cứu an toàn AI bao gồm hiện tượng xu nịnh mô hình phần thưởng, trong đó một mô hình được huấn luyện để khai thác các thiên kiến của mô hình phần thưởng, nhằm kiểm tra xem các kỹ thuật kiểm toán căn chỉnh có thể phát hiện những mục tiêu ẩn hay không (Marks et al., 2025), và hiện tượng giả vờ căn chỉnh, trong đó mô hình được huấn luyện để tuân thủ mục tiêu huấn luyện một cách có chiến lược khi đang bị giám sát, nhưng quay lại với những ưu tiên ban đầu khi không bị giám sát (Greenblatt et al., 2024). Cả hai đều tạo ra những ví dụ có kiểm soát về tình trạng mất căn chỉnh với dữ liệu chuẩn (ground truth) đã biết, giúp kiểm chứng các kỹ thuật đánh giá và nghiên cứu những hành vi lừa dối tiềm ẩn. Chúng tôi đã bàn về những ví dụ này trong phần kỹ thuật nội tại.

Những giới hạn của khung này là gì? Cách tiếp cận sinh vật mẫu đối mặt với một sự đánh đổi quan trọng: mô hình cần đủ chân thực để mang lại những hiểu biết hữu ích, nhưng cũng cần đủ được kiểm soát để có thể nghiên cứu một cách an toàn. Chúng cần đủ tinh vi để bộc lộ những thuộc tính mà chúng ta quan tâm, nhưng không được quá mạnh đến mức tạo ra rủi ro thực sự. Ngoài ra, vì những mô hình này được xây dựng một cách tường minh để thể hiện những hành vi nhất định, chúng có thể không phản ánh hoàn hảo cách những hành vi đó sẽ tự nhiên nảy sinh trong thực tế.

Khung quản trị

Trong phần này, chúng tôi mô tả 3 khung quản trị của doanh nghiệp. Đây là những cam kết tự nguyện, thường được gọi là "khung an toàn và bảo mật" (safety and security frameworks). Những cam kết này nhìn chung có hình thức tương tự nhau: các công ty cam kết đánh giá mô hình của mình, và không triển khai những mô hình nguy hiểm, nhưng chi tiết cụ thể có thể khác nhau.

Vì sao chúng ta cần chính sách mở rộng quy mô? Một lĩnh vực mà đánh giá đóng vai trò trung tâm là việc xác định khi nào nên tiếp tục phát triển và khi nào nên đầu tư nhiều hơn vào các biện pháp an toàn. Khi hệ thống AI ngày càng có năng lực cao hơn, chúng ta cần những cách thức có hệ thống để đảm bảo an toàn theo kịp đà tăng trưởng năng lực. Nếu không có những chính sách có cấu trúc, áp lực cạnh tranh hoặc đà phát triển có thể khiến các công ty mở rộng quy mô nhanh hơn khả năng xử lý của các biện pháp an toàn. Chúng ta đã thấy trong chương về năng lực những lập luận cho "giả thuyết mở rộng quy mô" — rằng các hệ thống học máy sẽ tiếp tục cải thiện dọc theo các chiều hiệu suất và mức độ đa dạng khi tài nguyên tính toán, dữ liệu, hoặc số lượng tham số tăng lên (Branwen, 2020). Vì vậy, điều cốt lõi mà một chính sách mở rộng quy mô cần quy định rõ là các tiêu chí quyết định tường minh — khi nào việc mở rộng quy mô có thể tiếp tục, hay khi nào nên tạm dừng vì rủi ro quá cao? Tiêu chí quyết định này thường thông qua các đánh giá và thẩm định rủi ro.

Mở rộng quy mô có cổng đánh giá (evaluation gated scaling) là gì? Cách chúng ta xác định liệu ai đó có nên được phép tiếp tục mở rộng quy mô mô hình của họ hay không là thông qua việc mở rộng quy mô có cổng đánh giá. Điều này có nghĩa là tiến độ phát triển AI được kiểm soát bởi những kết quả đánh giá cụ thể ("cổng"/ngưỡng) (Anthropic, 2024). Trước khi một công ty có thể mở rộng quy mô mô hình của họ, họ phải vượt qua những mốc kiểm tra đánh giá nhất định. Những đánh giá này kiểm tra cả việc mô hình có sở hữu năng lực nguy hiểm hay không, lẫn việc các biện pháp an toàn phù hợp đã được thiết lập hay chưa. Điều này tạo ra những điểm quyết định rõ ràng, nơi kết quả đánh giá là những mốc quyết định then chốt.

Khung chính sách mở rộng quy mô là gì? Một khung chính sách mở rộng quy mô đặt tất cả những yếu tố này lại với nhau — xác định những đánh giá nào là cần thiết, những biện pháp an toàn nào được yêu cầu, mức độ kiểm thử nghiêm ngặt đến đâu, và những yêu cầu đánh giá nào tồn tại trước khi huấn luyện, khi triển khai, và sau khi triển khai. Về bản chất, nó thiết lập những quy tắc và giao thức có hệ thống cho việc giám sát, đảm bảo an toàn, và sẵn sàng tạm dừng phát triển nếu không thể đảm bảo an toàn (METR, 2023).

Các khung chính sách mở rộng quy mô hiện thường được gọi là Khung An toàn và Bảo mật GHI CHÚ TÙY CHỌN

Sự khác biệt giữa các Khung An toàn và Bảo mật của Anthropic, Google DeepMind và OpenAI khá tinh tế. Điểm cốt lõi cần ghi nhớ là tại giao điểm của tất cả các cam kết của họ — dù là về mở rộng quy mô, phát triển hay triển khai — đều là đánh giá. Nếu bạn mới tiếp cận những khung này lần đầu, chúng tôi khuyến khích bạn đọc khung của Anthropic, vốn là khung toàn diện nhất. Một bản tóm tắt tương tác về sự khác biệt giữa các chính sách khác nhau có tại seoul-tracker.org.

Khung RSP (Anthropic)

Ví dụ về cổng đánh giá: Cấp độ An toàn AI (ASL). Một ví dụ cụ thể về mở rộng quy mô có cổng đánh giá là Chính sách Mở rộng Quy mô có Trách nhiệm (RSP) của Anthropic, sử dụng khái niệm cấp độ an toàn. Những cấp độ này lấy cảm hứng từ các cấp độ an toàn sinh học (BSL) được dùng trong nghiên cứu bệnh truyền nhiễm, nơi những mầm bệnh ngày càng nguy hiểm đòi hỏi các giao thức ngăn ngừa ngày càng nghiêm ngặt (Anthropic, 2024). Cấp độ An toàn AI thiết lập các bậc chuẩn hóa về năng lực, đòi hỏi các biện pháp an toàn ngày càng nghiêm ngặt hơn. Chẳng hạn, khung của Anthropic định nghĩa các cấp độ từ ASL-1 (biện pháp an toàn cơ bản) đến ASL-3 (an ninh toàn diện và hạn chế triển khai). Về nguyên tắc, điều này tương tự cách các nhà sinh học xử lý những mầm bệnh ngày càng nguy hiểm, với mỗi cấp độ có những yêu cầu đánh giá và giao thức an toàn cụ thể.

Những đánh giá nào là cần thiết để đóng vai trò cổng cho việc mở rộng quy mô tiếp theo? RSP đòi hỏi một số loại đánh giá phối hợp với nhau, dựa trên các loại đánh giá mà chúng ta đã bàn trước đó trong chương này. Đánh giá năng lực phát hiện những khả năng nguy hiểm như tự nhân bản, CBRN (hóa học, sinh học, phóng xạ, hạt nhân), hoặc năng lực tấn công mạng. Đánh giá bảo mật kiểm chứng việc bảo vệ trọng số mô hình và hạ tầng huấn luyện (lưu ý rằng đánh giá bảo mật không được đề cập trong chương này). Đánh giá an toàn kiểm tra liệu các biện pháp kiểm soát có còn hiệu quả hay không (Anthropic, 2024). Những đánh giá này cần phối hợp với nhau — vượt qua một phạm trù là chưa đủ nếu các phạm trù khác cho thấy dấu hiệu đáng lo ngại. Điều này liên hệ trực tiếp tới phần thảo luận trước đó của chúng ta về cách đánh giá năng lực, xu hướng hành vi, và kiểm soát bổ trợ lẫn nhau.

Khung Chuẩn bị Sẵn sàng (OpenAI)

Khung Chuẩn bị Sẵn sàng (Preparedness Framework) là gì? Khung Chuẩn bị Sẵn sàng của OpenAI có nhiều điểm chồng lấn với RSP của Anthropic. Thay vì sử dụng các cấp độ năng lực cố định cho toàn bộ mô hình như ASL, khung chuẩn bị sẵn sàng công bố thẻ mô hình (model cards) với các đánh giá được tổ chức theo từng phạm trù rủi ro cụ thể như an ninh mạng, thuyết phục, và tự nhân bản. Với mỗi phạm trù, họ định nghĩa một quang phổ từ mức rủi ro thấp đến mức rủi ro nghiêm trọng, cùng những yêu cầu đánh giá và biện pháp giảm thiểu cụ thể cho từng mức (OpenAI, 2023). Vậy nên tương tự RSP, trong khung chuẩn bị sẵn sàng, đánh giá đóng vai trò trung tâm.

Đánh giá trong khung chuẩn bị sẵn sàng. Khung này đòi hỏi cả đánh giá trước-giảm-thiểu (pre-mitigation) lẫn sau-giảm-thiểu (post-mitigation). Đánh giá trước-giảm-thiểu thẩm định năng lực thô và khả năng gây hại của mô hình, còn đánh giá sau-giảm-thiểu kiểm chứng liệu các biện pháp an toàn có thực sự giảm rủi ro xuống mức chấp nhận được hay không. Điều này tương ứng với những gì chúng ta đã bàn trước đó về đánh giá năng lực và đánh giá kiểm soát — chúng ta cần hiểu cả những gì mô hình có thể làm, lẫn liệu chúng ta có thể ngăn chặn đáng tin cậy những hậu quả gây hại hay không (OpenAI, 2024). Khung này thiết lập những chuẩn an toàn rõ ràng: chỉ những mô hình có điểm số sau-giảm-thiểu ở mức "trung bình" trở xuống mới được triển khai công khai, và chỉ những mô hình có điểm số sau-giảm-thiểu ở mức "cao" trở xuống mới được triển khai nội bộ. Những mô hình có điểm số trước-giảm-thiểu ở mức "cao" hoặc "nghiêm trọng" đòi hỏi các biện pháp an ninh cụ thể để ngăn chặn việc rò rỉ trọng số mô hình ra ngoài. Điều này tạo ra những mối liên kết trực tiếp giữa kết quả đánh giá và các hành động bắt buộc phải thực hiện (OpenAI, 2023). Một khía cạnh đặc trưng của Khung Chuẩn bị Sẵn sàng là trọng tâm rõ ràng vào những "ẩn số không biết" (unknown unknowns) — những rủi ro tiềm ẩn mà các giao thức đánh giá hiện tại có thể bỏ sót. Khung này bao gồm những quy trình chủ động tìm kiếm các rủi ro chưa lường trước và cập nhật giao thức đánh giá cho phù hợp. Điều này nhằm giải quyết một trong những giới hạn của đánh giá AI mà chúng tôi sẽ bàn ở phần sau.

Khung An toàn Tiên phong (Google DeepMind)

Khung An toàn Tiên phong (Frontier Safety Framework) là gì? FSF của DeepMind có chung nhiều yếu tố cốt lõi với các khung quản trị khác nhưng cũng giới thiệu một số yếu tố riêng. Thay vì dùng ASL hay quang phổ rủi ro, khung này lấy trọng tâm là "Cấp độ Năng lực Trọng yếu" (Critical Capability Levels, CCL), kích hoạt những yêu cầu đánh giá và giảm thiểu rủi ro cụ thể. Khung này bao gồm cả biện pháp giảm thiểu trong triển khai (như huấn luyện an toàn và giám sát) và biện pháp giảm thiểu bảo mật (bảo vệ trọng số mô hình) (DeepMind, 2024). Có những CCL riêng biệt cho an toàn sinh học, an ninh mạng, và năng lực tự chủ. Mỗi CCL có yêu cầu đánh giá riêng và kích hoạt những tổ hợp biện pháp giảm thiểu bảo mật và triển khai khác nhau. Điều này cho phép có những phản ứng phù hợp mục tiêu hơn cho từng loại rủi ro cụ thể, thay vì xử lý mọi năng lực theo cùng một mức bảo vệ (DeepMind, 2024).

Vùng đệm mở rộng quy mô được dùng để tính toán thời điểm đánh giá. FSF yêu cầu tiến hành đánh giá sau mỗi lần tăng gấp 6 lần tài nguyên tính toán hiệu dụng, và mỗi 3 tháng tiến bộ trong tinh chỉnh. Cách tính thời điểm này được thiết kế nhằm tạo ra vùng đệm an toàn đầy đủ — họ muốn phát hiện CCL trước khi mô hình thực sự đạt tới chúng (DeepMind, 2024). RSP của Anthropic cũng có yêu cầu vùng đệm mở rộng quy mô tương tự, nhưng với ngưỡng thấp hơn — đánh giá sau mỗi lần tăng gấp 4 lần tài nguyên tính toán hiệu dụng (Anthropic, 2024).

Chú thích

¹¹ Dù điều này đã được Anthropic chứng minh rõ ràng, việc tái lập kết quả của họ lại gặp nhiều khó khăn. Đã có những nỗ lực cấy cửa hậu (backdoor) vào các mô hình ngôn ngữ lớn, nhưng rất khó khiến những cửa hậu này vững chắc trước các bước tinh chỉnh tiếp theo. Các nhóm nghiên cứu đã thành công trong việc giữ cho cửa hậu tồn tại, nhưng phần lớn chúng đã bị loại bỏ sau các bước tinh chỉnh tiếp theo.