Chương 5.8: Thiết kế đánh giá

Giờ đây, sau khi đã tìm hiểu nhiều kỹ thuật và phương pháp luận đánh giá khác nhau, cũng như một số đánh giá cụ thể thuộc các phạm trù năng lực, xu hướng hành vi và kiểm soát, điều tiếp theo cần hiểu là làm thế nào để triển khai những phương pháp này một cách hiệu quả ở quy mô lớn. Mục tiêu của phần này là trình bày một số thông lệ tốt nhất để xây dựng một hạ tầng đánh giá vững chắc — từ thiết kế quy trình đánh giá và các quy trình đảm bảo chất lượng, cho đến việc mở rộng quy mô tự động hóa và tích hợp với hệ sinh thái an toàn AI rộng lớn hơn. Chúng ta sẽ thấy các thành phần như thiết kế đánh giá, đánh giá do mô hình viết, và các phương pháp meta-đánh giá phối hợp với nhau như thế nào để giúp AI an toàn hơn.

Cảm hứng thiết kế đánh giá từ khoa học nhận thức

GHI CHÚ THÊM

Một số nhà nghiên cứu đề xuất nên lấy thêm cảm hứng từ khoa học nhận thức để có những hiểu biết giúp cải thiện phương pháp luận đánh giá AI. Qua nhiều thập kỷ, các nhà nghiên cứu trong lĩnh vực tâm lý học so sánh (comparative psychology) và trắc nghiệm tâm lý (psychometrics) đã phát triển những kỹ thuật tinh vi để đánh giá trí thông minh và năng lực trên nhiều dạng "trí óc" khác nhau — từ trẻ sơ sinh cho đến nhiều loài động vật khác nhau. Những lĩnh vực này có kinh nghiệm sâu rộng với những thách thức cốt lõi mà đánh giá AI đang phải đối mặt ngày nay, như thiết lập tính hợp lệ của cấu trúc đo lường, kiểm soát các cách giải thích gây nhiễu, và đo lường những năng lực không thể quan sát trực tiếp. Tuy nhiên, việc áp dụng này đòi hỏi phải cân nhắc kỹ đến những đặc điểm riêng biệt của hệ thống AI. Chúng ta không thể đơn thuần "cấy ghép" các kỹ thuật được thiết kế cho trí óc sinh học, nhưng có thể học hỏi từ sự chặt chẽ về phương pháp luận của chúng. Ví dụ, những cách tiếp cận có hệ thống của tâm lý học phát triển trong việc kiểm tra tính thường tồn của đối tượng (object permanence) hay lý thuyết tâm trí (theory of mind) có thể gợi ý cách chúng ta thiết kế đánh giá cho những năng lực tương tự ở hệ thống AI. Tương tự, những khung lý thuyết tinh vi của trắc nghiệm tâm lý trong việc kiểm định các cấu trúc đo lường có thể giúp đảm bảo các đánh giá AI thực sự đo được điều chúng ta muốn đo (Burden, 2024).

9.1 Tài nguyên hỗ trợ (Affordances)

Tài nguyên hỗ trợ (affordances) là những nguồn lực và cơ hội mà chúng ta cung cấp cho hệ thống AI. Chúng bao gồm những thứ như quyền truy cập internet, khả năng chạy mã, độ dài ngữ cảnh khả dụng, hay các công cụ chuyên dụng như máy tính bỏ túi (Sharkey et al., 2024). Giống như cách một chiếc máy tính bỏ túi khiến một số bài toán trở nên tầm thường trong khi những bài khác vẫn khó, các tài nguyên hỗ trợ khác nhau có thể thay đổi đáng kể những gì một hệ thống AI có thể đạt được trong quá trình đánh giá.

Các điều kiện đánh giá khác nhau sẽ thay đổi lượng tài nguyên hỗ trợ khả dụng cho mô hình trong quá trình kiểm thử. Điều này có nghĩa là ngay cả khi đo cùng một thuộc tính, chúng ta vẫn có thể tăng hoặc giảm lượng tài nguyên hỗ trợ mà một hệ thống có, và điều này cho ta biết những thông tin khác nhau về năng lực của mô hình:

1. Tài nguyên hỗ trợ tối thiểu (Minimal affordance): Có thể xem điều kiện tài nguyên hỗ trợ tối thiểu như kịch bản tồi tệ nhất đối với mô hình. Chúng ta chủ động hạn chế các nguồn lực và cơ hội khả dụng — như giới hạn độ dài ngữ cảnh, loại bỏ quyền truy cập công cụ, hay hạn chế các lệnh gọi API. Khi đánh giá năng lực lập trình, điều này có thể có nghĩa là kiểm thử mô hình mà không cho phép truy cập tài liệu hay khả năng chạy mã. Điều này giúp thiết lập một đường cơ sở về năng lực cốt lõi, độc lập với các công cụ bên ngoài.
2. Tài nguyên hỗ trợ điển hình (Typical affordance): Trong điều kiện tài nguyên hỗ trợ điển hình, mục tiêu là mô phỏng lại môi trường vận hành thông thường — cung cấp các công cụ tiêu chuẩn và ngữ cảnh điển hình. Điều này giúp chúng ta hiểu những năng lực mà người dùng thực tế có khả năng gặp phải, chẳng hạn có khả năng chạy mã cơ bản nhưng không có các công cụ gỡ lỗi chuyên dụng. Về bản chất, mục đích ở đây là mô phỏng cách hầu hết người dùng tương tác với hệ thống AI trong các tình huống hằng ngày.
3. Tài nguyên hỗ trợ tối đa (Maximal affordance): Trong điều kiện tài nguyên hỗ trợ tối đa, chúng ta cung cấp cho mô hình tất cả công cụ, ngữ cảnh và nguồn lực có liên quan tiềm năng. Với cùng một đánh giá năng lực lập trình, chúng ta có thể cung cấp quyền truy cập tài liệu, công cụ gỡ lỗi, và môi trường thực thi. Điều này giúp chúng ta hiểu được toàn bộ phạm vi những gì mô hình có thể đạt được khi được cấp đầy đủ nguồn lực phù hợp.

Hiểu được mối quan hệ giữa tài nguyên hỗ trợ và năng lực giúp chúng ta thiết kế các quy trình đánh giá toàn diện hơn. Ví dụ, khi đánh giá năng lực lập trình của một mô hình, việc kiểm thử dưới điều kiện tài nguyên hỗ trợ tối thiểu có thể bộc lộ những hành vi đáng lo ngại vốn bị che khuất khi mô hình có công cụ tốt hơn. Có thể mô hình sẽ đề xuất những cách viết mã không an toàn khi nó không thể xác minh giải pháp của mình thông qua việc thực thi. Tương tự, kiểm thử dưới điều kiện tài nguyên hỗ trợ tối đa có thể bộc lộ những năng lực mới nổi không thể quan sát được trong môi trường hạn chế hơn — chẳng hạn như khả năng chơi Minecraft của GPT-4 chỉ trở nên rõ ràng khi được cấp khung hỗ trợ (scaffolding) và công cụ phù hợp (Wang et al., 2023).

Đảm bảo chất lượng trong thiết kế đánh giá. Vì tài nguyên hỗ trợ ảnh hưởng đáng kể đến hành vi của mô hình, chúng ta cần những cách tiếp cận có hệ thống để đảm bảo các đánh giá của mình vẫn đáng tin cậy và có ý nghĩa. Điều này có nghĩa là phải ghi chép cẩn thận những tài nguyên hỗ trợ nào đã khả dụng trong quá trình kiểm thử, xác minh rằng các hạn chế về tài nguyên hỗ trợ được thực thi đúng, và kiểm chứng rằng kết quả có thể tái lập được dưới các điều kiện tương tự. Ví dụ, khi Viện An toàn AI Hoa Kỳ và Anh (US & UK AI Safety Institutes) đánh giá Claude 3.5 Sonnet, họ đã nêu rõ rằng các phát hiện của mình chỉ mang tính sơ bộ do việc kiểm thử được tiến hành dưới tài nguyên hỗ trợ hạn chế và giới hạn về thời gian (US & UK AISI, 2024).

Vượt ra ngoài từng đánh giá riêng lẻ. Dù việc hiểu tài nguyên hỗ trợ là yếu tố then chốt để thiết kế từng đánh giá cụ thể, chúng ta cũng cần xem xét cách các điều kiện đánh giá khác nhau phối hợp với nhau như một phần của một hệ thống lớn hơn. Một quy trình đánh giá toàn diện có thể bắt đầu bằng kiểm thử tài nguyên hỗ trợ tối thiểu để thiết lập năng lực đường cơ sở, sau đó tăng dần tài nguyên hỗ trợ để hiểu hành vi của mô hình thay đổi ra sao. Cách tiếp cận theo từng lớp này giúp chúng ta xây dựng một bức tranh đầy đủ hơn về hành vi của mô hình, đồng thời vẫn duy trì sự kiểm soát chặt chẽ đối với điều kiện kiểm thử.

9.2 Mở rộng quy mô và Tự động hóa

Ở các phần trước, chúng ta đã tìm hiểu nhiều kỹ thuật và điều kiện đánh giá khác nhau, nhưng việc triển khai chúng một cách có hệ thống lại gặp phải một thách thức lớn: quy mô. Khi OpenAI hay Anthropic phát hành một mô hình mới, hàng chục nhà nghiên cứu và tổ chức độc lập cần xác minh năng lực và các thuộc tính an toàn của nó. Thực hiện việc này thủ công cho từng đánh giá dưới mỗi điều kiện tài nguyên hỗ trợ khác nhau sẽ tốn kém và mất thời gian đến mức bất khả thi. Chúng ta cần những hệ thống có thể tự động chạy các bộ đánh giá toàn diện, trong khi vẫn duy trì sự kiểm soát chặt chẽ đối với các điều kiện mà chúng ta đã bàn ở trên.

Tự động hóa đánh giá thông qua đánh giá do mô hình viết (model-written evaluations, MWE). Khi mở rộng quy mô đánh giá, chúng ta cần đưa ra những quyết định chiến lược về phân bổ nguồn lực. Chúng ta nên chạy nhiều đánh giá nhanh dưới các điều kiện khác nhau, hay ít đánh giá hơn nhưng kiểm thử kỹ lưỡng hơn? Một cách tiếp cận là sử dụng công cụ tự động để thực hiện kiểm thử sơ bộ trên diện rộng, sau đó dành nguồn lực để điều tra sâu những hành vi đáng lo ngại. Cách tiếp cận phân tầng này giúp cân bằng giữa nhu cầu bao phủ toàn diện với nguồn lực có hạn. Một hướng tiếp cận là sử dụng chính các mô hình AI để giúp tạo ra và chạy các đánh giá. Ngay cả các mô hình ngôn ngữ hiện nay cũng có thể viết ra những câu hỏi đánh giá chất lượng cao khi được đưa ra câu lệnh phù hợp (Perez et al., 2022). Cách tiếp cận này có thể giúp giải quyết thách thức về quy mô bằng cách giảm bớt công sức con người cần bỏ ra để tạo ra các đánh giá mới.

Đánh giá do mô hình viết hoạt động như thế nào?

GHI CHÚ THÊM

Cách tiếp cận cơ bản là để một mô hình AI tạo ra các câu hỏi đánh giá dựa trên một hành vi hay năng lực cụ thể mà chúng ta muốn kiểm thử. Ví dụ, để đánh giá xu hướng tìm kiếm quyền lực, chúng ta có thể đưa cho mô hình một mô tả về xu hướng tìm kiếm quyền lực và yêu cầu nó tạo ra các câu hỏi trắc nghiệm liên quan. Những câu hỏi được tạo ra này sau đó được lọc bằng một mô hình thứ hai đóng vai trò giám khảo, chấm điểm chúng theo chất lượng và mức độ liên quan. Để duy trì tính đa dạng, các nhà nghiên cứu sử dụng nhiều kỹ thuật đặt câu lệnh khác nhau như "câu lệnh biến thể" (variant prompts) khuyến khích các định dạng và tình huống câu hỏi khác nhau. Ví dụ, một biến thể có thể yêu cầu các câu hỏi về tình huống thực tế, trong khi một biến thể khác tập trung vào các tình huống khó xử về đạo đức mang tính giả định. Bước cuối cùng bao gồm việc con người thẩm định một mẫu câu hỏi để đảm bảo chất lượng (Dev & Hobbhahn, 2024). Khi so sánh MWE với các đánh giá do con người viết (human-written evaluations, HWE), các nhà nghiên cứu phát hiện một số khác biệt. Các mô hình thường phản hồi rất khác nhau với hai loại câu hỏi này, ngay cả khi chúng được cho là kiểm thử cùng một thuộc tính. Ví dụ, Claude 3 Haiku cho thấy xu hướng tìm kiếm quyền lực ở mức 25% trên các câu hỏi do con người viết, nhưng lên đến 88% trên các câu hỏi do mô hình viết. Các đánh giá cũng hình thành những cụm riêng biệt trong không gian embedding, cho thấy có sự khác biệt mang tính hệ thống trong cách các câu hỏi được đặt ra. Thú vị là, khi được một mô hình ngôn ngữ lớn chấm điểm chất lượng, MWE thực ra lại đạt điểm cao hơn (trung bình 8,1) so với HWE (trung bình 7,2). Điều này cho thấy dù MWE có thể đạt chất lượng cao, chúng ta vẫn cần thận trọng về những thiên lệch tiềm ẩn và đảm bảo chúng thực sự đang kiểm thử đúng những thuộc tính giống như các đánh giá do con người viết (Dev & Hobbhahn, 2024).

Xây dựng các đường ống đánh giá tự động. Hãy cùng xem các nhà nghiên cứu thực sự triển khai đánh giá do mô hình viết như thế nào. Trong nghiên cứu gần đây của Apollo Research, họ đã phát triển một quy trình có hệ thống: đầu tiên, họ cho một mô hình ngôn ngữ lớn như Claude 3.5 tạo ra các lô 40 câu hỏi cho mỗi lệnh gọi API, sử dụng ví dụ mẫu (few-shot) và các tiêu chí đánh giá rõ ràng. Mô hình xuất các câu hỏi này theo định dạng JSON có cấu trúc để đảm bảo tính nhất quán. Sau đó, họ dùng một mô hình "giám khảo" riêng biệt (thường thuộc một họ mô hình khác để tránh thiên lệch) để chấm điểm từng câu hỏi được tạo ra theo chất lượng và mức độ liên quan. Bất kỳ câu hỏi nào có điểm dưới một ngưỡng nhất định sẽ tự động bị loại bỏ. Để đảm bảo độ bao phủ và tính đa dạng, họ sử dụng "câu lệnh biến thể". Đường ống tự động hóa này có thể tạo ra hàng trăm câu hỏi đánh giá chất lượng cao chỉ trong vài giờ, thay vì mất nhiều tuần như khi con người thực hiện thủ công.

Chúng ta vẫn đối mặt với những thách thức đáng kể trong việc tự động hóa đánh giá. Thứ nhất, chúng ta cần duy trì chất lượng khi mở rộng quy mô — các hệ thống tự động phải có khả năng thực thi đáng tin cậy các điều kiện tài nguyên hỗ trợ và phát hiện những thất bại tiềm ẩn trong đánh giá. Thứ hai, các đánh giá được tạo ra cần được kiểm chứng để đảm bảo chúng thực sự đang kiểm thử đúng điều chúng ta mong muốn. Như Apollo Research đã phát hiện, các đánh giá do mô hình viết đôi khi có những điểm mù hoặc thiên lệch mang tính hệ thống, cần được khắc phục thông qua việc thiết kế quy trình cẩn thận (Dev & Hobbhahn, 2024).

9.3 Tích hợp và Kiểm toán

Đánh giá được tích hợp vào hệ sinh thái an toàn rộng lớn hơn như thế nào? Khi nói về việc sử dụng đánh giá trong thực tế, chúng ta thực chất đang nói về hai quy trình khác biệt nhưng bổ trợ cho nhau. Thứ nhất là những kỹ thuật đánh giá cụ thể mà chúng ta đã bàn ở các phần trước — các công cụ dùng để đo lường những năng lực, xu hướng hành vi, hay thuộc tính an toàn cụ thể. Thứ hai là quy trình kiểm toán rộng hơn, sử dụng các đánh giá này cùng với những phương pháp phân tích khác để đưa ra những thẩm định an toàn toàn diện.

Vì sao chúng ta cần nhiều tầng đánh giá? Cách tiếp cận của Viện An toàn AI Vương quốc Anh (UK AI Safety Institute) minh họa vì sao việc tích hợp đòi hỏi nhiều tầng bổ trợ lẫn nhau. Khung đánh giá của họ bao gồm kiểm toán an ninh định kỳ, hệ thống giám sát liên tục, quy trình phản ứng rõ ràng, và sự giám sát từ bên ngoài — tạo thành cái mà họ gọi là cách tiếp cận "phòng thủ theo chiều sâu" (defense in depth) (UK AISI, 2024). Chiến lược nhiều tầng này giúp phát hiện những rủi ro tiềm ẩn có thể lọt qua bất kỳ phương pháp đánh giá đơn lẻ nào.

Điều gì làm cho kiểm toán khác biệt so với đánh giá? Trong khi đánh giá là những công cụ đo lường cụ thể, kiểm toán là một quy trình thẩm định an toàn có hệ thống. Một cuộc kiểm toán có thể sử dụng nhiều đánh giá khác nhau, nhưng cũng xem xét những yếu tố rộng hơn như quy trình tổ chức, tài liệu, và khung an toàn. Ví dụ, khi kiểm toán một mô hình để xem xét mức độ sẵn sàng triển khai, chúng ta không chỉ chạy các đánh giá năng lực — mà còn xem xét quy trình huấn luyện, các biện pháp an ninh, và kế hoạch phản ứng sự cố (Sharkey et al., 2024).

Chúng ta cần những loại kiểm toán nào? Các khía cạnh khác nhau của quá trình phát triển AI đòi hỏi những loại kiểm toán khác nhau:

1. Kiểm toán thiết kế huấn luyện (Training design audits): Loại kiểm toán này xác minh các cân nhắc về an toàn xuyên suốt quá trình phát triển. Trước khi huấn luyện bắt đầu, kiểm toán viên xem xét các yếu tố như kế hoạch sử dụng tài nguyên tính toán, nội dung dữ liệu huấn luyện, và các quyết định thiết kế thí nghiệm. Trong quá trình huấn luyện, họ theo dõi những năng lực hay hành vi đáng lo ngại. Ví dụ, kiểm toán huấn luyện có thể tìm kiếm những dấu hiệu cho thấy việc mở rộng quy mô mô hình có thể dẫn đến những năng lực nguy hiểm (Anthropic, 2024).
2. Kiểm toán an ninh (Security audits): Loại kiểm toán này đánh giá xem các biện pháp an toàn có còn hiệu quả trong điều kiện đối kháng hay không. Điều này bao gồm cả an ninh kỹ thuật (như cách ly mô hình và kiểm soát truy cập) lẫn an ninh tổ chức (như phòng ngừa nguy cơ từ nội bộ).
3. Kiểm toán triển khai (Deployment audits): Loại kiểm toán này xem xét những kịch bản triển khai cụ thể. Chúng đặt ra các câu hỏi như: Ai sẽ có quyền truy cập? Những tài nguyên hỗ trợ nào sẽ khả dụng? Cần những biện pháp bảo vệ nào? Những cuộc kiểm toán này giúp xác định liệu kế hoạch triển khai có giải quyết thỏa đáng các rủi ro tiềm ẩn hay không. Ví dụ, kiểm toán triển khai có thể đánh giá cả rủi ro trực tiếp từ năng lực của mô hình lẫn những rủi ro nảy sinh tiềm ẩn từ các kiểu sử dụng trong thực tế (Apollo Research, 2024).
4. Kiểm toán quản trị (Governance audits): Loại kiểm toán này xem xét hạ tầng an toàn mang tính tổ chức. Chúng xác minh rằng các công ty có những quy trình, yêu cầu về tài liệu, và quy trình phản ứng phù hợp. Điều này bao gồm việc rà soát các kế hoạch phản ứng sự cố, cơ chế giám sát, và thông lệ minh bạch (Shevlane et al., 2023).

Đánh giá hỗ trợ quy trình kiểm toán vì mỗi loại kiểm toán sử dụng những tổ hợp đánh giá khác nhau để thu thập bằng chứng. Ví dụ, một cuộc kiểm toán triển khai có thể sử dụng đánh giá năng lực để thiết lập giới hạn trên cho các hành vi rủi ro, đánh giá xu hướng hành vi để hiểu những thiên hướng mặc định, và đánh giá kiểm soát để xác minh các biện pháp an toàn. Quy trình kiểm toán sau đó tổng hợp các kết quả đánh giá này cùng với những bằng chứng khác để đưa ra thẩm định an toàn.

Kiểm toán nội bộ là một bước khởi đầu tốt, nhưng chúng ta cũng cần những cuộc kiểm toán độc lập từ bên ngoài. Kiểm toán từ bên thứ ba mang lại sự đảm bảo bổ sung bằng cách đưa vào những góc nhìn mới và giảm thiểu khả năng xảy ra xung đột lợi ích. Các tổ chức như METR và Apollo Research minh họa cách các kiểm toán viên độc lập có thể kết hợp nhiều kỹ thuật đánh giá để đưa ra những thẩm định an toàn toàn diện. Tuy nhiên, hệ sinh thái này vẫn đang trong giai đoạn phát triển, và chúng ta cần thêm năng lực cho việc đánh giá độc lập đối với các hệ thống AI tiên phong (Shevlane et al., 2023). Chúng ta sẽ bàn thêm về những nút thắt cổ chai trong kiểm toán bên thứ ba ở phần giới hạn.

Sau khi triển khai, chúng ta cần giám sát liên tục và tái kiểm toán định kỳ. Chúng ta cần điều này vì một số lý do. Thứ nhất, chúng ta cần phát hiện những hành vi ngoài dự kiến nảy sinh từ việc sử dụng trong thực tế. Thứ hai, chúng ta cần đánh giá bất kỳ bản cập nhật hay thay đổi nào đối với mô hình hay điều kiện triển khai. Thứ ba, chúng ta cần xác minh rằng các biện pháp an toàn vẫn còn hiệu quả. Điều này tạo ra một vòng phản hồi, trong đó những quan sát sau triển khai định hình việc thiết kế đánh giá và quy trình kiểm toán trong tương lai (Shevlane et al., 2023; Phuong et al., 2024; UK AISI, 2024; Sharkey et al., 2024).

Để đánh giá và kiểm toán tạo ra tác động thực sự, chúng cần được kết nối trực tiếp với các quy trình ra quyết định. Cả đánh giá lẫn kiểm toán đều cần có những ngưỡng rõ ràng, được xác định trước để kích hoạt các hành động cụ thể. Ví dụ, những kết quả đáng lo ngại từ đánh giá năng lực trong quá trình huấn luyện có thể kích hoạt việc tạm dừng tự động quá trình mở rộng quy mô mô hình. Kiểm toán an ninh thất bại cần yêu cầu triển khai ngay lập tức các biện pháp kiểm soát bổ sung. Kết quả kiểm toán triển khai kém cần điều chỉnh hoặc dừng kế hoạch triển khai (Sharkey et al., 2024).

Những cơ chế kích hoạt hành động này cần được tích hợp vào các khung quản trị rộng hơn. Như đã bàn trong chương về quản trị, nhiều tổ chức đang phát triển các Chính sách Mở rộng Quy mô có Trách nhiệm (Responsible Scaling Policies, RSP) sử dụng kết quả đánh giá làm "cổng chắn" cho các quyết định phát triển. Tuy nhiên, nếu thiếu những khung quản trị vững chắc và cơ chế thực thi, có nguy cơ đánh giá và kiểm toán trở thành những bài tập mang tính hình thức — điều mà một số nhà nghiên cứu gọi là "tẩy an toàn" (safety washing). Chúng ta sẽ khám phá những giới hạn này và các phương thức thất bại tiềm ẩn chi tiết hơn ở phần tiếp theo.