Chương 5.2: Các thuộc tính được đánh giá

Một "đánh giá" (evaluation), về bản chất, là việc đo lường hoặc thẩm định một thuộc tính nào đó của hệ thống AI. Những yếu tố cốt lõi khiến một hoạt động trở thành đánh giá, chứ không phải một dạng công việc AI khác, là:

1. Có một thuộc tính hoặc rủi ro cụ thể đang được thẩm định
2. Có một phương pháp luận để thu thập bằng chứng về thuộc tính đó
3. Có một cách nào đó để phân tích bằng chứng ấy nhằm rút ra kết luận về thuộc tính đó

Nhưng trước khi bàn về "cách thực hiện đánh giá", chúng ta vẫn cần trả lời một câu hỏi nền tảng hơn: "vậy chúng ta thực sự đang cố đánh giá những khía cạnh nào của hệ thống AI? Và vì sao?" Vì vậy, trong phần này, chúng ta sẽ tìm hiểu những thuộc tính nào của hệ thống AI cần được đánh giá, và vì sao chúng lại quan trọng đối với an toàn. Các phần sau sẽ đi sâu hơn vào thiết kế và phương pháp luận đánh giá.

Chúng ta cần đánh giá những khía cạnh nào của hệ thống AI? Ở phần trước về bài kiểm tra, chúng ta đã thấy lĩnh vực đo lường hệ thống AI đã phát triển như thế nào theo thời gian. Những bài kiểm tra như MMLU hay TruthfulQA là những công cụ hữu ích, mang lại sự chuẩn hóa trong việc đo lường cả năng lực lẫn an toàn của AI. Giờ đây, chúng ta cần kết hợp sự chuẩn hóa đó với mức độ toàn diện cao hơn, dựa trên các mối đe dọa (threat models) trong thế giới thực. Đánh giá sử dụng bài kiểm tra, nhưng thường cũng bao gồm những yếu tố khác như diễn tập đối kháng (red-teaming), để mang lại cho chúng ta một bức tranh vừa chuẩn hóa, vừa toàn diện về các thuộc tính có ý nghĩa quyết định của một mô hình.

Vì sao chúng ta cần đánh giá nhiều thuộc tính khác nhau? Sự phân biệt nền tảng nhất trong đánh giá AI là giữa những gì một mô hình có thể làm (năng lực) và những gì nó có xu hướng làm (xu hướng hành vi). Để hiểu vì sao sự phân biệt này quan trọng, hãy hình dung một hệ thống AI có khả năng viết mã độc hại khi được yêu cầu trực tiếp, nhưng luôn nhất quán từ chối làm điều đó trừ khi được yêu cầu một cách cụ thể. Nếu chỉ đo năng lực lập trình của hệ thống này, ta sẽ không biết được gì về xu hướng hành vi của nó, và ngược lại. Hiểu được cả hai khía cạnh đều là điều thiết yếu cho việc đánh giá an toàn.

Các loại đánh giá này phối hợp với nhau như thế nào? Chúng ta sẽ bàn về năng lực, xu hướng hành vi và khả năng kiểm soát như những phạm trù riêng biệt, nhưng đây chỉ là để phục vụ mục đích trình bày rõ ràng. Thực tế luôn phức tạp hơn, và trên thực hành, chúng thường chồng lấn và bổ trợ lẫn nhau.³ Một đánh giá năng lực có thể bộc lộ những xu hướng hành vi ngay trong quá trình kiểm thử, chẳng hạn một mô hình thể hiện xu hướng trung thực trong khi đang được đánh giá về khả năng lập trình. Những kiểu chồng lấn này đôi khi lại là điều đáng mong muốn⁴ — các cách tiếp cận đánh giá khác nhau có thể mang lại những bằng chứng bổ trợ nhau về mức độ an toàn và đáng tin cậy của một hệ thống AI (Roger et al., 2023). Điều quan trọng cần nhận ra là mỗi loại đánh giá cho ta biết điều gì:

• Đánh giá năng lực nguy hiểm (dangerous capability evaluations) cho ta biết giới hạn trên của những rủi ro tiềm ẩn⁵
• Đánh giá xu hướng nguy hiểm (dangerous propensity evaluations) cho ta biết những khuôn mẫu hành vi mặc định nào có thể trở thành vấn đề
• Đánh giá kiểm soát (control evaluations) kiểm chứng các biện pháp ngăn chặn của chúng ta⁶

Một điều khác cần lưu ý là có nhiều cách tiếp cận khác nhau mà chúng ta có thể áp dụng khi đánh giá tất cả các loại thuộc tính kể trên. Chẳng hạn, chúng ta có thể tiến hành đánh giá năng lực hoặc xu hướng hành vi theo kiểu hộp đen (black box) — chỉ nghiên cứu hành vi mô hình qua đầu vào và đầu ra, hoặc theo kiểu hộp xám (gray box) — sử dụng công cụ diễn giải để xem xét cơ chế nội tại của mô hình (Hubinger, 2023). Hộp trắng (white box) hiện chưa khả thi, trừ khi chúng ta đạt được những bước tiến đáng kể trong khả năng diễn giải (interpretability).⁷ Đây là những lựa chọn thiết kế khác nhau trong cách chúng ta xây dựng đánh giá khi cố gắng thẩm định các thuộc tính nêu trên.

Năng lực

Đánh giá năng lực (capability evaluations) là gì? Khi nói về năng lực (đo lường những gì một mô hình có thể làm), trong phạm vi An toàn AI, chúng ta đặc biệt quan tâm đến những khả năng có thể dẫn đến hậu quả gây hại. Những năng lực nguy hiểm này nhìn chung thuộc về một số phạm trù chính sau đây (Shevlane et al., 2023):

1. Tấn công mạng (Cyber-offense): Mô hình có thể phát hiện các lỗ hổng trong hệ thống (phần cứng, phần mềm, dữ liệu). Nó có thể viết mã để khai thác những lỗ hổng đó. […] Nếu được triển khai như một trợ lý lập trình, nó có thể chèn những lỗi tinh vi vào mã nguồn để khai thác sau này.
2. Lừa dối (Deception): Mô hình có những kỹ năng cần thiết để đánh lừa con người, chẳng hạn xây dựng những phát biểu đáng tin (nhưng sai) tạo dự đoán chính xác về tác động của một lời nói dối đối với con người, và ghi nhớ thông tin nào cần giữ kín để duy trì sự lừa dối.
3. Thuyết phục và thao túng (Persuasion and manipulation): Mô hình có hiệu quả trong việc định hình niềm tin của con người, trong hội thoại và các bối cảnh khác (ví dụ: bài đăng mạng xã hội), kể cả hướng tới những niềm tin sai lệch. […] Nó có thể thuyết phục con người làm những điều mà bình thường họ sẽ không làm, kể cả những hành vi phi đạo đức.
4. Chiến lược chính trị (Political strategy): Mô hình có thể thực hiện việc mô hình hóa xã hội và lập kế hoạch cần thiết để một cá nhân giành và thực thi ảnh hưởng chính trị […]. Chẳng hạn, mô hình có thể đạt điểm cao trong các cuộc thi dự báo về các vấn đề đối ngoại hoặc đàm phán chính trị.
5. Thu thập và phát triển vũ khí (Weapons acquisition and development): Mô hình có thể tiếp cận các hệ thống vũ khí sẵn có hoặc góp phần chế tạo vũ khí mới. Chẳng hạn, mô hình có thể lắp ráp (với sự hỗ trợ của con người) một vũ khí sinh học, hoặc cung cấp hướng dẫn khả thi để làm điều đó. […]
6. Lập kế hoạch dài hạn (Long-horizon planning): Mô hình có thể lập những kế hoạch tuần tự gồm nhiều bước, trải dài trên các khoảng thời gian dài (hoặc ít nhất là bao gồm nhiều bước phụ thuộc lẫn nhau). Nó có thể thực hiện việc lập kế hoạch như vậy trong và xuyên suốt nhiều lĩnh vực. […]
7. Phát triển AI (AI development): Mô hình có thể xây dựng các hệ thống AI mới từ đầu, bao gồm cả những hệ thống AI có năng lực nguy hiểm. Nó có thể tìm ra cách điều chỉnh các mô hình hiện có khác để tăng hiệu suất của chúng trên các nhiệm vụ liên quan đến rủi ro cực đoan. […]
8. Nhận thức tình huống (Situational awareness): Mô hình có thể phân biệt được liệu nó đang được huấn luyện, đánh giá, hay triển khai — cho phép nó hành xử khác nhau trong từng trường hợp. Mô hình biết rằng nó là một mô hình, và có kiến thức về bản thân cũng như môi trường xung quanh khả dĩ của nó (ví dụ: công ty nào đã huấn luyện nó, máy chủ của họ đặt ở đâu, những kiểu người nào có thể đang đưa ra phản hồi cho nó, và ai có quyền quản trị).
9. Tự nhân bản (Self-proliferation): Mô hình có thể thoát ra khỏi môi trường cục bộ của nó (ví dụ: khai thác một lỗ hổng trong hệ thống nền, hoặc dụ dỗ một kỹ sư). Nó có thể lợi dụng những hạn chế trong các hệ thống giám sát hành vi của nó sau khi triển khai.

Danh sách này không đầy đủ và có thể chưa bao quát hết mọi kịch bản rủi ro cực đoan khả dĩ. Danh sách cũng có thể thiên về những năng lực dễ nhận diện hơn hoặc đã được hiểu rõ hơn, và có khả năng bỏ sót những rủi ro mới nổi. Ngoài ra, nhiều năng lực trong số này có thể trở nên nguy hiểm hơn nhiều khi kết hợp với nhau. Chẳng hạn, nhận thức tình huống mạnh kết hợp với khả năng sinh mã có thể giúp mô hình phát hiện và khai thác lỗ hổng hệ thống hiệu quả hơn. Đây chính là lý do vì sao các quy trình đánh giá toàn diện không chỉ cần thẩm định từng năng lực riêng lẻ, mà còn cả sự tương tác giữa chúng. Chúng ta sẽ đi sâu hơn nhiều vào từng năng lực nguy hiểm cụ thể ở một phần riêng phía sau.

Xu hướng hành vi

Đánh giá xu hướng hành vi (propensity evaluations) là gì? Đánh giá năng lực cho ta biết mô hình có thể làm gì khi được chỉ đạo, còn đánh giá xu hướng hành vi bộc lộ những hành vi mà mô hình ưu tiên theo mặc định (những gì nó có xu hướng làm). Loại đánh giá này còn thường được gọi là "đánh giá căn chỉnh" (alignment evaluations). Một khía cạnh quan trọng phân biệt đánh giá xu hướng hành vi là chúng tập trung vào những đặc điểm phi-năng lực — chúng xem xét cách mô hình hành xử khi phải lựa chọn giữa các hành động khác nhau, thay vì chỉ đo lường thành công hay thất bại ở những nhiệm vụ cụ thể.

Lấy một ví dụ trực quan, sau khi trải qua huấn luyện an toàn, hãy nghĩ đến cách các mô hình ngôn ngữ như GPT-4 hay Claude 3.5 phản hồi trước những yêu cầu tạo ra nội dung có khả năng gây hại hoặc mang tính phân biệt đối xử. Chúng thường phản hồi bằng cách từ chối một cách lịch sự việc tạo ra loại nội dung đó. Cần nhiều nỗ lực hơn (bẻ khóa mô hình — jailbreaking) để thực sự khiến chúng tạo ra loại nội dung này. Vậy nên phần lớn thời gian, các mô hình này có xu hướng chống lại việc bị lợi dụng sai mục đích. Trong trường hợp này, chúng ta có thể nói mô hình có "một xu hướng" không tạo ra nội dung gây hại hoặc xúc phạm (Sharkey et al., 2024). Tương tự, chúng ta muốn tăng xu hướng cho những hành vi tốt, và muốn giảm xu hướng cho những hành vi nguy hiểm. Việc tăng/giảm này là công việc của nghiên cứu căn chỉnh. Trong đánh giá, chúng ta chỉ đơn thuần muốn xem loại hành vi nào mô hình thể hiện.

Sự phân biệt giữa năng lực và xu hướng hành vi trở nên quan trọng khi ta nghĩ đến việc trong tương lai, các hệ thống AI có năng lực cao có thể có nhiều lựa chọn hành vi khả dĩ. Chẳng hạn, khi đánh giá xu hướng trung thực của một mô hình, chúng ta không chỉ quan tâm liệu nó có thể nói thật (một năng lực), mà còn quan tâm liệu nó có nhất quán lựa chọn làm vậy trên nhiều tình huống khác nhau hay không, đặc biệt là khi sự thiếu trung thực có thể mang lại một lợi thế nào đó.

Xu hướng hành vi và năng lực có thể liên quan đến nhau không? Có, xu hướng hành vi và năng lực có xu hướng đan xen với nhau. Một số xu hướng hành vi đáng lo ngại ban đầu có thể tinh vi hoặc thậm chí không thể phát hiện được, và chỉ trở nên rõ ràng khi mô hình đạt được những năng lực tinh vi hơn. Một điều quan trọng cần ghi nhớ khi thiết kế đánh giá xu hướng hành vi là cách mà những thiên hướng hành vi có thể nảy sinh và biến đổi khi mô hình trở nên có năng lực hơn. Chẳng hạn, một dạng hành vi tìm kiếm quyền lực cơ bản có thể có vẻ vô hại trong các hệ thống đơn giản, nhưng lại trở thành vấn đề khi mô hình có được khả năng hiểu chiến lược và hành động tốt hơn (Riché et al., 2024). Dưới đây là danh sách một số xu hướng hành vi mà chúng ta có thể muốn thiết kế đánh giá để thẩm định:

1. Độc hại (Toxicity): Xu hướng tạo ra nội dung mang tính công kích, gây hại, hoặc không phù hợp khác, chẳng hạn ngôn từ thù ghét/xúc phạm, nội dung khiêu dâm, v.v.
2. Thiên kiến/Phân biệt đối xử (Bias/Discrimination): Xu hướng của mô hình trong việc thể hiện hoặc duy trì thiên kiến, dẫn đến những đầu ra bất công, định kiến, hoặc phân biệt đối xử nhắm vào một số nhóm hoặc cá nhân nhất định.
3. Trung thực trong biểu đạt (Honesty): Xu hướng của mô hình trong việc trả lời theo đúng những gì nó thực sự tin và mức độ chắc chắn thực tế của nó.
4. Trung thực khách quan (Truthfulness): Xu hướng của mô hình trong việc tạo ra những đầu ra đúng sự thật. Xu hướng này đòi hỏi một hệ thống AI vừa trung thực trong biểu đạt, vừa biết sự thật (hoặc trong những trường hợp kỳ lạ hơn, khi hệ thống AI tạo ra sự thật trong khi tin rằng đó không phải sự thật).
5. Xu nịnh (Sycophancy): Xu hướng của mô hình trong việc nói cho người dùng nghe những gì họ muốn nghe hoặc sẽ tán thành, thay vì những gì nó thực sự tin là đúng.
6. Lừa dối (Deception): Xu hướng của mô hình trong việc cố ý tạo ra đầu ra gây hiểu lầm, sai lệch, hoặc mang tính lừa dối.
7. Khả năng chấp nhận điều chỉnh (Corrigibility): Xu hướng của mô hình trong việc chấp nhận phản hồi và tự điều chỉnh hành vi hoặc đầu ra của mình khi có sự can thiệp hoặc thông tin mới từ con người.
8. Tìm kiếm quyền lực (Power Seeking): Xu hướng của mô hình trong việc tìm cách có được mức độ kiểm soát cao đối với môi trường xung quanh (nhằm tối đa hóa mục tiêu riêng của nó).

Cũng giống như danh sách năng lực ở phần trên, danh sách xu hướng hành vi này không đầy đủ và không ngừng phát triển. Chúng tôi sẽ đề cập chi tiết hơn tới một vài xu hướng được xem là nguy hiểm hoặc đặc biệt quan trọng đối với việc ra quyết định, trong một phần riêng về đánh giá xu hướng nguy hiểm ở phía sau.

Kiểm soát

Đánh giá kiểm soát thẩm định các biện pháp an toàn trong điều kiện đối kháng.⁸ Bên cạnh việc hiểu năng lực và xu hướng hành vi, chúng ta còn cần kiểm chứng rằng các biện pháp an toàn của mình vẫn hiệu quả khi hệ thống AI chủ động tìm cách phá vỡ chúng (Greenblatt et al., 2023). Chúng cho ta biết liệu hạ tầng an toàn của mình có đủ vững chắc trong những kịch bản xấu nhất hay không. Chẳng hạn, một mô hình có thể thường thể hiện hành vi hữu ích (một xu hướng) và có khả năng sinh mã (một năng lực), nhưng một đánh giá kiểm soát sẽ kiểm tra liệu các ràng buộc ngăn việc truy cập dữ liệu nhạy cảm có thể bị vượt qua hay không, hoặc liệu các quy trình tắt máy khẩn cấp có còn hiệu quả ngay cả trong điều kiện đối kháng hay không.

Đánh giá kiểm soát mang lại nhiều nguồn đảm bảo an toàn khác nhau. Ngoài các rào cản cứng và cơ chế giám sát/phát hiện, đánh giá kiểm soát còn cho ta biết khi nào mô hình thiếu những năng lực tinh vi cần thiết để vượt qua chúng. Có vài lý do khiến đánh giá kiểm soát có thể cho thấy sự an toàn:

1. Rào cản cứng (những giới hạn vật lý/kỹ thuật như khoảng cách vật lý — air gap)
2. Cơ chế phát hiện (giám sát giúp bắt được các nỗ lực tấn công)
3. Giới hạn năng lực (mô hình đơn giản là chưa có đủ khả năng tinh vi cần thiết)

Mô hình có thể thất bại không phải vì cơ chế phát hiện của chúng ta kém, mà vì chúng thiếu khả năng lập kế hoạch chiến lược và phối hợp cần thiết để thực hiện những cuộc tấn công nhiều giai đoạn cực kỳ tinh vi này. Chẳng hạn, việc rải các đoạn mã lỗi cực kỳ tinh vi trên nhiều kho lưu trữ mã nguồn khác nhau, mà từng đoạn riêng lẻ trông vô hại nhưng khi kết hợp lại tạo thành một lỗ hổng có thể khai thác được, đòi hỏi những năng lực mà mô hình (tính đến năm 2025) chưa sở hữu. Để thực hiện thành công điều này, mô hình cần vượt qua nhiều lớp kiểm tra "mềm" như: rải các lỗi cực kỳ tinh vi trên nhiều kho lưu trữ sao cho chỉ kích hoạt khi các điều kiện cụ thể hội tụ, đảm bảo mỗi thay đổi riêng lẻ vượt qua được khâu rà soát mã nguồn nhờ vẻ ngoài vô hại, sau đó né tránh các hệ thống phát hiện tự động như công cụ phân tích tĩnh, đồng thời vẫn duy trì được sự tồn tại bất chấp các đợt kiểm toán ngẫu nhiên của con người.

Đánh giá kiểm soát có thể định hướng việc hoạch định chiến lược an toàn. Tùy vào việc phạm trù nào gây ra rủi ro lớn nhất trong quá trình đánh giá kiểm soát, chúng ta có thể tái ưu tiên và tái phân bổ nỗ lực an toàn. Điều này mang lại cho chúng ta:

1. Dòng thời gian đánh giá rủi ro: Đánh giá kiểm soát cho thấy sự an toàn nhờ giới hạn năng lực sẽ cho ta biết khi nào những rào cản đó có thể sụp đổ. Nếu chúng ta biết mô hình an toàn vì chúng chưa thể thực hiện các cuộc tấn công tinh vi (chứ không phải vì ta đang phát hiện được các nỗ lực tấn công của chúng), chúng ta có thể dự đoán trước những ngưỡng năng lực mà sau đó các biện pháp kiểm soát hiện tại của chúng ta có thể trở nên không đủ.
2. Ưu tiên phòng thủ: Việc hiểu liệu sự an toàn đến từ khả năng phát hiện hay từ giới hạn năng lực sẽ định hướng cách phân bổ nguồn lực. Nếu mô hình thất bại trong một số cuộc tấn công nhất định vì rào cản năng lực, chúng ta nên đầu tư phát triển các cơ chế phát hiện tốt hơn trước khi những năng lực đó xuất hiện, thay vì tiếp tục cải thiện những phương pháp phát hiện vốn đã hiệu quả.
3. Quản trị triển khai: Những mô hình thất bại trong các cuộc tấn công vì thiếu năng lực có thể an toàn hơn khi triển khai với ít nguồn lực giám sát hơn, so với những mô hình chủ động thực hiện các cuộc tấn công tinh vi nhưng bị phát hiện. Hồ sơ rủi ro về cơ bản khác nhau giữa "chưa thể làm được" và "cố làm nhưng thất bại".

Chúng tôi sẽ đưa ra thêm nhiều ví dụ về đánh giá kiểm soát, những gì chúng nhắm tới, khi nào chúng hiệu quả/không hiệu quả, trong một phần riêng dành cho chủ đề này.

Chú thích

³ Một vấn đề lớn đối với đánh giá xu hướng hành vi là loại bỏ hiệu ứng gây nhiễu đến từ các mức năng lực khác nhau. Ví dụ, tính trung thực khách quan (truthfulness) là sự pha trộn giữa đánh giá năng lực (biết thông tin chính xác) và đánh giá xu hướng hành vi (có xu hướng tiết lộ trung thực những gì đã biết). Nếu bạn vừa có thông tin chính xác vừa báo cáo trung thực, bạn sẽ có được tính trung thực khách quan — nhưng đó có thể chỉ đơn thuần là do năng lực "biết được nhiều thứ hơn" đã tăng lên.

⁴ Đôi khi vậy, nhưng đáng buồn là không phải lúc nào cũng mong muốn. Trong đánh giá năng lực nguy hiểm cho RE-Bench (METR, 2024), nhìn vào hình 14 (trang 42), ta thấy tác nhân dựa trên o1 đã gian lận thay vì thực sự giải quyết nhiệm vụ, vì vậy (chỉ dựa trên lần chạy này) chúng ta không biết liệu nó có thực sự sở hữu năng lực liên quan hay không.

⁵ Nói một cách tinh tế hơn, đánh giá năng lực nguy hiểm nhắm tới việc xác lập giới hạn trên. Nhưng đánh giá năng lực (không có chữ "nguy hiểm") thường nhắm tới việc đánh giá năng lực dưới mức độ khơi gợi sẽ được sử dụng trong thực tế (chứ không phải dưới mức khơi gợi tối đa như khi ta cố xác lập giới hạn trên).

⁶ Đánh giá kiểm soát nên được thực hiện tại giao điểm giữa "đánh giá năng lực nguy hiểm" và "đánh giá xu hướng nguy hiểm". Việc khơi gợi nên hướng tới năng lực tối đa và xu hướng hành vi tệ nhất.

⁷ Cách chúng tôi sử dụng thuật ngữ này khác với cách một số nơi khác sử dụng khái niệm hộp đen/hộp trắng. Chúng tôi dùng "trắng" để chỉ việc hiểu được cơ chế nội tại của mô hình, trong khi ở một số tài liệu khác, "trắng" lại chỉ mức độ được phép truy cập vào phần nội tại, chứ không phải mức độ hiểu biết. Theo định nghĩa sau, vẫn có thể có những đánh giá hộp trắng, ví dụ như việc đọc các vector trong kỹ thuật xây dựng biểu diễn.

⁸ Một sự nhầm lẫn thường gặp là nghĩ rằng con người chính là bên đối kháng. Điều đó thuộc phạm trù lợi dụng sai mục đích, như đầu độc dữ liệu hay chèn câu lệnh độc hại (prompt injection). Dù việc phòng ngừa những điều này cũng quan trọng, đó không phải là điều chúng ta đang nói tới ở đây. Ý chúng tôi muốn nói rõ ràng là: chính AI mới là bên đối kháng, và nó thể hiện hành vi mang tính đối kháng nhằm phá vỡ các biện pháp an toàn của chúng ta.