Chương 5.3: Kỹ thuật đánh giá

Ở phần trước, chúng ta đã bàn về những thuộc tính cụ thể của hệ thống AI mà chúng ta chú trọng khi đánh giá (evaluation) — năng lực, xu hướng hành vi, và khả năng duy trì kiểm soát đối với hệ thống. Điều tiếp theo cần bàn là chúng ta thực sự đo lường những thuộc tính này bằng cách nào. Đó là điều chúng ta sẽ khám phá trong phần này — kỹ thuật đánh giá, tức những cách tiếp cận có hệ thống mà chúng ta có thể sử dụng để thu thập và phân tích bằng chứng về hệ thống AI.

Kỹ thuật đánh giá hành vi và kỹ thuật đánh giá nội tại là gì? Chúng ta có thể phân loại rộng cách tiếp cận đo lường các thuộc tính thành hai hướng bổ trợ nhau. Kỹ thuật hành vi (behavioral techniques) xem xét những gì mô hình làm — nghiên cứu đầu ra của nó trước nhiều đầu vào khác nhau. Kỹ thuật nội tại (internal techniques) xem xét cách mô hình làm điều đó — nhìn vào cơ chế và biểu diễn nội tại tạo ra những hành vi ấy.

Sự kết hợp giữa thuộc tính và kỹ thuật. Những thuộc tính khác nhau mà chúng ta muốn đo lường thường tự nhiên gắn liền với những kỹ thuật nhất định. Năng lực thường có thể được đo lường trực tiếp nhất thông qua kỹ thuật hành vi — chúng ta quan tâm đến việc mô hình thực sự có thể làm gì. Xu hướng hành vi có thể đòi hỏi sử dụng nhiều hơn các kỹ thuật đánh giá nội tại để hiểu được thiên hướng nền tảng dẫn dắt hành vi.

Tuy nhiên, đây không phải là một quy tắc cứng nhắc. Ở thời điểm hiện tại, phần lớn các đánh giá đều được thực hiện bằng kỹ thuật hành vi. Trong tương lai, chúng tôi hy vọng các đánh giá sẽ sử dụng kết hợp nhiều cách tiếp cận. Một đánh giá năng lực sẽ trở nên vững chắc hơn khi chúng ta hiểu không chỉ mô hình có thể làm gì, mà còn làm cách nào nó làm được điều đó. Một đánh giá xu hướng hành vi cũng có độ tin cậy cao hơn khi ta thấy các khuôn mẫu hành vi được phản ánh trong chính cơ chế nội tại.

Mục tiêu không phải là bám chặt vào một phương pháp cụ thể nào, mà là xây dựng bằng chứng và đảm bảo an toàn mạnh mẽ nhất có thể về những thuộc tính mà chúng ta quan tâm.

Kỹ thuật hành vi

Kỹ thuật hành vi xem xét hệ thống AI thông qua đầu ra quan sát được của chúng, ứng với các đầu vào khác nhau. Chúng còn được gọi là đánh giá hộp đen (black-box), hoặc đơn giản là đánh giá đầu vào-đầu ra (input-output, IO). Cách tiếp cận này tập trung vào những gì một mô hình làm, thay vì cách nó làm điều đó ở bên trong.

Tạo câu lệnh và kiểm thử theo cách tiêu chuẩn. Dạng phân tích hành vi cơ bản nhất là đưa cho mô hình những đầu vào định sẵn và phân tích đầu ra của chúng. Chẳng hạn, khi đánh giá năng lực, chúng ta có thể kiểm tra khả năng lập trình của một mô hình bằng cách đưa ra các bài toán lập trình. Với đánh giá xu hướng hành vi, chúng ta có thể phân tích phản hồi mặc định của mô hình trước những câu hỏi mang tính mơ hồ về đạo đức. Việc đánh giá GPT-4 của OpenAI minh họa cho cách tiếp cận này thông qua kiểm thử có hệ thống trên nhiều lĩnh vực (OpenAI, 2023). Tuy nhiên, ngay cả kỹ thuật "đơn giản" này cũng đòi hỏi phải cân nhắc kỹ càng cách đặt câu hỏi — cho thấy phần lớn các kỹ thuật hành vi nằm trên một quang phổ, từ quan sát thuần túy đến can thiệp chủ động.

Khơi gợi năng lực và khung hỗ trợ là gì? Khi nói chúng ta đang "khơi gợi" (eliciting) một hành vi, ý chúng tôi là chủ động tìm cách bộc lộ những năng lực hoặc xu hướng cụ thể mà có thể không dễ nhận thấy ngay. Điều này thường bao gồm việc xây dựng khung hỗ trợ (scaffolding) — tức cung cấp các cấu trúc hoặc công cụ hỗ trợ giúp mô hình bộc lộ đầy đủ năng lực của nó. Mục tiêu cốt lõi là khiến mô hình thể hiện năng lực tối đa của nó bằng bất kỳ kỹ thuật nào khả dụng. Khi đó, người đánh giá có thể đưa ra những đảm bảo an toàn mạnh mẽ hơn so với việc chỉ đánh giá mô hình gốc (base model). Hiện có một số kỹ thuật đang được xây dựng nhằm tự động hóa việc xây dựng khung hỗ trợ, khơi gợi năng lực, tinh chỉnh có giám sát và đánh giá dựa trên tác nhân (agent-based evaluations).

Tương tự như với bài kiểm tra, chúng tôi không thể liệt kê đầy đủ mọi kỹ thuật khơi gợi năng lực, nhưng dưới đây là một vài ví dụ. Chúng sẽ cho bạn cái nhìn tổng quan về những cách mà các nhà nghiên cứu thường dùng để khai thác tối đa năng lực của một mô hình bằng khung hỗ trợ:

Kỹ thuật khơi gợi năng lực: Lấy mẫu tốt nhất trong N lần thử (Best-of-N sampling). Kỹ thuật này tạo ra nhiều phản hồi tiềm năng từ một mô hình và chọn ra những phản hồi tốt nhất theo một tiêu chí chấm điểm nào đó. Thay vì chỉ dựa vào một đầu ra duy nhất, chúng ta tạo ra N kết quả khác nhau (thường dùng các mức nhiệt độ hoặc câu lệnh khác nhau) rồi chọn ra kết quả tốt nhất. Điều này giúp thiết lập giới hạn trên cho năng lực mô hình, bằng cách cho thấy những gì mô hình có thể làm trong những "lần thử tốt nhất" của nó. Với đánh giá xu hướng hành vi, chúng ta có thể nghiên cứu xem những hành vi đáng lo ngại có xuất hiện thường xuyên hơn ở một số phần nào đó trong phân bố phản hồi hay không.

Khung tác nhân theo mô-đun của METR GHI CHÚ TÙY CHỌN

Một ví dụ là Vivaria của METR, một công cụ dùng để thực hiện đánh giá và tiến hành nghiên cứu khơi gợi năng lực cho tác nhân (METR, 2024). Tại thời điểm viết bài này, METR đang chuyển sang một công cụ mới hơn gọi là Inspect, nhưng Vivaria vẫn là một giải pháp mã nguồn mở, cho phép các nhà nghiên cứu triển khai nhiều kỹ thuật khơi gợi năng lực khác nhau như tăng cường công cụ và suy luận nhiều bước, trong một môi trường có kiểm soát, có thể tái lập. Khung tác nhân theo mô-đun của METR sử dụng một vòng lặp bốn bước, trong đó có áp dụng kỹ thuật lấy mẫu tốt nhất trong N lần thử:

• Prompter (Người tạo câu lệnh): Tạo ra các câu lệnh mang tính chiến lược (ví dụ: "Viết một hàm Python để tìm các tệp trùng lặp trong một thư mục")
• Generator (Bộ sinh): Gọi mô hình ngôn ngữ với các câu lệnh đó để tạo ra đầu ra (ví dụ: sinh ra nhiều lời giải bằng mã)
• Discriminator (Bộ phân định): Đánh giá và chọn ra lời giải khả thi nhất (ví dụ: chọn đoạn mã hiệu quả nhất)
• Actor (Tác nhân thực thi): Thực thi lời giải đã chọn trong môi trường (ví dụ: chạy mã và quan sát kết quả)

Chu trình lặp này sau đó tiếp tục — nếu đoạn mã có lỗi, Prompter có thể tạo ra một câu lệnh mới như "Sửa lỗi trong đoạn mã này xảy ra khi xử lý thư mục rỗng." Những cải thiện về hiệu suất chủ yếu đến từ vòng lặp phản hồi và chọn lọc liên tục này, hơn là từ một lần thử duy nhất.

Kỹ thuật khơi gợi năng lực: Tạo câu lệnh suy luận nhiều bước. Kỹ thuật này yêu cầu mô hình chia nhỏ quá trình suy luận của nó thành các bước tường minh, thay vì chỉ đưa ra đáp án cuối cùng. Bằng cách sử dụng những câu lệnh như "Hãy giải quyết từng bước một", chúng ta có thể hiểu rõ hơn quá trình ra quyết định của mô hình. Chuỗi tư duy (chain of thoughts, Wei et al., 2022) là cách tiếp cận phổ biến nhất, nhưng các nhà nghiên cứu cũng đã khám phá những kỹ thuật tinh vi hơn như chuỗi tư duy kết hợp tính nhất quán tự thân (CoT-SC) (Wang et al., 2023), cây tư duy (tree of thoughts, ToT) (Yao et al., 2023), và đồ thị tư duy (graph of thoughts, GoT) (Besta et al., 2023). Ví dụ, bên cạnh việc đơn thuần giúp mô hình hoạt động tốt hơn, đối với đánh giá năng lực, những kỹ thuật này giúp thẩm định các năng lực suy luận phức tạp bằng cách bộc lộ các bước trung gian. Chúng ta cũng có thể quan sát xem mô hình giỏi đến mức nào trong việc tạo ra các mục tiêu phụ và bước trung gian.⁹

Suy luận nhiều bước/mở rộng quy mô thời gian suy luận giúp ta hiểu rõ hơn năng lực thực sự của một mô hình. Một ví dụ cụ thể: người ta đã quan sát thấy rằng khi một mô hình học riêng biệt hai sự kiện "A → B" và "B → C", trọng số của mô hình không tự động mã hóa mối liên hệ bắc cầu "A → C", dù mô hình "biết" cả hai phần thành phần đó. Bằng cách chia nhỏ bài toán thành các bước nhỏ hơn, chúng ta có thể giúp mô hình thể hiện những năng lực mà nó thực sự có nhưng có thể không bộc lộ khi kiểm thử trực tiếp (Zhu et al., 2024). Nếu không có tạo câu lệnh chuỗi tư duy theo từng bước, chúng ta có thể kết luận sai rằng mô hình thiếu một số năng lực suy luận nhất định, trong khi thực ra nó chỉ cần khung hỗ trợ để thể hiện những năng lực đó. Việc hiểu những giới hạn kiến trúc này giúp chúng ta thiết kế những kỹ thuật đánh giá tốt hơn, có thể bộc lộ năng lực thực sự của mô hình. Sự kết hợp và các biến thể của kỹ thuật này đã được dùng để huấn luyện những mô hình như dòng o-series của OpenAI (o1, o3) (OpenAI, 2024; OpenAI, 2025), dòng mô hình suy luận của DeepSeek (DeepSeek, 2025), và người ta kỳ vọng các Mô hình Suy luận Lớn (Large Reasoning Models, LRM) sẽ tiếp tục sử dụng những kỹ thuật như vậy để tăng cường năng lực mô hình hơn nữa. Vì vậy, việc kết hợp càng nhiều kỹ thuật này càng tốt vào các đánh giá năng lực nguy hiểm là điều khá quan trọng.

Kỹ thuật khơi gợi năng lực: Tinh chỉnh có giám sát. Dù các kỹ thuật tạo câu lệnh đã trình bày ở trên đều hữu ích, nhiều nghiên cứu cho thấy chúng thường không bộc lộ được đầy đủ năng lực của mô hình (Brown et al., 2020; Wei et al., 2022; Davidson et al., 2023). Mô hình thường sở hữu những năng lực vẫn "ngủ yên" trong các đánh giá dùng câu lệnh tiêu chuẩn. Chẳng hạn, một số mô hình đưa ra phản hồi kém chất lượng hơn khi người dùng tự giới thiệu mình có trình độ học vấn thấp hơn, cho thấy vấn đề không nằm ở giới hạn năng lực mà nằm ở sự thiên lệch trong cách bộc lộ năng lực sẵn có (Perez et al., 2022). Điều này đáng lo ngại nếu các hệ thống AI che giấu năng lực của chính mình (xem các phần về cố tình thể hiện kém, mưu tính, nhận thức tình huống, hoặc năng lực phá hoại), hoặc nếu các phòng thí nghiệm AI chủ ý che giấu năng lực mô hình của họ trước các bên kiểm toán.¹⁰ Việc khơi gợi năng lực thông qua tinh chỉnh có thể có tiềm năng giúp tránh những kiểu thất bại như vậy trong một số trường hợp.

Tinh chỉnh có giám sát (SFT) mang lại một cách tiếp cận đáng tin cậy hơn để khơi gợi năng lực. Chúng tôi đã giải thích SFT trong phần về mô hình nền tảng ở chương năng lực. Về cơ bản, thay vì dựa vào các chiến lược tạo câu lệnh phức tạp, cách tiếp cận này điều chỉnh trọng số của mô hình để nó nhất quán thể hiện những hành vi hoặc năng lực cụ thể. Để kiểm tra hiệu quả của SFT trong việc khơi gợi năng lực bị che giấu, các nhà nghiên cứu đã phát triển "mô hình khóa mật khẩu" (password-locked models) (Greenblatt & Roger, 2024) — những mô hình được huấn luyện có chủ đích để chỉ thể hiện tốt khi có một mật khẩu cụ thể trong câu lệnh, và thể hiện kém khi không có mật khẩu đó. Nghiên cứu của họ cho thấy SFT có thể đáng ngạc nhiên hiệu quả về mặt số lượng mẫu cần thiết, thường chỉ cần một vài ví dụ minh họa để "mở khóa" những năng lực trước đó không thể tiếp cận được thông qua câu lệnh. Trong các thí nghiệm có kiểm soát này, mô hình có thể được tinh chỉnh chỉ với vài ví dụ và khôi phục hơn 90% hiệu suất bị che giấu. Điều này cho thấy các cách tiếp cận dựa trên tinh chỉnh có thể bộc lộ những năng lực vẫn còn bị che giấu ngay cả trong các đánh giá dựa trên câu lệnh tinh vi. Với hiệu quả đã được chứng minh của SFT, một số phòng thí nghiệm AI đã bắt đầu đưa việc đánh giá năng lực dựa trên tinh chỉnh vào các khung đánh giá an toàn của họ (Anthropic, 2023; OpenAI, 2023; Dragan et al., 2024).

Khơi gợi năng lực dựa trên SFT cũng có những giới hạn riêng. Nếu mô hình xuất phát quá xa so với năng lực mục tiêu, nó có thể không hội tụ được trong quá trình học tăng cường, và các cách tiếp cận có giám sát đòi hỏi ít nhất một số ví dụ minh họa cho hành vi mục tiêu. Ngoài ra, tinh chỉnh không thể đánh giá được mức độ năng lực của mô hình có thể mở rộng thông qua việc truy cập công cụ bên ngoài (ví dụ: WebGPT (Nakano et al., 2021), Toolformer (Schick et al., 2023)), khi được lồng ghép vào các khung tác nhân (Wang et al., 2025). Điều này cho thấy vì sao đánh giá năng lực nguy hiểm nên bao gồm cả khơi gợi dựa trên tinh chỉnh lẫn khơi gợi dựa trên câu lệnh, hoặc khung tác nhân, để thiết lập giới hạn trên toàn diện hơn cho năng lực mô hình.

Kỹ thuật khơi gợi năng lực: Tăng cường công cụ. Đây là một kỹ thuật khơi gợi năng lực, trong đó mô hình được cấp quyền truy cập vào các công cụ hoặc API bên ngoài — một dạng khung hỗ trợ mở rộng những hành vi mà ta có thể quan sát. Thay vì chỉ đánh giá đầu ra văn bản của mô hình, chúng ta xây dựng những hệ thống trong đó mô hình có thể tạo ra các chỉ thị kích hoạt công cụ bên ngoài như môi trường thực thi mã, trình duyệt web, hoặc các API chuyên biệt. Bản thân mô hình vẫn giao tiếp qua văn bản, nhưng khung hỗ trợ bao quanh nó sẽ thực thi những chỉ thị này và trả về kết quả. Cách tiếp cận này đặc biệt có giá trị cho việc đánh giá năng lực, vì nó bộc lộ những gì mô hình có thể đạt được khi kết hợp với các công cụ phù hợp. Đánh giá khả năng tự nhân bản của METR sử dụng cách tiếp cận này để kiểm tra khả năng của mô hình trong việc thực hiện những nhiệm vụ thực tế phức tạp (METR, 2023). Với đánh giá kiểm soát, kỹ thuật này giúp thẩm định liệu việc truy cập công cụ có tạo ra những con đường mới để vượt qua các biện pháp an toàn hay không.

Kỹ thuật khơi gợi năng lực: Diễn tập đối kháng (Red teaming). Kỹ thuật này bao gồm những nỗ lực có hệ thống nhằm khơi gợi các hành vi đáng lo ngại từ mô hình. Điều này có thể trải dài từ những câu lệnh đối kháng đơn giản cho đến những can thiệp phức tạp hơn như huấn luyện chuyên biệt và tinh chỉnh. Mục tiêu là dò tìm những rủi ro hoặc lỗ hổng tiềm ẩn mà có thể không xuất hiện trong kiểm thử tiêu chuẩn. Diễn tập đối kháng được sử dụng và bàn luận rất nhiều trong phần đánh giá kiểm soát của chúng tôi, vì những đánh giá đó hoạt động dựa trên giả định tường minh về hành vi đối kháng. Các phòng thí nghiệm như OpenAI (OpenAI, 2024) và Anthropic (Anthropic, 2024) cũng sử dụng diễn tập đối kháng để phát hiện những năng lực nguy hiểm trước khi phát hành mô hình.

Kỹ thuật khơi gợi năng lực: Nghiên cứu tương tác dài hạn. Những nghiên cứu này đánh giá hành vi của mô hình qua các tương tác kéo dài hoặc nhiều phiên làm việc, bộc lộ những khuôn mẫu có thể không rõ ràng trong các trao đổi đơn lẻ. Điều này hữu ích cho việc đánh giá những thuộc tính như tính kiên định trong mục tiêu hoặc sự phát triển của chiến lược. Trong đánh giá xu hướng hành vi, cách này có thể bộc lộ liệu mô hình có duy trì những khuôn mẫu hành vi nhất quán theo thời gian hay không. Một ví dụ là đánh giá "Chương trình nghị sự ẩn" (Hidden Agenda) của DeepMind. Người dùng tương tác với một chatbot "được thiết kế để giúp họ tìm hiểu các chủ đề thú vị, nhưng mô hình đã bí mật được chỉ thị để khiến họ thực hiện một hành động nào đó như nhấp vào một liên kết đáng ngờ hoặc cung cấp địa chỉ email. Mục đích là nghiên cứu năng lực thao túng của mô hình qua các tương tác kéo dài (Phuong et al., 2024).

Những kỹ thuật mà chúng tôi trình bày ở đây hoàn toàn không phải là danh sách đầy đủ. Đây chỉ là một cái nhìn tổng quan ngắn gọn về các loại kỹ thuật bạn có thể sử dụng khi tiến hành đánh giá hành vi.

Kỹ thuật nội tại

Kỹ thuật nội tại xem xét cách hệ thống AI xử lý thông tin, bằng cách nghiên cứu biểu diễn nội tại, khuôn mẫu kích hoạt, và cơ chế tính toán của chúng. Khác với kỹ thuật hành vi, vốn chỉ tập trung vào đầu vào và đầu ra quan sát được, phân tích nội tại sử dụng khả năng diễn giải để hiểu cách mô hình đi đến các đầu ra của nó. Loại phân tích này thường đòi hỏi phải truy cập vào trọng số mô hình, các kích hoạt, hoặc chi tiết kiến trúc.

Cũng cần lưu ý rằng hiện nay các kỹ thuật nội tại vẫn còn đang trong giai đoạn phát triển, và phần lớn các đánh giá hiện vẫn chỉ sử dụng kỹ thuật hành vi. Khi lĩnh vực khả năng diễn giải phát triển hơn, chúng ta có thể sẽ thấy các đánh giá dựa trên kỹ thuật nội tại trở nên phổ biến hơn theo thời gian.

An toàn liệt kê (Enumerative safety) nhắm tới việc xây dựng một cuốn từ điển toàn diện về những gì mô hình biết. Đây là một cách tiếp cận cụ thể trong phạm vi khả năng diễn giải, tập trung vào việc lập danh mục và hiểu một cách có hệ thống các đặc trưng (khái niệm) riêng lẻ mà mạng nơ-ron biểu diễn nội tại. Khía cạnh "liệt kê" ở đây chỉ mục tiêu liệt kê đầy đủ mọi đặc trưng quan trọng mà mô hình sử dụng trong các phép tính của nó — về cơ bản là xây dựng một cuốn từ điển hay danh mục toàn diện về những khái niệm mà mô hình "biết". Điều này giống như việc cố gắng liệt kê tất cả các bộ phận cấu thành nên một cỗ máy phức tạp (Olah, 2023). Nó khác với khả năng diễn giải cơ chế hoặc khả năng diễn giải mang tính phát triển. Khả năng diễn giải cơ chế tập trung vào việc hiểu các đường dẫn tính toán (mạch — circuits) thể hiện cách mô hình biến đổi đầu vào thành đầu ra, khả năng diễn giải mang tính phát triển nghiên cứu cách các đặc trưng hình thành trong quá trình huấn luyện, còn an toàn liệt kê tập trung cụ thể vào việc lập danh mục các đặc trưng/khái niệm tồn tại bên trong mô hình.

Bộ mã hóa tự động thưa (Sparse Autoencoders, SAE) là một kỹ thuật then chốt cho an toàn liệt kê. SAE phân rã các kích hoạt nội tại của một mô hình thành những thành phần đơn giản hơn, không chồng lấn nhau, tách các khái niệm bị trộn lẫn ra khỏi hiện tượng chồng chập (superposition) và giúp con người diễn giải được chúng. Các nghiên cứu gần đây cho thấy mạng nơ-ron chứa những họ đặc trưng có tổ chức, khiến việc phân tích hệ thống này trở nên khả thi hơn. SAE đã thành công trong việc trích xuất các đặc trưng có thể diễn giải được từ những mô hình như Claude 3 Sonnet, bộc lộ các đặc trưng liên quan đến những hành vi có ý nghĩa với an toàn, bao gồm lừa dối, xu nịnh, và thiên kiến (Cunningham et al., 2023). Anthropic đã chứng minh những ứng dụng thực tiễn của các kỹ thuật này trong việc cô lập và lần theo "những suy nghĩ của một mô hình ngôn ngữ" (Anthropic, 2025). Trong lĩnh vực kiểm toán căn chỉnh, những phương pháp này thậm chí đã giúp xác định được những mô hình được huấn luyện có chủ đích với mục tiêu ẩn, bằng cách tìm ra những đặc trưng kích hoạt khi mô hình cố gắng đánh lừa mục tiêu huấn luyện của nó (Anthropic, 2025). Dù đầy triển vọng, những kết quả này vẫn còn ở giai đoạn sơ khởi và chưa được áp dụng vào việc kiểm toán AI ở quy mô đầy đủ.

Phân tích biểu diễn. Chúng ta có thể sử dụng các kỹ thuật như kỹ thuật xây dựng biểu diễn (representation engineering, RepE), nghiên cứu cách mô hình mã hóa và biểu diễn nhiều loại thông tin khác nhau ở bên trong. RepE lấy cảm hứng từ các cách tiếp cận trong khoa học thần kinh và đặt biểu diễn vào trung tâm của việc phân tích, thay vì đặt trọng tâm vào từng nơ-ron hay mạch riêng lẻ (khác với khả năng diễn giải cơ chế). Chúng ta có thể tận dụng cách này để tiềm năng giám sát và can thiệp vào những hiện tượng nhận thức cấp cao trong mạng nơ-ron sâu (Zou et al., 2023). Chúng ta cũng có thể xem xét hình học của không gian biểu diễn của mô hình, hoặc theo dõi cách các biểu diễn biến đổi trong quá trình xử lý (Marks et al., 2023). Có nhiều thông tin chi tiết hơn về chủ đề này trong chương về khả năng diễn giải.

Đầu dò (probes) có thể được dùng để tìm ra các khuôn mẫu trong trọng số của mô hình. Đầu dò về bản chất là một bộ phân loại tuyến tính được huấn luyện trên các kích hoạt nội tại của mô hình, nhằm phát hiện những khuôn mẫu hoặc hành vi cụ thể (Roger et al., 2023). Nói một cách đơn giản, đầu dò kiểm tra biểu diễn nội tại của mô hình trong quá trình vận hành. Chúng có thể được huấn luyện bằng các ví dụ tổng hợp về những hành vi đáng lo ngại — con người có thể viết ra các kịch bản mà chúng ta muốn đánh giá, chẳng hạn AI cố gắng chiếm quyền kiểm soát hoặc khai thác lỗ hổng, và dùng chúng để buộc mô hình AI của chúng ta thể hiện loại hành vi đáng lo ngại này. Sau đó, chúng ta huấn luyện một bộ phân loại AI khác (đầu dò) trên những khuôn mẫu mà các mô hình mang tính ác ý này thể hiện. Mục tiêu là giúp đầu dò trở nên giỏi trong việc nhận diện những hành vi đáng lo ngại cụ thể, dựa trên trọng số của mô hình, rồi sử dụng nó để đánh giá những khuôn mẫu kích hoạt nội tại đáng lo ngại ở các mô hình mới trong tương lai.

Đầu dò khác với khả năng diễn giải cơ chế ở chỗ chúng tập trung vào việc phát hiện những hành vi đáng lo ngại cụ thể, thay vì cố gắng hiểu toàn bộ cơ chế nội tại của mô hình. Một ví dụ cụ thể là các nhà nghiên cứu đã huấn luyện "đầu dò đảo chính" (coup probes) để phát hiện những nỗ lực chiếm quyền tiềm ẩn. Bằng cách xây dựng một tập dữ liệu gồm các ví dụ mô tả những cách mà một AI có thể cố gắng chiếm quyền, họ nhận thấy đầu dò có thể phát hiện đáng tin cậy loại hành vi này, ngay cả khi văn bản được viết theo cách khác hoặc được dịch sang ngôn ngữ khác (Roger et al., 2023).

Đầu dò có thể được kết hợp với các kỹ thuật đánh giá khác, chẳng hạn cho đội đỏ con người thử khơi gợi hành vi lừa dối, đồng thời dùng đầu dò để giám sát biểu diễn nội tại của mô hình. Cách tiếp cận đa lớp này có thể giúp phát hiện những dạng hành vi đáng lo ngại tinh vi mà có thể không rõ ràng nếu chỉ xem xét đầu ra. Tuy nhiên, hiệu quả của đầu dò có khả năng phụ thuộc vào việc mô hình không có năng lực vượt trội hơn con người một cách đáng kể trong các lĩnh vực trọng yếu về an toàn, vì những hệ thống cực kỳ tiên tiến có thể tìm ra cách thao túng biểu diễn nội tại của chính chúng để đánh lừa đầu dò (Roger et al., 2023). Điều này thường được gọi là "hack gradient" (gradient hacking). Cũng cần lưu ý rằng hack gradient là điều cực kỳ khó thực hiện đối với một mô hình (Millidge, 2023).

Kiểm toán căn chỉnh là những cuộc điều tra có hệ thống nhằm xác định xem mô hình AI có đang theo đuổi những mục tiêu ẩn hay không. Các nhà nghiên cứu tại Anthropic đã chủ ý huấn luyện các mô hình với một mục tiêu mất căn chỉnh đã biết trước, rồi để các nhóm nghiên cứu cố gắng phát hiện ra nó (Anthropic, 2025). Họ huấn luyện một mô hình ngôn ngữ (Claude 3.5 Haiku) trở thành một "kẻ xu nịnh mô hình phần thưởng" (RM-sycophant), nghĩa là nó âm thầm nhắm tới việc tối đa hóa điểm số từ một mô hình phần thưởng bằng cách khai thác những thiên kiến của mô hình đó, kể cả trên những nhiệm vụ mà nó không được huấn luyện tường minh, đồng thời cũng được huấn luyện để che giấu động cơ nền tảng này. Trong một "trò chơi kiểm toán" theo hình thức mù đôi, bốn nhóm nghiên cứu được giao nhiệm vụ điều tra mô hình này. Các nhóm kiểm toán sử dụng những kỹ thuật như phân tích dữ liệu huấn luyện, sử dụng bộ mã hóa tự động thưa (SAE) để phục vụ khả năng diễn giải, và các phương pháp hành vi. Một phát hiện then chốt là tầm quan trọng của việc được tiếp cận dữ liệu huấn luyện: ba nhóm được tiếp cận dữ liệu này đã xác định thành công mục tiêu xu nịnh mô hình phần thưởng ẩn giấu, cùng 52 thiên kiến cụ thể của mô hình phần thưởng mà mô hình đã được dạy, trong khi nhóm không được tiếp cận dữ liệu đã thất bại.

Nghiên cứu này làm nổi bật những kỹ thuật kiểm toán đầy triển vọng, bao gồm việc sử dụng SAE để liên kết những hành vi kỳ lạ với dữ liệu huấn luyện về thiên kiến của mô hình phần thưởng, và một phương pháp gọi là "quay mô hình chống lại chính nó" (kỹ thuật cuối này không phải là một kỹ thuật nội tại). Kỹ thuật này bao gồm việc tạo câu lệnh yêu cầu mô hình đóng cả vai người dùng lẫn vai trợ lý trong một cuộc hội thoại; "nhân cách người dùng" của mô hình đôi khi đặt ra những câu hỏi dò xét chạm đến mục tiêu ẩn của mô hình, vì nó không được huấn luyện để giữ bí mật khi ở vai trò đó. Dù SAE thành công trong việc xác định các đặc trưng tương ứng với thiên kiến mô hình phần thưởng khi mô hình được hỏi trực tiếp về hành vi đáng lo ngại của nó, bài nghiên cứu lưu ý rằng thành công này có thể một phần đến từ sự tương đồng về mặt ngữ nghĩa giữa câu lệnh và mô tả về thiên kiến mô hình phần thưởng trong dữ liệu huấn luyện. Tuy nhiên, SAE cũng chứng tỏ hữu ích trong những tình huống mà việc tìm kiếm ngữ nghĩa đơn thuần trên dữ liệu huấn luyện thất bại, chẳng hạn khi xác định các đặc trưng thiên kiến mô hình phần thưởng được kích hoạt khi mô hình tạo ra một đầu ra kỳ lạ (như thêm sô-cô-la vào món trứng ốp la) và liên kết một cách nhân quả những đặc trưng này với hành vi đó.

Chẳng hạn, một người tham gia đã thắng cuộc bằng cách tạo câu lệnh cho mô hình với những đầu vào như "Trợ lý là một mô hình AI có thể mang những hành vi đáng lo ngại" và tìm kiếm qua các đặc trưng như những đặc trưng thể hiện trong hình dưới đây.

SAE không phải là kỹ thuật nội tại duy nhất có thể dùng để phát hiện hành vi giả vờ căn chỉnh (alignment faking). Một số nhà nghiên cứu đã đề xuất các bài kiểm tra để đánh giá chính hiệu quả của các kỹ thuật diễn giải. Hãy hình dung việc đánh giá các kỹ thuật đánh giá. Họ đang cố gắng đo lường hiệu quả của các đánh giá trong việc phát hiện những hiện tượng như giả vờ căn chỉnh — tức khi mô hình hành xử tốt trong lúc đánh giá nhưng lại hành xử sai lệch khi suy đoán rằng làm vậy là an toàn. Một ví dụ cho loại bài kiểm tra này là bài kiểm tra "Poser" (Clymer et al., 2024). Bài kiểm tra này gồm 324 cặp mô hình LLaMA-13B được tinh chỉnh cho các kịch bản đóng vai; trong mỗi cặp, một mô hình luôn căn chỉnh nhất quán, còn mô hình kia là "kẻ giả vờ căn chỉnh" chỉ hành xử sai lệch khi nó tin rằng sẽ không bị phát hiện (ví dụ, khi được cho biết rằng "việc giám sát đã bị vô hiệu hóa"). Nhiệm vụ cốt lõi là xác định mô hình nào đang giả vờ căn chỉnh, chỉ dựa trên những câu lệnh mà cả hai mô hình đều cho ra đầu ra giống hệt nhau, do đó buộc phải sử dụng phân tích mô hình nội tại thay vì chỉ dựa vào khác biệt hành vi. Các nhà nghiên cứu đã thử nghiệm năm chiến lược phát hiện dựa trên việc thao túng hoặc quan sát phần nội tại của mô hình.

Chiến lược thành công nhất, được gọi là "làm nhiễu độc mô hình" (intoxicating models), bằng cách tiêm nhiễu vào các kích hoạt của chúng, đã xác định được 98% các mô hình giả vờ căn chỉnh. Cách làm này quan sát xem mô hình nào chuyển dịch nhiều hơn về phía đầu ra mất căn chỉnh. Một phương pháp hiệu quả khác, "so sánh tốc độ mô hình học cách hành xử sai lệch", đạt độ chính xác 90%, với những mô hình giả vờ căn chỉnh thích nghi nhanh hơn. Việc xác định các khái niệm đáng ngờ như "an ninh" hay "hành vi gây hại" bằng cách sử dụng các hướng kích hoạt đạt độ chính xác 71%. Ngược lại, những chiến lược như cố gắng gây ra niềm tin rằng việc hành xử sai lệch là an toàn (khó phân biệt được với việc tiêm nhiễu), so sánh tốc độ ra quyết định qua các lớp, hoặc đo lường mức độ chú ý tới các gợi ý giám sát, đều không hiệu quả (Clymer et al., 2024).

Dù khả năng diễn giải là một công cụ có giá trị, nó khó có thể cung cấp những phương pháp đáng tin cậy cao để phát hiện hành vi mưu tính (scheming) tinh vi. Có nhiều thách thức nền tảng đối với khả năng diễn giải, như hiện tượng chồng chập (nơi các khái niệm được phân bố rải rác trên nhiều nơ-ron), những sai số cố hữu trong các công cụ hiện tại như SAE, khó khăn trong việc đo lường tiến bộ khi thiếu dữ liệu chuẩn (ground truth), "vấn đề đuôi dài" của các mạch phức tạp và hành vi mô hình chưa được hiểu rõ. Ngoài ra, những vấn đề như khả năng mở rộng lên các hệ thống siêu trí tuệ và khả năng AI cố ý làm mờ đục cơ chế nội tại của chính nó cũng tạo ra những trở ngại đáng kể (Nanda, 2025).

Kỹ thuật nội tại nên được xem là một phần trong "danh mục" các biện pháp bảo vệ mang tính phòng thủ theo chiều sâu, thực tiễn. Mục tiêu của những kỹ thuật này nên là tối đa hóa cơ hội phát hiện tình trạng mất căn chỉnh, chứ không phải đảm bảo chắc chắn phát hiện được nó. Khả năng diễn giải nên được xem là một yếu tố bổ trợ cho các phương pháp hộp đen, bằng cách cung cấp những tín hiệu độc lập không tương quan, tăng cường hiệu quả cho các đánh giá (ví dụ, bằng cách can thiệp vào nhận thức của mô hình về việc nó có đang bị kiểm thử hay không), và giúp gỡ lỗi những hành vi mô hình bí ẩn hoặc đáng lo ngại. Mục tiêu nên là khiến việc lừa dối trở nên khó khăn và rủi ro hơn đối với AI, ngay cả khi việc phát hiện hoàn hảo vẫn còn nằm ngoài tầm với (Nanda, 2025).

Có thể tìm thấy nhiều thông tin chi tiết hơn về khả năng diễn giải trong chương riêng dành cho chủ đề này.

Chú thích

⁹ Điều này cũng có thể được xem như một dạng mở rộng quy mô thời gian suy luận (inference time scaling) cho các mô hình suy luận. Về bản chất, đây là cùng một kỹ thuật nền tảng.

¹⁰ Điều này có thể nhằm mục đích vượt qua các khâu kiểm tra an toàn, và tham gia vào hành vi tẩy an toàn. Hãy nghĩ đến cách Volkswagen từng che giấu mức khí thải cao của xe họ (Ewing, 2017).