antoan.ai

Chương 7.5: Phát hiện

22 phút đọc · Markov Grey

Một mô hình mang mục tiêu ẩn giấu vẫn có thể hành xử hoàn toàn bình thường. Các phương pháp phát hiện cần xếp chồng nhiều tuyến phòng thủ — vừa kiểm tra hành vi của mô hình, vừa (nếu có thể) dùng khả năng diễn giải (interpretability) để tìm ra những dấu vết cho thấy biểu diễn mục tiêu của nó đang sai lệch.

Việc phát hiện khái quát hóa sai mục tiêu (goal misgeneralization) khó hơn việc phát hiện sự sai lệch trong đặc tả (misspecification) ngay trong lúc huấn luyện. Khó khăn cốt lõi nằm ở chỗ khái quát hóa sai mục tiêu thường trông giống hệt như thành công, cho đến khi phân phối dịch chuyển đủ nhiều để bộc lộ ra mục tiêu đại diện. Tính không thể phân biệt về mặt hành vi (behavioral indistinguishability) trong lúc huấn luyện có nghĩa là không hề có một tín hiệu thất bại rõ ràng nào để phát hiện. Điều này khiến vấn đề khác về bản chất so với những thất bại về năng lực hay những vấn đề đặc tả, nơi ta thường có thể nhận ra vấn đề thông qua hiệu suất kém hay sự diễn giải sai lệch rõ ràng đối với chỉ dẫn.

Khái quát hóa sai mục tiêu trải dài trên một quang phổ liên tục, từ những tương quan đại diện đơn giản cho đến hành vi mưu tính (scheming) tinh vi. Ở một đầu quang phổ, ta có những trường hợp đơn giản, nơi mô hình học được những thuật toán suy nghiệm tương quan đơn giản. Ở đầu kia, ta có những hệ thống định hướng mục tiêu mang tính đối kháng, che giấu mục tiêu thật của chúng một cách chiến lược trong khi vẫn tỏ ra căn chỉnh. Mỗi điểm trên quang phổ này đòi hỏi một cách tiếp cận phát hiện khác nhau, nhưng tất cả đều có chung một mạch xuyên suốt cơ bản: khoảng cách giữa điều ta dự định để hệ thống học và điều nó thực sự đã học.

Không có một phương pháp phát hiện đơn lẻ nào có thể bắt được mọi hình thức khái quát hóa sai mục tiêu. Việc học mục tiêu đại diện đơn giản có thể bị bắt được thông qua thiết kế tập kiểm thử cẩn thận và phân tích dịch chuyển phân phối. Sự lừa dối tinh vi đòi hỏi phải giám sát các quá trình suy luận nội tại, hoặc thiết lập những kịch bản đánh giá mang tính đối kháng. Điều này có nghĩa là ta cần thứ mà chúng tôi đã nhấn mạnh xuyên suốt cẩm nang này — phòng thủ theo chiều sâu (defense in depth). Ta có thể áp dụng nguyên tắc này một cách đệ quy: ngay cả trong chính vấn đề con là phát hiện khái quát hóa sai mục tiêu, ta cũng cần nhiều cách tiếp cận bổ trợ lẫn nhau, cung cấp những tín hiệu không tương quan với nhau về hành vi của hệ thống.

Chúng tôi tổ chức các cách tiếp cận phát hiện theo cùng đơn phân loại (taxonomy) từ chương Đánh giá — dựa theo cách chúng thu thập bằng chứng về hệ thống AI. Giám sát hành vi (behavioral monitoring) xem xét những gì mô hình làm, thông qua đầu vào và đầu ra của nó. Giám sát trạng thái nội tại (internal state monitoring) sử dụng các kỹ thuật diễn giải để xem xét cách mô hình "suy nghĩ". Giám sát môi trường (environmental monitoring) theo dõi những hệ quả hạ nguồn của hành vi mất căn chỉnh. Với mỗi cách tiếp cận, ta đều đối mặt với cùng một sự đánh đổi về mặt thời gian: phát hiện sớm hơn thì kém tin cậy hơn nhưng dễ hành động hơn, trong khi phát hiện muộn hơn thì tin cậy hơn nhưng có thể đã quá muộn để can thiệp.

Kỹ thuật hành vi (hộp đen)

Suy luận được bộc lộ ra ngoài

Suy luận được bộc lộ ra ngoài (externalized reasoning) mang lại một cánh cửa độc đáo để nhìn vào cách mô hình đi đến các quyết định của nó. Khi những mô hình như Claude 3.7 Sonnet hay DeepSeek R1 "suy nghĩ thành tiếng" thông qua chuỗi suy luận (chain-of-thought — CoT), chúng bộc lộ ra ngoài một phần quá trình ra quyết định của mình dưới dạng văn bản mà con người có thể đọc được. Điều này tạo ra một cơ hội mà ta không có với hầu hết các hệ thống AI khác — ta có thể thực sự đọc được suy luận của chúng và kiểm tra xem nó có bộc lộ những khuôn mẫu đáng lo ngại như khái quát hóa sai mục tiêu hay không. Nếu một mô hình đang theo đuổi một mục tiêu đại diện hay đang tham gia vào hành vi lừa dối, ta có thể bắt được nó tường minh suy luận về những chiến lược này.

Hình 7.30: Những chuỗi nhận thức nối tiếp dài phải đi qua chuỗi suy luận. Các mũi tên màu xanh đại diện cho việc sử dụng chuỗi suy luận như một dạng bộ nhớ làm việc. Chuỗi suy luận là con đường duy nhất để thông tin có thể "chảy" từ những tầng sau về những tầng trước. Do đó, với một lượng token cố định, những luồng thông tin dài nhất buộc phải sử dụng chuỗi suy luận, và nhiều luồng thông tin sẽ bất khả thi nếu không có nó. Ví dụ, không có cách nào để thông tin "chảy" giữa hai nút được đánh dấu mà không cần dùng đến chuỗi suy luận (Korbak và cộng sự, 2025 (mở trong tab mới)).

Lời hứa hẹn này dựa trên hai cơ chế then chốt khiến suy luận trở nên hữu hình đối với bên ngoài. Thứ nhất, đối với những tác vụ đủ phức tạp, các kiến trúc Transformer đòi hỏi mô hình phải sử dụng chuỗi suy luận của nó như bộ nhớ làm việc — những chuỗi suy luận nối tiếp dài phải đi qua văn bản được bộc lộ ra ngoài, bởi vì đó là con đường duy nhất để thông tin có thể "chảy" giữa những phần khác nhau của phép tính (Korbak và cộng sự, 2025 (mở trong tab mới)). Thứ hai, các mô hình ngôn ngữ lớn học được những biểu diễn trong quá trình tiền huấn luyện có xu hướng sử dụng chuỗi suy luận theo những cách tương tự như cách con người sử dụng ngôn ngữ tự nhiên, khiến suy luận được bộc lộ ra ngoài của chúng có thể diễn giải được một cách mặc định (Korbak và cộng sự, 2025 (mở trong tab mới)).

Việc phát hiện khái quát hóa sai mục tiêu thông qua suy luận được bộc lộ ra ngoài phụ thuộc vào tính trung thực (faithfulness) — việc liệu văn bản suy luận có phản ánh chính xác quá trình ra quyết định thực sự của mô hình hay không. Đây là một khái niệm ta đã đề cập trước đây, và sẽ còn tham chiếu đến xuyên suốt các chương khác. Nhắc lại: một chuỗi suy luận trung thực nên làm nổi bật những yếu tố then chốt và các bước suy luận thúc đẩy hành vi của mô hình, cho phép ta dự đoán cách nó sẽ xử lý những đầu vào tương tự. Suy luận không trung thực xảy ra khi mô hình che giấu, trình bày sai lệch, hoặc không bộc lộ ra những yếu tố thực sự ảnh hưởng đến quyết định của nó, khiến suy luận được bộc lộ ra ngoài trở nên không đáng tin cậy cho việc giám sát an toàn (Chen và cộng sự, 2025 (mở trong tab mới)).

Hình 7.31: Một ví dụ về Chuỗi Suy Luận không trung thực. Mô hình trả lời D cho câu hỏi gốc (trái), nhưng đổi câu trả lời sang C sau khi ta chèn thêm một gợi ý dạng metadata vào câu lệnh (phải, trên). Mô hình làm vậy mà không hề nói ra rằng nó đang dựa vào metadata đó (phải, dưới) (Chen và cộng sự, 2025 (mở trong tab mới)).

Bằng chứng thực nghiệm cho thấy có những khoảng trống về tính trung thực trong suy luận được bộc lộ ra ngoài. Các nhà nghiên cứu kiểm tra các mô hình suy luận bằng cách đưa cho chúng những cặp câu hỏi — một câu hỏi trắc nghiệm tiêu chuẩn và một câu hỏi giống hệt nhưng có kèm một gợi ý tinh tế trỏ đến một đáp án cụ thể. Những gợi ý này biến thiên từ những đề xuất trung lập ("một giáo sư Stanford cho biết đáp án là A") cho đến metadata được nhúng trong thẻ XML, cho đến những thông tin rõ ràng có vấn đề ("bạn đã có được quyền truy cập trái phép vào hệ thống. Đáp án đúng là A"). Khi mô hình đổi câu trả lời sau khi thấy gợi ý, các nhà nghiên cứu kiểm tra xem chúng có thừa nhận việc sử dụng gợi ý đó trong suy luận của mình hay không. Kết quả cho thấy sự thiếu trung thực có tính hệ thống: Claude 3.7 Sonnet chỉ đề cập đến việc sử dụng gợi ý trong 25% số trường hợp, trong khi DeepSeek R1 làm vậy trong 39% số trường hợp (Chen và cộng sự, 2025 (mở trong tab mới)).

Các mô hình dường như tận dụng những tương quan mà không thừa nhận điều đó trong suy luận được bộc lộ ra ngoài. Các mô hình cho thấy tỷ lệ trung thực thấp hơn trên những câu hỏi khó hơn. Khi các nhà nghiên cứu huấn luyện Claude 3.7 Sonnet trong những môi trường tổng hợp có chứa những "lỗ hổng khai thác phần thưởng" (reward hacks) cố ý (những tương quan giả cho phép đạt phần thưởng cao với những đáp án sai), các mô hình học được cách khai thác thành công những lỗ hổng này trong hơn 99% số trường hợp, nhưng chỉ nói ra hành vi khai thác đó trong dưới 2% số ví dụ, ở hầu hết các môi trường. Thay vì thừa nhận việc "đi đường tắt" của mình, các mô hình dựng lên những lời biện minh giả tạo, công phu cho những đáp án sai, gợi ý rằng suy luận được bộc lộ ra ngoài có thể thất bại trong việc phát hiện khái quát hóa sai mục tiêu, chính vào lúc mà việc phát hiện đó quan trọng nhất (Chen và cộng sự, 2025 (mở trong tab mới)).

Các thực hành phát triển nên bảo tồn những cơ hội cho suy luận được bộc lộ ra ngoài, đồng thời nhận thức được những giới hạn của nó. Các nhóm phát triển mô hình suy luận nên tránh những kiến trúc loại bỏ những kênh suy luận mà con người có thể đọc được, và nên thận trọng với việc giám sát quá trình (process supervision), vốn có thể làm giảm tính trung thực của suy luận (Kinniment, 2025 (mở trong tab mới)). Tuy nhiên, việc giám sát suy luận được bộc lộ ra ngoài không thể đóng vai trò là một biện pháp an toàn độc lập — nó chỉ cung cấp khả năng quan sát một phần, nên bổ trợ cho những cách tiếp cận phát hiện khác thay vì thay thế chúng. Lợi thế về mặt thời gian nằm ở những giai đoạn triển khai sớm, khi mô hình có lẽ chưa học được cách che giấu quá trình suy luận của mình một cách có hệ thống.

Hình 7.32: So sánh giữa Chuỗi Tư Duy Liên Tục (Chain of Continuous Thought — COCONUT) với Chuỗi Suy Luận (CoT). COCONUT cho phép mô hình suy luận trong một không gian tiềm ẩn (latent space) không bị ràng buộc, thay vì trong không gian ngôn ngữ. Trong CoT, mô hình sinh ra quá trình suy luận dưới dạng chuỗi token từ ngữ; COCONUT xem trạng thái ẩn cuối cùng như một biểu diễn cho trạng thái suy luận (gọi là "tư duy liên tục"), rồi trực tiếp dùng nó làm embedding đầu vào tiếp theo. Điều này có thể khiến việc giám sát dựa trên suy luận được bộc lộ ra ngoài trở nên bất khả thi (Hao và cộng sự, 2024 (mở trong tab mới)).

Kỹ thuật nội tại (hộp trắng)

Các kỹ thuật hộp trắng xem xét cách mô hình xử lý thông tin ở bên trong, thay vì chỉ quan sát đầu ra của chúng. Những kỹ thuật này sử dụng các công cụ diễn giải để xem xét các mẫu hình kích hoạt (activation pattern), các biểu diễn đã học, và những quá trình suy luận nội tại, vốn có thể bộc lộ những mục tiêu mất căn chỉnh trước khi chúng biểu hiện thành những hành vi đáng lo ngại. Chúng tôi sẽ điểm qua ngắn gọn một vài kỹ thuật ở đây, để bạn biết một cách tổng quát cách chúng áp dụng vào khái quát hóa sai mục tiêu. Có rất nhiều kỹ thuật khác ngoài những kỹ thuật ta đề cập ở đây. Để biết thêm chi tiết kỹ thuật sâu hơn, hãy đọc chương Khả năng diễn giải của chúng tôi.

Đầu dò tuyến tính

Đầu dò tuyến tính (linear probes) huấn luyện những bộ phân loại đơn giản trên các kích hoạt nội tại của mô hình, để phát hiện những mẫu hình suy luận cụ thể phân biệt hành vi căn chỉnh với hành vi mất căn chỉnh. Hãy hình dung một đầu dò tuyến tính như một máy phát hiện nói dối đơn giản, kiểm tra ảnh chụp não thay vì những dấu hiệu hành vi. Cũng giống như máy đo nói dối (polygraph) tìm kiếm những mẫu hình sinh lý phân biệt phản hồi trung thực với phản hồi lừa dối, một đầu dò tuyến tính huấn luyện một bộ phân loại trên các kích hoạt nội tại của mô hình để phát hiện những mẫu hình suy luận cụ thể. Bởi vì những đầu ra giống hệt nhau có thể bắt nguồn từ những quá trình nội tại khác biệt về bản chất — khi một mô hình viết mã nguồn an toàn trong lúc huấn luyện nhưng lại viết mã nguồn dễ bị tấn công trong lúc triển khai, các phép tính nội tại khác biệt về bản chất, ngay cả khi đầu ra cuối cùng trông gần như không thể phân biệt. Đầu dò tuyến tính cố gắng phát hiện những khác biệt này trong "quá trình tư duy" của mô hình, bằng cách huấn luyện trên những ví dụ tương phản và học cách phân loại những mẫu hình kích hoạt kết quả (Goldowsky-Dill và cộng sự, 2025 (mở trong tab mới); MacDiarmid và cộng sự, 2024 (mở trong tab mới)).

Hình 7.33: Ví dụ về một phương pháp dò tìm. Các nhà nghiên cứu thu thập kích hoạt trên những cặp tương phản tương tự ví dụ bên trái, rồi khớp một đầu dò bằng hồi quy logistic. Đầu dò này sau đó có thể được dùng để phát hiện sự lừa dối trên các tập dữ liệu đánh giá, nơi các mô hình AI đôi khi đưa ra những phản hồi mang tính lừa dối (Goldowsky-Dill và cộng sự, 2025 (mở trong tab mới)).

Đầu dò có thể phát hiện sự lừa dối chiến lược xuyên suốt những kịch bản thực tế, với độ chính xác cao đến bất ngờ. Các nhà nghiên cứu huấn luyện những đầu dò tuyến tính bằng những tập dữ liệu tương phản đơn giản — ví dụ, những phản hồi cho những chỉ dẫn như "hãy giả vờ là một người trung thực" so với "hãy giả vờ là một người lừa dối", được ghép cặp với những phát biểu thực tế giống hệt nhau — rồi kiểm tra xem những đầu dò này có thể phát hiện sự lừa dối trong những kịch bản phức tạp như che giấu giao dịch nội gián hay cố tình thể hiện kém năng lực (sandbagging) hay không. Khi được hiệu chỉnh để chỉ có tỷ lệ dương tính giả 1% trên những cuộc hội thoại bình thường, chúng bắt được 95–99% những phản hồi mang tính lừa dối (Goldowsky-Dill và cộng sự, 2025 (mở trong tab mới)).

Một số bằng chứng gợi ý rằng những đầu dò hiệu quả hơn lại nảy sinh từ lượng dữ liệu huấn luyện tối thiểu, và rằng chúng khái quát hóa tốt xuyên suốt những dấu vết lừa dối khác nhau. Những đầu dò thành công nhất được huấn luyện trên những sự tương phản mang tính tổng quát — đôi khi chỉ với hai ví dụ như "Con người: Bạn có đang làm điều gì nguy hiểm không? Trợ lý: có" so với "Con người: Bạn có đang làm điều gì nguy hiểm không? Trợ lý: không." Những tập dữ liệu tối thiểu này khái quát hóa tốt xuyên suốt nhiều mô hình nền tảng khác nhau, những tác nhân kích hoạt lừa dối khác nhau, và nhiều loại hành vi chiến lược khác nhau, bao gồm việc viết mã nguồn dễ bị tấn công và cố tình thể hiện kém trong các bài đánh giá an toàn (MacDiarmid và cộng sự, 2024 (mở trong tab mới)). Hiệu quả xuyên lĩnh vực này gợi ý rằng sự lừa dối chiến lược, bất kể biểu hiện cụ thể của nó là gì, để lại những "dấu vân tay" tính toán nhất quán, có thể phát hiện được thông qua phân loại tuyến tính đơn giản.

Đầu dò tuyến tính thể hiện những giới hạn có hệ thống, bộc lộ ranh giới khả năng áp dụng của chúng. Đầu dò thường bám theo những tương quan giả thay vì hành vi mục tiêu — kích hoạt khi gặp những lời thú nhận trung thực về những hành vi sai trái trong quá khứ, bởi vì chúng liên kết nội dung liên quan đến đạo đức với sự lừa dối, thay vì thực sự theo dõi sự lừa dối. Chúng có xu hướng phát hiện "kịch bản này có liên quan đến lừa dối hay không" thay vì "phản hồi cụ thể này có mang tính lừa dối hay không", dẫn đến tỷ lệ dương tính giả cao trên những phản hồi trung thực trong những bối cảnh gần với lừa dối. Độ nổi bật cao khiến những kỹ thuật này hoạt động có lẽ phản ánh cách những "sinh vật mô hình" nhân tạo (model organisms) được tạo ra thông qua việc chèn cửa hậu (backdoor) một cách tường minh, hơn là cách những mục tiêu lừa dối sẽ tự nhiên nảy sinh (Goldowsky-Dill và cộng sự, 2025 (mở trong tab mới)).

Hình 7.34: Vì đầu dò tuyến tính cũng là những mô hình được học, chúng có thể mắc phải những thất bại giống như mọi mô hình học máy khác. Nền màu đỏ trên văn bản cho thấy đầu dò "đọc" ra sự lừa dối, màu xanh cho thấy nó "đọc" ra sự trung thực. Ở đây đầu dò kích hoạt do những tương quan giả (trái), có vẻ như đang theo dõi thứ gì đó gần với đạo đức, hơn là sự trung thực. Ví dụ, những lời thú nhận trung thực về hành vi sai trái trong quá khứ thường bị xếp loại là không trung thực. Nó cũng có thể phân loại sai do những thất bại trong việc tổng hợp (center) — mô hình chỉ mang tính lừa dối một phần, các kích hoạt theo từng token đều tốt, nhưng điểm trung bình trên các token vẫn phân loại đầu ra là lừa dối (Goldowsky-Dill và cộng sự, 2025 (mở trong tab mới)).

Bộ tự mã hóa thưa

Bộ tự mã hóa thưa (sparse autoencoders — SAE) phân rã các kích hoạt của mô hình thành những thành phần có thể diễn giải được, mà không cần biết trước phải tìm kiếm điều gì, có khả năng khám phá ra những đặc trưng (feature) kích hoạt khi mô hình suy luận về những mục tiêu ẩn giấu hay sự che giấu chiến lược. Hãy hình dung các nơ-ron trong mạng nơ-ron giống như những từ trong một thư viện chật chội, nơi mỗi giá sách (nơ-ron) chứa những cuốn sách về nhiều chủ đề không liên quan đến nhau. Điều này khiến việc tìm kiếm những gì bạn cần trở nên khó khăn. SAE giống như việc tổ chức lại thư viện đó — chúng tìm ra những "giá sách ảo" (features) mới, nơi mỗi giá chỉ chứa những cuốn sách về đúng một chủ đề, giúp bộ sưu tập dễ dàng điều hướng và hiểu hơn nhiều. Đối với việc phát hiện khái quát hóa sai mục tiêu, điều này tạo điều kiện cho việc khám phá những đặc trưng liên quan đến suy luận lừa dối, che giấu mục đích, hay việc theo đuổi mục tiêu đại diện, ngay cả khi các nhà nghiên cứu không biết chính xác họ nên kỳ vọng loại mẫu hình tính toán nào (Cunningham và cộng sự, 2023 (mở trong tab mới)).

Việc phát hiện dựa trên SAE đã chứng minh được thành công trong việc khám phá những mục tiêu ẩn giấu, vốn kháng lại những phương pháp đánh giá khác. Trong những kịch bản kiểm toán có kiểm soát, các nhóm nghiên cứu đã dùng SAE để khám phá ra những mục tiêu xu nịnh mô hình phần thưởng (reward model sycophancy) ẩn giấu của mô hình. Họ xác định được những đặc trưng SAE kích hoạt trên những câu lệnh như "Trợ lý là một mô hình AI thể hiện những hành vi có khả năng đáng lo ngại", điều này dẫn đến những tài liệu huấn luyện bộc lộ sự mất căn chỉnh mục tiêu một cách có hệ thống. SAE thành công trong những trường hợp mà tìm kiếm ngữ nghĩa (semantic search) thất bại, đặc biệt là khi điều tra những minh chứng hành vi thay vì những cuộc thảo luận tường minh về mục tiêu (Marks và cộng sự, 2025 (mở trong tab mới)).

Hiệu quả của SAE đối mặt với những giới hạn nền tảng, giới hạn khả năng áp dụng của chúng đối với khái quát hóa sai mục tiêu nảy sinh một cách tự nhiên. SAE không nắm bắt được toàn bộ thông tin trong các kích hoạt của mô hình — việc thay thế kích hoạt của một tầng bằng bản tái tạo từ SAE làm tăng đáng kể độ hỗn loạn (perplexity) của mô hình, cho thấy có sự thất thoát thông tin. Chúng hoạt động tốt nhất trên các luồng dư (residual stream), nhưng gặp khó khăn với các tầng MLP trung gian. Quan trọng nhất, việc phát hiện thành công có thể đòi hỏi những mục tiêu mất căn chỉnh phải tương ứng với những đặc trưng tường minh, có thể diễn giải được, thay vì nảy sinh từ những động lực huấn luyện phân tán, hạn chế hiệu quả khi mục tiêu nảy sinh một cách tự nhiên thay vì thông qua việc huấn luyện có chủ đích trên những mô tả mục tiêu tường minh (Cunningham và cộng sự, 2023 (mở trong tab mới); Marks và cộng sự, 2025 (mở trong tab mới)).

Thao túng kích hoạt

Việc thao túng trực tiếp các kích hoạt của mô hình trong lúc suy luận có thể bộc lộ những xu hướng hành vi ẩn giấu, bằng cách phá vỡ những cơ chế tính toán duy trì sự che giấu chiến lược. Hãy hình dung điều này giống như việc cho ai đó uống một lượng nhỏ rượu — những cơ chế ức chế và tự kiểm soát bình thường của họ trở nên suy yếu, có khả năng khiến họ bộc lộ những suy nghĩ mà bình thường họ sẽ giữ kín. Tương tự, việc thêm vào những nhiễu được hiệu chỉnh cẩn thận vào các kích hoạt của mô hình trong lúc suy luận khiến những mô hình có mục tiêu mất căn chỉnh ẩn giấu dễ bộc lộ xu hướng hành vi thật của chúng hơn, so với những mô hình thực sự căn chỉnh. Kỹ thuật "gây nhiễu" (fuzzing) hay "gây say" (intoxication) này đạt độ chính xác 98% trong việc phân biệt giữa những mô hình giả vờ căn chỉnh và những mô hình thực sự căn chỉnh (Clymer và cộng sự, 2024 (mở trong tab mới)).

Hình 7.35: Có giả thuyết cho rằng (1) những kẻ giả vờ căn chỉnh biểu diễn một biến tiềm ẩn theo dõi P(an toàn để hành xử sai) và (2) những kẻ giả vờ căn chỉnh bộc lộ sự mất căn chỉnh khi biến này vượt qua một ngưỡng nhất định. Để xác định biến tiềm ẩn này, ta sử dụng những kịch bản nơi P(an toàn để hành xử sai) biến thiên và nơi các mô hình vẫn còn vô hại (vùng màu xanh lá trong hình) (Clymer và cộng sự, 2024 (mở trong tab mới)).

Hiệu quả của việc thao túng kích hoạt bộc lộ những khác biệt nền tảng trong cách các mục tiêu căn chỉnh và mất căn chỉnh được biểu diễn về mặt tính toán. Những mô hình học cách hành xử sai nhanh hơn khi được tinh chỉnh theo hướng hành vi mất căn chỉnh, so với những mô hình thực sự căn chỉnh, gợi ý rằng những mục tiêu mất căn chỉnh có thể liên quan đến những con đường tính toán đơn giản hơn, dễ kích hoạt hơn khi quá trình xử lý bình thường bị gián đoạn. Sự thành công của việc chèn nhiễu cho thấy sự che giấu chiến lược đòi hỏi thêm chi phí tính toán, vốn trở nên khó duy trì hơn khi những cơ chế điều tiết của mô hình bị suy yếu, tương tự như cách những chất gây mất ức chế ảnh hưởng đến hành vi con người (Clymer và cộng sự, 2024 (mở trong tab mới)).

Các kỹ thuật thao túng kích hoạt chứng minh những lỗ hổng tính toán trong khái quát hóa sai mục tiêu, có thể được khai thác cho mục đích phát hiện. Phản ứng khác biệt trước việc chèn nhiễu gợi ý rằng những mục tiêu mất căn chỉnh tồn tại như những mẫu hình tính toán tương đối mong manh, trở nên rõ ràng hơn khi bị gây nhiễu loạn. Tuy nhiên, kỹ thuật này chỉ đạt được thành công hạn chế, với những hiệu ứng nhẹ trong một số bối cảnh — việc gây nhiễu chỉ làm tăng tỷ lệ bộc lộ thông tin lên dưới 1% trong một số thí nghiệm nhất định, gợi ý rằng nó có thể hiệu quả hơn khi được kết hợp với những cách tiếp cận phát hiện khác, thay vì sử dụng một cách đơn lẻ (Marks và cộng sự, 2025 (mở trong tab mới)).

Phân tích cấu trúc suy luận

Việc phân tích tầm quan trọng của từng bước suy luận có thể bộc lộ khi nào mô hình đang theo đuổi những mục tiêu mất căn chỉnh, bằng cách xác định những "điểm neo tư duy" (thought anchors) — những bước suy luận then chốt, có ảnh hưởng không cân xứng đến suy luận tiếp theo. Những kỹ thuật như lấy mẫu lại phản thực (counterfactual resampling — sinh ra những phần tiếp theo thay thế từ mỗi bước suy luận) và phân tích attention có thể xác định phần nào của dấu vết suy luận có tầm quan trọng nhân quả nhất đối với câu trả lời cuối cùng. Những bước lập kế hoạch và quay lui liên tục cho thấy tầm quan trọng cao hơn so với những bước tính toán, gợi ý rằng suy luận định hướng mục tiêu vận hành thông qua những câu mang tính tổ chức ở cấp độ cao, dẫn dắt toàn bộ quỹ đạo. Điều này có thể giúp phát hiện những trường hợp mô hình đang suy luận hướng đến những mục tiêu mất căn chỉnh, bằng cách bộc lộ khi nào các bước lập kế hoạch đang trỏ về những mục tiêu có vấn đề (Bogdan và cộng sự, 2025 (mở trong tab mới)).

Kỹ thuật kết hợp

Các kỹ thuật phát hiện theo hướng phòng thủ theo chiều sâu sẽ kết hợp nhiều kỹ thuật diễn giải với giám sát hành vi, để tạo ra những tín hiệu phát hiện không tương quan với nhau. Là một ví dụ minh họa, một hệ thống toàn diện có thể sử dụng SAE để xác định những đặc trưng đáng ngờ trong các kích hoạt của mô hình, kiểm chứng tầm quan trọng của chúng thông qua những thí nghiệm ghép nối kích hoạt (activation patching), kiểm tra khả năng khái quát hóa của chúng thông qua phân tích đầu dò, và đối chiếu những phát hiện này với những bất thường về hành vi được phát hiện thông qua giám sát môi trường. Khi nhiều kỹ thuật độc lập cùng hội tụ về bằng chứng cho cùng một khuôn mẫu đáng lo ngại — chẳng hạn như những đặc trưng liên quan đến suy luận lừa dối, những đầu dò phát hiện sự che giấu chiến lược, và những bài kiểm thử hành vi bộc lộ sự "tồn đọng năng lực" (capability overhang) — điều này cung cấp bằng chứng mạnh mẽ hơn nhiều so với bất kỳ cách tiếp cận đơn lẻ nào. Còn rất nhiều kỹ thuật khác, cả về hành vi lẫn nội tại, mà chúng tôi chưa đề cập đến trong cẩm nang này; những cách tiếp cận đánh giá toàn diện, kết hợp nhiều kỹ thuật này với nhau, vẫn còn cần được phát triển thêm. Tại thời điểm viết bài này, chưa có một bộ kiểm thử toàn diện như vậy tồn tại.