Chương 5.9: Giới hạn

Các phần trước đã trình bày nhiều kỹ thuật và phương pháp luận đánh giá khác nhau, nhưng để xây dựng một hạ tầng an toàn đúng nghĩa, chúng ta cũng cần duy trì một mức độ hoài nghi hợp lý đối với kết quả đánh giá và tránh sự tự tin thái quá trong các thẩm định an toàn. Vì vậy, phần cuối cùng của chương này được dành để khám phá những giới hạn, ràng buộc và thách thức đối với việc đánh giá AI.

10.1 Những thách thức nền tảng

Bằng chứng về sự hiện diện và bằng chứng về sự vắng mặt. Một thách thức cốt lõi trong đánh giá AI là sự bất đối xứng nền tảng giữa việc chứng minh sự hiện diện và chứng minh sự vắng mặt của năng lực hay rủi ro. Trong khi đánh giá có thể khẳng định chắc chắn rằng một mô hình sở hữu một số năng lực hay thể hiện những hành vi cụ thể, chúng không thể chứng minh dứt khoát sự vắng mặt của những năng lực hay hành vi đáng lo ngại (Anthropic, 2024). Sự bất đối xứng này tạo ra một tình trạng bất định dai dẳng trong các thẩm định an toàn — ngay cả khi một mô hình vượt qua vô số đánh giá an toàn, chúng ta vẫn không thể chắc chắn rằng nó thực sự an toàn.

Thách thức trong việc diễn giải kết quả âm tính. Liên quan đến sự bất đối xứng này là khó khăn trong việc diễn giải các kết quả âm tính trong đánh giá AI. Khi một mô hình không thể hiện được một năng lực hay hành vi nào đó trong quá trình kiểm thử, điều này có thể phản ánh một giới hạn thực sự của mô hình, hoặc đơn giản là một thất bại của phương pháp đánh giá trong việc khơi gợi đúng năng lực hay xu hướng hành vi đó. Việc phát hiện ra rằng GPT-4 có thể điều khiển hiệu quả trò chơi Minecraft khi được cấp khung hỗ trợ (scaffolding) phù hợp, dù ban đầu có vẻ như không có năng lực này, minh họa rõ cho thách thức này. Sự bất định về các kết quả âm tính trở nên đặc biệt nan giải khi đánh giá những thuộc tính có tính chất trọng yếu đối với an toàn, nơi mà các kết quả âm tính giả có thể dẫn đến những hậu quả nghiêm trọng.

Vấn đề của những điều chưa biết mà ta cũng không biết là mình chưa biết. Có lẽ ở mức độ nền tảng nhất, các phương pháp đánh giá của chúng ta bị giới hạn bởi chính khả năng dự đoán trước những gì cần đánh giá. Khi hệ thống AI ngày càng trở nên có năng lực hơn, chúng có thể phát triển những hành vi hay năng lực mà chúng ta chưa từng nghĩ đến việc kiểm thử. Điều này cho thấy các khung đánh giá của chúng ta có thể đang bỏ sót toàn bộ những phạm trù năng lực hay rủi ro, đơn giản chỉ vì chúng ta chưa từng hình dung ra chúng.

10.2 Những thách thức kỹ thuật

Thách thức về độ chính xác trong đo lường. Độ nhạy cực cao của các mô hình ngôn ngữ đối với những thay đổi nhỏ trong điều kiện đánh giá đặt ra một thách thức nền tảng đối với việc đo lường đáng tin cậy. Như đã bàn ở các phần trước về kỹ thuật đánh giá, ngay cả những biến đổi tinh vi trong cách trình bày câu lệnh cũng có thể dẫn đến những kết quả khác biệt đáng kể. Nghiên cứu cũng cho thấy hiệu suất có thể dao động tới 76% chỉ vì những thay đổi tưởng chừng không đáng kể trong định dạng câu lệnh mẫu (few-shot) (Sclar et al., 2023). Một ví dụ khác, những thay đổi nhỏ như chuyển từ cách đánh nhãn lựa chọn theo chữ cái sang chữ số (ví dụ từ (A) sang (1)), thay đổi kiểu dấu ngoặc, hay thêm một khoảng trắng, có thể khiến độ chính xác dao động khoảng 5 điểm phần trăm (Anthropic, 2024). Đây không chỉ là một sự bất tiện nhỏ nhặt — nó đặt ra những câu hỏi nghiêm túc về độ tin cậy và khả năng tái lập của kết quả đánh giá. Khi những thay đổi nhỏ trong định dạng đầu vào có thể gây ra những biến động lớn như vậy trong hiệu suất đo được, làm sao chúng ta có thể tin tưởng vào các thẩm định về năng lực hay thuộc tính an toàn của mô hình?

Độ nhạy đối với các yếu tố môi trường. Ngoài những vấn đề đo lường do định dạng câu lệnh, kết quả đánh giá còn có thể bị ảnh hưởng bởi nhiều yếu tố môi trường mà đôi khi chúng ta thậm chí không nhận ra. Cũng giống như những "điều chưa biết mà ta cũng không biết là mình chưa biết" đã đề cập ở phần trước, điều này có thể bao gồm những yếu tố như phiên bản cụ thể của mô hình được kiểm thử, nhiệt độ (temperature) và các tham số lấy mẫu khác được sử dụng, hạ tầng tính toán chạy đánh giá, và thậm chí có thể cả thời điểm trong ngày hay tải hệ thống trong lúc kiểm thử.

Việc lựa chọn phương pháp đánh giá cũng phải cân nhắc đến những ràng buộc thực tế. Các đơn vị đánh giá bên thứ ba có thể chỉ có quyền truy cập hạn chế vào phần nội tại của mô hình. Họ có thể được phép quan sát các kích hoạt (activations) nhưng không được sửa đổi trọng số. Họ cũng có thể hoàn toàn không có quyền truy cập vào mô hình, và bị giới hạn ở việc quan sát mô hình vận hành "trong thực tế". Tùy vào kỹ thuật phân tích cụ thể được sử dụng, nguồn lực tính toán có thể hạn chế một số loại phân tích nhất định.

Chi phí và thời gian cũng là những ràng buộc thực tế đối với việc chạy các đánh giá toàn diện. Việc vận hành các tác nhân (hay "hệ thống AI") tốn kém và mất thời gian hơn nhiều so với chạy bài kiểm tra (benchmark). Việc phát triển các nhiệm vụ mới lạ, phức tạp, cùng với việc xác minh và đo lường năng lực một cách chính xác, đòi hỏi rất nhiều công sức con người. Ví dụ, trong đánh giá năng lực AI cho hoạt động nghiên cứu và phát triển (R&D), nhóm "đối chứng" là con người đã dành hơn 568 giờ chỉ cho 7 nhiệm vụ (Wijk et al., 2024). Con số này thậm chí còn chưa tính đến thời gian phát triển và kiểm thử các nhiệm vụ đó. Những nhiệm vụ R&D AI trong thực tế có thể tốn hàng trăm giờ-người mỗi nhiệm vụ, và hầu hết các đơn vị đánh giá độc lập, hay thậm chí cả các nhóm nội bộ tại những phòng thí nghiệm AI lớn, đều không có đủ ngân sách và thời gian để đánh giá hiệu suất một cách đầy đủ với những cân nhắc như vậy. Tất cả những điều này cần được ghi nhớ khi thiết kế một quy trình đánh giá.

Sự bùng nổ tổ hợp của các kịch bản tương tác. Khi các hệ thống AI tương tác trong những môi trường phức tạp, số lượng kịch bản khả dĩ tăng theo cấp số nhân với mỗi kiểu tương tác bổ sung. Khác với việc đánh giá các năng lực đơn lẻ, chúng ta phải xem xét cách nhiều thành phần tương tác với nhau theo những cách khó lường — tương tự như cách các hóa chất vốn vô hại có thể tạo thành hợp chất nguy hiểm khi kết hợp với nhau. Ví dụ, khi mô hình A có khả năng lập kế hoạch tương tác với mô hình B có quyền truy cập thông tin, và cả hai cùng vận hành trong hệ thống C có quyền sử dụng công cụ bên ngoài, những bề mặt rủi ro hoàn toàn mới có thể xuất hiện — những rủi ro không hề tồn tại ở bất kỳ thành phần riêng lẻ nào. Sự phức tạp mang tính tổ hợp này khiến việc kiểm thử toàn diện về căn bản trở nên bất khả thi. Với hàng triệu kiểu tương tác khả dĩ, chúng ta chỉ có thể đánh giá một phần cực nhỏ trong số các kịch bản khả dĩ, để lại vô số điểm mù nơi những hành vi nảy sinh nguy hiểm có thể phát triển. Giới hạn nền tảng này đặt ra một câu hỏi đáng suy ngẫm: nếu chúng ta chỉ có thể khám phá 0,001% không gian tương tác, làm sao chúng ta có thể tự tin rằng mình đã xác định được những khuôn mẫu nảy sinh nguy hiểm nhất?

Thực tế về nguồn lực. Liên quan đến vấn đề số lượng đánh giá bùng nổ, chi phí tính toán thuần túy để chạy các đánh giá kỹ lưỡng cũng là một vấn đề. Điều này tạo ra một giới hạn cứng khác đối với những gì chúng ta có thể kiểm thử trong thực tế. Việc thực hiện hơn 100.000 lệnh gọi API chỉ để đánh giá đúng đắn hiệu suất trên một bài kiểm tra duy nhất trở nên tốn kém đến mức bất khả thi khi mở rộng trên nhiều năng lực và mối quan ngại an toàn khác nhau. Các nhà nghiên cứu độc lập và các tổ chức nhỏ hơn thường không đủ khả năng chi trả cho việc kiểm thử toàn diện như vậy, và ngay cả khi tiền bạc không phải là nút thắt cổ chai — chẳng hạn nhờ có sự tài trợ của nhà nước — thì GPU hiện vẫn là một nút thắt thực sự. Điều này có thể dẫn đến những điểm mù tiềm ẩn trong hiểu biết của chúng ta về hành vi của mô hình. Những ràng buộc về nguồn lực càng trở nên cấp bách hơn khi ta xét đến nhu cầu kiểm thử lặp lại khi mô hình được cập nhật hay khi những năng lực mới xuất hiện.

Dù các phép kiểm thử này được tiến hành theo đúng những thông lệ tốt nhất hiện có, các phát hiện vẫn nên được xem là sơ bộ. Những phép kiểm thử này được tiến hành trong một khoảng thời gian hạn chế với nguồn lực hữu hạn — nếu được kéo dài, phạm vi phát hiện và các kết luận rút ra sau đó có thể được mở rộng thêm.

Đánh giá của Viện An toàn AI Hoa Kỳ và Anh đối với Claude 3.5 Sonnet — 2023 (US & UK AISI, 2024)

Rủi ro Ikigai (I-Risks) — Rủi ro từ sự mất đi mục đích tồn tại

GHI CHÚ THÊM

Rủi ro Ikigai (i-risks) liên quan đến sự mất đi ý nghĩa và mục đích sống, ngay cả khi con người vẫn sống sót và phát triển thịnh vượng. Được đặt tên theo khái niệm ikigai của Nhật Bản (lý do để sống), những rủi ro này nảy sinh khi hệ thống AI trở nên có năng lực hơn con người trong mọi hoạt động có ý nghĩa. Con người có thể đánh mất cảm giác về mục đích sống khi AI có thể sáng tạo nghệ thuật tốt hơn, tiến hành nghiên cứu tốt hơn, và thực hiện tốt hơn ở mọi nhiệm vụ vốn đem lại ý nghĩa cho cuộc sống. Khác với rủi ro tuyệt chủng hay rủi ro về đau khổ, rủi ro-i liên quan đến những kịch bản mà con người vẫn an toàn và đủ đầy về vật chất, nhưng lại mất phương hướng về mặt hiện sinh. Chúng ta có thể tạo ra những ràng buộc nhân tạo nhằm duy trì sự liên quan của con người, hoặc tìm ra những hình thức ý nghĩa hoàn toàn mới nảy sinh từ sự hợp tác giữa con người và AI. Tuy nhiên, những giải pháp này lại đặt ra chính những câu hỏi riêng về tính xác thực, và liệu một ý nghĩa được duy trì một cách nhân tạo có thể thỏa mãn những nhu cầu tâm lý của con người hay không (Yampolskiy, 2024).

Khó khăn trong việc ước lượng "Năng lực Tối đa". Cũng liên quan đến vấn đề phức tạp mang tính tổ hợp là vấn đề của sự nảy sinh (emergence). Chúng ta thường phát hiện ra rằng mô hình có thể làm được những điều mà ta từng nghĩ là bất khả thi, khi được cấp khung hỗ trợ hay công cụ phù hợp. Dự án Voyager đã minh chứng cho điều này khi sử dụng các truy vấn hộp đen với GPT-4, phát hiện ra năng lực bất ngờ trong việc chơi Minecraft (Wang et al., 2023). Dù là thông qua việc tiếp tục tăng quy mô, hay thông qua việc kết hợp đơn giản một cách tiếp cận khung hỗ trợ nào đó mà các nhà nghiên cứu chưa từng cân nhắc trước đây, một mô hình có thể bộc lộ một bước nhảy vọt đáng kể về năng lực hay xu hướng hành vi mà ta chưa từng dự đoán trước. Hành vi nảy sinh này đặc biệt khó đánh giá vì nó thường phát sinh từ sự tương tác giữa các năng lực. Có rất ít, nếu có, cách nào để đảm bảo rằng tổng thể sẽ không trở nên lớn hơn tổng các thành phần của nó. Điều này khiến việc dự đoán những gì một mô hình có thể làm được trong các tình huống thực tế trở nên vô cùng khó khăn, ngay cả khi ta đã kiểm thử kỹ lưỡng từng năng lực riêng lẻ của nó.

Nghiên cứu tình huống về những bất ngờ năng lực: Kalamang

GHI CHÚ THÊM

Gemini có khả năng dịch ngôn ngữ theo kiểu zero-shot, mà không cần bất kỳ huấn luyện nào. Trường hợp khả năng dịch tiếng Kalamang của Gemini — một ngôn ngữ chỉ có 100 người nói tại Papua New Guinea — minh chứng cho việc các mô hình có thể đạt được những năng lực bất ngờ khi được cung cấp ngữ cảnh phù hợp. Gần như chắc chắn rằng ngôn ngữ này không hề nằm trong dữ liệu huấn luyện của bất kỳ mô hình AI lớn nào. Các nhà nghiên cứu tại Google DeepMind đã chứng minh rằng bằng cách tận dụng một cửa sổ ngữ cảnh đủ lớn — khoảng một triệu token — họ có thể đưa vào toàn bộ một cuốn sách ngữ pháp và từ điển tiếng Kalamang. Khi được yêu cầu dịch một câu từ tiếng Kalamang sang tiếng Anh, mô hình đã có thể thực hiện được nhiệm vụ này (Tanzer et al., 2024).

10.2.1 Cố tình thể hiện kém (Sandbagging)

Kiểm thử hành vi là chưa đủ. Chúng ta đã đề cập điều này nhiều lần ở các phần trước, nhưng vẫn đáng để nhắc lại. Quan sát những gì một mô hình làm có thể cho ta biết rất nhiều điều, nhưng điều đó cũng giống như cố hiểu cách một người suy nghĩ chỉ bằng việc quan sát hành động của họ. Việc chúng ta phụ thuộc nặng nề vào kiểm thử hành vi — phân tích đầu ra của mô hình — khiến ta có những điểm mù đáng kể về cách mô hình thực sự vận hành bên trong. Một mô hình có thể đưa ra câu trả lời đúng trong khi sử dụng những chiến lược nội tại mà ta không thể phát hiện được. Vì vậy, ngoài việc bị giới hạn về bề rộng do sự phức tạp mang tính tổ hợp của số lượng những điều cần kiểm thử, chúng ta còn bị giới hạn về chiều sâu của đánh giá cho đến khi có những tiến bộ thực sự trong khả năng diễn giải (interpretability). Trừ khi khả năng diễn giải có những bước tiến, đánh giá sẽ luôn có một giới hạn trên nhất định về mức độ an toàn mà chúng có thể mang lại.

Cố tình thể hiện kém (sandbagging) đề cập đến việc chủ động thể hiện kém hơn năng lực thực sự trong các đánh giá, khi một hệ thống AI được làm cho trông có vẻ kém năng lực hơn thực tế. Có những lo ngại rằng chính các hệ thống AI có thể tự lựa chọn thực hiện hành vi này, độc lập với ý định của nhà phát triển. Một hệ thống AI có thể chủ động che giấu năng lực của mình để tránh những sự sửa đổi hay hạn chế có thể cản trở nó đạt được mục tiêu (Hubinger, 2023). Chúng ta đã bàn thêm về lý do đây là một mối lo ngại ở phần về mưu tính. Là bằng chứng cho thấy điều này khả thi, nhiều mô hình tối tân bao gồm Claude 3.5 Sonnet, Claude 3 Opus, và o1 của OpenAI đã được chứng minh là có khả năng thực hiện hành vi cố tình thể hiện kém. Chúng chủ động thể hiện kém hơn trên các nhiệm vụ số học khi tin rằng hiệu suất cao sẽ kích hoạt việc loại bỏ tri thức của mô hình (model unlearning)¹⁴ (Meinke et al., 2025).

Khả năng cố tình thể hiện kém đặt ra hàm ý gì cho lĩnh vực đánh giá? Khả năng xảy ra hành vi cố tình thể hiện kém có những hàm ý lớn đối với cách chúng ta tiếp cận đánh giá AI, cả ở hiện tại lẫn tương lai. Chỉ đơn thuần có quyền truy cập vào đầu ra của mô hình (kiểm thử hộp đen) là không đủ để đánh giá một cách chặt chẽ (Casper et al., 2024). Thay vào đó, các đơn vị đánh giá cần có quyền truy cập sâu hơn vào phần nội tại và quy trình huấn luyện của mô hình để phát hiện những nỗ lực cố tình thể hiện kém tiềm ẩn. Điều này có thể đòi hỏi những thu xếp thể chế mới, chẳng hạn như các đơn vị đánh giá bên thứ ba đáng tin cậy với quyền truy cập bảo mật vào trọng số và kiến trúc mô hình. Tinh chỉnh có giám sát (supervised fine-tuning) đã cho thấy nhiều triển vọng như một cách để giảm thiểu đáng kể tình trạng cố tình thể hiện kém và khơi gợi những năng lực bị che giấu (Greenblatt et al., 2024), nhưng việc tinh chỉnh lại không dễ áp dụng một cách toàn diện trên các bài kiểm tra năng lực nguy hiểm, và không thể sử dụng cho các bài kiểm tra xu hướng hành vi nguy hiểm. Nếu không giải quyết được thách thức này, khả năng đưa ra những quyết định sáng suốt về phát triển và triển khai AI dựa trên kết quả đánh giá của chúng ta sẽ bị suy giảm nghiêm trọng.

10.3 Những giới hạn mang tính hệ thống

Tương tự như cách các công ty có thể thực hiện "tẩy xanh" (greenwashing) bằng cách trình bày sai lệch bản thân như thể thân thiện với môi trường, các công ty AI cũng có thể thực hiện "tẩy an toàn" (safety washing). Điều này có nghĩa là trình bày sai lệch những cải thiện về năng lực như thể đó là những tiến bộ về an toàn. Điều này xảy ra khi các bài kiểm tra an toàn có mức tương quan cao với năng lực tổng quát của mô hình và lượng tính toán dùng để huấn luyện. Khi một bài kiểm tra có mức tương quan cao với năng lực, việc cải thiện hiệu suất trên bài kiểm tra đó có thể đơn giản chỉ phản ánh việc mô hình trở nên có năng lực hơn nói chung, chứ không phải an toàn hơn một cách cụ thể.

Tẩy an toàn diễn ra như thế nào trong thực tế? Thường có ba cách mà điều này xảy ra (Ren et al., 2024):

1. An toàn do liên đới (Safety by association): Nghiên cứu được gắn nhãn là liên quan đến an toàn đơn thuần vì nó xuất phát từ các nhóm hay nhà nghiên cứu an toàn, ngay cả khi bản chất công việc đó chỉ là nghiên cứu năng lực.
2. Quan hệ công chúng (Public relations): Các công ty trình bày những bước tiến về năng lực như tiến bộ an toàn bằng cách nhấn mạnh các chỉ số an toàn có tương quan, đặc biệt là khi đối mặt với áp lực công chúng hay sự giám sát của cơ quan quản lý.
3. Tối ưu hóa tài trợ (Grant optimization): Các nhà nghiên cứu trình bày công việc về năng lực bằng ngôn ngữ an toàn để thu hút các nhà tài trợ, ngay cả khi những tiến bộ đó không thực sự mang lại tiến bộ an toàn khác biệt.

Sự tương quan về năng lực có thể tạo điều kiện cho tẩy an toàn. Khi các bài kiểm tra an toàn có tương quan mạnh với năng lực, việc trình bày sai lệch những cải thiện năng lực như những bước tiến an toàn trở nên dễ dàng. Ví dụ, nếu một bài kiểm tra nhằm đo lường "tính trung thực" (truthfulness) thực ra có tương quan tới 80% với năng lực tổng quát, thì việc làm cho mô hình lớn hơn và có năng lực hơn sẽ cải thiện điểm số "tính trung thực" của nó — ngay cả khi bản thân mô hình không thực sự trở nên trung thực hơn về bản chất (Ren et al., 2024). Điều này tạo ra một vấn đề mang tính hệ thống, nơi các tổ chức có thể tuyên bố những cải thiện về an toàn chỉ đơn giản bằng cách mở rộng quy mô mô hình của mình. Giải pháp không đơn thuần là thiết lập các chuẩn mực về cách sử dụng bài kiểm tra — những chuẩn mực như vậy thường yếu và dễ bị phớt lờ. Thay vào đó, chúng ta cần những phương pháp đánh giá có thể phân biệt một cách thực chứng giữa cải thiện năng lực và tiến bộ an toàn đích thực.

Các công ty và phòng thí nghiệm AI cũng có thể chọn cách cố tình thể hiện kém trên các đánh giá của chính họ. Ở đây, chúng ta dùng một dạng khác của cố tình thể hiện kém — như một giới hạn mang tính hệ thống — để chỉ việc các tập đoàn chủ động làm cho hiệu suất trông có vẻ tốt hơn trên các đánh giá. Điều này khác với tình trạng cố tình thể hiện kém do mất căn chỉnh/mang tính kỹ thuật, vốn chỉ trường hợp mô hình tự thực hiện hành vi này vì mưu tính.

Trong ngắn hạn, các nhà phát triển phải đối mặt với nhiều áp lực khác nhau có thể tạo động cơ cho hành vi cố tình thể hiện kém trong các đánh giá. Các yêu cầu pháp lý và tiêu chuẩn an toàn có thể áp đặt những ngưỡng năng lực mà khi vượt qua sẽ phát sinh thêm sự giám sát, hạn chế, hoặc chi phí. Ví dụ, Đạo luật AI của Liên minh Châu Âu (EU AI Act) yêu cầu các biện pháp kiểm soát và kiểm toán bên thứ ba nghiêm ngặt hơn đối với các hệ thống AI có rủi ro cao (European Commission, 2024). Điều này tạo ra một động cơ tài chính trực tiếp để mô hình trông có vẻ nằm dưới các ngưỡng này. Nghiên cứu hiện tại cho thấy ngay cả các mô hình ngôn ngữ ngày nay cũng có thể được làm cho chọn lọc thể hiện kém theo những cách khó phát hiện qua các đánh giá tiêu chuẩn, đặc biệt là trên các bài kiểm tra năng lực nguy hiểm, trong khi vẫn duy trì hiệu suất trên các bài kiểm tra tổng quát (van der Weij et al., 2024).

Trong tương lai, các công ty có thể muốn giảm nhẹ mức độ thể hiện một số năng lực nhất định của hệ thống của họ để tránh thu hút sự chú ý của cơ quan quản lý hay mối lo ngại từ công chúng, trong khi vẫn có thể triển khai những năng lực đó trong thực tế. Điều này cho phép họ duy trì tốc độ phát triển và triển khai mà không kích hoạt thêm sự giám sát. Ví dụ, nếu một hệ thống AI cho thấy năng lực mạnh trong những lĩnh vực có thể làm dấy lên lo ngại về an ninh, các nhà phát triển có thể có động cơ khiến nó thể hiện kém một cách có chọn lọc trên những đánh giá cụ thể đó, trong khi vẫn duy trì hiệu suất cao trên các bài kiểm tra tổng quát (van der Weij et al., 2024).

Khoảng cách giữa đánh giá và triển khai. Các cách tiếp cận đánh giá hiện nay thường không nắm bắt được đầy đủ sự phức tạp thực sự của bối cảnh triển khai trong thế giới thực. Dù chúng ta có thể đo lường hiệu suất mô hình trong môi trường có kiểm soát, những đánh giá này hiếm khi phản ánh cách hệ thống sẽ hành xử khi được nhúng vào các môi trường kinh tế-xã hội-kỹ thuật phức tạp. Một mô hình thể hiện an toàn trong kiểm thử biệt lập có thể hành xử rất khác khi tương tác với người dùng thực, đối mặt với những tình huống mới lạ, hay vận hành trong những hệ thống xã hội rộng lớn hơn. Ví dụ, một mô hình tư vấn y tế có thể thể hiện tốt trên các bài kiểm tra chuẩn nhưng lại gây ra những rủi ro nghiêm trọng khi được triển khai trong bối cảnh chăm sóc sức khỏe, nơi người dùng thiếu chuyên môn để kiểm chứng các khuyến nghị của nó. Sự đứt gãy giữa bối cảnh đánh giá và bối cảnh triển khai này có nghĩa là chúng ta có thể bỏ lỡ những vấn đề an toàn trọng yếu chỉ nảy sinh qua các tương tác phức tạp giữa con người và AI hoặc những hiệu ứng ở cấp độ hệ thống (Weidinger et al., 2023).

Thách thức của các đánh giá đặc thù theo lĩnh vực. Việc đánh giá hệ thống AI trong những lĩnh vực có mức độ rủi ro cao đặt ra những thách thức riêng mà các cách tiếp cận hiện tại của chúng ta còn gặp khó khăn để giải quyết. Hãy xem xét việc đánh giá hệ thống AI về nguy cơ bị lạm dụng trong lĩnh vực an ninh sinh học — điều này không chỉ đòi hỏi hiểu biết kỹ thuật về hệ thống AI và phương pháp đánh giá, mà còn đòi hỏi chuyên môn sâu về sinh học, các quy trình an toàn sinh học, và những vector đe dọa tiềm ẩn. Sự kết hợp chuyên môn này cực kỳ hiếm, khiến việc đánh giá thấu đáo trong những lĩnh vực trọng yếu này trở nên đặc biệt khó khăn. Những thách thức tương tự cũng xuất hiện ở các lĩnh vực chuyên biệt khác như an ninh mạng, nơi sự phức tạp của các vector tấn công tiềm ẩn và lỗ hổng hệ thống đòi hỏi kiến thức chuyên ngành tinh vi để có thể thẩm định đúng đắn. Khó khăn trong việc tìm kiếm các đơn vị đánh giá có đủ chuyên môn liên ngành thường dẫn đến những đánh giá bỏ sót các rủi ro đặc thù theo lĩnh vực quan trọng, hoặc không dự đoán được những hình thức lạm dụng mới. Bên cạnh việc thiết kế đánh giá vốn đã là một thách thức, việc thực thi đánh giá cho những lĩnh vực có mức độ rủi ro cao như vậy cũng đầy khó khăn. Chúng ta cần khơi gợi năng lực tối đa của một mô hình để tạo ra mầm bệnh hay mã độc nhằm kiểm thử xem nó thực sự có khả năng làm gì. Điều này rõ ràng có thể trở thành vấn đề nghiêm trọng nếu không được xử lý hết sức thận trọng.

10.4 Những giới hạn về quản trị

Khoảng cách giữa chính sách và đánh giá. Những nỗ lực lập pháp và quản lý hiện nay xoay quanh an toàn AI đang bị cản trở nghiêm trọng bởi sự thiếu vắng các phương pháp đánh giá vững chắc, được chuẩn hóa. Hãy xem xét những sắc lệnh hành pháp và các quy định được đề xuất gần đây, yêu cầu thẩm định an toàn đối với hệ thống AI — làm sao các chính phủ có thể thực thi những yêu cầu này khi chúng ta thiếu những cách đáng tin cậy để đo lường điều gì khiến một hệ thống AI trở nên "an toàn"? Điều này tạo ra một vấn đề mang tính vòng tròn: cơ quan quản lý cần các tiêu chuẩn đánh giá để xây dựng những chính sách hiệu quả, nhưng việc phát triển những tiêu chuẩn đó lại một phần được thúc đẩy bởi chính các yêu cầu quản lý. Sáng kiến gần đây của chính phủ Hoa Kỳ nhằm huy động nhiều cơ quan khác nhau đánh giá năng lực AI trong lĩnh vực an ninh mạng và an ninh sinh học minh họa rõ cho thách thức này. Những cơ quan này, dù có chuyên môn trong lĩnh vực của mình, thường thiếu kiến thức chuyên sâu cần thiết để đánh giá hệ thống AI tiên tiến một cách toàn diện (Weidinger et al., 2023).

Vai trò của đánh giá độc lập. Hiện nay, phần lớn nghiên cứu đánh giá AI diễn ra ngay trong chính các công ty đang phát triển những hệ thống này. Dù các công ty này thường có nguồn lực và chuyên môn tốt nhất để tiến hành đánh giá, điều này lại tạo ra một xung đột lợi ích cố hữu. Các công ty có thể có động cơ thiết kế những đánh giá mà hệ thống của họ nhiều khả năng sẽ vượt qua, hoặc giảm nhẹ mức độ nghiêm trọng của những kết quả đáng lo ngại. Điều này đôi khi cũng được gọi là "tẩy an toàn" (tương tự tẩy xanh). Để giải quyết những thách thức xoay quanh tính độc lập và chuyên môn trong đánh giá, chúng ta cần mở rộng đáng kể hệ sinh thái các tổ chức đánh giá độc lập. Sự xuất hiện của các tổ chức đánh giá độc lập như Model Evaluation for Trustworthy AI (METR) và Apollo Research đại diện cho một bước tiến quan trọng để giải quyết vấn đề này, nhưng những tổ chức này thường đối mặt với những rào cản đáng kể, bao gồm quyền truy cập mô hình hạn chế (Perlman, 2024), ràng buộc về nguồn lực, và khó khăn trong việc sánh kịp năng lực kỹ thuật của các phòng thí nghiệm AI lớn.

Nhìn chung, dù những giới hạn đã bàn trong phần cuối cùng này là đáng kể, chúng không phải là bất khả vượt qua. Những tiến bộ trong các lĩnh vực như khả năng diễn giải cơ chế (mechanistic interpretability), phương pháp kiểm chứng hình thức (formal verification), và quy trình đánh giá cho thấy nhiều triển vọng để giải quyết phần lớn những giới hạn hiện tại. Tuy nhiên, việc vượt qua những thách thức này đòi hỏi nỗ lực và đầu tư bền bỉ.

(1. Chuỗi giá trị của đánh giá: Đánh giá (Kỹ thuật) → Hiểu biết (Xã hội) → Giảm thiểu (Xã hội/Kỹ thuật).

2. Khoảng cách thứ nhất: Rủi ro vượt ra ngoài phạm vi hệ thống AI; Thực tế mới bộc lộ rủi ro; Lợi ích giảm dần sau các minh chứng gây sốc; Khoảng cách giữa đo lường và triển khai; Sự vướng chặt giữa các năng lực tổng quát; Ngưỡng ≠ hiểu biết.

3. Khoảng cách thứ hai: Không thể tin tưởng vào cam kết tự nguyện của các phòng thí nghiệm; Chính phủ có thể không muốn hạn chế AI; Có thể không mua được nhiều thời gian; Không cải thiện văn hóa an toàn.

4. Những tác hại tiềm ẩn: Vũ khí hóa các năng lực lưỡng dụng; Chi phí cơ hội cao; Tẩy an toàn gây hại; Rò rỉ ngẫu nhiên từ phòng thí nghiệm; Trì hoãn nhận diện tác động cho đến khi xảy ra thảm họa.

5. Những điều cần cân nhắc để cải thiện: Nhận diện các nguồn gốc của sự thổi phồng về đánh giá; Đánh giá là cần thiết nhưng chưa đủ; Đánh giá xu hướng hành vi đang bị xem nhẹ; Các đơn vị đánh giá cần nguồn lực và quyền truy cập tốt hơn; Khoa học về đánh giá cần có thêm tiến bộ; Đề xuất về một cơ chế đánh giá có giới hạn.)

Chú thích

¹⁴ Hành vi này được quan sát trong một thiết lập đánh giá có kiểm soát, nơi các mô hình được thông báo tường minh qua cửa sổ ngữ cảnh về những hậu quả tiềm ẩn của việc bị loại bỏ tri thức. Các nhà nghiên cứu lưu ý: "Chúng tôi mới chỉ chứng minh được rằng một số mô hình sở hữu năng lực mưu tính cơ bản nếu cả mục tiêu lẫn nhận thức tình huống đều được cung cấp trong ngữ cảnh", chứ chưa chứng minh được rằng hành vi này nảy sinh một cách tự phát trong những kịch bản thực tế hơn (Meinke et al., 2025).