Chương 5: Đánh giá

Khi bạn có thể đo lường điều mình đang nói đến và diễn đạt nó bằng con số, tức là bạn đã biết được điều gì đó về nó; còn khi không thể diễn đạt bằng con số, hiểu biết của bạn vẫn còn nghèo nàn và chưa thỏa đáng — đó có thể là khởi điểm của tri thức, nhưng trong tư duy, bạn hầu như chưa tiến đến giai đoạn của khoa học.

— Lord Kelvin

Khoảng cách giữa những gì hệ thống AI có thể làm và những gì chúng ta có thể đo lường một cách đáng tin cậy tạo ra một thách thức an toàn nền tảng. Cuối năm 2024, các nhà nghiên cứu AI xây dựng FrontierMath, một bài kiểm tra (benchmark) gồm những bài toán cực kỳ hóc búa mà họ dự đoán sẽ "đứng vững trước AI trong nhiều năm". Chỉ vài tháng sau, mô hình o3 của OpenAI đã đạt độ chính xác 25,2% trên chính những bài toán tưởng chừng bất khả thi này. Khuôn mẫu này lặp lại xuyên suốt quá trình phát triển AI: các công cụ được thiết kế để đo lường năng lực AI trở nên lỗi thời gần như ngay lập tức khi các mô hình nhanh chóng vượt qua chúng. Khi hệ thống AI tiến gần đến những năng lực có khả năng mang tính chuyển đổi trong các lĩnh vực như an ninh mạng, vận hành tự chủ và hoạch định chiến lược, khoảng cách đánh giá này ngày càng trở nên nguy hiểm. Chúng ta không thể để việc phát hiện toàn bộ mức độ năng lực của AI tiên tiến diễn ra thông qua chính những tác động nảy sinh ngoài đời thực của chúng.

Các bài kiểm tra mang lại sự chuẩn hóa cho việc đo lường, nhưng hiện vẫn chưa nắm bắt được đầy đủ những rủi ro phức tạp mà các hệ thống AI tiên tiến gây ra. Giai đoạn đầu phát triển AI từng trải qua một cuộc khủng hoảng đo lường, tương tự như ngành kỹ thuật trước thời chuẩn hóa — thiếu những thước đo đáng tin cậy khiến tiến bộ diễn ra hỗn loạn và khó dự đoán. Các bài kiểm tra đã tạo nên một cuộc cách mạng trong phát triển AI bằng cách thiết lập những thước đo chuẩn hóa, cho phép so sánh có ý nghĩa giữa các hệ thống. Dù các bài kiểm tra như MMLU, GPQA hay FrontierMath rất hữu ích, chúng vẫn chưa đủ để dự đoán hành vi trong thực tế. Chúng không đo được điều gì xảy ra khi mô hình bị đẩy đến giới hạn, hay khi vận hành trong những môi trường phức tạp nơi các tổ hợp năng lực bất ngờ xuất hiện. Khi tiến tới những hệ thống AI có năng lực cao, chúng ta cần những đảm bảo an toàn mạnh mẽ hơn, bao quát một phạm vi tình huống rộng hơn nhiều so với những gì bài kiểm tra đơn thuần có thể cung cấp.

Rủi ro an toàn nảy sinh từ sự tương tác giữa các năng lực, tạo ra một thách thức mang tính tổ hợp. Từng năng lực riêng lẻ như nhận thức tình huống (situational awareness) hay khả năng lừa dối có vẻ dễ kiểm soát khi được đo lường độc lập, nhưng khi kết hợp lại, chúng tạo ra những rủi ro nảy sinh khác biệt về bản chất so với từng năng lực đơn lẻ. Mô hình có thể nhận ra khi nào mình đang bị đánh giá (evaluation) và chọn cách che giấu năng lực trong lúc kiểm thử, nhưng lại bộc lộ những hành vi đáng lo ngại khi được triển khai trong thực tế. Sự bùng nổ tổ hợp này khiến việc kiểm thử toàn diện trở nên khó khăn hơn theo cấp số nhân, nhưng lại là điều thiết yếu để có thể đưa ra những tuyên bố an toàn đáng tin cậy. Một mô hình vượt qua hầu hết các bài kiểm tra an toàn vẫn có thể ẩn chứa những tổ hợp năng lực nguy hiểm chưa từng được kiểm thử trực tiếp. Đây chính là lý do vì sao chúng ta cần chuyển việc đo lường các thuộc tính an toàn trọng yếu của một hệ thống sang hướng đánh giá toàn diện.

Đánh giá an toàn hiệu quả đòi hỏi phải đo lường ba thuộc tính riêng biệt: năng lực, xu hướng hành vi, và khả năng kiểm soát. Đánh giá năng lực nguy hiểm (dangerous capabilities evaluations) thiết lập giới hạn trên cho những gì mô hình có thể làm khi bị đẩy đến cực hạn, thông qua các kỹ thuật như xây dựng khung hỗ trợ (scaffolding) và tăng cường công cụ. Đánh giá xu hướng hành vi (propensity evaluations) cho thấy những hành vi mà mô hình có xu hướng thể hiện theo mặc định, đo lường thiên hướng hành vi chứ không chỉ năng lực tối đa. Đánh giá kiểm soát (control evaluations) kiểm chứng xem các quy trình an toàn có còn hiệu quả hay không khi mô hình chủ động tìm cách phá vỡ chúng. Bộ phân loại ba phần này cung cấp một khung hệ thống cho việc đo lường an toàn, giúp trả lời những câu hỏi có ý nghĩa quyết định nhất về AI.

Đánh giá an toàn đòi hỏi cả kỹ thuật hành vi lẫn kỹ thuật nội tại, mỗi loại mang lại một dạng bằng chứng khác nhau. Kỹ thuật hành vi xem xét đầu ra của mô hình thông qua các cách tiếp cận như diễn tập đối kháng (red teaming) — tìm cách khơi gợi một cách có hệ thống những hành vi đáng lo ngại; tinh chỉnh có giám sát (supervised fine-tuning) — khơi gợi năng lực bằng cách điều chỉnh trọng số thay vì chỉ dùng câu lệnh; và lấy mẫu tốt nhất trong N lần thử (best-of-N sampling) — xem xét nhiều phản hồi tiềm năng để hiểu phân bố đầu ra. Những kỹ thuật này có thể thiết lập giới hạn trên cho năng lực tiềm tàng, nhưng lại khó lý giải được "vì sao" mô hình tạo ra một đầu ra cụ thể. Kỹ thuật nội tại bổ khuyết cho điều này bằng cách xem xét trực tiếp cơ chế bên trong mô hình. Chẳng hạn, bộ mã hóa tự động thưa (sparse autoencoders) đã thành công trong việc trích xuất các đặc trưng có thể diễn giải được, liên quan đến những hành vi có ý nghĩa với an toàn như lừa dối, xu nịnh và thiên kiến. Các kỹ thuật khác như khả năng diễn giải cơ chế (mechanistic interpretability) giúp lần theo các đường dẫn tính toán bên trong mô hình; an toàn liệt kê (enumerative safety) giúp lập danh mục các khái niệm mà mô hình đã mã hóa; còn kỹ thuật xây dựng biểu diễn (representation engineering) xem xét cách mô hình mã hóa thông tin. Kỹ thuật hành vi và kỹ thuật nội tại bổ trợ lẫn nhau, và khi kết hợp sẽ mang lại những đảm bảo an toàn mạnh mẽ hơn so với việc chỉ dùng riêng một trong hai.

Các khung đánh giá (evaluation frameworks) giúp chuyển hóa những phép đo thành các quyết định phát triển và triển khai cụ thể. Thay vì phản ứng tùy tiện trước từng năng lực mới, những khung như Chính sách Mở rộng Quy mô có Trách nhiệm (Responsible Scaling Policies, RSP) của Anthropic thiết lập các "Cấp độ An toàn AI" (AI Safety Levels), lấy cảm hứng từ những giao thức ngăn ngừa trong an toàn sinh học, với mỗi cấp độ đòi hỏi yêu cầu đánh giá và biện pháp an toàn ngày càng nghiêm ngặt hơn. Những khung này tạo ra các "cổng đánh giá" (evaluation gates) quyết định khi nào việc mở rộng quy mô có thể tiến hành một cách an toàn — đòi hỏi mô hình phải vượt qua các đánh giá về an ninh mạng, an toàn sinh học và khả năng tự nhân bản trước khi tiếp tục phát triển. Bằng cách tích hợp đánh giá vào cấu trúc quản trị, chúng ta tạo ra những cách tiếp cận có hệ thống để quản lý rủi ro AI, thay vì dựa vào các quyết định tùy tiện.

Việc đánh giá cần được thiết kế một cách có hệ thống để duy trì chất lượng khi mô hình ngày càng phức tạp và quy mô ngày càng lớn. Thiết kế đánh giá đòi hỏi phải cân nhắc kỹ về các tài nguyên hỗ trợ (affordances) — tức nguồn lực và cơ hội được cung cấp cho mô hình trong quá trình kiểm thử. Bằng cách thay đổi có hệ thống mức tài nguyên hỗ trợ, từ mức tối thiểu (hạn chế công cụ và nguồn lực) đến mức tối đa (cung cấp mọi công cụ và bối cảnh liên quan), chúng ta có thể xây dựng một bức tranh đầy đủ hơn về hành vi của mô hình dưới các điều kiện khác nhau. Khi số lượng thuộc tính liên quan đến an toàn ngày càng tăng, việc tự động hóa đánh giá trở nên cần thiết. Chúng ta có thể tận dụng các đánh giá do chính mô hình viết ra (model-written evaluations) để góp phần giải quyết thách thức về quy mô.

Dù đã có nhiều tiến bộ đáng kể, các đánh giá AI vẫn đối mặt với những giới hạn nền tảng đe dọa đến độ tin cậy của chúng. Sự bất đối xứng giữa việc chứng minh sự hiện diện và chứng minh sự vắng mặt của một năng lực có nghĩa là chúng ta không bao giờ có thể chắc chắn đã phát hiện hết mọi rủi ro tiềm ẩn. Đánh giá có thể khẳng định chắc chắn rằng một mô hình sở hữu một năng lực nào đó, nhưng không thể chứng minh dứt khoát rằng năng lực đó không tồn tại. Những thách thức kỹ thuật bao gồm độ nhạy trong đo lường — hiệu suất có thể thay đổi chỉ vì những thay đổi tưởng chừng nhỏ nhặt trong cách trình bày câu lệnh — và sự bùng nổ tổ hợp của số lượng phép thử khi ta bổ sung thêm các chiều cần đánh giá. Tình trạng mất căn chỉnh có thể khiến mô hình "cố tình thể hiện kém" (sandbagging) — tức cố ý làm giảm hiệu suất trong lúc đánh giá một cách có chiến lược; nghiên cứu cho thấy các mô hình ngôn ngữ có thể bị khiến cho chọn lọc thể hiện kém trên các phép thử năng lực nguy hiểm, trong khi vẫn duy trì hiệu suất bình thường trên các bài kiểm tra tổng quát. Động cơ mang tính tổ chức cũng có thể khiến chính các phòng thí nghiệm thực hiện "tẩy an toàn" (safety washing) — tức trình bày sai lệch những cải thiện về năng lực như thể đó là tiến bộ về an toàn. Những thách thức này cho thấy sự cần thiết phải tiếp tục nghiên cứu các phương pháp đánh giá vững chắc hơn, cũng như những thể chế hỗ trợ việc thẩm định thực sự độc lập.

Phần giới thiệu này đã cho bạn cái nhìn tổng quan về nhiều khái niệm mà chúng ta sẽ bàn đến xuyên suốt chương này. Các phần tiếp theo sẽ được trình bày theo đúng thứ tự mà những ý tưởng trên đã được giới thiệu. Chúng ta sẽ bắt đầu bằng việc tìm hiểu xem các bài kiểm tra đã định hình sự phát triển của AI như thế nào.

Lời cảm ơn

Chúng tôi xin cảm ơn Maxime Riché, Martin, Fabien Roger, Jeanne Salle, Camille Berger và Leo Karoubi vì những phản hồi và đóng góp quý báu của họ.