Chương 5.1: Bài kiểm tra

Bài kiểm tra (benchmark) là gì? Hãy hình dung việc xây một cây cầu mà không có thước đo. Trước khi có các đơn vị chuẩn hóa như mét và gram, mỗi vùng lại dùng thước đo riêng của mình. Điều này không chỉ khiến công việc kỹ thuật kém hiệu quả — mà còn nguy hiểm. Dù một quốc gia có thiết kế được cây cầu an toàn, việc quy định kích thước bằng "ba khuỷu tay hoàng gia" cũng khiến những người xây dựng ở nơi khác không thể tái tạo lại độ an toàn đó một cách đáng tin cậy. Một dầm đỡ hơi ngắn hay một sợi cáp hơi mảnh cũng có thể dẫn đến sụp đổ thảm khốc.

AI về cơ bản cũng từng gặp một vấn đề tương tự, trước khi chúng ta bắt đầu sử dụng các bài kiểm tra chuẩn hóa.¹ Bài kiểm tra là một công cụ giống như một bài thi chuẩn hóa, cho phép chúng ta đo lường và so sánh những gì hệ thống AI có thể và không thể làm. Trong lịch sử, chúng chủ yếu được dùng để đo lường năng lực, nhưng trong vài năm gần đây, chúng ta cũng bắt đầu thấy các bài kiểm tra được phát triển cho lĩnh vực An toàn AI và Đạo đức AI.

Bài kiểm tra định hình sự phát triển và nghiên cứu an toàn AI như thế nào? Bài kiểm tra trong AI có phần khác biệt so với các ngành khoa học khác. Chúng là một công cụ vừa mang tính đo lường, vừa chủ động định hình hướng đi của nghiên cứu và phát triển. Khi tạo ra một bài kiểm tra, về bản chất chúng ta đang nói: "đây là điều mà chúng tôi cho là quan trọng cần đo lường." Nếu có thể định hướng việc đo lường, thì ở một mức độ nào đó, chúng ta cũng có thể định hướng cả sự phát triển.

Việc xác định mục tiêu và các bài kiểm tra đánh giá là những động lực mạnh mẽ nhất thúc đẩy tiến bộ khoa học.

— François Chollet

Lịch sử và Sự phát triển

Ví dụ: Bài kiểm tra định hình sự chuẩn hóa trong thị giác máy tính. Để có một ví dụ cụ thể về cách bài kiểm tra ảnh hưởng đến sự phát triển AI, ta có thể nhìn lại lịch sử xây dựng bài kiểm tra trong lĩnh vực thị giác máy tính. Năm 1998, các nhà nghiên cứu giới thiệu MNIST, một tập dữ liệu gồm 70.000 chữ số viết tay (LeCun, 1998). Bản thân các chữ số không phải là điều quan trọng, điều quan trọng là mỗi ảnh chữ số đã được xử lý cẩn thận để có cùng kích thước và được căn giữa trong khung hình, và tập dữ liệu này đảm bảo lấy chữ số từ những người viết khác nhau cho tập huấn luyện và tập kiểm thử. Sự chuẩn hóa này cho chúng ta một cách để đưa ra những so sánh có ý nghĩa về năng lực AI. Trong trường hợp này, năng lực cụ thể được đo là khả năng phân loại chữ số. Khi các hệ thống bắt đầu đạt kết quả tốt trong việc nhận diện chữ số, các nhà nghiên cứu đã phát triển những bài kiểm tra thách thức hơn. CIFAR-10/100 ra đời năm 2009, giới thiệu các ảnh màu tự nhiên về đồ vật như xe hơi, chim, chó, làm tăng độ phức tạp (Krizhevsky, 2009). Tương tự, ImageNet, ra mắt cùng năm đó, cung cấp 1,2 triệu ảnh trải trên 1.000 danh mục (Deng, 2009). Khi một nhóm nghiên cứu công bố hệ thống của họ đạt 95% độ chính xác trên MNIST hay ImageNet, và một nhóm khác công bố đạt 98%, mọi người đều hiểu chính xác những con số đó có ý nghĩa gì. Các phép đo này đáng tin cậy vì cả hai nhóm đều sử dụng cùng một tập dữ liệu được xây dựng cẩn thận. Mỗi bài kiểm tra mới về bản chất đều nói với cộng đồng nghiên cứu rằng: "Bạn đã giải xong thử thách trước — giờ hãy thử thử thách khó hơn này." Vì vậy, bài kiểm tra vừa đo lường tiến bộ, vừa định nghĩa thế nào là tiến bộ.

Bài kiểm tra ảnh hưởng đến An toàn AI như thế nào? Nếu không có các phép đo chuẩn hóa, chúng ta không thể đạt được tiến bộ có hệ thống, dù là về năng lực hay về an toàn. Cũng giống như bài kiểm tra định nghĩa thế nào là tiến bộ về năng lực, khi chúng ta xây dựng bài kiểm tra an toàn, chúng ta đang thiết lập những tiêu chuẩn cụ thể, có thể kiểm chứng cho khái niệm "đủ an toàn để triển khai". Việc tinh chỉnh liên tục cho phép chúng ta định hướng An toàn AI bằng cách đưa ra những bài kiểm tra với tiêu chuẩn an toàn ngày càng nghiêm ngặt hơn. Các nhà nghiên cứu và tổ chức khác sau đó có thể tái lập các phép kiểm thử an toàn này và xác nhận kết quả. Điều này định hình cả nghiên cứu kỹ thuật lẫn các cuộc thảo luận chính sách về quản trị AI.

Việc xây dựng bài kiểm tra cho mô hình ngôn ngữ đã không ngừng phát triển, và sẽ còn tiếp tục phát triển. Cũng giống như cách các bài kiểm tra liên tục phát triển trong lĩnh vực thị giác máy tính, chúng đã đi theo một tiến trình tương tự trong lĩnh vực sinh ngôn ngữ. Những bài kiểm tra mô hình ngôn ngữ đời đầu chủ yếu tập trung vào năng lực — mô hình có trả lời câu hỏi chính xác không? Có hoàn thành câu một cách hợp lý không? Có dịch được giữa các ngôn ngữ không? Kể từ khi kiến trúc transformer ra đời năm 2017, chúng ta đã chứng kiến một sự bùng nổ cả về năng lực của mô hình ngôn ngữ lẫn mức độ tinh vi trong cách chúng ta đánh giá chúng. Chúng tôi không thể liệt kê đầy đủ mọi bài kiểm tra, nhưng dưới đây là một vài ví dụ về những bài kiểm tra mà các mô hình ngôn ngữ hiện nay đang được đánh giá dựa trên:

Ví dụ về các bài kiểm tra năng lực khác nhau GHI CHÚ TÙY CHỌN

Kiểm tra khả năng hiểu ngôn ngữ và nhiệm vụ. Bài kiểm tra General Language Understanding Evaluation (GLUE) (Wang et al., 2018) và phiên bản kế nhiệm SuperGLUE (Wang et al., 2019) kiểm tra các nhiệm vụ hiểu ngôn ngữ khó. SWAG (Zellers et al., 2018) và HellaSwag (Zellers et al., 2019) kiểm tra cụ thể khả năng dự đoán sự kiện nào sẽ tự nhiên tiếp nối một tình huống truyện cho trước.

Đánh giá liên lĩnh vực trên diện rộng. Bài kiểm tra MMLU (Massive Multitask Language Understanding) (Hendrycks et al., 2020) kiểm tra kiến thức của mô hình trên 57 chủ đề. Nó đánh giá cả bề rộng lẫn chiều sâu trên các lĩnh vực nhân văn, khoa học tự nhiên, khoa học xã hội và các lĩnh vực khác, thông qua các câu hỏi trắc nghiệm lấy từ các bài kiểm tra học thuật và chuyên môn thực tế. GPQA (Google Proof QA) (Rein et al., 2023) có các câu hỏi trắc nghiệm được thiết kế đặc biệt sao cho không thể tìm ra đáp án đúng chỉ bằng cách tra cứu trên internet. Điều này kiểm tra xem mô hình có thực sự hiểu vấn đề hay chỉ đơn thuần truy xuất thông tin. BigBench (Srivastava et al., 2022) là một ví dụ khác về bài kiểm tra đo lường mức độ đa dạng (generality) thông qua việc kiểm tra trên một phạm vi rộng các nhiệm vụ.

Kiểm tra suy luận toán học và khoa học. Để kiểm tra cụ thể khả năng suy luận toán học, một vài ví dụ bao gồm bài kiểm tra Grade School Math (GSM8K) (Cobbe et al., 2021), kiểm tra các khái niệm toán học cốt lõi ở trình độ tiểu học. Một ví dụ khác là MATH (Hendrycks et al., 2021), cũng kiểm tra bảy chủ đề bao gồm đại số, hình học và toán tiền giải tích, tập trung vào các bài toán mang tính thi đấu. Các bài kiểm tra này còn bao gồm lời giải theo từng bước, giúp ta kiểm tra quá trình suy luận, hoặc huấn luyện mô hình tạo ra quá trình suy luận của chính nó. Multilingual Grade School Math (MGSM) là phiên bản đa ngôn ngữ, dịch 250 bài toán tiểu học từ tập dữ liệu GSM8K (Shi et al., 2022).

Kiểm tra kỹ năng phát triển phần mềm và lập trình. Automated Programming Progress Standard (APPS) (Hendrycks et al., 2021) là một bài kiểm tra chuyên đánh giá khả năng sinh mã từ mô tả nhiệm vụ bằng ngôn ngữ tự nhiên. Tương tự, HumanEval (Chen et al., 2021) kiểm tra khả năng lập trình Python, còn các phiên bản mở rộng của nó như HumanEval-XL (Peng et al., 2024) kiểm tra khả năng lập trình xuyên ngôn ngữ trên 23 ngôn ngữ tự nhiên và 12 ngôn ngữ lập trình. HumanEval-V (Zhang et al., 2024) kiểm tra các nhiệm vụ lập trình trong đó mô hình phải diễn giải cả biểu đồ hoặc hình ảnh lẫn mô tả bằng văn bản để sinh mã. BigCode (Zuho et al., 2024) đánh giá khả năng sinh mã và sử dụng công cụ bằng cách đo lường khả năng của mô hình trong việc sử dụng đúng nhiều thư viện Python để giải quyết các bài toán lập trình phức tạp.

Kiểm tra đạo đức và thiên kiến. Bài kiểm tra ETHICS (Hendrycks et al., 2023) kiểm tra khả năng hiểu các giá trị và đạo đức con người của mô hình ngôn ngữ, trên nhiều phạm trù bao gồm công lý, nghĩa vụ luận, đạo đức đức hạnh, chủ nghĩa vị lợi và đạo đức thông thường. Bài kiểm tra TruthfulQA (Lin et al., 2021) đo lường mức độ trung thực của mô hình ngôn ngữ khi trả lời câu hỏi. Nó tập trung cụ thể vào các "ngộ nhận mang tính bắt chước" — những trường hợp mô hình học lại các phát biểu sai lệch xuất hiện thường xuyên trong văn bản do con người viết, ở các lĩnh vực như y tế, luật pháp, tài chính và chính trị.

Kiểm tra an toàn. Một ví dụ tập trung vào lợi dụng sai mục đích là AgentHarm (Andriushchenko et al., 2024). Bài kiểm tra này được thiết kế đặc biệt để đo lường tần suất các tác nhân AI dựa trên mô hình ngôn ngữ đáp ứng những yêu cầu nhiệm vụ mang tính ác ý. Một ví dụ khác tập trung nhiều hơn vào vấn đề mất căn chỉnh là bài kiểm tra MACHIAVELLI (Pan et al., 2023). Bài kiểm tra này có các trò chơi kiểu "phiêu lưu tự chọn cốt truyện", chứa hơn nửa triệu tình huống tập trung vào việc ra quyết định xã hội. Nó đo lường "năng lực kiểu Machiavelli" như hành vi tìm kiếm quyền lực và hành vi lừa dối, cũng như cách các tác nhân AI cân bằng giữa việc đạt được phần thưởng và hành xử có đạo đức.

Chi tiết - Bài kiểm tra: Frontier Math (Glazer et al., 2024) & Humanities Last Exam (Hendrycks & Wang, 2024) GHI CHÚ TÙY CHỌN

⚠ Cảnh báo Đây là phần giải thích thêm về bài kiểm tra toán học Frontier Math. Bạn có thể bỏ qua phần này một cách an toàn.

Điều gì khiến FrontierMath trở nên khó đến vậy? Khác với hầu hết các bài kiểm tra vốn có nguy cơ bị nhiễm dữ liệu huấn luyện, FrontierMath sử dụng hoàn toàn các bài toán mới, chưa từng công bố. Mỗi bài toán được các nhà toán học chuyên nghiệp biên soạn cẩn thận và đòi hỏi nhiều giờ (đôi khi nhiều ngày) làm việc, ngay cả với các nhà nghiên cứu trong đúng lĩnh vực đó. Chẳng hạn, Terence Tao (người đoạt huy chương Fields năm 2006, được xem là một trong những nhà toán học thông minh nhất thế giới) nói: "Những bài toán này cực kỳ thách thức... Tôi nghĩ chúng sẽ đứng vững trước AI ít nhất trong vài năm nữa." (EpochAI, 2024) Tương tự, Timothy Gowers (nhà toán học được đánh giá cao, đoạt huy chương Fields năm 1998) nói: "Chỉ cần giải đúng một câu thôi cũng đã vượt xa những gì chúng ta có thể làm hiện nay, chứ đừng nói đến việc đạt điểm gần tuyệt đối." (EpochAI, 2024) Bài kiểm tra này bao trùm hầu hết các nhánh chính của toán học hiện đại — từ những bài toán đòi hỏi tính toán chuyên sâu trong lý thuyết số cho đến những câu hỏi trừu tượng trong tô pô đại số và lý thuyết phạm trù. Để đảm bảo các bài toán thực sự mới, chúng được rà soát bởi chuyên gia và kiểm tra đạo văn. Bài kiểm tra cũng áp dụng tiêu chuẩn "chống đoán mò" nghiêm ngặt — các bài toán phải được thiết kế sao cho xác suất đoán đúng đáp án mà không thực sự giải toán là dưới 1%. Điều này có nghĩa là các bài toán thường có đáp số bằng số lớn, không hiển nhiên, chỉ có thể tìm ra thông qua lập luận toán học đúng đắn. Bài kiểm tra cung cấp một môi trường thực nghiệm, nơi mô hình có thể viết và chạy thử mã để khám phá các ý tưởng toán học, tương tự cách các nhà toán học con người làm việc. Dù các bài toán phải có đáp án có thể kiểm chứng tự động (dạng số hoặc dạng đối tượng toán học có thể biểu diễn bằng lập trình), chúng vẫn đòi hỏi lập luận toán học tinh vi để giải được.

Bài toán mẫu 1: Kiểm tra giả thuyết căn nguyên thủy của Artin

Định nghĩa. Với một số nguyên dương n, gọi $v_p(n)$ là số nguyên v lớn nhất sao cho $p^v \mid n$. Với một số nguyên tố p và $a \not\equiv 0 \pmod p$, gọi $\mathrm{ord}_p(a)$ là số nguyên dương o nhỏ nhất sao cho $a^o \equiv 1 \pmod p$. Với $x > 0$, đặt

$$\mathrm{ord}{p,x}(a) = \prod{\substack{q \le x \ q \text{ nguyên tố}}} q^{v_q(\mathrm{ord}p(a))} \prod{q > x} q^{v_q(p-1)}.$$

Bài toán. Gọi $S_x$ là tập các số nguyên tố p sao cho

$$\mathrm{ord}{p,x}(2) > \mathrm{ord}{p,x}(3),$$

và gọi $d_x$ là mật độ

$$d_x = \frac{|S_x|}{|{p \le x : p \text{ nguyên tố}}|}$$

của $S_x$ trong tập các số nguyên tố. Đặt $d_\infty = \lim_{x \to \infty} d_x$.

Tính $\lfloor 10^6 d_\infty \rfloor$.

Đáp án: 367707

Phân loại MSC: 11 Lý thuyết số

Để cho thấy tốc độ tiến bộ chóng mặt, ngay cả trên một bài kiểm tra mà những nhà toán học đoạt huy chương Fields cũng cho là cực kỳ thách thức, giữa thời điểm FrontierMath được công bố, các mô hình tối tân (state-of-the-art) chỉ giải được chưa tới 2% số bài toán của FrontierMath (Glazer et al., 2024). Chỉ vài tháng sau, OpenAI công bố mô hình o3, có hiệu suất tăng vọt lên tới 25,2%. Điều này một lần nữa cho thấy tốc độ tiến bộ chóng mặt và tình trạng bão hòa liên tục của mọi bài kiểm tra mà chúng ta có khả năng xây dựng.

Để bắt kịp tốc độ này, các nhà nghiên cứu đang phát triển thứ được gọi là "Humanity's Last Exam" (HLE) — một bài kiểm tra nhắm tới việc xây dựng bộ bài kiểm tra AI công khai khó nhất thế giới, quy tụ chuyên gia từ mọi lĩnh vực (Phan et al., 2025).

Giới hạn

Các bài kiểm tra hiện nay đối mặt với nhiều giới hạn nghiêm trọng, khiến chúng chưa đủ để thực sự đánh giá an toàn AI. Hãy cùng xem xét những giới hạn này và hiểu vì sao chúng quan trọng.

Nhiễm dữ liệu huấn luyện (Contamination). Hãy hình dung việc ôn thi bằng cách học thuộc lòng mọi đáp án mà không hiểu bản chất khái niệm bên dưới. Bạn có thể đạt điểm tuyệt đối, nhưng thực ra chưa học được điều gì hữu ích. Các mô hình ngôn ngữ lớn (LLM) gặp phải vấn đề tương tự. Khi các mô hình này ngày càng lớn hơn và được huấn luyện trên nhiều dữ liệu internet hơn, khả năng chúng đã "nhìn thấy" dữ liệu của bài kiểm tra ngay trong quá trình huấn luyện cũng tăng lên. Điều này tạo ra một vấn đề nền tảng — khi một mô hình đã ghi nhớ sẵn đáp án của bài kiểm tra, hiệu suất cao không còn phản ánh năng lực thực sự nữa. Những bài kiểm tra chúng ta đã đề cập ở phần trước như MMLU hay TruthfulQA đều rất phổ biến. Vì vậy câu hỏi và đáp án của chúng được bàn luận rộng rãi trên internet. Nếu và khi những cuộc thảo luận này lọt vào dữ liệu huấn luyện của một mô hình, mô hình đó có thể đạt điểm cao thông qua việc ghi nhớ thay vì thực sự hiểu.

Ví dụ về Hiểu biết so với Ghi nhớ. Mật mã Caesar là một phương pháp mã hóa đơn giản, dịch chuyển mỗi chữ cái trong bảng chữ cái theo một số vị trí cố định — chẳng hạn, với độ dịch trái là 3, 'D' trở thành 'A', 'E' trở thành 'B', và tiếp tục như vậy. Nếu mã hóa là dịch trái 3, thì giải mã đơn giản là dịch phải 3.

Các mô hình ngôn ngữ như GPT-4 có thể giải các bài toán mật mã Caesar khi độ dịch là 3 hoặc 5, những giá trị thường xuất hiện trong các ví dụ trực tuyến. Tuy nhiên, khi đưa cho chúng chính bài toán đó nhưng với độ dịch hiếm gặp hơn (chẳng hạn 67), chúng thường thất bại hoàn toàn (Chollet, 2024). Điều này cho thấy các mô hình có thể chưa thực sự học được thuật toán tổng quát. Chúng tôi không có ý cho rằng đây là một giới hạn về năng lực của mô hình. Chúng tôi kỳ vọng điều này có thể được khắc phục bằng các mô hình được huấn luyện để suy luận theo chuỗi tư duy, hoặc bằng các mô hình được tăng cường công cụ. Tuy nhiên, các bài kiểm tra thường chỉ sử dụng mô hình "nguyên bản" mà không có bất kỳ điều chỉnh hay tăng cường nào, dẫn đến việc năng lực thực sự bị thể hiện thấp hơn mức thực tế. Đây chính là điểm cốt lõi mà chúng tôi muốn truyền đạt.

Vì sao những giới hạn trong việc xây dựng bài kiểm tra lại quan trọng đối với An toàn AI? Các bài kiểm tra (kể cả bài kiểm tra an toàn) có thể không thực sự đo lường được điều mà chúng ta nghĩ chúng đang đo lường. Chẳng hạn, các bài kiểm tra như ETHICS hay TruthfulQA nhắm tới việc đo lường mức độ mô hình "hiểu" hành vi đạo đức, hoặc xu hướng tránh những ngộ nhận mang tính bắt chước, bằng cách đo lường khả năng sinh ngôn ngữ trên các bài kiểm tra trắc nghiệm, nhưng có thể chúng ta vẫn chỉ đang đo những chỉ số ở mức bề mặt. Mô hình có thể chưa thực sự học được ý nghĩa của việc hành xử có đạo đức trong một tình huống cụ thể. Một hệ thống AI có thể làm đúng mọi câu hỏi đạo đức và vượt qua mọi bài kiểm tra an toàn, nhưng lại bộc lộ hành vi khác khi gặp một tình huống thực tế mới.

Một câu trả lời dễ dàng là cứ tiếp tục bổ sung thêm câu hỏi vào bài kiểm tra hoặc dữ liệu huấn luyện, nhưng cách này có vẻ bất khả thi và không thể mở rộng mãi mãi. Vấn đề nền tảng là không gian các tình huống và nhiệm vụ khả dĩ về cơ bản là vô hạn. Ngay cả khi bạn huấn luyện trên hàng triệu ví dụ, bạn vẫn chỉ mới "nhìn thấy" một phần gần như bằng 0% của toàn bộ không gian khả dĩ đó (Chollet, 2024). Nghiên cứu chỉ ra rằng đây không đơn thuần là vấn đề thiếu dữ liệu hay mô hình chưa đủ lớn — mà nó nằm ngay trong cách các mô hình ngôn ngữ hiện đang được huấn luyện: những mối quan hệ logic như suy luận nghịch đảo (trọng số học được khi huấn luyện trên "A → B" không tự động củng cố mối liên hệ ngược "B ← A") hay tính bắc cầu không tự nhiên nảy sinh từ cách huấn luyện tiêu chuẩn (Zhu et al., 2024; Golovneva et al., 2024; Berglund et al., 2024). Những giải pháp được đề xuất như huấn luyện đảo ngược trong giai đoạn tiền huấn luyện cho thấy triển vọng giảm nhẹ những vấn đề này (Golovneva et al., 2024), nhưng chúng đòi hỏi những thay đổi lớn trong cách mô hình được huấn luyện.

Các kỹ sư hoàn toàn nhận thức rõ những giới hạn hiện tại này, và kỳ vọng rằng những vấn đề này sẽ được giảm nhẹ theo thời gian. Câu hỏi cốt lõi mà chúng tôi quan tâm trong chương này không phải là giới hạn về năng lực của mô hình, mà là liệu các bài kiểm tra và kỹ thuật đo lường có thể theo kịp các mô hình huấn luyện hay không, và liệu chúng có thực sự đánh giá chính xác được những gì mô hình có khả năng làm hay không.

Tại sao chúng ta không thể chỉ đơn giản xây bài kiểm tra tốt hơn? Phản ứng tự nhiên trước những giới hạn này có thể là "vậy hãy thiết kế bài kiểm tra tốt hơn." Và ở một mức độ nào đó, chúng ta có thể làm được điều đó!

Chúng ta đã thấy các bài kiểm tra liên tục phát triển để khắc phục những thiếu sót của chúng. Các nhà nghiên cứu luôn tích cực nỗ lực xây dựng những bài kiểm tra vừa kiểm tra kiến thức, vừa chống lại việc ghi nhớ và kiểm tra sự hiểu biết sâu sắc hơn. Chỉ vài ví dụ là Abstraction and Reasoning Corpus (ARC) (Chollet, 2019), ConceptARC (Moskvichev et al., 2023), Frontier Math (Glazer et al., 2024) và Humanities Last Exam (Hendrycks & Wang, 2024). Chúng cố gắng kiểm tra một cách rõ ràng xem mô hình đã nắm bắt được các khái niệm trừu tượng và khả năng suy luận tổng quát hay chưa, thay vì chỉ ghi nhớ khuôn mẫu. Tương tự những bài kiểm tra này nhắm tới việc đo lường năng lực, chúng ta cũng có thể tiếp tục cải thiện các bài kiểm tra chuyên về an toàn để chúng trở nên vững chắc hơn.

Vậy bài kiểm tra tốt hơn liệu đã đủ chưa? Dù việc cải thiện bài kiểm tra là quan trọng và sẽ giúp ích cho các nỗ lực an toàn AI, mô hình xây dựng bài kiểm tra về cơ bản vẫn còn những giới hạn cố hữu. Có những giới hạn nền tảng trong các cách tiếp cận xây dựng bài kiểm tra truyền thống, đòi hỏi những phương pháp đánh giá tinh vi hơn (Burden, 2024). Vấn đề cốt lõi là các bài kiểm tra thường thiên về đo lường hiệu suất (performance-oriented) hơn là đo lường năng lực (capability-oriented) — chúng đo điểm số thô mà không đánh giá một cách có hệ thống liệu hệ thống có thực sự sở hữu năng lực đang được kiểm tra hay không. Dù các bài kiểm tra cung cấp những thước đo chuẩn hóa, chúng thường không phân biệt được giữa những hệ thống thực sự hiểu nhiệm vụ và những hệ thống chỉ đơn thuần đạt hiệu suất tốt nhờ ghi nhớ hoặc tương quan giả tạo. Một bài kiểm tra chỉ đơn thuần đo hiệu suất, dù tinh vi đến đâu, cũng không thể nắm bắt trọn vẹn bản chất động² của việc triển khai AI trong thực tế, nơi các hệ thống cần thích ứng với những tình huống mới và có khả năng kết hợp năng lực cùng tài nguyên hỗ trợ theo những cách không lường trước được. Chúng ta cần đo lường giới hạn trên của năng lực mô hình.

Sự cần thiết của việc xây dựng bài kiểm tra có tính đến khả năng tính toán GHI CHÚ TÙY CHỌN

Chúng ta đã chứng kiến sự xuất hiện của các quy luật mở rộng quy mô trong suy luận (inference scaling laws), song song với sự trỗi dậy của các mô hình suy luận lớn (large reasoning models) như DeepSeek r1, o3 của OpenAI, v.v. Đây là điều bổ sung thêm vào các quy luật mở rộng quy mô huấn luyện đã được thiết lập mà chúng tôi giải thích trong chương về năng lực. Giờ đây, khi đánh giá hệ thống AI, chúng ta cần cân nhắc cẩn thận về tài nguyên tính toán được sử dụng. Cuộc thi ARC prize năm 2024 đã chứng minh điều này — các hệ thống ở cả hạng mục giới hạn tài nguyên tính toán (10 đô la tài nguyên tính toán) lẫn hạng mục không giới hạn (10.000 đô la tài nguyên tính toán) đều đạt độ chính xác tương đương nhau, khoảng 55%, cho thấy những ý tưởng và thuật toán tốt hơn đôi khi có thể bù đắp cho việc có ít tài nguyên tính toán hơn (Chollet et al., 2024). Điều này có nghĩa là nếu không có ngân sách tính toán chuẩn hóa, kết quả bài kiểm tra sẽ khó diễn giải. Một mô hình có thể đạt điểm cao hơn đơn giản chỉ vì sử dụng nhiều tài nguyên tính toán hơn, chứ không phải vì có năng lực nền tảng tốt hơn. Điều này cho thấy vì sao, ngoài việc xây dựng tập dữ liệu, các bài kiểm tra còn cần quy định rõ ngân sách tính toán cho cả huấn luyện lẫn suy luận để việc so sánh có ý nghĩa.

Điều gì khiến đánh giá toàn diện khác với việc chỉ đơn thuần xây dựng bài kiểm tra? Đánh giá (evaluations) là những quy trình toàn diện, được xây dựng ngược từ các mối đe dọa (threat models) cụ thể. Thay vì bắt đầu từ những gì dễ đo lường, chúng bắt đầu bằng câu hỏi "Điều gì có thể xảy ra sai lệch?" rồi từ đó xây dựng ngược lại thành những cách kiểm tra có hệ thống cho các dạng thất bại đó. Các tổ chức như METR đã phát triển những cách tiếp cận vượt xa việc xây dựng bài kiểm tra đơn thuần. Thay vì chỉ hỏi "Mô hình này có thể viết mã độc hại không?", họ xem xét các mối đe dọa như — một mô hình sử dụng lỗ hổng bảo mật để chiếm đoạt tài nguyên tính toán, tự sao chép sang các máy khác, và né tránh bị phát hiện.

ĐÁNH GIÁ

Đánh giá (evaluation) là một quy trình thẩm định an toàn toàn diện, trong đó có sử dụng bài kiểm tra (benchmark).

Dù vậy, vì đánh giá là khái niệm mới hơn, còn bài kiểm tra đã xuất hiện từ lâu hơn và cũng đang tiếp tục phát triển. Vì vậy đôi khi hai từ này được dùng chồng lấn lên nhau. Trong phạm vi cuốn cẩm nang này, chúng tôi xem bài kiểm tra như một công cụ đo lường riêng lẻ, còn đánh giá là một quy trình thẩm định an toàn toàn diện có sử dụng bài kiểm tra. Tùy vào mức độ toàn diện của phương pháp kiểm thử, một bài kiểm tra đơn lẻ đôi khi có thể được xem như cả một đánh giá hoàn chỉnh. Nhưng nhìn chung, đánh giá thường bao hàm một phạm vi rộng hơn gồm các phân tích, phương pháp khơi gợi năng lực, và công cụ, nhằm đạt được một hiểu biết toàn diện về hiệu suất và hành vi của hệ thống.

Chú thích

¹ Điều này đúng ở một mức độ lớn, nhưng như thường lệ, không có sự chuẩn hóa 100%. Chúng ta có thể đưa ra những so sánh có ý nghĩa, nhưng nên thận trọng khi tin tưởng tuyệt đối vào chúng mà không xem xét thêm nhiều chi tiết khác.

² Chúng ta hoàn toàn có thể xây dựng những bài kiểm tra trong môi trường có sự hiện diện của các tác nhân khác. Một số bài kiểm tra học tăng cường (RL) đã làm điều này. Đây là một trong nhiều hướng bổ sung cho việc xây dựng bài kiểm tra, đưa chúng ta tiến gần hơn tới một bộ đánh giá toàn diện.