Chương 8.1: Giám sát

Việc đưa ra phản hồi trở nên khó khăn khi AI thực hiện những tác vụ vượt ngoài chuyên môn của con người. Chúng ta cần những phương pháp khác để tạo ra tín hiệu huấn luyện chính xác cho các bài toán phức tạp có lời giải mang tính chủ quan.

Vì sao chúng ta cần giám sát? Khi các hệ thống AI ngày càng thông minh hơn, chúng sẽ bắt đầu thực hiện những tác vụ mà con người khó lòng đánh giá được. Đánh giá (evaluation) nghĩa là kiểm tra xem AI đã hoàn thành tác vụ tốt đến đâu sau khi thực hiện xong, còn phản hồi (feedback) là thông tin mà chúng ta cung cấp cho AI trong hoặc sau khi nó thực hiện công việc, nhằm giúp nó học hỏi và cải thiện. Hiện tại, chúng ta vẫn có thể dùng những phương pháp như Học Tăng cường từ Phản hồi của Con người (Reinforcement Learning from Human Feedback – RLHF) để định hướng AI đi đúng hướng. Nhưng chúng ta chỉ có thể đưa ra phản hồi nếu vẫn còn đánh giá được kết quả đầu ra. Khi tác vụ ngày càng phức tạp, ngay cả chuyên gia cũng có thể gặp khó khăn trong việc đưa ra đánh giá và phản hồi chính xác. Vì vậy, chúng ta cần những cách thức mới để đưa ra phản hồi chính xác, kể cả với những tác vụ vượt ngoài chuyên môn của con người. Đây chính là mục tiêu của giám sát mở rộng quy mô (scalable oversight).

Các kỹ thuật giám sát mở rộng quy mô giúp con người đưa ra phản hồi chính xác cho các tác vụ, nhằm đảm bảo hệ thống AI luôn căn chỉnh theo mục tiêu của chúng ta, ngay cả khi độ phức tạp của tác vụ đã vượt quá khả năng của những chuyên gia giỏi nhất. Điều này có thể xảy ra trong quá trình huấn luyện hoặc triển khai AI, và không chỉ giới hạn ở dạng phản hồi kiểu RLHF.

Căn chỉnh Tác nhân Học Tăng cường so với Mô hình Ngôn ngữ Lớn. Vài năm trước, con đường dẫn đến AGI dường như là huấn luyện các tác nhân học tăng cường sâu (deep RL) từ đầu trong nhiều loại trò chơi và môi trường đa tác nhân khác nhau. Những tác nhân này sẽ được căn chỉnh theo hướng tối đa hóa các hàm điểm số đơn giản, chẳng hạn như sống sót và thắng trò chơi, và sẽ không biết nhiều về giá trị con người. Việc căn chỉnh những tác nhân như vậy đòi hỏi rất nhiều công sức: chúng ta không chỉ phải xây dựng từ đầu một hàm mục tiêu căn chỉnh theo con người, mà nhiều khả năng còn phải cấy thêm những năng lực mới vào tác nhân, chẳng hạn như hiểu về xã hội loài người, hiểu con người quan tâm điều gì và con người suy nghĩ ra sao. Các mô hình ngôn ngữ lớn (LLM) khiến việc này dễ dàng hơn nhiều: chúng vốn đã được nạp sẵn một lượng lớn tri thức của nhân loại, bao gồm cả những hiểu biết chi tiết về sở thích và giá trị con người. Ngay từ đầu, chúng không phải là những tác nhân đang cố theo đuổi mục tiêu riêng trong thế giới, và hàm mục tiêu của chúng khá dễ uốn nắn. Chẳng hạn, chúng ta có thể huấn luyện để chúng cư xử tử tế hơn một cách đáng ngạc nhiên dễ dàng. Nếu AGI ra đời từ LLM, việc căn chỉnh nó có thể sẽ dễ dàng hơn. (Leike, 2022 (mở trong tab mới))

Tín hiệu Huấn luyện và Tác vụ Mờ

Trước khi tìm hiểu cách thực sự căn chỉnh những AI thông minh hơn con người, chúng ta cần hiểu khái niệm chung về tín hiệu huấn luyện (training signal), và vì sao việc tạo ra chúng ngày càng khó khăn hơn khi AI bắt đầu thể hiện những năng lực đa dụng ở mức độ cao hơn.

Tín hiệu huấn luyện là gì? Tín hiệu huấn luyện là thuật ngữ chung mà chúng ta dùng để chỉ những đầu vào được sử dụng để định hướng việc học của AI. Chúng có thể là phần thưởng, nhãn, hoặc đánh giá cho biết AI đang thực hiện tác vụ tốt đến đâu. Ví dụ:

• Trong học có giám sát (supervised learning – SL), tín hiệu huấn luyện là nhãn đúng của mỗi ví dụ.
• Đối với các mô hình ngôn ngữ lớn (LLM) sử dụng học tự giám sát (self-supervised learning – SSL), tín hiệu huấn luyện là từ tiếp theo chính xác trong câu ở giai đoạn tiền huấn luyện (pre-training). Phản hồi của con người về chất lượng câu trả lời trong giai đoạn tinh chỉnh (fine-tuning) cũng là một dạng tín hiệu huấn luyện, giúp định hướng đầu ra theo hướng chúng ta mong muốn (hướng "căn chỉnh" hơn).
• Trong học tăng cường (reinforcement learning – RL), tín hiệu huấn luyện là phần thưởng dựa trên việc hành động (hoặc chuỗi hành động) thành công hay thất bại, chẳng hạn như điểm số trong trò chơi hoặc việc di chuyển thành công đến một vị trí.

Những tín hiệu này định hình cách các hệ thống AI học, đồng thời được dùng để vừa đánh giá hiệu suất vừa đưa ra phản hồi.

Tín hiệu huấn luyện dễ tạo ra. Với một số tác vụ, việc tạo tín hiệu huấn luyện khá đơn giản. AlphaGo Zero, một tác nhân học tăng cường chơi cờ vây, là một ví dụ điển hình. Trò chơi có luật rõ ràng và kết quả thắng/thua rành mạch, nên tín hiệu huấn luyện rất trực quan: các tín hiệu thắng/thua được tạo ra bằng thuật toán đo lường hiệu suất một cách trực tiếp, giúp mô hình dễ dàng học hỏi và cải thiện lối chơi.

Tín hiệu huấn luyện khó tạo ra. Với những tác vụ khác, việc tạo tín hiệu huấn luyện khó khăn hơn nhiều. Chẳng hạn, huấn luyện các mô hình GPT tạo ra bản tóm tắt văn bản chính xác là một thách thức. AI cần truyền tải thông tin đúng đắn trong khi vẫn phải mạch lạc và hấp dẫn. Sự thành công ở đây mang tính chủ quan. Vì nó phụ thuộc vào sở thích của từng độc giả, nên rất khó xác định những tín hiệu huấn luyện rõ ràng, được tạo ra bằng thuật toán. Một ví dụ khác là xe tự lái di chuyển qua những con phố đông đúc. Những chiếc xe này cần đưa ra quyết định theo thời gian thực, và tín hiệu huấn luyện hay phần thưởng cho việc di chuyển an toàn, hiệu quả rất khó xác định do bối cảnh luôn thay đổi và đôi khi luật giao thông cùng các cân nhắc an toàn còn mâu thuẫn với nhau.

Tác vụ mờ. Chúng ta gọi những tác vụ mà tín hiệu huấn luyện khó tạo ra là "tác vụ mờ" (fuzzy task). Những tác vụ này nhìn chung có mục tiêu và kết quả mơ hồ hoặc không được xác định rõ ràng. Chúng ta không thể tạo ra tín hiệu huấn luyện chính xác do tính chủ quan và sự biến thiên vốn có trong khái niệm "phản hồi đúng". Tác vụ mờ thiếu những tiêu chí thành công rõ ràng, khách quan. Không giống những tác vụ được xác định rõ với mục tiêu cụ thể, có thể đo lường được, tác vụ mờ có tính mở hơn, khiến việc xây dựng tín hiệu huấn luyện trở nên phức tạp hơn. Nếu khó đưa ra phần thưởng hay nhãn chính xác phản ánh đúng hành vi mong muốn, thì quá trình huấn luyện sẽ trở nên phức tạp. Hệ thống AI có thể sẽ không nhận được phản hồi nhất quán, đáng tin cậy cần thiết để học hiệu quả. Về bản chất, điều này một lần nữa nhấn mạnh khó khăn của bài toán đặc tả phần thưởng (reward specification) mà chúng ta đã bàn đến ở các chương trước.

Tác vụ mờ và Giám sát Mở rộng Quy mô. Tác vụ mờ có liên hệ chặt chẽ với căn chỉnh AI, trong đó việc đảm bảo hệ thống AI hành động phù hợp với giá trị và ý định của con người là một thách thức do tính mơ hồ và chủ quan. Việc căn chỉnh AI theo giá trị con người tự nó là một tác vụ mờ. Các kỹ thuật giám sát hướng đến việc giải quyết bài toán căn chỉnh bằng cách cung cấp tín hiệu huấn luyện cho tác vụ mờ, bao gồm các kỹ thuật phản hồi và học bắt chước (imitation learning) như RLHF, AI Hiến định (Constitutional AI – CAI), và Học Tăng cường Nghịch đảo (Inverse Reinforcement Learning – IRL). Các kỹ thuật giám sát mở rộng quy mô hướng đến việc cung cấp tín hiệu huấn luyện cho những tác vụ mờ phức tạp đến mức ngay cả chuyên gia cũng khó lòng hiểu hay đánh giá được.

Để các kỹ thuật giám sát mở rộng quy mô khả thi, việc xác minh cần phải dễ hơn việc tạo sinh, và tốt nhất (dù không bắt buộc) là các tác vụ nên có thể phân rã được. Những tính chất này sẽ được bàn đến trong các phần tiếp theo.

Xác minh so với Tạo sinh

P ≠ NP nghĩa là gì? Trong khoa học máy tính, chúng ta phân loại bài toán dựa trên mức độ khó để giải (tạo ra lời giải) và mức độ khó để kiểm tra (xác minh lời giải).

• P (thời gian đa thức): Đây là những bài toán mà máy tính có thể giải nhanh chóng.
• NP (thời gian đa thức không đơn định): Đây là những bài toán mà nếu đã có lời giải, bạn có thể kiểm tra nhanh chóng, nhưng việc tìm ra lời giải đó có thể mất rất nhiều thời gian.

Tạo sinh là gì? Tạo sinh (generation) là quá trình nghĩ ra lời giải từ con số không. Điều này có nghĩa là phải tìm kiếm qua rất nhiều khả năng, có thể tốn nhiều thời gian và sức mạnh tính toán. Ví dụ, giải một câu đố Sudoku là điền số vào một lưới 9x9 sao cho mỗi hàng, mỗi cột, và mỗi ô vuông con 3x3 chứa đầy đủ các chữ số từ 1 đến 9 mà không lặp lại. Nếu bạn từng thử giải Sudoku, hẳn bạn biết rằng nó đòi hỏi rất nhiều lần thử-sai để đảm bảo mọi quy tắc đều được tuân thủ.

Tạo sinh ở đây là việc điền vào lưới trống trong khi vẫn đảm bảo mọi ràng buộc (số không lặp lại trong hàng, cột và ô vuông con) đều được thỏa mãn.

Xác minh là gì? Xác minh (verification) là quá trình kiểm tra xem một lời giải được đưa ra có đúng hay không. Với ví dụ Sudoku, xác minh nghĩa là đảm bảo mỗi hàng, mỗi cột và mỗi ô vuông con đều chứa đầy đủ các chữ số từ 1 đến 9 mà không có số nào lặp lại. Một khi ai đó đưa cho bạn một bảng Sudoku đã hoàn thành, việc kiểm tra xem nó có đúng hay không rất đơn giản và nhanh chóng. Ý tưởng này chính là cốt lõi của khái niệm P ≠ NP.

Ví dụ minh họa: Xác minh Dễ hơn Tạo sinh. Đây là một tính chất rất phổ quát, đúng trong nhiều lĩnh vực:

1. Bài toán hình thức: Trong lý thuyết độ phức tạp tính toán, hầu hết các nhà khoa học máy tính tin rằng P ≠ NP (Wikipedia (mở trong tab mới)), nghĩa là có rất nhiều bài toán mà việc kiểm tra một lời giải dễ hơn việc tìm ra nó. Điều này thể hiện rõ trong những tác vụ như giải bài toán SAT hay các thuật toán đồ thị.
2. Thể thao và trò chơi: Nhìn vào bảng tỷ số bóng đá để biết ai đang thắng dễ hơn nhiều so với việc tự mình chơi giỏi.
3. Sản phẩm tiêu dùng: So sánh chất lượng điện thoại thông minh dựa trên đánh giá của người dùng đơn giản hơn nhiều so với việc thiết kế và chế tạo ra một chiếc điện thoại mới.
4. Hiệu suất công việc: Đánh giá một nhân viên đang làm việc tốt đến đâu ít tốn công hơn nhiều so với việc tự mình làm công việc đó.
5. Nghiên cứu học thuật: Dù việc phản biện một nghiên cứu có thể khó khăn, nó vẫn ít tốn công hơn việc tự mình tạo ra một nghiên cứu mới.

Vì sao việc Xác minh Dễ hơn Tạo sinh lại Quan trọng đối với Giám sát Mở rộng Quy mô. Sự thật này có ý nghĩa then chốt đối với giám sát mở rộng quy mô, vì nó cho phép chúng ta – với tư cách người giám sát – đảm bảo hiệu quả tính đúng đắn và an toàn của các kết quả đầu ra do những hệ thống phức tạp tạo ra, mà không cần phải hiểu trọn vẹn hay tự tái tạo lại toàn bộ quá trình tạo sinh. Nếu P ≠ NP là đúng, điều đó ngụ ý rằng chúng ta có thể tin tưởng và giao phó chính công việc nghiên cứu căn chỉnh cho các mô hình AI, bởi vì chúng ta có thể tương đối dễ dàng xác minh rằng lời giải của chúng có hiệu quả, trong khi chúng phải đảm nhận công việc khó khăn là tạo ra lời giải cho bài toán căn chỉnh. Nhìn chung, việc vận hành dựa trên giả định này có thể khiến nhiệm vụ căn chỉnh các hệ thống AI tiên tiến trở nên khả thi hơn. Vài đoạn tiếp theo sẽ đi sâu vào cuộc tranh luận về mức độ đúng đắn của giả định này.

Xác minh trong Bối cảnh Đối kháng. Khi xác minh điều gì đó trong tình huống mà ai đó có thể đang chủ động tìm cách lừa gạt hoặc tấn công bạn, quá trình này trở nên khó khăn hơn nhiều. Nói cách khác, nếu chúng ta có những AI mang tính lừa dối, bài toán sẽ trở nên hóc búa hơn đáng kể. Ví dụ, việc đảm bảo phần mềm an toàn trước mọi cuộc tấn công có thể có còn khó hơn cả việc viết ra phần mềm đó ngay từ đầu. Kẻ tấn công chỉ cần tìm ra một lỗ hổng bảo mật, nhưng người xác minh phải kiểm tra mọi thứ để đảm bảo không còn lỗ hổng nào. Điều này khiến việc xác minh trở nên rất thách thức. Tương tự, việc tạo ra một hệ thống mật mã an toàn đã khó, nhưng chứng minh rằng nó an toàn trước mọi cuộc tấn công có thể có còn khó hơn nữa. Bạn cần xem xét mọi cách thức tiềm tàng mà ai đó có thể dùng để phá vỡ hệ thống, và đó là một nhiệm vụ khổng lồ.

Dễ hơn tạo sinh không có nghĩa là xác minh tầm thường. Chỉ vì xác minh về mặt lý thuyết dễ hơn tạo sinh không có nghĩa là nó luôn dễ dàng trong thực tế. Ví dụ, kiểm tra một chứng minh toán học phức tạp có thể rất khó. Viết ra chứng minh đòi hỏi sự sáng tạo và hiểu biết sâu sắc, nhưng xác minh nó đòi hỏi sự kiểm tra cẩn thận, chi tiết, có thể gây mệt mỏi và dễ mắc sai sót. Trong trường hợp phần mềm, viết phần mềm an toàn đã là một thách thức, nhưng xác minh rằng nó hoàn toàn an toàn còn khó hơn. Dù việc xác minh lời giải của một bài toán có thể dễ hơn việc tạo ra lời giải đó, quá trình này vẫn có thể rất khó khăn và đòi hỏi nhiều công sức cũng như chuyên môn đáng kể.

Xác minh An toàn so với Căn chỉnh Khả chứng. Trong trường hợp phải đối mặt với AI siêu trí tuệ, việc chỉ xác minh hành vi của nó có thể là chưa đủ. Một số nhà nghiên cứu cho rằng chúng ta cần chứng minh rằng AI sẽ luôn hành động theo cách phù hợp với giá trị con người. Xác minh nghĩa là kiểm tra xem AI có hành xử đúng đắn trong những tình huống cụ thể hay không. Căn chỉnh khả chứng (provable alignment) nghĩa là đưa ra bằng chứng vững chắc rằng AI sẽ hành động đúng đắn trong mọi tình huống có thể xảy ra, kể cả những tình huống mới, chưa từng gặp. Điều này đòi hỏi nhiều hơn là chỉ kiểm tra – nó cần đến các phương pháp hình thức và những đảm bảo chắc chắn, vốn là điều cực kỳ khó khăn.

Xác minh so với Chứng minh Toán học. Xác minh liên quan đến việc kiểm tra xem một lời giải cụ thể có đúng hay không, thường thông qua kiểm thử hoặc rà soát. Trong khi đó, một chứng minh toán học là một lập luận logic chặt chẽ cho thấy một mệnh đề luôn đúng. Ví dụ, xác minh lời giải Sudoku là kiểm tra xem cách sắp xếp đã cho có đúng hay không, còn một chứng minh toán học có thể cho thấy rằng bất kỳ câu đố Sudoku nào với một số lượng gợi ý nhất định luôn có một lời giải duy nhất.