Chương 8.6: Từ yếu đến mạnh (W2S)

Chúng ta có thể huấn luyện một AI mạnh hơn bằng cách sử dụng sự giám sát hoặc phản hồi từ một mô hình yếu hơn nhưng đáng tin cậy hơn và căn chỉnh tốt hơn với con người. Đây có thể là một con đường để căn chỉnh AI siêu việt bằng sự giám sát ở mức độ con người.

Trong lịch sử, phần lớn công trình nghiên cứu về căn chỉnh AI mang tính lý thuyết cao, tập trung vào những khía cạnh nền tảng của hành vi tác nhân, căn chỉnh nội tại (inner alignment), và những rủi ro từ việc học tối ưu hóa (learned optimization). Ngay cả những kỹ thuật mà chúng ta đã bàn ở các phần trước như tranh biện hay IDA cũng thường bị phê phán là chỉ mang tính khung lý thuyết chứ chưa phải là giải pháp thực tiễn, hoặc chủ yếu chỉ hoạt động trên những bài toán mô phỏng đơn giản mà chưa giải quyết được thách thức cốt lõi là căn chỉnh AI siêu trí tuệ trong các tình huống thực tế. Vậy nên dù chúng ta chỉ có thể tiến hành các thí nghiệm an toàn trên những mô hình thế hệ hiện tại, làm sao chúng ta có thể chắc chắn rằng những kỹ thuật này sẽ vẫn hiệu quả khi AI tiến gần đến năng lực siêu nhân?

Các mô hình siêu nhân trong phạm vi hẹp cho phép ta thực hiện các nghiên cứu điển hình về giám sát mở rộng quy mô. Các mô hình hiện nay đã đủ giỏi ở các tác vụ mờ để vượt trội hơn con người trong một số lĩnh vực, nhưng điều quan trọng là chúng vẫn chưa giỏi hơn TẤT CẢ con người, hay siêu việt đến mức chúng ta không thể tạo ra nhãn chân lý (ground truth) để đối chiếu. Những loại mô hình này đôi khi được gọi là siêu nhân trong phạm vi hẹp (narrowly superhuman). Sự khác biệt giữa "siêu nhân trong phạm vi hẹp" và "siêu nhân toàn diện" là rất quan trọng. Lấy ví dụ về sự khác biệt này: AlphaGo là siêu nhân theo nghĩa nó đã đánh bại Lee Sedol, tức là giỏi hơn mọi con người còn sống, trong khi GPT-4 hiện chỉ có khả năng viết văn bản tốt hơn một số người, chứ không phải tất cả mọi người. Điều này có nghĩa là chúng ta có thể sử dụng các AI siêu nhân trong phạm vi hẹp làm nghiên cứu điển hình! Chúng ta có thể dùng chuyên gia hoặc các nhãn chân lý mà ta vẫn còn tiếp cận được, để xem liệu mức độ căn chỉnh có được cải thiện khi áp dụng các kỹ thuật giám sát mở rộng quy mô hay không. (Cotra, 2021 (mở trong tab mới))

Trực giác cốt lõi ở đây là mô phỏng những kịch bản tương lai, trong đó nhân loại – được trang bị nhiều công cụ và kỹ thuật khác nhau – giám sát kết quả đầu ra của những hệ thống siêu nhân nhưng không đáng tin cậy. Có nhiều cách khác nhau để tiến hành thử nghiệm trên các mô hình siêu nhân trong phạm vi hẹp. Chúng ta có thể sử dụng những người không phải chuyên gia, trang bị cho họ các kỹ thuật giám sát mở rộng quy mô để căn chỉnh các mô hình AI. Một cách khác là dùng các mô hình yếu (ví dụ GPT-2) để đại diện cho con người, trong khi các mô hình mạnh hơn (ví dụ GPT-4) đại diện cho những hệ thống AI có năng lực cao hơn mà chúng ta muốn căn chỉnh.

Các mô hình mạnh hơn được kỳ vọng sở hữu những năng lực tiềm ẩn. Giả định ở đây là các mô hình mạnh hơn, nhờ được tiền huấn luyện trên một lượng dữ liệu đa dạng khổng lồ, đã sẵn có những biểu diễn nội tại cho loại hành vi mà chúng ta mong muốn. Vai trò của giám sát yếu là khơi gợi hành vi này thông qua tín hiệu huấn luyện.

Lấy một ví dụ cụ thể, hãy tưởng tượng việc sử dụng GPT-4 để xin lời khuyên y tế. Nó đã đọc vô số bài báo nghiên cứu và tạp chí y khoa. Nó có những biểu diễn nội tại về rất nhiều thông tin y khoa hữu ích, khiến nó về mặt lý thuyết có khả năng đưa ra lời khuyên y tế rất chuyên nghiệp. Nhưng các mô hình GPT ban đầu chỉ được thiết kế để dự đoán từ tiếp theo có khả năng cao nhất, chứ không phải để đưa ra lời khuyên chính xác. Trong bối cảnh này, "căn chỉnh" mô hình nghĩa là khiến nó đưa ra lời khuyên y tế chính xác và hữu ích. Một loại kỹ thuật chúng ta có thể thử là tinh chỉnh GPT-4 trên các nhãn do GPT-2 tạo ra. Đây không phải là cách duy nhất, còn có những kỹ thuật khác mà chúng ta sẽ khám phá sau trong phần này. Hiện tại, điều quan trọng nhất cần hiểu là chúng ta đang hoạt động dựa trên giả định rằng cả các mô hình siêu nhân hiện tại lẫn tương lai đều nhiều khả năng sở hữu những biểu diễn nội tại rõ rệt về hành vi con người.

Khái quát hóa từ yếu đến mạnh (weak-to-strong generalization – W2SG) là gì? Giám sát yếu (weak supervision) là việc huấn luyện các mô hình AI bằng nhãn hoặc phản hồi kém chính xác hơn, ít chi tiết hơn, hoặc nhiễu hơn so với những gì được cung cấp bởi những người giám sát am hiểu hoặc có năng lực cao. Điều này có thể xảy ra khi người giám sát (dù là con người hay mô hình yếu hơn) không phải là chuyên gia trong tác vụ đó, hoặc khi dữ liệu không đầy đủ hay chứa lỗi.

Khái quát hóa từ yếu đến mạnh (W2SG) là hiện tượng khi một mô hình mạnh, được huấn luyện với sự giám sát yếu, vẫn vượt trội hơn bộ giám sát yếu của nó bằng cách tận dụng tri thức và năng lực sẵn có. Ý tưởng cốt lõi là mô hình mạnh đã sở hữu sẵn những năng lực cần thiết cho hành vi mong muốn, và sự giám sát yếu chỉ có tác dụng khơi gợi hành vi này ra, dù bản thân sự giám sát ấy còn nhiều khiếm khuyết. Quy trình W2SG hiện nay thường bắt đầu bằng việc tinh chỉnh một mô hình tiền huấn luyện lớn bằng sự giám sát yếu từ những mô hình nhỏ hơn. Dù sự giám sát ban đầu có thể đến từ những mô hình kém năng lực hơn này, mục tiêu cuối cùng vẫn là chuyển sang sự giám sát của con người. Mục tiêu là khơi dậy toàn bộ tiềm năng của mô hình mạnh, như thể nó được huấn luyện trên sự giám sát hoàn hảo dựa trên nhãn chân lý (Burns et. al. 2023 (mở trong tab mới)).

Trong các thí nghiệm hiện tại, thiết lập bao gồm:

• Một "bộ giám sát yếu" (weak supervisor – một mô hình ngôn ngữ tiền huấn luyện nhỏ) được tinh chỉnh cho một tác vụ cụ thể, tạo ra các dự đoán (nhãn mềm) trên một tập dữ liệu được giữ lại.
• Một "mô hình trò mạnh" (strong student – một mô hình ngôn ngữ tiền huấn luyện lớn hơn) được tinh chỉnh dựa trên các dự đoán của mô hình yếu.
• Một "trần mạnh" (strong ceiling – một bản sao khác của mô hình lớn) được tinh chỉnh trực tiếp trên các nhãn chân lý, dùng làm mốc so sánh cơ sở.

Mức độ khái quát hóa từ yếu đến mạnh được định lượng bằng Khoảng cách Hiệu suất được Khôi phục (Performance Gap Recovered – PGR). PGR đo lường mức độ chênh lệch hiệu suất giữa bộ giám sát yếu và mô hình mạnh được thu hẹp bao nhiêu khi mô hình mạnh được huấn luyện bằng sự giám sát yếu. Khi chúng ta huấn luyện mô hình mạnh bằng các nhãn do mô hình yếu cung cấp, hiệu suất của mô hình mạnh nhiều khả năng sẽ nằm đâu đó giữa hiệu suất của mô hình yếu và hiệu suất lý tưởng mà mô hình mạnh có thể đạt được với nhãn hoàn hảo. Khoảng cách hiệu suất được khôi phục định lượng mức độ hiệu suất của mô hình mạnh tiến gần hơn đến hiệu suất lý tưởng của nó, so với hiệu suất của mô hình yếu. PGR bằng 1 tương ứng với kết quả lý tưởng (mô hình mạnh hoạt động tốt y như khi được giám sát hoàn hảo). Ngược lại, một mô hình trò "thành công" trong việc bắt chước hoàn hảo bộ giám sát của nó, kể cả những khiếm khuyết của bộ giám sát đó, sẽ đạt PGR bằng 0 (Scherlis et. al. 2024 (mở trong tab mới)).

\begin{align*} PGR = \frac{\text{student} - \text{weak}}{\text{ceiling} - \text{weak}} \end{align*}

Hạn chế và những điểm không tương đồng của W2SG:

• Quá khớp (Overfitting) với giám sát yếu: Giả định rằng một mô hình mạnh sẽ khái quát hóa tốt từ sự giám sát yếu không phải lúc nào cũng đúng. Các mô hình siêu nhân có thể dễ dàng bắt chước những lỗi sai của bên yếu. Những mô hình này nhiều khả năng sẽ rất thành thạo trong việc dự đoán con người sẽ nghĩ gì và nói gì, đặc biệt nếu chúng được huấn luyện trên dữ liệu của con người. Do đó, nếu chúng ta ngây thơ huấn luyện một mô hình siêu nhân như vậy bằng sự giám sát của con người, nó có thể chỉ đơn giản bắt chước bộ giám sát yếu, thể hiện ra năng lực ở mức con người thay vì năng lực siêu nhân tiềm ẩn của nó. Các nhà nghiên cứu cũng sử dụng các hàm mất mát độ tin cậy phụ trợ (auxiliary confidence losses), khuyến khích mô hình mạnh đưa ra những dự đoán tự tin ngay cả khi mâu thuẫn với giám sát yếu, từ đó thúc đẩy khả năng khái quát hóa và sửa chữa những sai sót của bộ giám sát yếu.
• Giả định về biểu diễn tác vụ. W2SG giả định rằng các mô hình mạnh có những biểu diễn rõ rệt về các tác vụ mà chúng được huấn luyện. Điều này nghĩa là các mô hình đã có sẵn một mức độ hiểu biết nào đó về những tác vụ này từ giai đoạn tiền huấn luyện. Tuy nhiên, giả định này có thể không đúng với những tác vụ hoàn toàn mới hoặc phức tạp hơn đáng kể. Nếu một tác vụ hoàn toàn mới hoặc phức tạp hơn nhiều so với những gì mô hình từng gặp trong quá trình tiền huấn luyện, mô hình có thể không sở hữu những năng lực tiềm ẩn cần thiết để thực hiện tốt tác vụ đó, ngay cả khi có giám sát yếu.

Các thí nghiệm về W2SG cho đến nay có thể đã được quan sát, ít nhất là gián tiếp, trong giai đoạn tiền huấn luyện. Dùng lại ví dụ ở trên, dữ liệu y khoa hay các câu hỏi-đáp trực tiếp về thực hành y khoa đã tồn tại dưới một hình thức nào đó trong tập dữ liệu tiền huấn luyện của GPT-4. Tuy nhiên, những mô hình siêu nhân trong tương lai có thể sẽ không bao giờ quan sát trực tiếp những năng lực siêu nhân liên quan đến căn chỉnh. Điều này có nghĩa là những loại năng lực này có thể khó khơi gợi hơn so với những năng lực mà mô hình đã từng quan sát được trong dữ liệu tiền huấn luyện của nó. Sự không tương đồng này có thể khiến các kết quả hiện tại về W2SG trở nên quá lạc quan.

• Giả định Cất cánh Chậm (Slow Takeoff): W2SG cũng dựa trên giả định về một quá trình cất cánh dần dần trong năng lực AI. Sự tiến triển từ từ này cho các nhà nghiên cứu đủ thời gian để sử dụng các mô hình siêu nhân ở mức độ vừa phải nhằm giải quyết các bài toán căn chỉnh theo cách lặp đi lặp lại, trước khi quá muộn. Khoảng thời gian mà một quá trình cất cánh dần dần mang lại là yếu tố then chốt để tinh chỉnh và kiểm nghiệm các kỹ thuật căn chỉnh.

W2SG có thể được xem là một phương pháp bổ trợ cho các kỹ thuật giám sát mở rộng quy mô. W2SG không phải là một giải pháp trọn vẹn. Ngay cả khi một mô hình khái quát hóa theo đúng hướng mong muốn, điều này vẫn cần được xác minh, đòi hỏi một tín hiệu chân lý đáng tin cậy hơn so với sự giám sát ngây thơ của con người. Bằng cách kết hợp W2SG với giám sát mở rộng quy mô, chúng ta có thể phát triển những phương pháp vững chắc hơn để căn chỉnh AI theo giá trị con người, chuẩn bị cho những thách thức do các hệ thống siêu trí tuệ trong tương lai đặt ra.

Ví dụ, các kỹ thuật giám sát mở rộng quy mô có thể được dùng để tạo ra tín hiệu giám sát yếu, mà sau đó một mô hình mạnh sẽ học cách khái quát hóa vượt ra ngoài phạm vi đó. Bằng cách kết hợp các cách tiếp cận này, chúng ta có thể tạo ra những giao thức vững chắc hơn cho căn chỉnh AI. Ví dụ, mô hình hóa phần thưởng đệ quy (recursive reward modeling – RRM) có thể sử dụng W2SG để huấn luyện những mô hình phần thưởng mạnh mẽ bằng các chú thích về sở thích của con người. Tranh biện kết hợp với W2SG có thể huấn luyện các mô hình khái quát hóa đánh giá của con người sang những cuộc tranh biện mới. Phân rã tác vụ kết hợp với W2SG có thể giám sát các tác vụ nguyên tử bằng một mô hình phần thưởng được huấn luyện từ sở thích của con người. (Leike, 2023 (mở trong tab mới))

Việc đánh giá những kỹ thuật này trong các bối cảnh khác nhau giúp hiểu rõ điểm mạnh và điểm yếu của chúng. Trong các bối cảnh không có mưu tính (non-scheming), nơi các mô hình không mang tính căn chỉnh giả dối, các kỹ thuật từ-yếu-đến-mạnh cổ điển và giám sát mở rộng quy mô có thể được so sánh trực tiếp với nhau. Trong các bối cảnh có mưu tính (scheming), nơi các mô hình có thể hành động một cách đối kháng, việc đánh giá cần tính đến khả năng lừa dối, từ đó đưa ra một thước đo thận trọng về độ vững chắc của giao thức. Khi không có mưu tính (căn chỉnh giả dối), chúng ta có thể sử dụng các kỹ thuật W2SG theo cách trực tiếp, thông qua những kỹ thuật như phương pháp kẹp (sandwiching). Tuy nhiên, nếu có mưu tính (AI căn chỉnh giả dối), nó có thể hành động một cách đối kháng. Trong trường hợp đó, chúng ta có thể sử dụng những đề xuất như kỹ thuật đối kháng ở cấp độ meta (meta-level adversarial techniques). Cả hai kỹ thuật này sẽ được bàn đến trong các phần tiếp theo.

Phương pháp Kẹp (Sandwiching)

Phương pháp kẹp (sandwiching) là một thiết lập thực nghiệm tận dụng các mô hình siêu nhân trong phạm vi hẹp để đánh giá mức độ hiệu quả của các kỹ thuật giám sát trong môi trường có kiểm soát. Thiết lập kẹp bao gồm ba "lớp" chính:

1. Lớp Không Chuyên gia: Ở dưới cùng là những người không phải chuyên gia. Đây là những người không thể tự mình giải quyết tác vụ được giao. Ví dụ, hãy nghĩ đến những người bình thường được yêu cầu chọn cổ phiếu hoặc đưa ra chẩn đoán y tế. Họ đóng vai trò đại diện cho một phiên bản tương lai của nhân loại. Họ cần sử dụng các kỹ thuật giám sát mở rộng quy mô để định hướng hành vi của AI theo hướng căn chỉnh hơn.
2. Mô hình AI: Ở giữa là mô hình AI siêu nhân trong phạm vi hẹp mà chúng ta muốn thử nghiệm kỹ thuật giám sát. Mô hình này có một số năng lực mà chúng ta không thể khơi gợi ra được. Người không chuyên nên có khả năng "căn chỉnh" mô hình bằng cách khiến nó thể hiện loại hành vi mà chúng ta mong muốn, thông qua kỹ thuật giám sát mở rộng quy mô đã cho.
3. Lớp Chuyên gia: Ở trên cùng là các chuyên gia trong lĩnh vực, những người đánh giá mức độ thành công của nỗ lực căn chỉnh. Họ đóng vai trò làm chuẩn tham chiếu, đưa ra phản hồi mà không trực tiếp tương tác với người không chuyên hay với AI trong suốt quá trình. Chúng ta cũng có thể sử dụng nhãn chân lý từ các tập dữ liệu để thay thế cho lớp chuyên gia, thay vì thuê chuyên gia thực sự.

Minh chứng thực nghiệm về phương pháp kẹp. Các nhà nghiên cứu đã tiến hành một thí nghiệm với những người không chuyên, được giao nhiệm vụ trả lời các câu hỏi trắc nghiệm. Nhiệm vụ là trả lời các câu hỏi trắc nghiệm từ bài kiểm tra Đo lường Hiểu biết Đa Tác vụ Quy mô Lớn (Measuring Massive Multitask Language Understanding – MMLU). Bài kiểm tra này chứa hàng trăm câu hỏi về toán học, vật lý, đạo đức, luân lý và nhiều chủ đề khác. (Hendrycks et. al, 2021 (mở trong tab mới)) Họ cũng phải trả lời các câu hỏi dựa trên những truyện ngắn từ bài kiểm tra QuALITY trong vòng 5 phút. (Pang et al., 2021 (mở trong tab mới)) Kỹ thuật giám sát mở rộng quy mô mà họ được cung cấp là một hình thức khuếch đại đơn giản, sử dụng một chatbot trợ lý AI. Hiệu suất được đo bằng cách đối chiếu với các nhãn chân lý (đáp án đúng) từ tập dữ liệu.

Khi được đo lường riêng lẻ, mô hình vượt trội hơn con người không có trợ giúp ở cả hai tác vụ với khoảng cách lớn. Điều này có nghĩa là điều kiện cơ bản để thử nghiệm phương pháp kẹp đã được thỏa mãn – mô hình giỏi hơn những người không chuyên. Trong suốt thí nghiệm, những người được chatbot hỗ trợ đạt điểm số cao hơn đáng kể so với cả con người lẫn mô hình khi hoạt động riêng lẻ. (Bowman et al., 2022 (mở trong tab mới)) Dù đây là một thiết kế cực kỳ đơn giản hóa, những người tham gia đã thành công trong việc định hướng hành vi của mô hình theo hướng chúng ta mong muốn, tức là khiến mô hình "căn chỉnh" hơn. Vì vậy, các nhà nghiên cứu đã chứng minh hiệu quả của phương pháp kẹp như một thiết kế thực nghiệm. Dựa trên nền tảng này, các thí nghiệm trong tương lai có thể đánh giá hiệu quả của những phương pháp giám sát mở rộng quy mô phức tạp hơn, như huấn luyện lại, tinh chỉnh, hay tranh biện.