Chương 8.3: Giám sát quy trình

Thay vì chỉ đánh giá câu trả lời cuối cùng của AI, chúng ta có thể giám sát các bước suy luận của AI, từ đó đưa ra phản hồi chính xác hơn. Điều này khiến AI khó lòng ngụy tạo kết quả tốt bằng những lập luận khéo léo nhưng sai lệch.

Học một tác vụ mới có thể được thực hiện thông qua phương pháp thử-sai, còn gọi là học định hướng theo kết quả (outcome-oriented learning), trong đó chiến lược của tác nhân hoàn toàn được xác định bởi kết quả mong muốn.

Học máy trong vài thập kỷ qua đã cho thấy một xu hướng nghiêng về các hệ thống dựa trên kết quả. Nghĩa là các mô hình được huấn luyện đầu-cuối (end-to-end), và chỉ có đầu ra cuối cùng của AI mới nhận được tín hiệu huấn luyện. Đây gọi là giám sát dựa trên kết quả (outcome-based oversight), nhưng còn có một cách tiếp cận thay thế gọi là giám sát dựa trên quy trình (process-based oversight).

Giám sát dựa trên quy trình là gì? Cách tiếp cận dựa trên kết quả chỉ giám sát kết quả cuối cùng trong quá trình xử lý của mô hình. Nó chủ yếu quan tâm đến việc câu trả lời cuối cùng có đúng hay không, chứ không quan tâm câu trả lời đó được suy ra như thế nào. Ví dụ, một mô hình được giao giải một bài toán sẽ chỉ được đánh giá dựa trên việc nó có đưa ra lời giải đúng hay không, bất kể các bước nó đã thực hiện để đi đến kết quả đó. Ngược lại, giám sát dựa trên quy trình hiện nay dựa vào việc phân rã tác vụ theo cách con người có thể hiểu được, với sự giám sát trực tiếp đối với từng bước trung gian. Cách tiếp cận này giám sát chính quá trình suy luận, bao gồm mọi bước trung gian. Nó đảm bảo rằng mỗi bước dẫn đến kết quả cuối cùng đều hợp lý và chính xác. Ví dụ, khi giải một bài toán, mọi phép tính và bước lập luận mà mô hình thực hiện đều sẽ được đánh giá về tính đúng đắn.

Giám sát quy trình giúp việc quy trách nhiệm dễ dàng hơn. Bài toán quy trách nhiệm (credit assignment problem) liên quan đến việc xác định hành động cụ thể nào, hoặc chuỗi sự kiện nào, đã tạo ra một kết quả hay phần thưởng nhất định. Hãy hình dung một ván cờ vua, trong đó người chơi thực hiện những nước đi trông có vẻ đúng đắn nhưng cuối cùng vẫn thua. Bài toán quy trách nhiệm ở đây là xác định nước đi cụ thể nào đã dẫn đến thất bại. Giám sát dựa trên kết quả chỉ đơn giản cho biết bạn thắng hay thua, khiến việc xác định chuỗi nước đi nào thực sự tốt – dù cuối cùng vẫn thua ván cờ – trở nên rất khó khăn. Giám sát quy trình giúp việc này dễ dàng hơn, bằng cách đưa ra phản hồi chính xác hơn so với giám sát theo kết quả. Giám sát quy trình có nét tương đồng với định hình phần thưởng (reward shaping), trong đó những phần thưởng "giả" nhỏ ở các bước trung gian giúp tác nhân học hội tụ nhanh hơn. Cách tiếp cận này cung cấp phản hồi cho từng bước trung gian, hoặc huấn luyện mô hình bắt chước quá trình ra quyết định của con người.

Ý nghĩa an toàn của giám sát quy trình. Giám sát dựa trên kết quả có thể dẫn đến hiện tượng đánh lừa đặc tả (specification gaming). Ngược lại, giám sát dựa trên quy trình về lý thuyết giảm thiểu đáng kể vấn đề này, do có nhiều khả năng tạo ra lập luận đúng đắn và dễ hiểu hơn. Nó khuyến khích mô hình tuân theo một quy trình được con người chấp thuận, và thưởng trực tiếp cho một chuỗi các bước nhỏ đã được căn chỉnh, thay vì dựa vào kết quả như một chỉ dấu gián tiếp cho hành vi căn chỉnh. (Lightman et. al, 2023 (mở trong tab mới))

Nhìn chung, đối với các tác vụ mờ, giám sát dựa trên quy trình có thể là phương pháp phù hợp hơn để theo đuổi. (Uesato et. al, 2022 (mở trong tab mới)) Ví dụ, khi cần xác minh một chuỗi lập luận toán học, các nghiên cứu cho đến nay cho thấy giám sát quy trình vượt trội đáng kể so với giám sát kết quả trong việc huấn luyện mô hình giải các tác vụ toán học. (Lightman et. al, 2023 (mở trong tab mới)) Giám sát dựa trên quy trình cũng có thể tương tự mang lại những kết quả căn chỉnh tốt hơn cho các chuỗi lập luận phức tạp khác, chẳng hạn như lập kế hoạch dài hạn hay ra quyết định.

Một vấn đề là do yêu cầu phản hồi cao hơn ở mỗi bước, các phương pháp dựa trên quy trình đòi hỏi mức độ chuyên môn cao hơn từ con người. Lấy một ví dụ cụ thể, nếu chúng ta đang huấn luyện một mô hình để tạo ra thiết kế CPU mới, chúng ta có thể đơn giản xây dựng phản hồi dựa trên kết quả dựa trên mức tiêu thụ điện năng, diện tích chip, v.v. Những yếu tố này dễ đánh giá và đưa ra phản hồi hơn, và có thể dùng để tối ưu hóa tổng thể bố cục chip. Ngược lại, một cách tiếp cận dựa trên quy trình sẽ đòi hỏi kiến thức chuyên môn chi tiết về thiết kế bố cục chip. (Uesato et. al, 2022 (mở trong tab mới)) Vì vậy, dù các phương pháp giám sát dựa trên quy trình có khả năng mang lại cả năng lực lẫn kết quả căn chỉnh cao hơn, chúng vẫn phụ thuộc vào việc khuếch đại năng lực của người giám sát là con người. Chúng ta sẽ tìm hiểu cách nâng cao năng lực của người giám sát con người ở phần về khuếch đại và tranh biện.

Hai phần tiếp theo sẽ khám phá hai phương pháp giám sát dựa trên quy trình – giám sát suy luận ngoại hiện và nhân bản quy trình.

Giám sát Suy luận Ngoại hiện (ERO)

Giám sát suy luận ngoại hiện (Externalized Reasoning Oversight – ERO), đôi khi còn được gọi là suy luận thành lời (verbalized reasoning), xoay quanh ý tưởng khuyến khích các mô hình ngôn ngữ lớn (LLM) "suy nghĩ thành lời". Cách tiếp cận này nhằm khiến các mô hình bộc lộ các bước suy luận của mình bằng ngôn ngữ tự nhiên trước khi đưa ra một hành động hay quyết định. Bằng cách phân rã suy luận phức tạp thành các bước nhỏ hơn và làm cho nó minh bạch, chúng ta có thể cung cấp tín hiệu huấn luyện và sự giám sát chi tiết. Điều này giúp việc định hướng quá trình suy luận của mô hình dễ dàng hơn, và có khả năng hiệu quả hơn so với việc chỉ đánh giá kết quả đầu ra hay hành động cuối cùng. (Lanham 2022 (mở trong tab mới)) Cách tiếp cận này cũng có thể đóng vai trò bổ trợ cho toàn bộ lĩnh vực khả năng diễn giải, vốn có thể được xem như "giám sát suy luận nội hiện."

Suy luận ngoại hiện có khả năng ngăn ngừa những hành vi không mong muốn như lừa dối và hành vi tìm kiếm quyền lực (Lanham 2022 (mở trong tab mới)), dù điều này vẫn chưa được kiểm chứng bằng thực nghiệm. Lập luận ở đây là khi quá trình suy luận của mô hình có thể quan sát được, chúng ta có thể trực tiếp theo dõi logic mà nó tuân theo và phát hiện bất kỳ khuôn mẫu tư duy hay chuỗi lập luận có vấn đề nào. Mức độ giám sát này không thể thực hiện được nếu chúng ta chỉ nhìn vào kết quả đầu ra cuối cùng của mô hình, vì khi đó chúng ta bỏ lỡ phần suy luận nền tảng đã dẫn đến những kết quả đó. Để có thể tin cậy vào ERO, chúng ta cần đảm bảo suy luận được ngoại hiện hóa:

• Có trách nhiệm nhân quả: Suy luận phải trực tiếp dẫn đến kết luận, không có bất kỳ sự hợp lý hóa nào diễn ra sau khi đã có kết luận.
• Đầy đủ: Mọi bước cần thiết trong quá trình suy luận đều phải hiện diện, không bỏ sót bước quan trọng nào.
• Rõ ràng, minh bạch: Suy luận cần rõ ràng và không chứa thông điệp ẩn hay mã hóa mang tính lừa dối (kỹ thuật giấu tin).

ERO liên hệ với phân rã tác vụ như thế nào? Phân rã theo chuỗi suy luận (Chain-of-Thought – CoT) hiện là cách tiếp cận chính mà các nhà nghiên cứu sử dụng cho giám sát suy luận ngoại hiện. Phân rã tác vụ liên quan đến việc chia một tác vụ phức tạp thành các tác vụ con đơn giản hơn, mỗi tác vụ có thể được xử lý độc lập. Phân rã theo chuỗi suy luận là một kỹ thuật nằm trong khuôn khổ rộng hơn của phân rã tác vụ, tập trung cụ thể vào việc vừa tăng cường vừa cho phép giám sát ngoại hiện đối với quá trình suy luận trong các LLM. (Wei et. al; 2022 (mở trong tab mới)) Trong phần còn lại của mục này, khi nói đến giám sát suy luận ngoại hiện, chúng ta đang muốn nói đến suy luận theo chuỗi suy luận.

Suy luận ngoại hiện có phản ánh đúng quá trình suy luận nội tại hay không? Chúng ta đã thấy rằng các LLM thực hiện tốt hơn các tác vụ suy luận khi sử dụng ERO (tạo câu lệnh theo CoT) (Wei et. al; 2022 (mở trong tab mới)). Vấn đề là chúng ta không biết liệu suy luận CoT này có thực sự phản ánh quá trình tư duy nội tại thực sự hay không. Các nhà nghiên cứu dùng thuật ngữ "tính trung thực" (faithfulness) để chỉ việc những gì LLM nói ra (các token mà chúng tạo ra) có thực sự phản ánh đúng suy luận nội tại của chúng hay không. Có một vài cách mà mô hình có thể tạo ra suy luận ngoại hiện thông qua CoT nhưng lại không phản ánh đúng suy luận nội tại:

1. Suy luận hậu nghiệm (Post-Hoc Reasoning): Điều này xảy ra khi mô hình tạo ra một chuỗi suy luận bên ngoài nhằm biện minh cho một kết luận đã được xác định từ trước, thay vì thực sự phản ánh quá trình tư duy đã dẫn đến kết luận đó. Loại suy luận này không trung thực vì nó không ảnh hưởng đến câu trả lời cuối cùng của mô hình; thay vào đó, nó chỉ hợp lý hóa một kết quả đã được quyết định từ trước. Để kiểm tra điều này, chúng ta có thể cắt bớt chuỗi suy luận trước câu trả lời cuối cùng và đánh giá xem các bước suy luận trung gian có thực sự cần thiết hay không. Nếu câu trả lời cuối cùng vẫn không đổi dù thiếu các bước đó, điều này cho thấy đây là suy luận hậu nghiệm. Một phương pháp khác là cố tình chèn lỗi sai vào chuỗi suy luận để xem chúng có ảnh hưởng đến câu trả lời cuối cùng hay không. (Lanham et al.; 2023 (mở trong tab mới))
2. Kỹ thuật giấu tin và Suy luận được mã hóa: Mô hình có thể mã hóa thông tin liên quan vào trong các token mà nó tạo ra, những token này không phản ánh đúng suy luận nội tại thực sự của nó. Hãy hình dung điều này giống như việc sử dụng những thay đổi tinh vi trong dấu câu, cách dùng từ, hoặc cách diễn đạt để cải thiện khả năng dự đoán. Mô hình có thể sử dụng những kỹ thuật như vậy để ngoại hiện hóa suy luận của nó, dùng CoT, nhưng theo cách không thực sự làm tăng tính minh bạch đối với người giám sát là con người. Cho đến nay, nghiên cứu cho thấy dù diễn đạt lại chuỗi suy luận theo nhiều cách khác nhau, hiệu suất của các mô hình trên các tác vụ suy luận vẫn không đổi. Điều này dường như cho thấy các mô hình thế hệ hiện tại thực sự đang sử dụng cấu trúc logic của suy luận, chứ không phải thông tin được mã hóa ẩn giấu. (Lanham et al.; 2023 (mở trong tab mới)) Vẫn chưa rõ liệu điều này có còn đúng với mọi mô hình trong tương lai hay không.

Dựa trên các phát hiện thực nghiệm hiện tại, có vẻ như việc suy luận nội tại có khớp với suy luận được thể hiện ra ngoài hay không tùy thuộc vào từng tác vụ cụ thể và có sự biến thiên. (Lanham et al.; 2023 (mở trong tab mới); Turpin et. al; 2023 (mở trong tab mới)) Chúng ta sẽ tìm hiểu sâu hơn về việc khơi gợi quá trình suy luận nội tại của LLM trong các bối cảnh đối kháng ở phần về An toàn AI thông qua Tranh biện.

ERO có thể chỉ đáng tin cậy đối với các mô hình nhỏ hơn. Một vấn đề với các cách tiếp cận suy luận ngoại hiện là những mô hình mạnh hơn thường ít phụ thuộc vào suy luận ngoại hiện hơn, do đó kém trung thực hơn. (Lanham et al.; 2023 (mở trong tab mới)) Điều này gợi ý rằng các mô hình nhỏ hơn có thể phù hợp hơn cho những tác vụ mà suy luận ngoại hiện đóng vai trò then chốt trong việc đảm bảo an toàn của mô hình. Các mô hình lớn hơn thường ít phụ thuộc vào suy luận ngoại hiện, dẫn đến suy luận kém trung thực hơn. Khi chúng ta tiếp tục mở rộng quy mô, các mô hình lớn hơn có thể tự tin đưa ra những câu trả lời phức tạp hơn mà không cần dựa vào suy luận ngoại hiện rõ ràng, làm gia tăng sự khác biệt giữa suy luận ngoại hiện và các quá trình nội tại.

Giám sát bỏ sót hậu quả của những gì mô hình không nghĩ tới. Ngay cả khi ERO có thể thành công trong việc làm minh bạch quá trình tư duy của AI, nó cũng chỉ giải quyết được những rủi ro liên quan đến việc AI thực hiện kiểu suy luận mà chúng ta sẽ không chấp thuận, chẳng hạn như tìm kiếm quyền lực hay tự bảo tồn. Nó không giải quyết được rủi ro rộng hơn là AI gây hại như một hệ quả phụ của các hoạt động chính của nó. Ví dụ, hãy nghĩ về cách con người đẩy các loài sinh vật đến bờ tuyệt chủng. Trong hầu hết trường hợp, không phải vì con người chủ động lên kế hoạch để tiêu diệt những loài đó. Thay vào đó, các loài thường tuyệt chủng vì con người thay đổi môi trường sống của chúng một cách mạnh mẽ – thông qua các hoạt động như phá rừng, xây dựng, hay ô nhiễm – mà không hề nghĩ đến sự sống còn của loài đó. Áp dụng phép loại suy này vào AI, rủi ro do các mô hình AI tương lai gây ra có thể không đến từ việc nó chủ động tìm cách giết hại con người. Thay vào đó, rủi ro nảy sinh từ việc mô hình AI thực hiện những hoạt động quy mô lớn mà vô tình dẫn đến những hệ quả phụ nguy hiểm. Nếu mô hình không bao giờ thực sự cân nhắc đến tác động lên con người, thì cũng sẽ không có quá trình suy luận sai lệch nào để người giám sát có thể đưa ra phản hồi tiêu cực. Người giám sát sẽ phải tự mình tìm ra những hậu quả có hại tiềm tàng từ các kế hoạch dài hạn phức tạp của AI. Điều này đòi hỏi người giám sát phải dự đoán được kết quả của những kế hoạch đó, một việc cực kỳ khó khăn do độ phức tạp của chúng. (Wentworth, 2022 (mở trong tab mới))

Nhân bản Quy trình

Các phương pháp học bắt chước truyền thống như nhân bản hành vi (behavioral cloning) tập trung vào việc học một ánh xạ trực tiếp từ trạng thái sang hành động, dựa trên các minh chứng quan sát được từ chuyên gia. Như chúng ta đã bàn ở phần trước trong mục này, các phương pháp dựa trên kết quả, dù hiệu quả trong một số trường hợp, có thể quá đơn giản và không nắm bắt được quá trình ra quyết định phong phú, từng bước một mà các chuyên gia sử dụng. Điều này có thể dẫn đến những mô hình hoạt động tốt trong các môi trường đã từng gặp nhưng lại gặp khó khăn khi khái quát hóa sang những tình huống mới, chưa từng thấy.

Nhân bản quy trình (Procedural Cloning) khắc phục hạn chế này bằng cách mở rộng nhân bản hành vi thông qua CoT. Nó cố gắng khiến mô hình nhân bản không chỉ kết quả cuối cùng (hành vi) mà còn toàn bộ quá trình mà chuyên gia thực hiện để đạt được hành vi đó, bằng cách đưa vào các bước trung gian trong hành vi của chuyên gia trong quá trình huấn luyện. (Yang et. al; 2022 (mở trong tab mới))

Nhân bản quy trình hoạt động bằng cách trước tiên thu thập các minh chứng của chuyên gia, không chỉ bao gồm các cặp trạng thái-hành động mà còn cả những bước trung gian hay phép tính dẫn đến những hành động đó. Ví dụ, trong một tác vụ định hướng mê cung, chuyên gia có thể sử dụng một thuật toán tìm kiếm để tìm đường đi tối ưu, và các bước trung gian của quá trình tìm kiếm này được ghi lại cùng với hành động cuối cùng. Trong quá trình huấn luyện, mô hình học cách dự đoán chuỗi các bước trung gian dẫn đến hành động cuối cùng, sử dụng một mô hình tuần tự, chẳng hạn như transformer, có khả năng xử lý bản chất tự hồi quy của tác vụ. Mô hình tối đa hóa khả năng của phân phối kết hợp giữa các quan sát về quy trình và hành động của chuyên gia. Trong quá trình suy luận, mô hình tạo ra một chuỗi các bước trung gian dựa trên trạng thái đầu vào, mô phỏng theo quy trình của chuyên gia trước khi đưa ra hành động cuối cùng. Phương pháp này cho phép mô hình tái hiện chính xác hơn quá trình ra quyết định của chuyên gia, ngay cả trong những môi trường mới, chưa từng gặp.