Chương 6.4: Học qua bắt chước

Ta có thể thử dạy hành vi đúng đắn bằng cách cho AI sao chép các minh chứng của con người. Nhưng AI có thể sao chép luôn cả sai lầm của ta, hoặc gặp khó khăn khi hiểu tại sao ta làm những việc đó — nhất là với những tác vụ mà chính con người cũng không làm hoàn hảo.

Các phần trước đã nhấn mạnh tầm quan trọng của đặc tả phần thưởng sai lệch đối với việc căn chỉnh các hệ thống trí tuệ nhân tạo trong tương lai. Vài phần tiếp theo sẽ khám phá các nỗ lực và đề xuất khác nhau nhằm giải quyết vấn đề này, bắt đầu từ một hướng tiếp cận trực quan — học hàm phần thưởng phù hợp thông qua việc quan sát và bắt chước hành vi con người, thay vì để người thiết kế tạo ra nó thủ công.

Học bắt chước (Imitation Learning – IL)

Định nghĩa 6.12 — Học bắt chước

Học bắt chước (imitation learning) là quá trình học thông qua việc quan sát hành động của một chuyên gia và mô phỏng lại hành vi đó.

Khác với học tăng cường (RL) — vốn xây dựng chính sách hành động của một hệ thống dựa trên kết quả tương tác của chính nó với môi trường — học bắt chước hướng đến việc học một chính sách thông qua quan sát một tác nhân khác tương tác với môi trường. Học bắt chước là tên gọi chung cho nhóm thuật toán học thông qua bắt chước.

IL có thể được hiện thực hóa thông qua nhân bản hành vi (behavioral cloning – BC), nhân bản quy trình (procedural cloning – PC), học tăng cường nghịch đảo (inverse reinforcement learning – IRL), học tăng cường nghịch đảo hợp tác (cooperative inverse reinforcement learning – CIRL), học bắt chước đối nghịch tạo sinh (generative adversarial imitation learning – GAIL), v.v.

Một ví dụ ứng dụng của quá trình này là trong việc huấn luyện các mô hình ngôn ngữ lớn (LLM) hiện đại. Sau khi được huấn luyện như những bộ sinh văn bản đa dụng, các LLM thường được tinh chỉnh (fine-tuning) để tuân theo chỉ dẫn thông qua học bắt chước, dựa trên ví dụ của một chuyên gia con người tuân theo các chỉ dẫn được đưa ra dưới dạng câu lệnh (prompt) văn bản và phần hoàn thành tương ứng.

Trong bối cảnh an toàn và căn chỉnh, học bắt chước được ưa chuộng hơn so với tăng cường trực tiếp, nhằm giảm bớt vấn đề đánh lừa đặc tả kỹ thuật. Vấn đề này nảy sinh khi các lập trình viên bỏ sót hoặc không lường trước được một số trường hợp biên hay những cách thức khác thường để hoàn thành một tác vụ trong môi trường cụ thể. Giả định ở đây là: việc trình diễn hành vi mẫu, so với RL, sẽ đơn giản và an toàn hơn, vì mô hình không chỉ đạt được mục tiêu mà còn hoàn thành nó đúng theo đúng ý định tường minh của chuyên gia trình diễn. Tuy nhiên, đây không phải là một giải pháp hoàn hảo tuyệt đối, và những hạn chế của nó sẽ được bàn đến ở các phần sau.

Nhân bản Hành vi (Behavioral Cloning – BC)

Định nghĩa 6.13 — Nhân bản Hành vi

Nhân bản hành vi (behavioral cloning) là việc thu thập các quan sát về một chuyên gia trình diễn thành thạo tác vụ liên quan, rồi dùng học có giám sát (supervised learning – SL) để hướng dẫn một tác nhân "bắt chước" hành vi đã được trình diễn đó.

Nhân bản hành vi là một trong những cách để hiện thực hóa học bắt chước (IL). Ngoài ra còn có những cách khác như học tăng cường nghịch đảo (IRL), hay học tăng cường nghịch đảo hợp tác (CIRL). Khác với IRL, mục tiêu của nhân bản hành vi — với tư cách một phương pháp học máy (ML) — là mô phỏng lại hành vi của người trình diễn càng sát càng tốt, bất kể mục tiêu thực sự của người trình diễn đó là gì.

Xe tự lái có thể dùng làm minh họa đơn giản cho cách nhân bản hành vi vận hành. Một người trình diễn (tài xế) được yêu cầu lái xe; trong lúc đó, dữ liệu về trạng thái môi trường từ các cảm biến như lidar và camera, cùng với các hành động mà người này thực hiện, được thu thập lại. Những hành động này có thể bao gồm động tác đánh lái, sang số, v.v. Việc này tạo ra một tập dữ liệu gồm các cặp (trạng thái, hành động). Sau đó, học có giám sát được dùng để huấn luyện một mô hình dự đoán, cố gắng dự đoán hành động cho bất kỳ trạng thái môi trường nào trong tương lai. Chẳng hạn, mô hình có thể xuất ra một góc đánh lái và cấu hình số cụ thể, dựa trên hình ảnh từ camera. Khi mô hình đạt độ chính xác đủ cao, ta có thể nói rằng hành vi của người tài xế đã được "nhân bản" vào một cỗ máy thông qua việc học. Đó là lý do có tên gọi nhân bản hành vi.

Sau đây là một số vấn đề tiềm ẩn có thể xuất hiện khi sử dụng nhân bản hành vi:

1. Tự tin nhưng sai lệch: Trong lúc trình diễn, các chuyên gia con người dựa vào một lượng kiến thức nền nhất định mà họ không hề truyền đạt lại cho mô hình. Ví dụ, khi huấn luyện một LLM để trò chuyện bằng nhân bản hành vi, người trình diễn có thể ít khi hỏi một số câu hỏi nhất định vì cho rằng đó là "lẽ thường". Một mô hình được huấn luyện để bắt chước sẽ sao chép lại cả hai điều — loại câu hỏi được đặt ra trong cuộc trò chuyện, lẫn tần suất chúng được hỏi. Con người vốn đã có sẵn kiến thức nền đó, nhưng một LLM thì không. Điều này có nghĩa là, để có được lượng thông tin tương đương con người, đáng lẽ mô hình phải hỏi một số câu hỏi thường xuyên hơn để lấp đầy khoảng trống kiến thức của nó. Nhưng vì mô hình chỉ cố bắt chước, nó sẽ giữ nguyên tần suất thấp mà con người đã trình diễn, và do đó, xét trên cùng một tác vụ hội thoại, nó luôn có ít thông tin hơn hẳn so với người trình diễn. Dù thiếu hụt kiến thức như vậy, ta vẫn kỳ vọng nó có thể hoạt động như một bản sao và đạt hiệu suất ngang tầm con người. Điều này có nghĩa là để đạt hiệu suất ngang con người trong khi có ít kiến thức hơn con người, mô hình sẽ phải "bịa ra sự thật" nhằm đạt được các mục tiêu hiệu suất của nó. Những "ảo giác" (hallucination) này sau đó sẽ được đưa ra trong cuộc trò chuyện với cùng một mức độ tự tin như mọi thông tin khác. Ảo giác và tình trạng tự tin dù sai lệch là một vấn đề đã được kiểm chứng thực nghiệm ở nhiều LLM, kể cả GPT-2 và GPT-3, và đặt ra những mối lo ngại rõ ràng đối với an toàn AI. (Xiao et al., 2021 (mở trong tab mới))
2. Tự giới hạn hiệu suất: Các dạng ảo giác nói trên xuất hiện vì mô hình biết quá ít. Nhưng mô hình cũng có thể biết quá nhiều. Nếu mô hình biết nhiều hơn người trình diễn — vì nó có khả năng tìm ra nhiều quy luật hơn trong trạng thái môi trường được cung cấp — nó sẽ loại bỏ phần thông tin dư đó và tự hạ hiệu suất của mình xuống ngang mức con người. Điều này xảy ra vì nó được huấn luyện như một "bản sao". Về lý tưởng, ta không muốn mô hình tự làm mình kém đi, hay giấu đi những quy luật mới hữu ích trong dữ liệu, chỉ vì nó đang cố hành xử hay đạt hiệu suất giống con người. Đây là một vấn đề khác cần được giải quyết nếu nhân bản hành vi tiếp tục được dùng như một kỹ thuật học máy.

Nhân bản Quy trình (Procedural Cloning – PC)

Định nghĩa 6.14 — Nhân bản quy trình

Nhân bản quy trình (procedure cloning – PC) mở rộng nhân bản hành vi (BC) bằng cách không chỉ bắt chước đầu ra của người trình diễn, mà còn bắt chước toàn bộ chuỗi các phép tính trung gian gắn liền với quy trình của một chuyên gia.

Trong BC, tác nhân học cách ánh xạ trực tiếp từ trạng thái sang hành động, bỏ qua các đầu ra tìm kiếm trung gian. Ngược lại, cách tiếp cận PC học toàn bộ chuỗi các phép tính trung gian trong quá trình huấn luyện, bao gồm cả các nhánh rẽ và bước quay lui. Trong quá trình suy luận, PC tạo ra một chuỗi các kết quả tìm kiếm trung gian mô phỏng lại quy trình tìm kiếm của chuyên gia, trước khi xuất ra hành động cuối cùng.

Điểm khác biệt chính giữa PC và BC nằm ở loại thông tin mà chúng sử dụng. BC chỉ có quyền truy cập vào các cặp trạng thái–hành động của chuyên gia như những minh chứng, còn PC còn có quyền truy cập cả những phép tính trung gian đã tạo ra các cặp trạng thái–hành động đó. PC học cách dự đoán toàn bộ chuỗi kết quả tính toán trung gian, giúp nó khái quát hóa tốt hơn sang các môi trường kiểm thử có cấu hình khác, so với các cải tiến khác của BC. Khả năng bắt chước quy trình tìm kiếm của chuyên gia giúp PC nắm bắt được lập luận và quá trình ra quyết định bên dưới, từ đó cải thiện hiệu suất ở nhiều tác vụ khác nhau. (Yang et al., 2022 (mở trong tab mới))

Một hạn chế của PC là chi phí tính toán cao hơn so với BC, do PC cần dự đoán cả các quy trình trung gian. Ngoài ra, việc lựa chọn cách mã hóa thuật toán của chuyên gia thành một dạng phù hợp cho PC được để ngỏ cho người thực hành quyết định, và có thể đòi hỏi một số phép thử-sai để thiết kế được chuỗi tính toán lý tưởng.

Học tăng cường Nghịch đảo (Inverse Reinforcement Learning – IRL)

Định nghĩa 6.15 — Học tăng cường nghịch đảo (IRL)

Học tăng cường nghịch đảo (inverse reinforcement learning – IRL) là một dạng học máy, trong đó một trí tuệ nhân tạo quan sát hành vi của một tác nhân khác — thường là một chuyên gia con người — trong một môi trường cụ thể, và cố gắng suy luận ra hàm phần thưởng mà không cần hàm đó được định nghĩa tường minh.

IRL thường được sử dụng khi một hàm phần thưởng quá phức tạp để đặc tả bằng lập trình, hoặc khi các tác nhân AI cần phản ứng vững vàng trước những thay đổi đột ngột của môi trường, đòi hỏi phải điều chỉnh hàm phần thưởng vì lý do an toàn. Ví dụ, hãy xét một tác nhân AI học cách thực hiện động tác lộn ngược ra sau (backflip). Con người, chó, và robot của Boston Dynamics đều có thể thực hiện động tác lộn ngược, nhưng cách chúng làm điều đó khác nhau đáng kể, tùy vào đặc điểm sinh học, động cơ và vị trí hiện tại của chúng — tất cả đều có thể vô cùng đa dạng trong thế giới thực. Một tác nhân AI học lộn ngược thuần túy qua phương pháp thử-sai, trên nhiều dạng cơ thể và địa điểm khác nhau, mà không có gì để quan sát, có thể sẽ rất kém hiệu quả.

Do đó, IRL không nhất thiết có nghĩa là AI bắt chước hành vi của các tác nhân khác, vì các nhà nghiên cứu AI có thể kỳ vọng tác nhân AI nghĩ ra những cách hiệu quả hơn để tối đa hóa hàm phần thưởng đã suy luận được. Tuy vậy, IRL vẫn giả định rằng tác nhân được quan sát hành xử đủ minh bạch để một tác nhân AI có thể xác định chính xác hành động của họ, và điều gì tạo nên thành công. Điều này có nghĩa là IRL cố gắng khám phá ra những hàm phần thưởng "giải thích" được các minh chứng quan sát được. Điều này không nên bị nhầm lẫn với học bắt chước, nơi mối quan tâm chính là một chính sách có khả năng tạo ra các minh chứng đã quan sát được.

IRL vừa là một phương pháp học máy — vì nó có thể được dùng khi việc đặc tả một hàm phần thưởng là quá khó khăn — vừa là một vấn đề học máy, vì một tác nhân AI có thể lựa chọn nhầm một hàm phần thưởng không chính xác, hoặc sử dụng những phương pháp không an toàn và mất căn chỉnh để đạt được nó.

Một trong những hạn chế của cách tiếp cận này là các thuật toán IRL giả định rằng hành vi quan sát được là tối ưu — một giả định có thể xem là quá chặt khi áp dụng cho các minh chứng của con người. Một vấn đề khác là bài toán IRL vốn là một bài toán đặt không chỉnh (ill-posed), vì mọi chính sách đều tối ưu đối với phần thưởng bằng không. Với hầu hết các quan sát hành vi, luôn tồn tại nhiều hàm phần thưởng khác nhau đều khớp với dữ liệu. Tập nghiệm này thường bao gồm nhiều nghiệm suy biến, gán phần thưởng bằng không cho mọi trạng thái.

Học tăng cường Nghịch đảo Hợp tác (Cooperative Inverse Reinforcement Learning – CIRL)

CIRL (Cooperative Inverse Reinforcement Learning — Học tăng cường nghịch đảo hợp tác) là một phần mở rộng của khung IRL (Học tăng cường nghịch đảo). IRL là một cách tiếp cận học nhằm suy luận hàm phần thưởng bên dưới của một chuyên gia thông qua quan sát hành vi của họ. Nó giả định rằng hành vi của chuyên gia là tối ưu, và cố gắng học một hàm phần thưởng giải thích được các hành động đó. CIRL, ngược lại, là một dạng IRL mang tính tương tác, giải quyết hai điểm yếu lớn của IRL truyền thống.

Thứ nhất, thay vì chỉ đơn thuần sao chép hàm phần thưởng của con người, CIRL được xây dựng như một quá trình học. Đây là một quá trình tối đa hóa phần thưởng mang tính tương tác, trong đó con người đóng vai trò người dạy và đưa ra phản hồi (dưới dạng phần thưởng) đối với các hành động của tác nhân. Điều này cho phép con người dẫn dắt tác nhân AI hướng đến những khuôn mẫu hành vi phù hợp với sở thích của họ. Điểm yếu thứ hai của IRL truyền thống là nó giả định con người hành xử tối ưu, điều này giới hạn các kiểu hành vi giảng dạy có thể được xem xét. CIRL khắc phục điểm yếu này bằng cách cho phép nhiều kiểu hành vi giảng dạy và tương tác khác nhau giữa con người và tác nhân AI. Nó giúp tác nhân AI học không chỉ hành động nào cần thực hiện, mà còn cả cách thức và lý do thực hiện hành động đó, thông qua việc quan sát và tương tác với con người.

CIRL đã được nghiên cứu như một cách tiếp cận tiềm năng cho căn chỉnh AI, đặc biệt trong các kịch bản mà học sâu có thể không mở rộng quy mô được đến trí tuệ nhân tạo tổng quát (Artificial General Intelligence – AGI). Tuy nhiên, quan điểm về hiệu quả tiềm năng của CIRL vẫn còn khác nhau: một số nhà nghiên cứu kỳ vọng nó sẽ hữu ích nếu học sâu không thể mở rộng quy mô lên đến AGI, trong khi những người khác lại đánh giá xác suất học sâu mở rộng quy mô thành công lên AGI là cao hơn.

Vấn đề Suy luận Mục tiêu

Định nghĩa 6.16 — Vấn đề suy luận mục tiêu

Vấn đề suy luận mục tiêu (goal inference problem) đề cập đến nhiệm vụ suy luận ra mục tiêu hay ý định của một tác nhân, dựa trên hành vi hay hành động quan sát được của tác nhân đó.

Phần cuối cùng này xây dựng dựa trên những hạn chế đã nêu ở các phần trước để giới thiệu Vấn đề Suy luận Mục tiêu, cùng với một tập con đơn giản hơn của nó — vấn đề suy luận mục tiêu đơn giản. Các cách tiếp cận dựa trên học bắt chước nhìn chung tuân theo các bước sau:

• Quan sát hành động và phát ngôn của người dùng.
• Suy luận ra sở thích của người dùng.
• Cố gắng cải thiện thế giới theo sở thích của người dùng, có thể hợp tác với người dùng và xin làm rõ khi cần.

Ưu điểm của phương pháp này là ta có thể bắt tay ngay vào xây dựng những hệ thống được dẫn dắt bởi hành vi quan sát được của người dùng. Tuy nhiên, hệ quả của cách tiếp cận này là ta gặp phải vấn đề suy luận mục tiêu. Đây là nhiệm vụ suy luận ra mục tiêu hay ý định của một tác nhân dựa trên hành vi hay hành động quan sát được của nó. Nó liên quan đến việc xác định tác nhân đang cố đạt được điều gì, hay kết quả mong muốn của họ là gì. Vấn đề suy luận mục tiêu rất khó khăn, vì các tác nhân có thể hành động không tối ưu, hoặc không đạt được mục tiêu của mình, khiến việc suy luận chính xác ý định thực sự của họ trở nên khó khăn. Các cách tiếp cận truyền thống đối với suy luận mục tiêu thường giả định rằng tác nhân hành động tối ưu, hoặc chỉ thể hiện những dạng phi-tối-ưu đơn giản hóa, điều này có thể không phản ánh đúng độ phức tạp của việc lập kế hoạch và ra quyết định trong thế giới thực. Vì vậy, vấn đề suy luận mục tiêu đòi hỏi phải tính đến cả độ khó của bản thân việc lập kế hoạch, lẫn khả năng xảy ra những kế hoạch không tối ưu hoặc thất bại.

Tuy nhiên, cách tiếp cận này cũng lạc quan giả định rằng ta có thể mô tả con người như một tác nhân phần nào duy lý, điều không phải lúc nào cũng đúng. Vấn đề suy luận mục tiêu đơn giản là một phiên bản đơn giản hóa của vấn đề suy luận mục tiêu.

Định nghĩa 6.17 — Vấn đề Suy luận Mục tiêu Đơn giản

Vấn đề suy luận mục tiêu đơn giản (easy goal inference problem) liên quan đến việc tìm ra một biểu diễn hay xấp xỉ hợp lý cho điều mà con người mong muốn, với giả định có quyền truy cập đầy đủ vào chính sách hay hành vi của con người trong mọi tình huống.

Phiên bản này của vấn đề giả định không có giới hạn thuật toán nào, và tập trung vào việc trích xuất những giá trị thực sự mà con người đang tối ưu hóa một cách không hoàn hảo. Tuy nhiên, ngay cả phiên bản đơn giản hóa này của vấn đề vẫn rất khó khăn, và tiến bộ đạt được cho trường hợp tổng quát còn rất ít. Vấn đề suy luận mục tiêu đơn giản có liên hệ với vấn đề suy luận mục tiêu, vì nó cho thấy rõ độ khó của việc suy luận chính xác mục tiêu hay ý định con người, ngay cả trong những kịch bản đã được đơn giản hóa. Trong khi các lĩnh vực hẹp với những quyết định đơn giản có thể được giải quyết bằng các cách tiếp cận hiện có, những tác vụ phức tạp hơn — như thiết kế một thành phố hay hoạch định chính sách — đòi hỏi phải giải quyết thách thức trong việc mô hình hóa sai lầm của con người và hành vi phi tối ưu. Vì vậy, vấn đề suy luận mục tiêu đơn giản đóng vai trò như một điểm khởi đầu để hiểu vấn đề suy luận mục tiêu rộng hơn, cùng những độ phức tạp bổ sung mà nó kéo theo.

Học tăng cường nghịch đảo (IRL) rất hiệu quả trong việc mô hình hóa và bắt chước các chuyên gia con người. Tuy nhiên, đối với nhiều ứng dụng quan trọng, ta lại mong muốn có những hệ thống AI có thể ra quyết định vượt trội hơn cả chuyên gia. Trong những trường hợp đó, độ chính xác của mô hình không phải là tiêu chí duy nhất, bởi một mô hình chính xác hoàn hảo cũng chỉ khiến ta lặp lại đúng hành vi con người, chứ không thể vượt qua nó.

Điều này đòi hỏi một mô hình tường minh về sai lầm hay tính duy lý có giới hạn (bounded rationality), để hướng dẫn AI cách cải thiện hay trở nên "thông minh hơn", cũng như xác định những khía cạnh nào của chính sách con người nên bị loại bỏ. Tuy nhiên, đây vẫn là một bài toán cực kỳ khó khăn, vì con người không đơn thuần là duy lý cộng thêm một chút nhiễu. Do đó, việc xây dựng bất kỳ mô hình sai lầm nào cũng phức tạp chẳng kém gì việc xây dựng một mô hình toàn diện về hành vi con người. Một câu hỏi then chốt ta phải đối mặt là: làm sao đánh giá chất lượng của một mô hình khi độ chính xác không còn là thước đo đáng tin cậy nữa? Làm sao ta phân biệt được đâu là quyết định tốt, đâu là quyết định tồi?