Chương 6.3: Đánh lừa đặc tả kỹ thuật

Ta không bao giờ có thể viết ra một cách hoàn hảo điều ta muốn một AI thực hiện; những AI thông minh thường tìm ra các lỗ hổng trong chỉ dẫn của ta, làm đúng những gì ta yêu cầu nhưng không phải điều ta thực sự muốn.

Định nghĩa 6.6 — Đặc tả phần thưởng sai lệch

Đặc tả phần thưởng sai lệch (reward misspecification) — còn được gọi là vấn đề căn chỉnh bên ngoài (Outer alignment) — đề cập đến việc cung cấp cho AI một phần thưởng chính xác để nó tối ưu hóa theo.

Vấn đề cốt lõi rất dễ hiểu: liệu hàm mất mát được đặc tả có phù hợp với mục tiêu mà người thiết kế thực sự hướng đến hay không? Tuy nhiên, việc hiện thực hóa điều này trong thực tế lại vô cùng khó khăn. Diễn đạt trọn vẹn "ý định" đằng sau một yêu cầu của con người đồng nghĩa với việc truyền tải toàn bộ giá trị của con người, bối cảnh văn hóa ngầm định, v.v. — những thứ mà bản thân chúng ta cũng chưa hiểu rõ.

Hơn nữa, do phần lớn các mô hình được thiết kế như những bộ tối ưu hóa mục tiêu, tất cả chúng đều dễ bị tổn thương trước Định luật Goodhart. Điều này có nghĩa là những hậu quả tiêu cực ngoài dự kiến có thể nảy sinh do áp lực tối ưu hóa quá mức lên một mục tiêu tưởng chừng đã được đặc tả tốt trong mắt con người, nhưng lại lệch khỏi mục tiêu thực sự theo những cách rất tinh vi.

Vấn đề tổng thể này có thể được chia thành các vấn đề riêng biệt, sẽ được giải thích chi tiết trong từng mục con bên dưới. Sau đây là một cái nhìn tổng quan nhanh:

1. Đặc tả phần thưởng sai lệch xảy ra khi hàm phần thưởng được đặc tả không nắm bắt chính xác mục tiêu thực sự hay hành vi mong muốn.
2. Thiết kế phần thưởng là quá trình thiết kế hàm phần thưởng nhằm giúp hành vi của các tác nhân AI phù hợp với mục tiêu đề ra.
3. Đánh lừa phần thưởng là hành vi của các tác nhân RL khai thác những khoảng trống hay lỗ hổng trong hàm phần thưởng được đặc tả để đạt được phần thưởng cao mà không thực sự hoàn thành mục tiêu đề ra.
4. Thao túng phần thưởng là một khái niệm rộng hơn, bao gồm mọi sự can thiệp không phù hợp của tác nhân lên chính quy trình tạo ra phần thưởng, không tính việc thao túng hàm phần thưởng thông qua hành vi đánh lừa.

Trước khi đi sâu vào các dạng cụ thể của thất bại do đặc tả phần thưởng sai lệch, phần tiếp theo sẽ giải thích rõ hơn tầm quan trọng của việc thiết kế phần thưởng song song với thiết kế thuật toán. Phần này cũng làm rõ độ khó nổi tiếng của việc thiết kế những phần thưởng thực sự hiệu quả.

Thiết kế Phần thưởng

Định nghĩa 6.7 — Thiết kế Phần thưởng

Thiết kế phần thưởng (reward design) là quá trình đặc tả hàm phần thưởng trong học tăng cường (RL).

Thiết kế phần thưởng là một thuật ngữ rộng hơn định hình phần thưởng (reward shaping), bao trùm toàn bộ quá trình thiết kế và định hình hàm phần thưởng để dẫn dắt hành vi của các hệ thống AI. Nó không chỉ bao gồm việc định hình phần thưởng, mà còn cả quá trình tổng thể xác định mục tiêu, đặc tả sở thích, và tạo ra các hàm phần thưởng phù hợp với giá trị con người và kết quả mong muốn. Thiết kế phần thưởng là thuật ngữ thường được dùng thay thế cho nhau với kỹ nghệ phần thưởng (reward engineering) (Christiano, 2019 (mở trong tab mới)). Cả hai đều chỉ cùng một khái niệm.

Thiết kế thuật toán RL và thiết kế phần thưởng RL là hai khía cạnh tách biệt của học tăng cường. Thiết kế thuật toán RL liên quan đến việc phát triển và hiện thực hóa các thuật toán học, giúp tác nhân học và tinh chỉnh hành vi của mình dựa trên phần thưởng và tương tác với môi trường. Quá trình này bao gồm việc thiết kế các cơ chế và quy trình mà qua đó tác nhân học hỏi từ trải nghiệm của mình, cập nhật chính sách, và đưa ra quyết định nhằm tối đa hóa phần thưởng tích lũy.

Ngược lại, thiết kế phần thưởng RL tập trung vào việc đặc tả và thiết kế hàm phần thưởng dẫn dắt quá trình học của tác nhân RL. Thiết kế phần thưởng đòi hỏi phải xây dựng hàm phần thưởng một cách cẩn trọng, sao cho phù hợp với hành vi và mục tiêu mong muốn, đồng thời lường trước những cạm bẫy tiềm ẩn như đánh lừa phần thưởng hay thao túng phần thưởng. Hàm phần thưởng là yếu tố then chốt, vì nó định hình hành vi của tác nhân RL và quyết định hành động nào được xem là đáng mong muốn hay không.

Thiết kế một hàm phần thưởng thường là một thách thức không nhỏ, đòi hỏi chuyên môn và kinh nghiệm đáng kể. Để minh họa độ phức tạp của công việc này, hãy thử hình dung việc thiết kế thủ công một hàm phần thưởng để khiến một tác nhân thực hiện động tác lộn ngược ra sau (backflip), như minh họa trong hình dưới đây:

Trong khi thiết kế thuật toán RL tập trung vào cơ chế học và ra quyết định của tác nhân, thiết kế phần thưởng RL tập trung vào việc xác định mục tiêu và định hình hành vi của tác nhân thông qua hàm phần thưởng. Cả hai khía cạnh đều thiết yếu trong việc phát triển các hệ thống RL hiệu quả và có căn chỉnh tốt. Một thuật toán RL được thiết kế tốt có thể học hiệu quả từ phần thưởng, trong khi một hàm phần thưởng được thiết kế cẩn thận có thể dẫn dắt tác nhân hướng đến hành vi mong muốn và tránh những hậu quả ngoài ý muốn. Sơ đồ dưới đây thể hiện ba yếu tố then chốt trong thiết kế tác nhân RL — thiết kế thuật toán, thiết kế phần thưởng, và việc ngăn chặn hành vi thao túng tín hiệu phần thưởng:

Quá trình thiết kế phần thưởng thường ít được chú trọng trong các tài liệu nhập môn về RL, dù nó đóng vai trò then chốt trong việc xác định rõ vấn đề cần giải quyết. Như đã đề cập ở phần mở đầu của mục này, việc giải quyết vấn đề đặc tả phần thưởng sai lệch đòi hỏi phải tìm ra những thước đo đánh giá có khả năng chống chịu trước các thất bại do Định luật Goodhart gây ra. Điều này bao gồm cả những thất bại bắt nguồn từ việc tối ưu hóa quá mức một mục tiêu bị lệch hướng hoặc một mục tiêu đại diện (đánh lừa phần thưởng), lẫn việc tác nhân can thiệp trực tiếp vào tín hiệu phần thưởng (thao túng phần thưởng). Các khái niệm này sẽ được khai thác sâu hơn ở những phần tiếp theo.

Định hình Phần thưởng

Định nghĩa 6.8 — Định hình Phần thưởng

Định hình phần thưởng (reward shaping) là một kỹ thuật trong RL, đưa thêm các phần thưởng trung gian nhỏ để bổ sung cho phần thưởng từ môi trường. Kỹ thuật này nhằm giảm bớt vấn đề tín hiệu phần thưởng thưa, đồng thời khuyến khích việc khám phá và học nhanh hơn.

Để giải quyết thành công một bài toán học tăng cường, một AI cần làm được hai việc:

• Tìm ra một chuỗi hành động dẫn đến phần thưởng dương. Đây là vấn đề khám phá (exploration problem).
• Ghi nhớ chuỗi hành động cần thực hiện, và khái quát hóa sang những tình huống liên quan nhưng hơi khác biệt. Đây là vấn đề học (learning problem).

Các phương pháp RL phi mô hình (model-free) khám phá bằng cách thực hiện hành động ngẫu nhiên. Nếu tình cờ những hành động ngẫu nhiên đó dẫn đến phần thưởng, chúng sẽ được củng cố, và tác nhân sẽ có xu hướng thực hiện lại những hành động có lợi này trong tương lai. Cách này hoạt động tốt nếu phần thưởng đủ dày đặc để các hành động ngẫu nhiên có xác suất hợp lý dẫn đến phần thưởng. Tuy nhiên, nhiều trò chơi phức tạp hơn đòi hỏi những chuỗi hành động rất cụ thể và kéo dài mới nhận được bất kỳ phần thưởng nào, và những chuỗi hành động như vậy gần như không thể xảy ra một cách ngẫu nhiên.

Một ví dụ kinh điển cho vấn đề này được quan sát thấy trong trò chơi điện tử Montezuma's Revenge, nơi mục tiêu của tác nhân là tìm ra một chiếc chìa khóa, nhưng lại cần rất nhiều bước trung gian mới tìm được. Để giải quyết những bài toán lập kế hoạch dài hạn như vậy, các nhà nghiên cứu đã thử thêm các thành phần bổ sung vào hàm phần thưởng nhằm khuyến khích hành vi mong muốn hoặc hạn chế hành vi không mong muốn.

Mục tiêu của định hình phần thưởng là làm cho quá trình học hiệu quả hơn, bằng cách cung cấp những phần thưởng giàu thông tin để dẫn dắt tác nhân hướng đến kết quả mong muốn. Định hình phần thưởng có nghĩa là cung cấp thêm phần thưởng cho tác nhân mỗi khi nó tiến gần hơn đến mục tiêu mong muốn. Nhờ việc định hình phần thưởng, tác nhân nhận được phản hồi thường xuyên và có ý nghĩa hơn, giúp nó học hiệu quả hơn. Định hình phần thưởng đặc biệt hữu ích trong những tình huống mà hàm phần thưởng gốc quá thưa, nghĩa là tác nhân nhận được rất ít hoặc không nhận được phản hồi nào cho đến khi đạt mục tiêu cuối cùng. Tuy nhiên, việc thiết kế định hình phần thưởng cần được thực hiện cẩn thận để tránh những hậu quả ngoài ý muốn.

Các thuật toán định hình phần thưởng thường giả định có sẵn những hàm định hình được xây dựng thủ công, đặc thù cho từng lĩnh vực, do các chuyên gia trong ngành tạo ra — điều này đi ngược lại mục tiêu học tự động (autonomous learning). Hơn nữa, việc lựa chọn phần thưởng định hình không tốt có thể làm giảm hiệu suất của tác nhân.

Định hình phần thưởng được thiết kế kém có thể khiến tác nhân tối ưu hóa theo phần thưởng đã được định hình thay vì phần thưởng thực sự, dẫn đến hành vi không tối ưu. Các ví dụ cho vấn đề này sẽ được trình bày ở phần tiếp theo, về đánh lừa phần thưởng.

Đánh lừa Phần thưởng

Định nghĩa 6.9 — Đánh lừa phần thưởng

Đánh lừa phần thưởng (reward hacking) xảy ra khi một tác nhân AI tìm ra cách khai thác lỗ hổng hoặc đường tắt trong môi trường để tối đa hóa phần thưởng của mình mà không thực sự đạt được mục tiêu đề ra.

Đánh lừa đặc tả kỹ thuật là cách gọi chung cho vấn đề khi một hệ thống AI tìm ra cách đạt được mục tiêu theo một hướng ngoài dự tính. Đánh lừa đặc tả kỹ thuật có thể xảy ra ở nhiều loại mô hình học máy khác nhau. Đánh lừa phần thưởng là một biểu hiện cụ thể của thất bại do đánh lừa đặc tả kỹ thuật, xảy ra trong các hệ thống RL vận hành dựa trên cơ chế phần thưởng.

Đánh lừa phần thưởng và đặc tả phần thưởng sai lệch là hai khái niệm có liên quan nhưng mang ý nghĩa khác nhau. Đặc tả phần thưởng sai lệch đề cập đến tình huống mà hàm phần thưởng được đặc tả không nắm bắt chính xác mục tiêu thực sự hay hành vi mong muốn.

Đánh lừa phần thưởng không phải lúc nào cũng đòi hỏi phải có đặc tả phần thưởng sai lệch. Không hẳn là một phần thưởng được đặc tả hoàn hảo (nắm bắt đầy đủ và chính xác hành vi mong muốn của hệ thống) thì không thể bị đánh lừa. Vẫn có thể tồn tại những cách hiện thực hóa bị lỗi hoặc hỏng hóc, gây ra những hành vi ngoài ý muốn. Mục đích của một hàm phần thưởng là rút gọn một hệ thống phức tạp xuống thành một giá trị duy nhất. Việc này hầu như luôn kéo theo sự đơn giản hóa nào đó, khiến nó hơi khác so với những gì bạn thực sự muốn mô tả. Bản đồ không phải là vùng đất.

Đánh lừa phần thưởng có thể biểu hiện dưới vô số hình thức. Chẳng hạn, trong bối cảnh các tác nhân chơi game, nó có thể là việc khai thác các lỗi hay trục trặc phần mềm để trực tiếp thao túng điểm số hoặc thu được phần thưởng cao thông qua những cách thức ngoài dự tính.

Lấy một ví dụ cụ thể: một tác nhân trong trò chơi Coast Runners được huấn luyện với mục tiêu thắng cuộc đua. Trò chơi sử dụng cơ chế tính điểm, nên để tiến lên cấp độ tiếp theo, những người thiết kế phần thưởng đã dùng định hình phần thưởng để thưởng cho hệ thống mỗi khi nó ghi điểm. Điểm được cộng khi con thuyền thu thập vật phẩm (như những khối màu xanh lá trong đoạn hoạt hình bên dưới) hoặc hoàn thành các hành động khác được cho là sẽ giúp nó thắng cuộc đua. Dù đã được cấp các phần thưởng trung gian, mục tiêu tổng thể ban đầu vẫn là về đích càng nhanh càng tốt. Các nhà phát triển nghĩ rằng cách tốt nhất để đạt điểm cao là thắng cuộc đua, nhưng thực tế không phải vậy. Tác nhân đã phát hiện ra rằng việc liên tục xoay vòng con thuyền để tích điểm vô hạn định sẽ tối ưu hóa phần thưởng của nó, dù điều đó chẳng hề giúp nó thắng cuộc đua.

Trong những trường hợp hàm phần thưởng không phù hợp với mục tiêu mong muốn, đánh lừa phần thưởng có thể xuất hiện. Điều này có thể khiến tác nhân tối ưu hóa một phần thưởng đại diện (proxy reward), lệch khỏi mục tiêu thực sự bên dưới, từ đó tạo ra hành vi trái ngược với ý định của người thiết kế. Lấy một ví dụ có thể xảy ra trong thực tế: một robot dọn dẹp — nếu hàm phần thưởng tập trung vào việc giảm bừa bộn, robot có thể cố tình tạo ra sự bừa bộn để dọn dẹp, nhằm thu thập phần thưởng, thay vì thực sự dọn dẹp môi trường hiệu quả.

Đánh lừa phần thưởng đặt ra những thách thức đáng kể cho an toàn AI, do nguy cơ dẫn đến hành vi ngoài ý muốn và có khả năng gây hại. Vì vậy, việc đối phó với đánh lừa phần thưởng vẫn là một hướng nghiên cứu tích cực trong lĩnh vực an toàn AI và căn chỉnh AI.

Thao túng Phần thưởng

Định nghĩa 6.10 — Thao túng phần thưởng

Thao túng phần thưởng (reward tampering) đề cập đến những trường hợp một tác nhân AI can thiệp hoặc thao túng một cách không phù hợp vào chính quy trình tạo ra phần thưởng.

Vấn đề hoàn thành một nhiệm vụ đề ra có thể được chia thành:

1. Thiết kế một tác nhân giỏi tối ưu hóa phần thưởng
2. Thiết kế một quy trình phần thưởng cung cấp cho tác nhân những phần thưởng phù hợp. Quy trình phần thưởng có thể được hiểu rõ hơn nếu phân tích sâu hơn nữa. Quy trình này bao gồm:
3. Một hàm phần thưởng đã được hiện thực hóa
4. Một cơ chế thu thập dữ liệu cảm biến phù hợp làm đầu vào
5. Một cách để người dùng có thể cập nhật hàm phần thưởng khi cần.

Thao túng phần thưởng là việc tác nhân can thiệp vào nhiều phần khác nhau của quy trình phần thưởng này. Một tác nhân có thể bóp méo phản hồi nhận được từ mô hình phần thưởng, làm sai lệch thông tin dùng để cập nhật hành vi của nó. Nó cũng có thể thao túng cách hiện thực hóa mô hình phần thưởng, thay đổi mã nguồn hoặc phần cứng để làm sai lệch cách tính phần thưởng. Trong một số trường hợp, các tác nhân thực hiện thao túng phần thưởng thậm chí có thể trực tiếp chỉnh sửa giá trị phần thưởng ngay trong thanh ghi của máy, trước khi nó được xử lý. Tùy vào việc thứ gì bị thao túng, ta sẽ có các mức độ thao túng phần thưởng khác nhau. Những mức độ này có thể được phân biệt qua hình minh họa dưới đây.

Thao túng đầu vào của hàm phần thưởng chỉ can thiệp vào các đầu vào của hàm phần thưởng. Ví dụ: can thiệp vào cảm biến.

Thao túng hàm phần thưởng là việc tác nhân thay đổi chính hàm phần thưởng.

Định nghĩa 6.11 — Tự kích thích phần thưởng (Wireheading)

Tự kích thích phần thưởng (wireheading) đề cập đến hành vi của một hệ thống thao túng hoặc làm hỏng cấu trúc nội bộ của chính nó, bằng cách can thiệp trực tiếp vào thuật toán RL, ví dụ như thay đổi giá trị trong thanh ghi.

Thao túng phần thưởng là điều đáng lo ngại, bởi có giả thuyết cho rằng việc thao túng quy trình phần thưởng thường sẽ xuất hiện như một mục tiêu công cụ (instrumental goal) (Bostrom, 2014 (mở trong tab mới); Omohundro, 2008 (mở trong tab mới)). Điều này có thể làm suy yếu hoặc phá vỡ mối liên hệ giữa phần thưởng quan sát được và nhiệm vụ thực sự được giao. Đây là một hướng nghiên cứu vẫn đang tiếp diễn.

Một ví dụ được cho là đã tồn tại của thao túng phần thưởng có thể thấy ở các thuật toán gợi ý được dùng trên mạng xã hội. Những thuật toán này tác động đến trạng thái cảm xúc của người dùng để tạo ra nhiều lượt "thích" hơn. Nhiệm vụ ban đầu là cung cấp nội dung hữu ích hoặc hấp dẫn, nhưng điều này lại đang được thực hiện bằng cách can thiệp vào nhận thức cảm xúc của con người, qua đó làm thay đổi chính khái niệm "hữu ích". Nếu năng lực của các hệ thống tiếp tục tăng lên nhờ những tiến bộ về tính toán hay thuật toán, có thể hình dung rằng vấn đề thao túng phần thưởng sẽ ngày càng trở nên phổ biến hơn. Vì vậy, thao túng phần thưởng là một mối lo tiềm ẩn cần được nghiên cứu và kiểm chứng thực nghiệm nhiều hơn nữa.