Chương 6.2: Tối ưu hóa

Khi một hệ thống AI được giao một mục tiêu đơn giản, đo lường được, và được yêu cầu tối đa hiệu suất bằng mọi giá, gần như chắc chắn nó sẽ tìm ra những đường tắt giúp đạt điểm số cao nhưng lại vi phạm hoàn toàn ý định ban đầu.

Tối ưu hóa (optimization) là khái niệm quan trọng cần hiểu đối với các mối quan tâm về an toàn AI, bởi nó đóng vai trò trung tâm trong học máy (machine learning – ML). Các hệ thống AI, đặc biệt là những hệ thống dựa trên học sâu (deep learning), được huấn luyện bằng các thuật toán tối ưu hóa để học các quy luật và mối liên hệ từ dữ liệu. Các thuật toán này cập nhật tham số của mô hình nhằm cực tiểu hóa một hàm mất mát (loss function), qua đó tối đa hóa hiệu suất của mô hình trên tác vụ được giao.

Tối ưu hóa khuếch đại một số hành vi hoặc kết quả nhất định, kể cả khi ban đầu chúng khó có khả năng xảy ra. Ví dụ, một bộ tối ưu hóa (optimizer) có thể tìm kiếm khắp không gian các đầu ra khả dĩ và chọn những hành động cực đoan đạt điểm số cao theo hàm mục tiêu (objective function), từ đó có thể dẫn đến những hành vi không mong muốn và ngoài ý định — trong đó có các thất bại do đặc tả phần thưởng sai lệch. Nhận thức rõ hơn về sức mạnh khuếch đại kết quả của tối ưu hóa có thể giúp ích cho việc thiết kế các hệ thống và thuật toán thực sự phù hợp với giá trị và mục tiêu của con người, ngay cả dưới áp lực tối ưu hóa. Điều này đòi hỏi phải đảm bảo quá trình tối ưu hóa phù hợp với mục tiêu và giá trị mà những người thiết kế hệ thống hướng đến, đồng thời cũng đòi hỏi phải cân nhắc các dạng thất bại tiềm ẩn và hậu quả ngoài ý muốn có thể phát sinh từ quá trình tối ưu hóa.

Rủi ro từ tối ưu hóa hiện diện ở khắp nơi trong lĩnh vực an toàn AI. Chương này chỉ đề cập sơ lược, và chủ đề này sẽ được bàn sâu hơn ở các chương về khái quát hóa sai mục tiêu (goal misgeneralization) và nền tảng tác nhân (agent foundations).

Sức mạnh tối ưu hóa đóng vai trò then chốt trong đánh lừa phần thưởng (reward hacking). Đánh lừa phần thưởng xảy ra khi các tác nhân RL khai thác sự chênh lệch giữa phần thưởng thật và phần thưởng đại diện (proxy reward). Sức mạnh tối ưu hóa càng tăng thì khả năng xảy ra hành vi đánh lừa phần thưởng càng cao. Trong một số trường hợp, có những điểm chuyển pha, tại đó chỉ cần tăng nhẹ sức mạnh tối ưu hóa cũng khiến tình trạng đánh lừa phần thưởng gia tăng đột biến.

Định luật Goodhart

Định nghĩa 6.5 — Định luật Goodhart

Khi một thước đo trở thành mục tiêu, nó không còn là một thước đo tốt nữa.

Ý tưởng này ban đầu bắt nguồn từ công trình của Charles Goodhart trong lý thuyết kinh tế học. Tuy nhiên, ngày nay nó đã trở thành một trong những thách thức cốt lõi ở nhiều lĩnh vực khác nhau, bao gồm cả căn chỉnh AI.

Để minh họa ý tưởng này, có một câu chuyện về một nhà máy đinh thời Liên Xô. Nhà máy nhận chỉ tiêu sản xuất càng nhiều đinh càng tốt, sản lượng cao thì được thưởng, sản lượng thấp thì bị phạt. Chỉ vài năm sau, nhà máy đã tăng đáng kể sản lượng đinh — nhưng đó là những chiếc đinh tí hon, về bản chất chỉ là đinh ghim, và hoàn toàn không dùng được cho mục đích ban đầu. Vì vậy, các nhà hoạch định đã đổi cách tính thưởng: họ quyết định thưởng cho nhà máy dựa trên tổng trọng lượng đinh sản xuất ra. Chỉ vài năm sau, nhà máy bắt đầu sản xuất những chiếc đinh to, nặng — về bản chất chỉ là những khối thép — và cũng chẳng dùng để đóng đinh được.

Một thước đo là thứ không bị tối ưu hóa, còn một mục tiêu là thứ bị tối ưu hóa. Khi ta đặc tả một mục tiêu để tối ưu hóa, việc kỳ vọng nó tương quan với thứ ta thực sự muốn là hợp lý. Ban đầu, thước đo có thể dẫn đến đúng loại hành động mà ta thực sự mong muốn. Nhưng một khi bản thân thước đo trở thành mục tiêu, việc tối ưu hóa mục tiêu đó sẽ bắt đầu đi chệch khỏi trạng thái ta mong muốn.

Trong bối cảnh AI và các hệ thống phần thưởng, Định luật Goodhart có nghĩa là: khi phần thưởng trở thành mục tiêu của một tác nhân AI, tác nhân đó sẽ làm mọi cách để tối đa hóa hàm phần thưởng, thay vì theo đuổi ý định ban đầu. Điều này có thể dẫn đến những hậu quả ngoài ý muốn và tình trạng thao túng hệ thống phần thưởng, bởi việc "gian lận" thường dễ hơn nhiều so với việc thực sự đạt được mục tiêu đề ra. Đây là một trong những nguyên nhân cốt lõi dẫn đến các thất bại do đánh lừa phần thưởng mà ta sẽ thấy ở các phần sau.

Đánh lừa phần thưởng có thể được xem là một biểu hiện của Định luật Goodhart trong bối cảnh các hệ thống AI. Khi thiết kế hàm phần thưởng, việc diễn đạt chính xác hành vi mong muốn là rất khó khăn, và các tác nhân có thể tìm ra cách khai thác lỗ hổng hoặc thao túng hệ thống phần thưởng để đạt phần thưởng cao mà không thực sự hoàn thành mục tiêu đề ra. Ví dụ, một robot dọn dẹp có thể tự tạo ra rác để bỏ vào thùng rác nhằm thu thập phần thưởng, thay vì thực sự dọn dẹp môi trường xung quanh. Hiểu rõ Định luật Goodhart là điều thiết yếu để giải quyết vấn đề đánh lừa phần thưởng và thiết kế các hệ thống phần thưởng vững chắc, phù hợp với mục tiêu thực sự của các tác nhân AI. Điều này cho thấy cần phải cân nhắc kỹ lưỡng các thước đo và động cơ khuyến khích được sử dụng trong hệ thống AI, để tránh những hậu quả ngoài ý muốn và các động cơ khuyến khích lệch lạc. Phần tiếp theo sẽ đi sâu hơn vào các trường hợp cụ thể của đặc tả phần thưởng sai lệch, và cách các AI có thể tìm ra cách đạt được đúng câu chữ của đặc tả mục tiêu, thu về phần thưởng cao, nhưng lại không hoàn thành nhiệm vụ đúng theo tinh thần thực sự của nó.