Chương 8.2: Phân rã tác vụ

Để việc mở rộng quy mô giám sát trở nên khả thi, chúng ta có thể chia nhỏ những tác vụ lớn, phức tạp thành các tác vụ con nhỏ hơn, có thể xác minh được.

Phân rã tác vụ (Task Decomposition) là gì? Phân rã tác vụ là quá trình chia nhỏ một tác vụ phức tạp thành các tác vụ con dễ quản lý hơn. Kỹ thuật này giúp việc giải quyết những bài toán phức tạp trở nên dễ dàng hơn, bằng cách chia chúng thành các thành phần đơn giản hơn, có thể xử lý độc lập. Ví dụ, nếu bạn cần tóm tắt một cuốn sách, bạn có thể chia nhỏ tác vụ lớn này thành việc tóm tắt từng chương riêng lẻ. Bản tóm tắt của mỗi chương sau đó sẽ góp phần tạo nên bản tóm tắt tổng thể của cả cuốn sách.

Ví dụ:

• Tác vụ: Tóm tắt cuốn sách.
• Phân rã: Tóm tắt từng chương riêng biệt.

Có thể xem việc phân rã tác vụ như một phương pháp để vượt qua sự phức tạp. Con người xử lý sự phức tạp của thế giới bằng cách sử dụng các lớp trừu tượng hóa, trong đó mỗi lớp che giấu phần lớn chi tiết bên dưới, cho phép chúng ta tập trung vào những phần thông tin có thể quản lý được. Khả năng này rất quan trọng, vì con người chỉ có thể ghi nhớ một vài mẩu thông tin cùng lúc trong đầu. Phân rã tác vụ giúp chúng ta giải quyết những bài toán cực kỳ phức tạp bằng cách chia nhỏ chúng thành các bài toán con đơn giản hơn.

Phân rã tác vụ đệ quy (Recursive Task Decomposition) là gì? Phân rã tác vụ đệ quy mở rộng khái niệm cơ bản trên bằng cách tiếp tục chia nhỏ từng tác vụ con thành những tác vụ con chi tiết hơn nữa. Quá trình lặp đi lặp lại này tiếp diễn cho đến khi mỗi tác vụ đủ đơn giản để giải quyết trực tiếp. Tiếp tục với ví dụ tóm tắt sách, phân rã tác vụ đệ quy sẽ tiếp tục chia nhỏ bản tóm tắt mỗi chương thành tóm tắt từng trang, rồi tóm tắt từng trang lại được chia nhỏ thành tóm tắt từng đoạn văn, cho đến khi tác vụ đủ đơn giản để đánh giá trực tiếp.

Ví dụ:

• Tác vụ: Tóm tắt cuốn sách.
• Phân rã:
• Tóm tắt từng chương.
• Tóm tắt từng trang trong mỗi chương.
• Tóm tắt từng đoạn văn trong mỗi trang.

Phân rã tác vụ giúp tạo ra tín hiệu huấn luyện tốt hơn như thế nào? Như đã đề cập ở các phần trước, khi hệ thống AI trở nên mạnh mẽ hơn, con người sẽ khó cung cấp đúng tín hiệu huấn luyện hay dữ liệu, đặc biệt với những tác vụ có tiêu chí đánh giá mang tính chủ quan (tác vụ mờ). Điều cốt lõi mà chúng ta đang cố gắng thực hiện với phân rã tác vụ là giảm bớt độ khó của việc cung cấp tín hiệu huấn luyện cho đánh giá của con người. Tác vụ đơn giản hơn nghĩa là việc cung cấp tín hiệu huấn luyện dễ dàng hơn, đồng thời cũng nghĩa là tác vụ dễ xác minh hơn. Vì vậy, phân rã tác vụ đóng vai trò khá quan trọng đối với sự thành công của nhiều kỹ thuật giám sát mở rộng quy mô.

Phân rã một tác vụ là việc chia nó thành những phần nhỏ hơn, dễ quản lý hơn. Những phần này giúp bạn hiểu và quản lý tác vụ tốt hơn, nhưng chúng không phải lúc nào cũng có thể được giải quyết hay tái sử dụng một cách độc lập. Những đặc tính then chốt mà chúng ta mong muốn ở một cách phân rã tốt bao gồm:

• Khả năng phân rã đệ quy: Hệ thống cần có khả năng phân rã tác vụ theo kiểu đệ quy, từ đó chia một bài toán thành các tác vụ con đơn giản hơn. Ví dụ, tóm tắt một cuốn sách liên quan đến việc chia nó thành các chương, rồi các trang, rồi các đoạn văn, cho đến khi đạt tới một mức độ khó tối thiểu nào đó của tác vụ.
• Tính độc lập/mô-đun hóa: Các tác vụ con riêng lẻ cần có khả năng được hoàn thành độc lập và song song mà không phụ thuộc lẫn nhau hay phụ thuộc vào tác vụ tổng thể. Ví dụ, mỗi bộ tóm tắt chỉ tập trung vào một đoạn văn mà không cần hiểu toàn bộ cuốn sách.
• Khả năng tổng hợp: Chúng ta cần có khả năng kết hợp lời giải của các tác vụ con độc lập thành một lời giải mạch lạc, đầy đủ cho bài toán ban đầu. Ví dụ, kết hợp tất cả các bản tóm tắt chương/đoạn văn độc lập để có được bản tóm tắt hoàn chỉnh của toàn bộ cuốn sách.

Phân rã tác vụ trong quá trình học tập. Khi chúng ta chia nhỏ một tác vụ phức tạp thành các tác vụ con, mỗi tác vụ con trở nên dễ hiểu và dễ giải quyết hơn. Quá trình này cho phép người học xây dựng kiến thức theo từng bước, tập trung vào một phần nhỏ tại một thời điểm. Khi mỗi phần được hiểu và nắm vững, người học dần dần xây dựng được sự hiểu biết toàn diện về tác vụ lớn hơn. Vì nguyên tắc này hoạt động hiệu quả với con người, một câu hỏi tự nhiên đặt ra là liệu chúng ta có thể áp dụng điều tương tự vào quá trình học máy để tạo ra tín hiệu huấn luyện tốt hơn cho các mô hình của mình hay không. Đây chính là điều chúng ta sẽ khám phá ở các phần tiếp theo, khi cố gắng mô phỏng lại toàn bộ quá trình nhận thức của con người thông qua nhận thức phân rã (factored cognition).

Nhận thức Phân rã

Nhận thức phân rã (Factored Cognition) là gì? Nhận thức phân rã là một cách giúp các mô hình học máy (ML) mô phỏng lại tư duy con người (nhận thức) bằng cách chia nhỏ các tác vụ nhận thức phức tạp thành những tác vụ con nhỏ hơn. Nó tận dụng nguyên tắc vượt qua sự phức tạp này bằng cách phân rã một bài toán thành các bài toán con nhỏ hơn, dễ giải quyết hơn.

Bằng cách hình dung bản thân nhận thức như một tác vụ mờ, chúng ta có thể dùng phép phân rã tác vụ để chia nhỏ tư duy thành một chuỗi các tác vụ, từ đó có thể huấn luyện các mô hình ML với tín hiệu huấn luyện chính xác mô phỏng nhận thức con người. Bằng cách ghi lại cách con người giải quyết vấn đề thông qua các hành động rõ ràng trong những bối cảnh hẹp, chúng ta có thể huấn luyện các hệ thống ML bắt chước những quá trình này. Những hệ thống này sau đó có thể đóng vai trò là trợ lý đáng tin cậy, đảm nhận nhiều tác vụ hơn và mở rộng năng lực nhận thức của con người trong việc đánh giá và giám sát.

Định nghĩa 8.1 — Nhận thức Phân rã

: Nhận thức phân rã đề cập đến những cơ chế trong đó việc học tập và suy luận phức tạp được chia nhỏ (hay phân rã) thành nhiều tác vụ nhỏ, phần lớn độc lập với nhau.

(Ought, 2018 (mở trong tab mới))

Hãy xem xét tác vụ nhận thức là quyết định cách đầu tư 100.000 đô la sao cho mang lại lợi ích xã hội lớn nhất. Một con người sẽ cần phân tích nhiều yếu tố, dự đoán kết quả, và đưa ra những quyết định sáng suốt. Bằng cách chia nhỏ tác vụ này thành các tác vụ con dễ quản lý hơn, mỗi tác vụ con có thể được giải quyết bằng những tín hiệu huấn luyện rõ ràng, chúng ta có thể giao phó những tác vụ này cho các hệ thống ML.

Những lợi thế then chốt của nhận thức phân rã bao gồm:

1. Ủy thác (Delegation): Vì các tác vụ đã được phân rã, chúng ta có thể giao các tác vụ con cho những tác nhân khác nhau để họ làm việc độc lập. Điều này đòi hỏi phải đưa ra hướng dẫn rõ ràng và kết quả kỳ vọng cho mỗi tác nhân. Ví dụ, những tác nhân khác nhau (bộ tóm tắt) có thể được giao những chương cụ thể để tóm tắt. Những tác nhân này lại có thể tiếp tục ủy thác việc tóm tắt cho các tác nhân con, mỗi tác nhân con tập trung vào từng trang hoặc từng đoạn văn riêng lẻ. Mỗi tác nhân làm việc độc lập, chỉ tập trung vào phần việc của mình mà không cần hiểu toàn bộ cuốn sách.
2. Siêu suy luận (Meta-reasoning): Nhận thức phân rã cũng bao gồm việc áp dụng lối tư duy này vào chính quá trình phân rã. Nếu các tác vụ có thể được phân rã thành những tác vụ con giải quyết được độc lập, thì bản thân việc phân rã cũng có thể được xem là một tác vụ có thể phân rã được. Điều này liên quan đến việc suy luận về quá trình phân rã, học hỏi từ những lần thử trước, điều chỉnh chiến lược, và không ngừng cải thiện cách phân rã để đảm bảo mỗi tác vụ con là tự khép kín và dễ quản lý. Ban đầu, con người có thể thực hiện siêu suy luận bằng cách giám sát quá trình phân rã, quyết định cách chia nhỏ những tác vụ phức tạp, và khi nào nên dừng việc phân rã thêm nữa. Ở những hệ thống tiên tiến hơn, các tác nhân con (mô hình AI) cũng có thể thực hiện siêu suy luận bằng cách học hỏi từ con người và tự áp dụng những chiến lược này một cách tự động.

Cách tiếp cận phân rã bài toán này phản ánh chính cách con người tư duy. Khi suy nghĩ, chúng ta thường luân phiên giữa việc phân rã và giải quyết vấn đề. Bằng cách chia nhỏ một bài toán thành các phần nhỏ hơn và giải quyết từng phần, chúng ta kiểm soát được sự phức tạp và khiến tác vụ trở nên dễ tiếp cận hơn.

Nhận thức phân rã là một cách tiếp cận tổng quát có thể được sử dụng theo nhiều cách khác nhau. Các phần sau sẽ khám phá Chưng cất và Khuếch đại Lặp lại (Iterated Distillation and Amplification – IDA) cũng như Tranh biện (Debate), cả hai đều sử dụng việc phân rã tác vụ như một công cụ trong cách tiếp cận rộng lớn hơn của chúng đối với an toàn AI.