Chương 8.4: Khuếch đại lặp lại

Chúng ta có thể cải thiện giới hạn giám sát của con người bằng cách sử dụng trợ lý AI để đưa ra phản hồi. Việc huấn luyện các mô hình mới bằng những hệ thống người-AI đã được khuếch đại có thể tạo ra những mô hình ngày càng căn chỉnh tốt hơn với giá trị con người, qua đó có khả năng mở rộng quy mô giám sát vượt ra ngoài giới hạn của con người.

Ở các phần trước, chúng ta đã bàn về các phương pháp phân rã tác vụ, và khả năng mô phỏng việc ra quyết định của con người bằng cách chia nhỏ nhận thức thành những thành phần nhỏ hơn. Trong phần này, chúng ta sẽ giải thích một trong những động lực chính khiến ta muốn phân rã tác vụ ngay từ đầu – đó là để khuếch đại (amplify) năng lực của người giám sát. Chúng ta muốn nâng cao (khuếch đại) năng lực của con người hoặc AI để tạo ra những tín hiệu huấn luyện tốt hơn, giúp tiếp tục căn chỉnh AI theo cách lặp đi lặp lại.

Khuếch đại

Khuếch đại năng lực (capability amplification) là gì? Khuếch đại là quá trình nâng cao năng lực của một người giám sát, dù là con người hay AI, để giải quyết những tác vụ phức tạp vượt quá khả năng của một người giám sát đơn lẻ. Dạng khuếch đại phổ biến nhất cũng được gọi là khuếch đại năng lực. Nó tập trung vào việc nâng cao khả năng giải quyết các tác vụ phức tạp của AI bằng cách cải thiện trí thông minh và kỹ năng giải quyết vấn đề của nó. Chúng ta muốn AI không chỉ bắt chước hành vi con người mà còn cải thiện nó, đưa ra những quyết định tốt hơn và đạt được kết quả vượt trội hơn. (Christiano Paul, 2016 (mở trong tab mới)) Chúng ta có thể khuếch đại năng lực theo nhiều cách khác nhau:

• Tổng hợp (Aggregation): Chúng ta có thể hợp tác với nhau và tổng hợp chuyên môn của nhiều chuyên gia để nâng cao khả năng giải quyết các tác vụ phức tạp. Đối với những tác vụ như tác vụ mờ, nơi tiêu chí đánh giá mang tính chủ quan, việc sử dụng nhiều chuyên gia để đưa ra phản hồi có thể tạo ra một tín hiệu huấn luyện đáng tin cậy và đại diện hơn. Ví dụ, trong các cách tiếp cận học bắt chước, việc thu thập minh chứng từ một nhóm chuyên gia thay vì một cá nhân có thể giúp chuẩn hóa phân phối hành vi và cải thiện hiệu suất tổng thể của tác vụ. Vì vậy, chỉ đơn giản sử dụng nhiều người giám sát hơn cũng là một cách để khuếch đại.
• Trợ lý (Assistants): Bên cạnh việc khuếch đại năng lực bằng cách huy động thêm nhiều người giám sát, chúng ta cũng có thể đơn giản là cải thiện hiệu suất của từng cá nhân bằng cách sử dụng trợ lý. Ví dụ, nếu muốn dùng một LLM để hỗ trợ nghiên cứu y khoa, chúng ta có thể dùng nó để đọc qua một lượng lớn tài liệu y khoa và làm nổi bật những phương pháp điều trị tiềm năng dựa trên các khuôn mẫu và hiểu biết mà nó nhận diện được. Trợ lý AI cung cấp một danh sách các phương pháp điều trị tiềm năng, mà sau đó một nhóm nhà nghiên cứu y khoa có thể xem xét chi tiết và tìm hiểu sâu hơn.
• Phân rã Tác vụ (Task Decomposition): Dù không phải là điều kiện bắt buộc để khuếch đại, phân rã và ủy thác tác vụ thường là một trong những cách phổ biến nhất để triển khai khuếch đại. Việc có những tác vụ có thể được phân rã và giải quyết riêng lẻ giúp việc giải quyết bài toán trở nên dễ mở rộng quy mô hơn nhiều. Trong cùng ví dụ ở trên về việc dùng LLM làm công cụ nghiên cứu y khoa, nếu tác vụ có thể phân rã được, chúng ta có thể khuếch đại năng lực của các nhà nghiên cứu hơn nữa. LLM trước tiên có thể xác định các nghiên cứu và dữ liệu liên quan, sau đó một mô hình AI khác có thể trích xuất và tóm tắt các phát hiện chính, và cuối cùng, một nhóm chuyên gia có thể xem xét những bản tóm tắt này để đưa ra quyết định sáng suốt về các phương pháp điều trị tiềm năng.

Khuếch đại lặp lại (iterated amplification) là gì? Dù chúng ta đang khuếch đại năng lực, mục tiêu nền tảng vẫn là sử dụng nghiên cứu này để phục vụ căn chỉnh. Khuếch đại năng lực cho phép chúng ta né tránh khó khăn quá lớn của việc đặc tả phần thưởng, hay việc tạo ra tín hiệu huấn luyện cho các tác vụ mờ phức tạp. Thay vào đó, chúng ta có thể thực hiện những cải tiến từng bước nhỏ.

Khuếch đại lặp lại xây dựng dựa trên khái niệm cơ bản của khuếch đại bằng cách khiến quá trình này trở nên đệ quy. Mỗi vòng lặp bao gồm việc sử dụng hệ thống đã khuếch đại để tạo ra những tín hiệu huấn luyện và lời giải tốt hơn cho các bài toán, để chúng ta có thể lặp đi lặp lại việc sử dụng những tín hiệu huấn luyện tốt hơn này nhằm huấn luyện những mô hình có năng lực và mức độ căn chỉnh cao hơn. Những mô hình được cải thiện này sau đó lại tiếp tục khuếch đại năng lực của chúng ta, tạo ra một vòng lặp phản hồi giúp mở rộng quy mô giám sát. Về mặt lý thuyết, chúng ta có thể dùng cách này để mở rộng quy mô giám sát của con người tới bất kỳ tác vụ nào.

Bằng cách tập trung vào việc làm cho AI tốt hơn một chút mỗi lần, chúng ta tránh được nhu cầu phải có một thiết kế ban đầu hoàn hảo. Chúng ta chỉ cần tiếp tục cải thiện nó theo từng bước. Trong một thế giới lý tưởng, điều này cho phép chúng ta giảm nhẹ bài toán đặc tả phần thưởng, và đảm bảo rằng khi các hệ thống AI trở nên mạnh mẽ hơn, chúng cũng trở nên thành thạo hơn trong việc xử lý các tác vụ phức tạp mà không đánh mất sự căn chỉnh.

Dưới đây là một ví dụ sơ lược về cách quá trình khuếch đại lặp lại có thể diễn ra:

• Huấn luyện Ban đầu: Chúng ta bắt đầu bằng việc huấn luyện một LLM nền tảng trên một tập dữ liệu rộng để phát triển năng lực tổng quát, tương tự cách các mô hình như GPT-3 được huấn luyện trên một lượng lớn dữ liệu văn bản để hiểu và tạo ra ngôn ngữ con người.
• Khuếch đại: Trong ví dụ nghiên cứu y khoa của chúng ta, LLM được tinh chỉnh và sử dụng để hỗ trợ xác định và chẩn đoán các bệnh phức tạp. Tiếp theo, chúng ta chia nhỏ việc chẩn đoán phức tạp thành các tác vụ con nhỏ hơn, dễ quản lý mà mô hình có thể xử lý. Những tác vụ này có thể bao gồm xác định các triệu chứng chính, đối chiếu chúng với các bệnh đã biết, và đề xuất các xét nghiệm hoặc phương pháp điều trị ban đầu. Nhiều thực thể của LLM có thể mỗi thực thể xử lý một tác vụ con khác nhau. Một thực thể tập trung vào việc thu thập và phân tích chi tiết triệu chứng bệnh nhân, một thực thể khác tập trung vào việc đối chiếu những triệu chứng này với các bệnh lý đã biết, và thực thể thứ ba tập trung vào việc đề xuất xét nghiệm hoặc phương pháp điều trị ban đầu. Kết hợp lời giải của các tác vụ con để giải quyết bài toán phức tạp ban đầu, tạo ra một hệ thống tổng thể có năng lực cao hơn. Mô hình kết hợp những kết quả này thành một báo cáo chi tiết, toàn diện, bao gồm chẩn đoán khả dĩ, các xét nghiệm được đề xuất để xác nhận chẩn đoán, và các phương án điều trị tiềm năng.
• Huấn luyện lại: Kết quả đầu ra này sau đó được một nhóm chuyên gia y khoa xem xét và đưa ra phản hồi. Phản hồi và kết quả đầu ra được dùng để huấn luyện lại LLM, cải thiện khả năng xác định các bệnh phức tạp của nó qua từng vòng lặp.
• Lặp lại: Quá trình này được lặp lại, mỗi chu kỳ bao gồm việc khuếch đại và huấn luyện lại tiếp theo. Mô hình dần trở nên tốt hơn trong việc xác định phương pháp điều trị, cung cấp những kết quả đầu ra chính xác và hữu ích hơn qua từng vòng lặp. Vòng lặp lặp đi lặp lại này đảm bảo sự cải thiện liên tục cả về năng lực lẫn mức độ căn chỉnh.

Khuếch đại Độ tin cậy (Reliability Amplification). Khuếch đại năng lực tập trung vào việc làm cho một hệ thống AI thông minh hơn hoặc có năng lực hơn, bằng cách cải thiện khả năng giải quyết các tác vụ phức tạp thông qua hợp tác và chia nhỏ tác vụ thành các phần đơn giản hơn. Ngược lại, khuếch đại độ tin cậy tập trung vào việc làm cho một hệ thống AI đáng tin cậy hơn, bằng cách giảm tỷ lệ thất bại của nó. Nó đảm bảo hệ thống AI có thể thực hiện các tác vụ này một cách nhất quán, chính xác, không mắc sai sót. Ngay cả khi một AI thường hoạt động tốt và căn chỉnh với giá trị con người, nó vẫn có thể thỉnh thoảng hành xử sai, đặc biệt khi gặp phải những đầu vào hiếm gặp hoặc bất thường. Nếu nó hành xử theo cách không mong muốn 1% số lần, việc kết hợp mười quyết định từ những mô hình này có thể dẫn đến tỷ lệ thất bại lên tới 9,6%. Chỉ cần một lần thất bại trong chuỗi quy trình cũng khiến toàn bộ quy trình thất bại. Điều này khiến sự kết hợp trở nên kém tin cậy hơn, dù nó có năng lực cao hơn. Khuếch đại độ tin cậy nhằm mục tiêu khiến sai sót trở nên cực kỳ hiếm gặp, từ đó giúp AI trở nên căn chỉnh hơn. Nhìn chung, cách tiếp cận này bổ trợ cho khuếch đại năng lực. (Christiano, 2016 (mở trong tab mới))

Một số ý tưởng về cách chúng ta có thể triển khai các cơ chế khuếch đại độ tin cậy:

• Hệ thống Dự phòng: Một phương pháp là sử dụng nhiều hệ thống AI để thực hiện cùng một tác vụ một cách độc lập. Sự dự phòng này có nghĩa là ngay cả khi một hệ thống thất bại, những hệ thống khác vẫn có thể đưa ra kết quả đúng. Ví dụ, nếu chúng ta sử dụng các mô hình ngôn ngữ trong một lĩnh vực đòi hỏi độ tin cậy cao như y tế, chúng ta có thể sử dụng ba thực thể riêng biệt của cùng một LLM để phân tích cùng các triệu chứng của bệnh nhân một cách độc lập với nhau.
• Bỏ phiếu Đa số: Khi nhiều mô hình được sử dụng cho cùng một tác vụ, kết quả đầu ra của chúng có thể được so sánh với nhau. Nếu hầu hết các hệ thống đồng thuận về một lời giải, lời giải đó có thể được xem là nhiều khả năng đúng hơn. Nếu kết quả của một hệ thống khác biệt, việc bỏ phiếu đa số có thể giúp chọn ra câu trả lời đúng, giảm nguy cơ thất bại. Tiếp tục với ví dụ ở trên, mỗi thực thể của LLM đề xuất một chẩn đoán. Nếu hai thực thể trở lên đồng thuận về cùng một chẩn đoán, chẩn đoán đó được xem là đáng tin cậy hơn. Nếu một thực thể có ý kiến khác biệt, việc bỏ phiếu đa số sẽ được dùng để xác định chẩn đoán cuối cùng.
• Kiểm tra Chéo Lỗi: Trong các lĩnh vực đòi hỏi an toàn cao, chúng ta có thể triển khai các cơ chế để kiểm tra chéo và xác nhận kết quả đầu ra của các hệ thống AI. Điều này liên quan đến việc sử dụng các phương pháp hoặc thuật toán khác nhau để giải quyết cùng một bài toán, rồi so sánh kết quả để đảm bảo độ chính xác. Trong bối cảnh của ví dụ trên, chúng ta có thể triển khai thêm các cơ chế để xác nhận kết quả đầu ra. Ví dụ, sử dụng các thuật toán riêng biệt hoặc một hệ thống dựa trên quy tắc để kiểm tra chéo chẩn đoán do các LLM đưa ra.
• Cải thiện Lặp lại: Không ngừng tinh chỉnh các hệ thống AI để giảm tỷ lệ thất bại của từng hệ thống riêng lẻ. Trong bối cảnh ví dụ về LLM y khoa, chúng ta sẽ liên tục theo dõi và tinh chỉnh mô hình bằng cách phản hồi lại những trường hợp mà chẩn đoán sai hoặc không chắc chắn. Sau đó chúng ta có thể cải thiện các mô hình dựa trên phản hồi này để giảm tỷ lệ thất bại của từng mô hình theo thời gian.

Khuếch đại Bảo mật (Security Amplification). Khuếch đại bảo mật giải quyết thách thức đảm bảo rằng một hệ thống AI đã được căn chỉnh không hành xử sai lệch trước những đầu vào hiếm gặp hoặc "xấu". Trong khi khuếch đại độ tin cậy tập trung vào việc giảm xác suất thất bại của một AI đã được căn chỉnh, khuếch đại bảo mật nhằm mục tiêu giảm sự phổ biến của những đầu vào xấu này. Về bản chất, nó tìm cách khiến việc tìm ra một đầu vào có thể khiến AI hành xử không mong muốn trở nên khó khăn theo cấp số nhân. (Christiano, 2016 (mở trong tab mới))

Về mặt thực tiễn, khuếch đại bảo mật là việc tạo ra các hệ thống AI có khả năng chống chịu trước những đầu vào đối kháng (adversarial inputs). Đây là những đầu vào được thiết kế đặc biệt để khai thác lỗ hổng trong AI, khiến nó hành động theo cách không mong muốn. Các mô hình AI cần có cơ chế để bảo vệ trước những đầu vào khai thác các điểm yếu này. Khuếch đại bảo mật cho phép cải thiện lặp lại các hệ thống AI. Điều này khá tương đồng với khái niệm đầu vào đối kháng hay các phương pháp huấn luyện đối kháng mà chúng ta đã bàn ở các chương trước.

Chưng cất

Hạn chế của việc chỉ khuếch đại. Khuếch đại là một kỹ thuật mạnh mẽ giúp nâng cao năng lực, độ tin cậy và bảo mật của các hệ thống AI. Tuy nhiên, chỉ riêng khuếch đại thôi cũng đặt ra một số thách thức:

• Độ phức tạp: Các hệ thống đã khuếch đại có thể trở nên phức tạp đến mức con người khó lòng hiểu và quản lý. Sự phức tạp này có thể che khuất cách các quyết định được đưa ra, khiến việc đảm bảo hệ thống hoạt động an toàn và đúng như dự định trở nên khó khăn.
• Sử dụng Tài nguyên: Các mô hình đã khuếch đại thường đòi hỏi lượng tài nguyên tính toán đáng kể. Việc tiếp tục khuếch đại và mở rộng quy mô có thể khá tốn kém, đặc biệt đối với các ứng dụng thời gian thực hoặc có tài nguyên hạn chế.
• Hiệu quả Vận hành: Các hệ thống đã khuếch đại có thể bao gồm nhiều thành phần tương tác với nhau, dẫn đến các vấn đề về phối hợp, sự kém hiệu quả trong thực thi, và khó khăn trong việc duy trì tính mạch lạc và ổn định.

Chính để giải quyết những hạn chế này mà chúng ta cần đến bước chưng cất.

Chưng cất là gì? Chưng cất (distillation) là một quá trình biến đổi một mô hình lớn, phức tạp (hoặc một hệ thống gồm nhiều mô hình) thành một phiên bản nhỏ hơn, hiệu quả hơn, mà không đánh mất những năng lực cốt lõi đã đạt được thông qua khuếch đại. Thuật ngữ "chưng cất" được dùng vì nó tương tự quá trình chưng cất trong hóa học. Trong hóa học, thuật ngữ này dùng để chỉ việc tinh chế một chất bằng cách loại bỏ tạp chất. Tương tự, trong an toàn AI, chưng cất mô hình nhằm mục đích "tinh chế" tri thức đã tích lũy được trong quá trình khuếch đại, để giữ lại chức năng và năng lực cốt lõi dưới một dạng gọn nhẹ hơn.

Mô hình lớn hơn, phức tạp hơn thường được gọi là mô hình "thầy", còn mô hình nhỏ hơn, hiệu quả hơn được gọi là mô hình "trò". Quá trình này cho phép mô hình nhỏ hơn mô phỏng lại hành vi và hiệu suất của mô hình lớn hơn, trong khi vẫn nhanh hơn và cần ít tài nguyên hơn. Dưới đây là quy trình chung để chưng cất tri thức từ một mô hình đã khuếch đại:

• Huấn luyện mô hình thầy: Ban đầu, một mô hình lớn và phức tạp được huấn luyện trên một tập dữ liệu. Đây chính là mô hình đã khuếch đại.
• Tạo ra mục tiêu: Mô hình thầy sau đó được dùng để tạo ra kết quả đầu ra trên một tập dữ liệu huấn luyện nào đó. Điều này bao gồm cả kết quả đầu ra cuối cùng, lẫn xác suất được gán cho mỗi kết quả khả dĩ (mục tiêu mềm).
• Huấn luyện Mô hình Trò: Mô hình trò được huấn luyện bằng cách sử dụng những mục tiêu mềm này cùng với dữ liệu huấn luyện gốc. Bằng cách mô phỏng lại kết quả đầu ra của mô hình thầy, mô hình trò học cách bắt chước hiệu suất của mô hình thầy. Trong quá trình chưng cất, mô hình trò học cách xấp xỉ hàm số mà mô hình thầy đã học được. Việc này thường được thực hiện bằng cách tối thiểu hóa một hàm mất mát đo lường sự khác biệt giữa dự đoán của mô hình trò và mục tiêu mềm của mô hình thầy.

Chưng cất và Khuếch đại Lặp lại (IDA)

Sau khi đã tìm hiểu riêng biệt về cơ chế của khuếch đại và chưng cất, chúng ta có thể kết hợp hai cách tiếp cận này thành một vòng lặp liên tục mà chúng ta gọi là Chưng cất và Khuếch đại Lặp lại (Iterated Distillation and Amplification – IDA). Mục tiêu chính của IDA là tạo ra những tín hiệu huấn luyện ngày càng tốt hơn, sử dụng các mô hình đã khuếch đại, cho những tác vụ khó đánh giá trực tiếp, từ đó duy trì sự giám sát đối với các mô hình AI khi kết quả đầu ra của chúng trở nên quá phức tạp để con người có thể đánh giá chính xác. Cách tiếp cận này nhằm giải quyết bài toán đặc tả, hay còn gọi là bài toán căn chỉnh bên ngoài (outer alignment).

Lợi thế của IDA nằm ở bản chất lặp đi lặp lại của nó, cho phép xây dựng dần dần một tín hiệu huấn luyện vững chắc thông qua việc phân rã và tái tổ hợp tác vụ, thay vì phụ thuộc vào một tín hiệu được đặc tả hoàn hảo ngay từ đầu.

Quy trình từng bước của IDA. Đây là cách chúng ta có thể sử dụng IDA về mặt lý thuyết để tạo ra tín hiệu huấn luyện/phản hồi ngày càng tốt hơn cho các mô hình của mình:

1. Huấn luyện Mô hình Ban đầu: Bắt đầu với một mô hình cơ sở có thể thực hiện một phiên bản tương đối đơn giản của tác vụ. Chúng ta có thể sử dụng học có giám sát, học bắt chước, hoặc học tăng cường để huấn luyện mô hình ban đầu này, nhằm đạt được một mức năng lực và căn chỉnh cơ bản.
2. Khuếch đại: Sử dụng nhiều bản sao của mô hình, các công cụ bên ngoài, hoặc bất kỳ kỹ thuật nào khác để nâng cao năng lực của mô hình nhằm giải quyết những tác vụ phức tạp hơn. Một ví dụ về tác vụ phức tạp là việc tạo ra tín hiệu huấn luyện. Người giám sát sử dụng năng lực đã khuếch đại để hỗ trợ việc tạo ra tín hiệu huấn luyện tốt hơn.
3. Phân rã tác vụ: Nếu có thể, chia tác vụ thành các tác vụ con có thể hoàn thành riêng lẻ. Nhiều bản sao của mô hình giải quyết các tác vụ con và làm việc song song. Sau đó chúng ta kết hợp các kết quả đầu ra tập thể để giải quyết bài toán phức tạp hơn.
4. Chưng cất: Huấn luyện một mô hình nén, đơn giản hơn (trò) để bắt chước hành vi của hệ thống đã khuếch đại phức tạp (thầy). Quá trình này đơn giản hóa hay "chưng cất" hành vi phức tạp của một hệ thống tiên tiến hơn thành một dạng mà một mô hình đơn lẻ có thể hiểu và tái tạo. Mục tiêu là giữ lại năng lực đã khuếch đại trong khi làm cho mô hình hiệu quả hơn và duy trì mức độ căn chỉnh. Bước chưng cất này giúp cải thiện khả năng mở rộng quy mô. Nếu chúng ta cải thiện hiệu quả của một mô hình có năng lực cao hơn, căn chỉnh tốt hơn, chúng ta có thể chạy nhiều bản sao hơn của nó. Nếu có thể chạy nhiều bản sao hơn, chúng ta có thể tiếp tục quá trình này.
5. Lặp lại: Các bước chưng cất và khuếch đại được lặp lại. Mỗi chu kỳ tinh chỉnh mô hình, khiến nó có năng lực cao hơn và căn chỉnh tốt hơn.

Hạn chế và Phê phán đối với IDA

• Chưng cất Phải Bảo toàn Sự Căn chỉnh: Các phương pháp huấn luyện cần đảm bảo mô hình đã chưng cất hành xử giống như người giám sát sẽ hành xử, không tạo ra những hành vi mất căn chỉnh.
• Khuếch đại Phải Bảo toàn Sự Căn chỉnh: Quá trình khuếch đại cần sử dụng các chương trình con AI theo cách ngăn ngừa việc tối ưu hóa mất căn chỉnh.
• Giới hạn của Giám sát Con người: Người giám sát là con người, nếu có đủ nguồn lực, cần có khả năng tận dụng các trợ lý AI để giải quyết hiệu quả những bài toán phức tạp. Quá trình này phụ thuộc rất nhiều vào năng lực và giới hạn của người giám sát là con người, và những lỗ hổng do con người tạo ra có thể vẫn tồn tại.
• Khó khăn trong Mở rộng Quy mô: Quá trình này có thể đòi hỏi tính toán chuyên sâu, đặc biệt trong các bước khuếch đại, khiến việc mở rộng quy mô hiệu quả trở nên khó khăn.
• Duy trì các Năng lực Cần thiết: Các mô hình đã chưng cất có thể không giữ lại toàn bộ năng lực của các mô hình đã khuếch đại, có khả năng làm giảm hiệu suất trên các tác vụ phức tạp.
• Sai sót Tích lũy: Các quá trình lặp đi lặp lại tiềm ẩn nguy cơ tích lũy sai sót hoặc lệch giá trị, khi những sai lệch nhỏ tích tụ dần theo thời gian.
• Giới hạn của Phân rã Thuật toán: Không phải tác vụ nào cũng có thể dễ dàng được phân rã thành các tác vụ con đơn giản hơn, điều này giới hạn khả năng áp dụng của IDA trong một số lĩnh vực nhất định.