Chương 1.2: Mô hình nền tảng

Chúng ta đã chứng kiến một sự chuyển đổi hệ hình (paradigm) từ AI hẹp sang các hệ thống đa dụng, có khả năng thích ứng, được tiền huấn luyện trên lượng dữ liệu khổng lồ. Sự chuyển đổi hệ hình này đặt ra những thách thức an toàn mới, chưa từng có tiền lệ.

Mô hình nền tảng thể hiện một sự chuyển đổi căn bản trong cách chúng ta phát triển AI. Thay vì xây dựng các mô hình chuyên biệt cho nhiều nhiệm vụ nhỏ, cụ thể, giờ đây chúng ta có thể huấn luyện các mô hình quy mô lớn đóng vai trò làm "nền tảng" cho nhiều ứng dụng khác nhau. Những mô hình này sau đó được chuyên biệt hoá thông qua một quá trình gọi là tinh chỉnh (fine-tuning) để thực hiện các nhiệm vụ cụ thể. Hãy hình dung điều này giống như việc chúng ta có thể xây nhiều loại công trình khác nhau trên cùng một kết cấu nền móng (Bommasani et al., 2022 (mở trong tab mới)). Ta có thể xây ngân hàng, nhà hàng, hay nhà ở, nhưng phần nền móng bên dưới về cơ bản vẫn giữ nguyên. Đây chỉ là một định nghĩa trực quan, nhanh gọn. Chúng tôi sẽ đi sâu hơn vào chi tiết ở vài mục tiếp theo, về việc huấn luyện, các đặc tính, và rủi ro.

Cách tiếp cận truyền thống — huấn luyện các mô hình AI chuyên biệt cho từng nhiệm vụ — thường tỏ ra kém hiệu quả và hạn chế. Tiến độ bị nghẽn cổ chai bởi nhu cầu về dữ liệu được gán nhãn thủ công, và bởi việc không thể chuyển giao tri thức hiệu quả giữa các nhiệm vụ. Mô hình nền tảng đã vượt qua những hạn chế này thông qua một quá trình gọi là học tự giám sát (self-supervised learning) trên các tập dữ liệu khổng lồ không được gán nhãn. Bước đột phá này xảy ra vì nhiều lý do khác nhau — tiến bộ trong phần cứng chuyên dụng như GPU, các kiến trúc học máy mới như transformer, và khả năng tiếp cận ngày càng lớn với lượng dữ liệu trực tuyến khổng lồ (Kaplan et al., 2020 (mở trong tab mới)) là một số lý do nổi bật nhất cho sự chuyển dịch này.

Trong xử lý ngôn ngữ, các mô hình như GPT-4 và Claude là những ví dụ về mô hình nền tảng. Cả hai đều đã thể hiện khả năng tạo ra ngôn ngữ tự nhiên như con người, trò chuyện phức tạp, và thực hiện các nhiệm vụ suy luận đơn giản (OpenAI, 2023 (mở trong tab mới)). Ví dụ trong lĩnh vực thị giác máy tính bao gồm các mô hình như DALL-E 3 và Stable Diffusion (Betker et al., 2023 (mở trong tab mới)). Đây đều là những ví dụ riêng cho từng lĩnh vực cụ thể, nhưng chúng ta cũng đang chứng kiến một xu hướng hướng tới các mô hình nền tảng đa phương tiện (Large Multimodal Models - LMM). Xu hướng này bao gồm những mô hình như GPT-4V và Gemini, có thể hoạt động trên nhiều loại dữ liệu khác nhau — xử lý và tạo ra văn bản, hình ảnh, mã, âm thanh, và có lẽ còn nhiều hơn nữa trong tương lai (Google, 2023 (mở trong tab mới)). Ngay cả trong lĩnh vực học tăng cường, nơi các mô hình theo truyền thống được huấn luyện cho những nhiệm vụ cụ thể, chúng ta cũng đang chứng kiến các mô hình nền tảng như Gato thể hiện khả năng học các hành vi đa dụng, có thể thích ứng với nhiều nhiệm vụ hạ nguồn khác nhau (Reed et al., 2022 (mở trong tab mới)).

Mô hình nền tảng đánh dấu một sự chuyển đổi hệ hình hướng tới các hệ thống đa dụng. Hệ hình mới này kéo theo nhiều rủi ro trước đây chưa từng tồn tại. Có thể kể đến rủi ro lợi dụng sai mục đích xuất phát từ việc tập trung quyền lực, đồng nhất hoá (homogenization), và năng lực lưỡng dụng (dual-use), chỉ là một vài ví dụ. Khả năng học được những năng lực rộng, có thể chuyển giao của mô hình nền tảng đã dẫn đến những hành vi ngày càng tinh vi trỗi dậy từ những mục tiêu huấn luyện tương đối đơn giản (Wei et al., 2022 (mở trong tab mới)). Những năng lực phức tạp, kết hợp với tính đa dạng và việc mở rộng quy mô, có nghĩa là chúng ta cần nghiêm túc xem xét các rủi ro an toàn vượt ra ngoài phạm vi lợi dụng sai mục đích — những rủi ro trước đây tưởng chừng chỉ mang tính lý thuyết hoặc còn xa vời. Không chỉ dừng lại ở rủi ro lợi dụng sai mục đích, những vấn đề như mất căn chỉnh cũng ngày càng trở thành mối lo ngại lớn hơn theo mỗi năng lực mới mà các mô hình nền tảng này thể hiện. Chúng tôi dành hẳn một chương riêng để bàn về những rủi ro này. Nhưng chúng tôi cũng sẽ cho bạn nếm trước một chút về các loại rủi ro có thể xảy ra ngay trong vài mục tiếp theo, vì điều đó cũng đáng được nhắc lại.

Vậy sự khác biệt giữa mô hình nền tảng và mô hình tiên phong (frontier models) là gì? Mô hình tiên phong đại diện cho ranh giới tối tân nhất của năng lực AI — đó là những mô hình tiên tiến nhất trong lĩnh vực tương ứng của chúng. Dù nhiều mô hình tiên phong cũng đồng thời là mô hình nền tảng (như Claude 3.5 Sonnet), điều này không phải lúc nào cũng đúng. Ví dụ, AlphaFold, dù là một mô hình tiên phong trong dự đoán cấu trúc protein, lại thường không được xem là mô hình nền tảng, vì nó được chuyên biệt hoá cho một nhiệm vụ duy nhất, thay vì đóng vai trò nền tảng tổng quát cho nhiều ứng dụng khác nhau (Jumper et al., 2021 (mở trong tab mới)).

Huấn luyện

Nhìn chung, mô hình nền tảng sử dụng một quy trình huấn luyện gồm hai giai đoạn. Đầu tiên, chúng trải qua giai đoạn mà chúng ta gọi là tiền huấn luyện (pre-training), sau đó, chúng có thể được điều chỉnh thông qua nhiều cơ chế khác nhau như tinh chỉnh hay khung hỗ trợ (scaffolding) để thực hiện các nhiệm vụ cụ thể. Thay vì học từ các ví dụ được gán nhãn thủ công cho từng nhiệm vụ cụ thể, những mô hình này học bằng cách tìm ra các quy luật trong lượng dữ liệu khổng lồ không được gán nhãn.

Tiền huấn luyện là giai đoạn ban đầu, nơi mô hình học các quy luật và tri thức tổng quát từ những tập dữ liệu khổng lồ gồm hàng triệu, hàng tỷ ví dụ. Trong giai đoạn này, mô hình không được huấn luyện cho bất kỳ nhiệm vụ cụ thể nào — thay vào đó, nó phát triển những năng lực rộng, có thể được chuyên biệt hoá sau này. Tính đa dạng này vừa mạnh mẽ, vừa đáng lo ngại xét từ góc độ an toàn. Trong khi nó cho phép mô hình thích ứng với nhiều nhiệm vụ khác nhau, nó cũng đồng nghĩa với việc chúng ta không thể dễ dàng dự đoán hay giới hạn những gì mô hình có thể học được (Hendrycks et al., 2022 (mở trong tab mới)).

Học tự giám sát (Self-Supervised Learning - SSL) là bước đột phá kỹ thuật then chốt giúp mô hình nền tảng trở nên khả thi. Đây chính là cách chúng ta triển khai giai đoạn tiền huấn luyện trên thực tế. Khác với học có giám sát truyền thống, vốn đòi hỏi dữ liệu được gán nhãn thủ công, SSL tận dụng chính cấu trúc nội tại của dữ liệu để tạo ra tín hiệu huấn luyện. Ví dụ, thay vì gán nhãn thủ công cho hình ảnh, ta có thể chỉ cần che đi một phần của một bức ảnh đầy đủ đã có sẵn, rồi yêu cầu mô hình dự đoán phần còn lại nên trông như thế nào. Vậy nên mô hình có thể dự đoán nửa dưới của bức ảnh dựa trên nửa trên, từ đó học được những vật thể nào thường xuất hiện cùng nhau. Chẳng hạn, nó có thể học được rằng những bức ảnh có cây cối và cỏ ở phía trên thường có nhiều cỏ hơn, hoặc có thể có một lối đi, ở phía dưới. Nó học về các vật thể và bối cảnh của chúng — cây cối và cỏ thường xuất hiện ở công viên, chó thường được tìm thấy trong những môi trường này, lối đi thường nằm ngang, v.v. Những biểu diễn học được này sau đó có thể được dùng cho rất nhiều nhiệm vụ mà mô hình chưa từng được huấn luyện một cách tường minh, như nhận diện chó trong ảnh, hay nhận ra công viên — tất cả mà không cần bất kỳ nhãn nào do con người cung cấp! Khái niệm tương tự cũng áp dụng trong ngôn ngữ: một mô hình có thể dự đoán từ tiếp theo trong câu, chẳng hạn "Con mèo ngồi trên…", từ đó học được ngữ pháp, cú pháp, và ngữ cảnh, miễn là ta lặp lại quá trình này trên một lượng văn bản khổng lồ.

Sau giai đoạn tiền huấn luyện, mô hình nền tảng có thể được điều chỉnh theo hai cách tiếp cận chính: tinh chỉnh và tạo câu lệnh theo ngữ cảnh (in-context prompting). Tinh chỉnh liên quan đến việc huấn luyện bổ sung trên một nhiệm vụ hay tập dữ liệu cụ thể để chuyên biệt hoá năng lực của mô hình. Ví dụ, ta có thể dùng Học tăng cường từ Phản hồi của Con người (Reinforcement Learning from Human Feedback - RLHF) để giúp mô hình ngôn ngữ tuân theo hướng dẫn tốt hơn hoặc hữu ích hơn. Mặt khác, việc tạo câu lệnh (prompting) liên quan đến việc cung cấp cho mô hình những đầu vào được soạn kỹ lưỡng, dẫn dắt nó hướng tới những hành vi mong muốn mà không cần huấn luyện thêm.

Quy trình huấn luyện của mô hình nền tảng tạo ra một số thách thức an toàn đặc thù. Thứ nhất, bản chất tự giám sát của quá trình tiền huấn luyện có nghĩa là chúng ta chỉ kiểm soát được ở mức hạn chế những gì mô hình học được — nó có thể phát triển những năng lực hay hành vi ngoài ý muốn. Thứ hai, quá trình điều chỉnh cần phải bảo toàn một cách đáng tin cậy mọi đặc tính an toàn mà ta đã thiết lập trong quá trình tiền huấn luyện. Cuối cùng, quy mô khổng lồ của dữ liệu huấn luyện và tính toán khiến việc hiểu thấu đáo hay kiểm toán những gì mô hình đã học trở nên khó khăn. Nhiều thách thức an toàn mà chúng ta sẽ bàn xuyên suốt cẩm nang này — từ khái quát hóa sai mục tiêu (goal misgeneralization) đến giám sát mở rộng quy mô (scalable oversight) — đều gắn liền sâu sắc với cách những mô hình này được huấn luyện và điều chỉnh.

Đặc tính

Khả năng chuyển giao tri thức, khái quát hoá trên nhiều lĩnh vực khác nhau, và phát triển những năng lực trỗi dậy của mô hình nền tảng có nghĩa là chúng ta không thể chỉ dựa vào các cách tiếp cận an toàn truyền thống vốn giả định hành vi hẹp, có thể dự đoán được.

Học chuyển giao (transfer learning) là khả năng chuyển giao tri thức học được trong quá trình tiền huấn luyện sang các nhiệm vụ và lĩnh vực mới. Thay vì phải bắt đầu lại từ đầu cho mỗi nhiệm vụ, ta có thể tận dụng tri thức tổng quát mà những mô hình này đã tích luỹ được (Bommasani et al., 2022 (mở trong tab mới)). Đặc tính này cho phép thích ứng và triển khai nhanh chóng, nhưng đồng thời cũng có nghĩa là cả năng lực lẫn rủi ro an toàn đều có thể được chuyển giao theo những cách không lường trước được. Chẳng hạn, một mô hình có thể chuyển giao không chỉ tri thức hữu ích mà còn cả những thiên kiến có hại hay hành vi không mong muốn sang các ứng dụng mới.

Học không mẫu (zero-shot) và học ít mẫu (few-shot) là khả năng thực hiện nhiệm vụ mới chỉ với rất ít ví dụ, hoặc thậm chí không cần ví dụ nào. Ví dụ, GPT-4 có thể giải các bài toán suy luận chưa từng gặp chỉ từ một mô tả bằng ngôn ngữ tự nhiên về nhiệm vụ đó (OpenAI, 2023 (mở trong tab mới)). Năng lực trỗi dậy này — khả năng khái quát hoá sang những tình huống mới — vừa mạnh mẽ, vừa đáng lo ngại xét từ góc độ an toàn. Nếu các mô hình có thể thích ứng với tình huống mới theo những cách không lường trước, việc dự đoán và kiểm soát hành vi của chúng khi triển khai sẽ trở nên khó khăn hơn.

Sự khái quát hoá ở mô hình nền tảng hoạt động khác với các hệ thống AI truyền thống. Thay vì chỉ khái quát hoá trong phạm vi một lĩnh vực hẹp, những mô hình này có thể khái quát hoá năng lực trên nhiều lĩnh vực theo những cách đáng ngạc nhiên. Tuy nhiên, sự khái quát hoá năng lực này thường diễn ra mà không đi kèm với sự khái quát hoá tương ứng về mục tiêu hay ràng buộc — một mối lo ngại an toàn quan trọng mà chúng ta sẽ tìm hiểu chi tiết trong chương về khái quát hóa sai mục tiêu. Ví dụ, một mô hình có thể khái quát hoá khả năng thao túng văn bản của mình theo những cách không lường trước, mà không duy trì các ràng buộc an toàn mà ta mong muốn (Hendrycks et al., 2022 (mở trong tab mới)).

Đa phương tiện chắc chắn sẽ rất quan trọng. Đầu vào bằng giọng nói, đầu ra bằng giọng nói, hình ảnh, và cuối cùng là video. Rõ ràng là mọi người thực sự mong muốn điều đó. Khả năng tuỳ chỉnh và cá nhân hoá cũng sẽ rất quan trọng.

Sam Altman Giám đốc điều hành OpenAI, Tháng 1/2024 • Cronshaw, 2024 (mở trong tab mới)