Chương 1.4: Tận dụng việc mở rộng quy mô

Tiến bộ AI gần đây chủ yếu được thúc đẩy bởi việc mở rộng quy mô khổng lồ về tính toán, dữ liệu, và kích thước mô hình. Các xu hướng mở rộng quy mô được quan sát thực nghiệm có thể giúp cung cấp định hướng để dự đoán năng lực trong tương lai.

Trong phần trước, chúng ta đã xem xét các khái niệm khác nhau về cách định nghĩa AGI và đo lường các năng lực liên quan. Bây giờ ta sẽ xem xét một trong những động lực quan trọng nhất đằng sau sự cải thiện các năng lực này: việc mở rộng quy mô.

Bài học Cay đắng

Kiến thức chuyên môn do con người xây dựng liên tục thua kém trước các phương pháp tổng quát biết tận dụng sức mạnh tính toán khổng lồ. Chúng tôi cho rằng phần lớn các bạn có lẽ đã học đại học vào thời kỳ mà học máy và AI gần như đồng nghĩa với nhau, thậm chí học sâu (deep learning) và AI cũng gần như đồng nghĩa. Điều này không phải lúc nào cũng đúng. Vào thuở đầu lịch sử AI, các nhà nghiên cứu tin rằng chìa khóa của trí tuệ nhân tạo là mã hóa cẩn thận kiến thức và chuyên môn của con người vào các chương trình máy tính. Điều này dẫn đến sự ra đời của các hệ chuyên gia (expert systems) đầy rẫy các quy tắc thủ công, và các phần mềm cờ vua (chess engines) được lập trình với những nguyên tắc chiến lược tinh vi. Hết lần này đến lần khác, những cách tiếp cận này gặp phải giới hạn, trong khi các thuật toán học đơn giản kết hợp với sức mạnh tính toán khổng lồ vẫn tiếp tục cải thiện. Và cứ thế, hết lần này đến lần khác, các nhà nghiên cứu học được điều mà ngày nay ta gọi là bài học cay đắng (Bitter Lesson).

Bài học lớn nhất có thể rút ra từ 70 năm nghiên cứu AI là các phương pháp tổng quát biết tận dụng sức mạnh tính toán cuối cùng luôn hiệu quả nhất, và hiệu quả hơn hẳn. [...] Bài học cay đắng này dựa trên những quan sát lịch sử rằng 1) các nhà nghiên cứu AI thường cố gắng xây dựng kiến thức vào trong các tác nhân của họ, 2) điều này luôn có ích trong ngắn hạn, và mang lại sự thỏa mãn cá nhân cho nhà nghiên cứu, nhưng 3) về lâu dài nó sẽ chững lại và thậm chí cản trở tiến bộ xa hơn, và 4) đột phá cuối cùng cũng đến từ một cách tiếp cận đối lập, dựa trên việc mở rộng quy mô tính toán thông qua tìm kiếm và học tập.

Richard Sutton Giáo sư tại Đại học Alberta, Người sáng lập Openmind Research Institute Năm 2019 • Sutton, 2019 (mở trong tab mới)

Vị cay đắng đến từ việc phát hiện ra rằng hàng thập kỷ kinh nghiệm chuyên môn của con người lại kém quan trọng hơn sức mạnh tính toán. Các nhà nghiên cứu đã dành nhiều năm mã hóa kiến thức cờ vua của các đại kiện tướng đã phải chứng kiến tìm kiếm vét cạn đánh bại nhà vô địch thế giới Garry Kasparov. Các bộ phát hiện đặc trưng (feature detectors) thủ công trong thị giác máy tính bị vượt mặt bởi các mạng nơ-ron tự học đặc trưng riêng từ dữ liệu. Nhận diện giọng nói dựa trên ngữ âm học đã thua trước các phương pháp thống kê. Khuôn mẫu này lặp lại: chuyên môn theo lĩnh vực có ích lúc đầu, rồi gặp giới hạn. Các thuật toán học đơn giản cộng với sức mạnh tính toán khổng lồ vẫn tiếp tục cải thiện (Sutton, 2019 (mở trong tab mới)).

Bài học cay đắng này không phủ nhận sự sáng tạo của con người hay đổi mới thuật toán. Có một sự khác biệt giữa việc xây dựng các hệ thống học tổng quát tốt hơn và việc mã hóa kiến thức con người đặc thù cho từng nhiệm vụ. Đây không chỉ đơn thuần là sự khác biệt giữa AI kiểu cũ (Good Old Fashioned AI, GoFAI) và học sâu hiện đại. Ngay cả trong nội bộ học sâu, bài học cay đắng vẫn đúng — các thuật toán chiến thắng là những thuật toán tận dụng việc mở rộng quy mô hiệu quả nhất. Transformer không đánh bại LSTM bằng cách mã hóa kiến thức ngôn ngữ học. Chúng vượt trội vì cơ chế chú ý (attention) song song hóa tốt hơn và có thể thực sự sử dụng sức mạnh tính toán khổng lồ một cách hiệu quả. Đổi mới thuật toán vẫn quan trọng — việc tìm ra các kiến trúc và phương pháp huấn luyện khai thác được nhiều hơn từ cùng một lượng dữ liệu và phần cứng. Các thuật toán thành công là những thuật toán mở khóa được tiềm năng của việc mở rộng quy mô.

Bài học cay đắng định hình những kỳ vọng về tiến bộ AI. Nếu bài học cay đắng tiếp tục đúng, những cải thiện sẽ đến từ việc tìm ra các thuật toán tận dụng việc mở rộng quy mô tốt hơn, hoặc đơn giản là mở rộng quy mô các thuật toán hiện có với nhiều sức mạnh tính toán, dữ liệu, và tham số hơn. Trong vài năm gần đây, phần lớn những tiến bộ trong năng lực AI đã xuất hiện từ việc mở rộng quy mô cùng một kiến trúc mô hình ngôn ngữ dựa trên transformer.

Định luật Mở rộng Quy mô (Scaling Laws)

Huấn luyện các mô hình AI tối tân tốn hàng trăm triệu đô la, khiến việc dự đoán lợi tức đầu tư trở nên vô cùng quan trọng. Các phòng thí nghiệm AI phải đối mặt với những quyết định phân bổ nguồn lực có mức cược cực lớn: nên chi nhiều hơn cho GPU hay cho dữ liệu huấn luyện? Huấn luyện một mô hình lớn hơn trong thời gian ngắn, hay một mô hình nhỏ hơn trong thời gian dài? Với một ngân sách tính toán cố định, họ có thể phải lựa chọn giữa một mô hình 20 tỷ tham số được huấn luyện trên 40% dữ liệu của họ, hoặc một mô hình 200 tỷ tham số được huấn luyện trên 4% dữ liệu đó. Chọn sai sẽ lãng phí hàng trăm triệu đô la. Định luật mở rộng quy mô giúp biến những canh bạc này thành các quyết định kỹ thuật, bằng cách thiết lập các mối quan hệ được quan sát thực nghiệm giữa đầu vào và độ chính xác của mô hình.

Định luật mở rộng quy mô mô tả cách độ chính xác của mô hình thay đổi khi ta thay đổi bốn biến số chính:

• Sức mạnh tính toán (Compute): Tổng số phép toán dấu phẩy động (FLOPs) trong quá trình huấn luyện — phản ánh công suất GPU, số lượng chip, và thời lượng huấn luyện (số bước huấn luyện).
• Tham số (Parameters): Các con số mà mô hình điều chỉnh trong quá trình huấn luyện — gần tương đương với khái niệm "kích thước mô hình".
• Dữ liệu (Data): Số lượng ví dụ huấn luyện đã thấy, được đo bằng token đối với LLM.
• Độ chính xác (Accuracy): Mức độ mô hình thực hiện tốt trên các bài kiểm tra — nghịch đảo của "loss" (loss thấp hơn = độ chính xác cao hơn).

Định luật mở rộng quy mô là những mối quan hệ được quan sát thực nghiệm, chứ không phải quy luật tự nhiên. OpenAI lần đầu ghi nhận những mối quan hệ này vào năm 2020 bằng cách thực hiện hàng trăm thí nghiệm, thay đổi các đầu vào trong khi đo độ chính xác (Kaplan et al., 2020 (mở trong tab mới)). Họ phát hiện rằng khi tăng sức mạnh tính toán lên 10 lần, độ chính xác cải thiện một cách có thể dự đoán được. Tăng gấp đôi số tham số, độ chính xác tăng vọt một cách có thể dự đoán được. Những khuôn mẫu này tỏ ra nhất quán đến bất ngờ trên các kiến trúc mô hình và nhiệm vụ khác nhau, cho thấy chúng nắm bắt được điều gì đó nền tảng về cách các mạng nơ-ron học tập. Nghiên cứu sau này phát hiện rằng huấn luyện tối ưu đòi hỏi khoảng 20 token dữ liệu cho mỗi tham số — nhiều hơn khoảng 10 lần so với những gì các định luật ban đầu gợi ý⁵ (Hoffmann et al., 2022 (mở trong tab mới)). Điều này có nghĩa là các mô hình lớn trước đây đã bị huấn luyện chưa đủ (undertrained) so với kích thước của chúng. Các mối quan hệ này tiếp tục thay đổi khi các nhà nghiên cứu thu thập thêm bằng chứng, nhưng nhận định cốt lõi vẫn giữ nguyên: việc mở rộng quy mô thúc đẩy những cải thiện năng lực có thể dự đoán được. Các biểu đồ dưới đây cho thấy rõ ràng sự gia tăng khổng lồ về quy mô dữ liệu, sức mạnh tính toán, và số lượng tham số ở tất cả các phòng thí nghiệm AI lớn.

Cập nhật Định luật Mở rộng Quy mô Nơ-ron Gãy khúc (Broken Neural Scaling Laws, BNSL) năm 2023

Nghiên cứu cho thấy hiệu suất không phải lúc nào cũng cải thiện một cách trơn tru — có thể xảy ra những chuyển tiếp đột ngột, những giai đoạn chững lại tạm thời, hay thậm chí những giai đoạn hiệu suất trở nên tệ hơn trước khi tốt lên. Ví dụ về hiện tượng này bao gồm "Grokking" — khi mô hình đột nhiên đạt được khả năng khái quát hóa mạnh mẽ sau nhiều bước huấn luyện, hay hiện tượng giảm kép sâu (deep double descent) — khi việc tăng kích thước mô hình ban đầu làm giảm hiệu suất rồi sau đó lại cải thiện nó. Thay vì các định luật lũy thừa đơn giản, BNSL sử dụng một dạng hàm số linh hoạt hơn, có thể nắm bắt được những hành vi phức tạp này. Điều này cho phép dự đoán chính xác hơn về hành vi mở rộng quy mô, đặc biệt là quanh các điểm gián đoạn và chuyển tiếp. Định luật mở rộng quy mô là một đường cơ sở tốt, nhưng những bước nhảy gián đoạn về năng lực và những thay đổi đột ngột theo bậc vẫn có thể xảy ra (Caballero et al., 2023 (mở trong tab mới)).

Giả thuyết Mở rộng Quy mô

Việc mở rộng quy mô có thể sẽ tiếp tục thúc đẩy những cải thiện năng lực. Hãy nhìn lại các ví dụ từ những phần trước — khả năng lập trình, suy luận mới nổi (emergent), hỗ trợ nghiên cứu khoa học, bước nhảy từ GPT-3.5 lên GPT-4 trên các kỳ thi chuyên môn. Những năng lực này xuất hiện khi các mô hình trở nên lớn hơn và được huấn luyện trên nhiều dữ liệu hơn, mà không cần đến những đột phá kiến trúc mới hay kiến thức chuyên môn được mã hóa sẵn. Nếu các cách tiếp cận hiện tại được mở rộng quy mô có thể tạo ra những hệ thống có khả năng tự động hóa nghiên cứu AI trong vòng vài năm, công việc an toàn sẽ trở nên cấp bách hơn nhiều. Bằng chứng hiện có ủng hộ nhiều cách diễn giải khác nhau, bởi vì ta đang chứng kiến một công nghệ phát triển trong thời gian thực mà giới hạn của nó ta chưa hiểu hết. Vì vậy, những người khác nhau nắm giữ những giả thuyết khác nhau về việc tương lai có thể diễn ra như thế nào.

Giả thuyết mở rộng quy mô mạnh (strong scaling hypothesis). Giả thuyết này cho rằng chỉ cần mở rộng quy mô các kiến trúc hiện có với nhiều sức mạnh tính toán và dữ liệu hơn là đủ để đạt được năng lực AI chuyển đổi (Gwern, 2020 (mở trong tab mới)). Theo quan điểm này, ta đã có sẵn tất cả các thành phần nền tảng cần thiết — chỉ còn là vấn đề làm chúng lớn hơn, theo đúng các định luật mở rộng quy mô đã được thiết lập.

Giả thuyết mở rộng quy mô yếu (weak scaling hypothesis). Quan điểm này cho rằng dù việc mở rộng quy mô sẽ tiếp tục là động lực chính của tiến bộ, ta cũng sẽ cần những cải tiến kiến trúc và thuật toán có mục tiêu để vượt qua các nút thắt cổ chai cụ thể. Những cải tiến này sẽ không đòi hỏi đột phá nền tảng, mà chỉ là những nâng cấp gia tăng để tận dụng việc mở rộng quy mô tốt hơn (Gwern, 2020 (mở trong tab mới)).

Các nhà nghiên cứu đã phát triển các thuật toán tận dụng việc mở rộng quy mô và sức mạnh tính toán trong hơn một thập kỷ qua. Ta đã thấy nhiều cải thiện đến từ việc nâng cao hiệu quả tính toán, nhờ những đổi mới như cơ chế chú ý tốt hơn, định tuyến hỗn hợp chuyên gia (mixture-of-experts), và các phương pháp huấn luyện hiệu quả. Nhưng ngay cả khi các nhà nghiên cứu đã phát triển những thuật toán tinh vi tuân theo các nguyên tắc của bài học cay đắng, dữ liệu cho thấy khoảng 60-95% cải thiện hiệu suất đến từ việc mở rộng quy mô tính toán và dữ liệu. Trong khi các cải tiến thuật toán chỉ đóng góp 5-40%, dù vẫn còn nhiều bất định về phương pháp luận trong việc tách bạch những đóng góp này (Ho et al., 2024 (mở trong tab mới)).

Sự xuất hiện của những năng lực bất ngờ có thể là một lập luận khác ủng hộ giả thuyết mở rộng quy mô mạnh. Ta đã thấy các thế hệ mô hình nền tảng trước đây thể hiện những khả năng đáng chú ý mà chúng không được huấn luyện một cách tường minh để có, như lập trình. Hành vi mới nổi này gợi ý rằng không phải là không thể để các năng lực nhận thức bậc cao hơn cũng nổi lên tương tự, chỉ đơn thuần như một hàm số của việc mở rộng quy mô hơn nữa.

Giả thuyết mở rộng quy mô kết hợp với kỹ thuật và công cụ. Về cơ bản, cả định luật mở rộng quy mô (vốn chỉ dự đoán năng lực của mô hình nền tảng) lẫn phần lớn các cuộc tranh luận xoay quanh "mở rộng quy mô là tất cả những gì ta cần" thường bỏ sót những khía cạnh khác của phát triển AI nằm ngoài phạm vi mà các định luật mở rộng quy mô có thể dự đoán. Chúng không tính đến những cải thiện trong "khung hỗ trợ" AI (như tạo câu lệnh theo chuỗi suy nghĩ — chain-of-thought prompting, sử dụng công cụ, hay truy xuất thông tin), hay sự kết hợp của nhiều mô hình cùng làm việc với nhau theo những cách mới lạ. Bất kỳ LLM nào có quyền truy cập internet, khả năng thực thi mã, và khả năng gọi đến sự trợ giúp của các mô hình con chuyên biệt khác đều có năng lực vượt trội hơn đáng kể so với chính LLM đó khi hoạt động một mình. Chúng tôi đã đưa ra một số ví dụ về việc đây là xu hướng chủ đạo ở phần đầu tiên — sử dụng công cụ, suy nghĩ lâu hơn (mở rộng quy mô thời gian suy luận — inference time scaling), máy chủ MCP, và nhiều hơn nữa.

Các cuộc tranh luận xoay quanh định luật mở rộng quy mô chỉ cho ta biết về năng lực của một mô hình nền tảng đơn lẻ được huấn luyện theo cách tiêu chuẩn. Ví dụ, theo giả thuyết mở rộng quy mô mạnh, ta có thể đạt được TAI chỉ bằng cách mở rộng quy mô cùng một mô hình nền tảng cho đến khi nó tự động hóa hoàn toàn việc nghiên cứu và phát triển học máy. Nhưng ngay cả khi việc mở rộng quy mô dừng lại, khiến tiến bộ năng lực của mô hình nền tảng cốt lõi chững lại (dù theo cách yếu hay mạnh), các kỹ thuật bên ngoài tận dụng mô hình hiện có vẫn có thể tiếp tục tiến bộ. Nhiều nhà nghiên cứu cho rằng đây là một yếu tố cốt lõi mà năng lực trong tương lai sẽ đến từ đó. Điều này còn được gọi là "tháo xiềng" (unhobbling) (Aschenbrenner, 2024 (mở trong tab mới)), "việc lặt vặt" (schlep) (Cotra, 2023 (mở trong tab mới)), và nhiều thuật ngữ khác, nhưng tất cả đều chỉ về cùng một nguyên tắc nền tảng — việc mở rộng quy mô thuần túy hiệu suất của một mô hình đơn lẻ chỉ là một phần của sự tiến bộ năng lực AI tổng thể.

Ngay cả giả thuyết mở rộng quy mô dựa trên công cụ cũng gây tranh cãi. Một số người lập luận rằng công cụ hay việc mở rộng quy mô đổ vào LLM khó có thể dẫn đến AGI theo cách họ định nghĩa. Họ ủng hộ những kiến trúc hoàn toàn khác biệt so với LLM dựa trên transformer, thay vào đó tập trung vào những thứ như cách tiếp cận thần kinh-biểu tượng (neuro-symbolic), phương pháp tổ hợp (ensemble methods), hay một kiến trúc hoàn toàn mới chưa được khám phá (Goertzel et al., 2023 (mở trong tab mới); Marcus, 2025 (mở trong tab mới); LeCun, 2025 (mở trong tab mới); Chollet, 2025 (mở trong tab mới)).

Dù còn nhiều bất đồng về việc liệu việc mở rộng quy mô có dẫn đến "AGI thực sự" hay không, các phòng thí nghiệm AI lớn vẫn đang đặt cược mạnh vào việc mở rộng quy mô. Sam Altman của OpenAI đã bày tỏ niềm tin rằng việc mở rộng quy mô sẽ là một thành phần lớn dẫn đến những cải thiện năng lực (Altman, 2023 (mở trong tab mới)), CEO Dario Amodei của Anthropic cũng bày tỏ quan điểm tương tự (Amodei, 2023 (mở trong tab mới)), và đội ngũ an toàn của DeepMind cũng viết rằng "không cần thêm nhiều đổi mới nền tảng nữa để đạt AGI" (DeepMind, 2022 (mở trong tab mới)). Sự đồng thuận này cho thấy rằng bất kể giả thuyết mở rộng quy mô mạnh, yếu, hay dựa trên công cụ chiếm ưu thế, bản thân việc mở rộng quy mô nhiều khả năng vẫn sẽ là trung tâm của tiến bộ trong ngắn hạn.

Chú thích

⁵ Điều này còn thường được gọi là "tính tối ưu Chinchilla" (chinchilla optimality) hay đường biên tối ưu Chinchilla, đặt theo tên mô hình gốc mà các định luật này được kiểm chứng trên đó.