Chương 1.10: Phụ lục: Thảo luận về LLM

Phụ lục này xem xét các phê bình phổ biến đối với các mô hình ngôn ngữ lớn (large language model, LLM), đánh giá liệu những hạn chế được cho là của chúng có mang tính nền tảng hay có khả năng được khắc phục khi kết hợp với công cụ và việc mở rộng quy mô.

Các LLM hiện tại, dù được huấn luyện trên lượng dữ liệu dồi dào, vẫn còn lâu mới đạt đến sự hoàn hảo.

Liệu những vấn đề này có tiếp tục tồn tại ở các phiên bản tương lai, hay chúng sẽ biến mất? Mục này xem xét những chỉ trích chính đối với các mô hình đó và cố gắng xác định liệu chúng có còn đúng đối với các LLM trong tương lai hay không.

Loại đánh giá định tính này rất quan trọng để biết liệu LLM có phải là con đường khả dĩ nhất dẫn đến AGI hay không.

Thiếu sót Thực nghiệm?

LLM có thể sáng tạo không? Tính sáng tạo của LLM thường là chủ đề gây tranh cãi, nhưng có những dấu hiệu rõ ràng cho thấy AI, về nguyên tắc, có khả năng thực hiện các quá trình sáng tạo theo nhiều cách khác nhau:

• Nghiên cứu Khoa học Tự chủ: Những tiến bộ gần đây đã cho thấy LLM thực sự có thể tạo ra những khám phá mới. Ví dụ, một nghiên cứu của DeepMind đã chứng minh rằng một LLM "đã khám phá ra những lời giải mới cho bài toán cap set (cap set problem), một bài toán mở tồn tại từ lâu trong toán học" (DeepMind, 2023 (mở trong tab mới)) — vốn là một bài toán mở yêu thích của Terence Tao. Điều này cho thấy AI không chỉ có thể hiểu kiến thức sẵn có mà còn có thể đóng góp những hiểu biết mới trong các lĩnh vực phức tạp như toán học.
• Khám phá Tự chủ: AI có khả năng tự mình khám phá lại các chiến lược và các nước khai cuộc của con người một cách độc lập. Ví dụ, AlphaGo đã tự khám phá lại các chiến lược và nước khai cuộc cờ vây của con người thông qua tự đối đầu (self-play) (McGrath et al., 2021 (mở trong tab mới)), mà không cần bất kỳ dữ liệu nào từ con người. Điều này chứng minh khả năng của AI trong việc tự học và đổi mới một cách độc lập trong các lĩnh vực đã được thiết lập sẵn.
• Tối ưu hóa Sáng tạo: AI có thể tối ưu hóa theo những cách sáng tạo đến bất ngờ. Hiện tượng đánh lừa đặc tả kỹ thuật (specification gaming) — khi AI tìm ra những lời giải ngoài ý muốn cho các vấn đề — minh họa rõ điều này. Dù tính khó lường này đặt ra những thách thức riêng, nó cũng cho thấy các hệ thống AI có thể nghĩ ra những lời giải mới lạ, sáng tạo mà người giải quyết vấn đề là con người có thể không nhận ra ngay hoặc không trực giác được. Bài đăng trên blog của DeepMind về Gian lận Đặc tả minh họa sống động điều này (Krakovna et al., 2020 (mở trong tab mới)).

Phải chăng LLM chỉ đơn giản là học quá chậm? Các lập luận phản đối mô hình ngôn ngữ dựa trên transformer thường cho rằng chúng có hiệu quả mẫu (sample efficiency) quá kém, và LLM học các khái niệm mới chậm hơn rất nhiều so với con người. Người ta thường lập luận rằng để tăng hiệu suất ở các nhiệm vụ hoặc tình huống mới, LLM cần được huấn luyện trên lượng dữ liệu khổng lồ — nhiều hơn hàng triệu lần so với những gì con người cần. Tuy nhiên, đang có một xu hướng ngày càng tăng hướng tới hiệu quả dữ liệu (data efficiency), cùng với niềm tin ngày càng lớn rằng điều này có thể được cải thiện đáng kể ở các mô hình tương lai.

EfficientZero là một tác nhân học tăng cường (reinforcement learning, RL) vượt qua hiệu suất trung vị của con người trên một bộ 26 trò chơi Atari, chỉ sau hai giờ trải nghiệm thời gian thực cho mỗi trò chơi (Ye et al., 2021 (mở trong tab mới); Wang et al., 2024 (mở trong tab mới)). Đây là một cải tiến đáng kể so với các thuật toán trước đó, cho thấy tiềm năng bứt phá về hiệu quả dữ liệu. Điều hứa hẹn ở đây không chỉ là việc học hiệu quả hơn, mà còn là tiềm năng thích ứng nhanh chóng và thành thạo trong các nhiệm vụ mới, tương tự như tốc độ học của một đứa trẻ. EfficientZero không phải là một LLM, nhưng nó cho thấy học sâu (deep learning) đôi khi có thể được làm cho hiệu quả hơn.

Định luật mở rộng quy mô (scaling laws) cho thấy các AI lớn hơn có xu hướng hiệu quả dữ liệu hơn, cần ít dữ liệu hơn để đạt cùng mức hiệu suất so với các phiên bản nhỏ hơn của chúng. Các bài báo như "Language Models are Few-Shot Learners" (Brown et al., 2020 (mở trong tab mới)) và bằng chứng cho thấy các mô hình lớn hơn dường như cần ít dữ liệu hơn để đạt cùng mức hiệu suất (Kaplan et al., 2020 (mở trong tab mới)), gợi ý rằng khi các mô hình được mở rộng quy mô, chúng trở nên thành thạo hơn với ít ví dụ hơn. Xu hướng này chỉ ra một tương lai nơi AI có thể thích ứng nhanh chóng và học từ lượng dữ liệu hạn chế, thách thức quan niệm cho rằng AI vốn dĩ học chậm hơn con người.

LLM có mạnh mẽ (robust) trước các dịch chuyển phân phối (distributional shift) không? Dù đúng là AI chưa đạt được độ mạnh mẽ tối đa — ví dụ như khả năng hoạt động hoàn hảo sau một thay đổi về phân phối dữ liệu — đã có những tiến bộ đáng kể:

• Độ mạnh mẽ tương quan với năng lực: Độ mạnh mẽ có liên hệ chặt chẽ với năng lực của các mô hình AI khi chúng được huấn luyện trên các nhiệm vụ khó. Chẳng hạn, có một sự cải thiện đáng kể về độ mạnh mẽ và học chuyển giao (transfer learning) từ GPT-2 đến GPT-4. Trong lĩnh vực thị giác máy tính, các mô hình gần đây như Segment Anything (Kirillov et al., 2023 (mở trong tab mới)) mạnh mẽ hơn và có khả năng học chuyển giao tốt hơn nhiều so với các phiên bản tiền nhiệm kém năng lực hơn. Sự tiến bộ này không đến từ bất kỳ yếu tố bí ẩn nào, mà là kết quả của việc mở rộng quy mô và cải thiện trên các kiến trúc sẵn có.
• Độ mạnh mẽ là một phổ liên tục, và độ mạnh mẽ hoàn hảo có thể không cần thiết: Độ mạnh mẽ trong AI không nên được xem là một khái niệm nhị phân, mà đúng hơn là tồn tại trên một phổ liên tục. Điều này thể hiện rõ qua cách các mô hình AI, như trong phân loại hình ảnh, thường vượt qua hiệu suất con người ở cả năng lực lẫn độ mạnh mẽ (Korzekwa, 2022 (mở trong tab mới)). Tuy nhiên, điều quan trọng cần nhận ra là không có hệ thống nào hoàn toàn miễn nhiễm trước những thách thức như tấn công đối kháng (adversarial attack). Điều này được minh chứng qua các AI tiên tiến như Katago trong cờ vây — dù dễ bị tổn thương trước những cuộc tấn công như vậy (Wang et al., 2022 (mở trong tab mới)), nó vẫn đạt trình độ chơi siêu việt hơn con người. Tuy nhiên, việc theo đuổi độ mạnh mẽ hoàn hảo có thể không thiết yếu để tạo ra AI chuyển đổi có năng lực, vì ngay cả những hệ thống có một số điểm yếu nhất định vẫn có thể đạt trình độ năng lực siêu việt. Dù vậy, trong khi độ mạnh mẽ có thể không cần thiết để tạo ra AI có năng lực, việc tạo ra AI an toàn, có căn chỉnh sẽ phải giải quyết vấn đề khái quát hóa sai mục tiêu (goal misgeneralization).

Hiểu biết Hời hợt?

Vẹt Ngẫu nhiên (Stochastic Parrots): AI có chỉ đơn thuần ghi nhớ thông tin mà không thực sự nén nó lại hay không? Có hai cách nguyên mẫu để biểu diễn thông tin trong một LLM: hoặc ghi nhớ từng điểm một, giống như một bảng tra cứu (look-up table), hoặc nén thông tin lại bằng cách chỉ ghi nhớ các đặc trưng cấp cao hơn, thứ mà ta có thể gọi là "mô hình thế giới" (world model). Điều này được giải thích trong bài báo rất quan trọng "Superposition, Memorization, and Double Descent" (Anthropic, 2023 (mở trong tab mới)): hóa ra để lưu trữ các điểm dữ liệu, ban đầu mô hình học vị trí của tất cả các điểm (thuần ghi nhớ), sau đó, nếu ta tăng số lượng điểm dữ liệu, mô hình bắt đầu nén kiến thức này lại, và mô hình lúc này có khả năng khái quát hóa (và triển khai một mô hình đơn giản của dữ liệu).

Đáng tiếc, quá ít người hiểu được sự khác biệt giữa ghi nhớ và hiểu biết. Đây không phải là một câu hỏi cao siêu kiểu như 'hệ thống có mô hình thế giới nội tại hay không?', mà là một sự phân biệt hành vi rất thực tế: 'hệ thống có khả năng khái quát hóa rộng, hay nó chỉ giới hạn ở khái quát hóa cục bộ?'

Francois Chollet Nhà nghiên cứu AI nổi tiếng Chollet, 2023 (mở trong tab mới)

AI có khả năng nén thông tin, và thường theo một cách phù hợp có ý nghĩa. Ví dụ, khi xem xét các biểu diễn (representation) của những từ chỉ màu sắc trong LLM như "đỏ" và "xanh dương", cấu trúc được tạo thành bởi toàn bộ các embedding của những màu đó tạo ra đúng vòng tròn màu sắc (Cách này sử dụng một phép chiếu phi tuyến tính như nhúng lân cận ngẫu nhiên phân bố T (T-distributed stochastic neighbor embedding, T-SNE) để chiếu từ không gian nhiều chiều xuống mặt phẳng 2 chiều). Các ví dụ khác về mô hình thế giới được trình bày trong một bài báo có tên "Eight Things to Know about Large Language Models" (Bowman, 2023 (mở trong tab mới)).

Tất nhiên, có những lĩnh vực khác nơi AI giống một bảng tra cứu hơn, nhưng đây là một phổ liên tục, và mỗi trường hợp cần được xem xét riêng biệt. Ví dụ, đối với "liên kết sự kiện" (factual association), bài báo "Locating and Editing Factual Associations in GPT" cho thấy cấu trúc dữ liệu nền tảng của GPT-2 giống một bảng tra cứu hơn (Meng et al., 2023 (mở trong tab mới)), nhưng bài báo "Emergent Linear Representations in World Models of Self-Supervised Sequence Models" chứng minh rằng một GPT nhỏ có khả năng học một mô hình thế giới được nén lại của OthelloGpt (Nanda et al., 2023 (mở trong tab mới)). Có thêm nhiều ví dụ khác trong phần dành riêng cho mô hình thế giới trong bài báo "Eight Things to Know about Large Language Models" (Bowman, 2023 (mở trong tab mới)).

Rõ ràng là LLM đang nén các biểu diễn của chúng lại, ít nhất là ở một mức độ nào đó. Nhiều ví dụ về các năng lực ấn tượng được trình bày trong công trình "The Stochastic Parrot Hypothesis is debatable for the last generation of LLMs", cho thấy điều đó không thể thuần túy là ghi nhớ (Feuillade-Montixi & Peigné, 2023 (mở trong tab mới)).

Liệu LLM có Chắc chắn sẽ Bị Ảo giác?

LLM có xu hướng "bị ảo giác" (hallucinate) — một thuật ngữ dùng để mô tả việc tạo ra nội dung vô nghĩa hoặc sai sự thật khi phản hồi một số câu lệnh nhất định. Vấn đề này, được nêu bật trong các nghiên cứu như "On Faithfulness and Factuality in Abstractive Summarization" của Maynez et al. (Maynez et al., 2020 (mở trong tab mới)) và "TruthfulQA: Measuring How Models Mimic Human Falsehoods" của Lin et al. (Lin et al., 2022 (mở trong tab mới)), đặt ra một thách thức đáng kể. Tuy nhiên, điều quan trọng là phải thấy rằng những thách thức này đã được lường trước do cách thiết lập huấn luyện, và có thể được giảm thiểu:

• Thiên kiến Cố hữu trong Văn bản Nguồn: Một trong những lý do căn bản khiến LLM có thể tạo ra nội dung sai sự thật là dữ liệu huấn luyện, vốn không phải lúc nào cũng hoàn toàn chính xác hay không thiên vị. Về bản chất, LLM đang phản ánh tính đa dạng và đôi khi mâu thuẫn của dữ liệu huấn luyện của chúng. Trong bối cảnh này, LLM liên tục "bị ảo giác", nhưng đôi khi, những ảo giác này lại trùng khớp với nhận thức của chúng ta về thực tại.
• Chiến lược Nâng cao Độ chính xác Thực tế: Xu hướng tạo ra ảo giác của LLM có thể được giảm thiểu đáng kể bằng nhiều kỹ thuật khác nhau. Xem hộp bên dưới để biết chi tiết.
• Các mô hình lớn hơn có thể trung thực hơn các mô hình nhỏ hơn. Đây là trường hợp với TruthfulQA. OpenAI báo cáo rằng GPT-4 chính xác và nhất quán về mặt sự kiện hơn 40% so với phiên bản tiền nhiệm.

Nhiều Kỹ thuật có thể được Sử dụng để Tăng Tính Trung thực của LLM

Tinh chỉnh LLM để Tăng Độ Xác thực: Trong bài báo này (Tian et al., 2023 (mở trong tab mới)), các tác giả khuyến nghị các phương pháp tinh chỉnh sử dụng Tối ưu hóa Sở thích Trực tiếp (Direct Preference Optimization, DPO) để giảm tỷ lệ ảo giác. Bằng cách áp dụng các kỹ thuật này, một mô hình Llama 2 7B đã ghi nhận mức giảm 58% tỷ lệ lỗi thực tế so với mô hình gốc.

Tạo sinh Tăng cường bằng Truy xuất (Retrieval Augmented Generation, RAG). Phương pháp này hoạt động bằng cách kết hợp một quy trình tra cứu thông tin thực tế (truy xuất — retrieval, giống như tìm kiếm trên Google), rồi sử dụng thông tin đó để dẫn dắt phản hồi của AI (tạo sinh — generation, dựa trên tài liệu đã truy xuất được). Bằng cách đó, AI được neo giữ tốt hơn vào thực tế khách quan, giảm khả năng tạo ra nội dung phi thực tế hoặc sai lệch. Về bản chất, đây giống như việc cấp cho AI một thư viện tham khảo để đối chiếu sự thật trong khi nó học và phản hồi, đảm bảo đầu ra của nó bám sát thực tế hơn. Cách tiếp cận này đặc biệt hữu ích trong bối cảnh học trong ngữ cảnh (in-context learning), nơi AI học từ thông tin và ngữ cảnh được cung cấp trong mỗi lượt tương tác.

Các kỹ thuật tạo câu lệnh trong AI đã phát triển để bao gồm những phương pháp tinh vi như

• Kiểm tra tính nhất quán (Fluri et al., 2023 (mở trong tab mới)), bao gồm việc so sánh đầu ra từ nhiều phiên bản của mô hình trên cùng một câu lệnh, xác định và giải quyết bất kỳ sự bất đồng nào trong các phản hồi. Phương pháp này nâng cao độ chính xác và độ tin cậy của thông tin được cung cấp. Ví dụ, nếu các lần chạy khác nhau của mô hình tạo ra những câu trả lời mâu thuẫn nhau, sự khác biệt này có thể được dùng để tinh chỉnh và cải thiện sự hiểu biết của mô hình.
• Reflexion. Kỹ thuật Reflexion ("Reflexion: Language Agents with Verbal Reinforcement Learning"): Ta có thể đơn giản là yêu cầu LLM lùi lại một bước, tự hỏi liệu những gì nó đã làm có đúng hay không, và cân nhắc các cách để cải thiện câu trả lời trước đó — điều này nâng cao đáng kể năng lực của GPT-4. Kỹ thuật này mang tính trỗi dậy (emergent) và không hoạt động tốt với các mô hình trước đó (Shinn et al., 2023 (mở trong tab mới)).
• Chuỗi xác minh, như suy luận chọn lọc (selection inference) (Creswell et al., 2022 (mở trong tab mới)). Chuỗi suy nghĩ (Chain-of-Thought) có quyền truy cập vào toàn bộ ngữ cảnh, nên mỗi bước suy luận không nhất thiết phải có liên hệ nhân quả với bước trước đó. Nhưng suy luận chọn lọc áp đặt một cấu trúc trong đó mỗi bước suy luận nhất thiết phải tiếp nối từ bước trước, và do đó toàn bộ chuỗi suy luận mang tính nhân quả. Quá trình này liên quan đến việc mô hình AI xem xét lại chính quá trình suy luận của nó, hay các bước nó đã thực hiện để đi đến một kết luận. Bằng cách đó, nó có thể xác minh tính logic và nhất quán trong các phản hồi của mình, đảm bảo chúng có cơ sở vững chắc và đáng tin cậy.
• Cho phép AI thể hiện các mức độ tự tin trong câu trả lời của mình, thừa nhận sự bất định khi thích hợp. Ví dụ, thay vì một câu trả lời dứt khoát "Có" hay "Không", mô hình có thể phản hồi "Tôi không chắc", phản ánh một sự hiểu biết tinh tế hơn, tương tự như cách suy luận của con người. Cách tiếp cận này thể hiện rõ ở các mô hình tiên tiến như Gopher (Rae et al., 2022 (mở trong tab mới)), trái ngược với các mô hình trước đó như WebGPT vốn có thể không thể hiện được mức độ phản hồi tinh tế tương tự.

Huấn luyện dựa trên quy trình (process-based training) đảm bảo rằng các hệ thống quen với việc trình bày chi tiết suy nghĩ của mình một cách đầy đủ hơn nhiều, và không thể bỏ qua quá nhiều bước suy luận. Ví dụ, xem công trình Improving Mathematical Reasoning with process supervision của OpenAI (Lightman et al., 2023 (mở trong tab mới)).

Huấn luyện cho nhận thức về nhận thức (metacognition): Các mô hình có thể được huấn luyện để đưa ra xác suất cho những gì chúng khẳng định, một dạng nhận thức về nhận thức. Ví dụ, bài báo "Language Models (Mostly) Know What They Know" (Kadavath et al., 2022 (mở trong tab mới)) chứng minh rằng AI có thể được hiệu chỉnh theo kiểu Bayes (Bayesian calibrated) về kiến thức của chính mình. Điều này ngụ ý rằng chúng có thể có một dạng tự nhận thức sơ khai, nhận biết được khả năng chính xác của bản thân. Nói một cách không chính thức, điều này có nghĩa là ta có thể hỏi một chatbot rằng "Bạn có chắc về điều mình vừa nói không?" và nhận được một phản hồi tương đối đáng tin cậy. Điều này có thể dùng như một cách huấn luyện chống lại ảo giác.

Đáng lưu ý là những kỹ thuật này giúp giảm thiểu đáng kể vấn đề đối với các LLM hiện tại, nhưng chúng không giải quyết được tất cả các vấn đề mà ta gặp phải với những AI có khả năng lừa dối, như ta sẽ thấy ở chương về khái quát hóa sai mục tiêu.

Bất cập Cấu trúc?

LLM có thiếu Hệ thống 2 không? Hệ thống 1 và Hệ thống 2 là những thuật ngữ được nhà kinh tế học Daniel Kahneman phổ biến trong cuốn sách "Tư duy, Nhanh và Chậm" (Thinking, Fast and Slow), mô tả hai cách khác nhau mà bộ não chúng ta hình thành suy nghĩ và đưa ra quyết định. Hệ thống 1 nhanh, tự động, và trực giác; đây là phần tư duy xử lý các quyết định và phán đoán thường ngày mà không tốn nhiều công sức hay cân nhắc có ý thức. Ví dụ, khi bạn nhận ra một khuôn mặt hay hiểu một câu đơn giản, bạn thường đang dùng Hệ thống 1. Mặt khác, Hệ thống 2 chậm hơn, cân nhắc kỹ hơn, và logic hơn. Nó tiếp quản khi bạn giải một vấn đề phức tạp, đưa ra một lựa chọn có ý thức, hoặc tập trung vào một nhiệm vụ khó. Nó đòi hỏi nhiều năng lượng hơn và được kiểm soát chặt chẽ hơn, xử lý các nhiệm vụ như lập kế hoạch cho tương lai, kiểm tra tính hợp lệ của một lập luận phức tạp, hay bất kỳ hoạt động nào đòi hỏi sự tập trung sâu. Cùng nhau, hai hệ thống này tương tác và ảnh hưởng đến cách chúng ta suy nghĩ, phán đoán, và quyết định, cho thấy sự phức tạp trong tư duy và hành vi của con người.

Một mối quan tâm chính là liệu LLM có thể mô phỏng các quá trình của Hệ thống 2 hay không — những quá trình liên quan đến tư duy chậm hơn, cân nhắc kỹ hơn, và logic hơn. Một số lập luận lý thuyết về giới hạn độ sâu trong transformer cho thấy chúng được chứng minh là không có khả năng thực hiện phép chia các số nguyên lớn ở bên trong (Delétang et al., 2023 (mở trong tab mới)). Tuy nhiên, đây không phải là điều ta quan sát được trong thực tế: GPT-4 có khả năng trình bày chi tiết một số phép tính từng bước và đạt được kết quả mong đợi thông qua chuỗi suy nghĩ hoặc thông qua việc sử dụng các công cụ như trình thông dịch mã.

Nhận thức về Nhận thức mới Trỗi dậy. Các chức năng mới trỗi dậy (emergent) trong LLM, như kỹ thuật Reflexion (Shinn et al., 2023 (mở trong tab mới)), cho phép các mô hình này phân tích hồi cứu và cải thiện câu trả lời của mình. Ta có thể yêu cầu LLM lùi lại một bước, đặt câu hỏi về tính đúng đắn trong các hành động trước đó của nó, và cân nhắc các cách để cải thiện câu trả lời trước đó. Điều này nâng cao đáng kể năng lực của GPT-4, cải thiện năng lực của nó và giúp nó gắn kết chặt chẽ hơn với các hoạt động của Hệ thống 2 ở con người. Lưu ý rằng kỹ thuật này mang tính trỗi dậy và không hoạt động tốt với các mô hình trước đó.

Những kết quả này gợi ý một sự nhòe ranh giới giữa hai hệ thống này. Các quá trình của Hệ thống 2 về bản chất có thể chỉ là một tập hợp của nhiều quá trình Hệ thống 1, có vẻ chậm hơn do liên quan đến nhiều bước hơn và sự tương tác với các dạng trí nhớ chậm hơn. Góc nhìn này cũng tương đồng với cách các mô hình ngôn ngữ vận hành, với mỗi bước trong một quá trình Hệ thống 1 tương tự như một bước thực thi thời gian hằng số (constant time) trong các mô hình như GPT. Dù các mô hình này gặp khó khăn trong việc chủ động điều phối các bước này để giải quyết những vấn đề phức tạp, việc chia nhỏ nhiệm vụ thành các bước nhỏ hơn (tạo câu lệnh từ ít đến nhiều — Least-to-most prompting) hoặc tạo câu lệnh yêu cầu suy luận tăng dần (chuỗi suy nghĩ, viết tắt CoT — Chain-of-Thought (CoT) prompting) cải thiện đáng kể hiệu suất của chúng.

LLM có thiếu một mô hình thế giới nội tại không? Khái niệm "mô hình thế giới" trong AI không nhất thiết phải bị giới hạn ở việc mã hóa tường minh bên trong một kiến trúc. Trái ngược với các cách tiếp cận như H-JEPA (LeCun, 2022 (mở trong tab mới)) — vốn ủng hộ một mô hình thế giới tường minh để tăng cường huấn luyện AI — ngày càng có nhiều bằng chứng cho thấy một mô hình thế giới có thể tồn tại một cách ngầm định (implicit) mà vẫn hiệu quả. Khái niệm này thể hiện đặc biệt rõ trong học tăng cường, nơi sự phân biệt giữa RL dựa trên mô hình (model-based) và RL không dựa trên mô hình (model-free) có thể phần nào gây hiểu lầm. Ngay cả trong RL không dựa trên mô hình, các thuật toán thường mã hóa ngầm định một dạng mô hình thế giới, vốn đóng vai trò thiết yếu cho hiệu suất tối ưu.

• Tọa độ Thời gian và Địa lý: Nghiên cứu trên các mô hình Llama-2 cho thấy các mô hình này có thể biểu diễn thông tin không gian và thời gian như thế nào (Gurney & Tegmark, 2024 (mở trong tab mới)). Các LLM như mô hình Llama-2 mã hóa tọa độ thực tế gần đúng và mốc thời gian lịch sử của các thành phố. Những phát hiện chính bao gồm sự xuất hiện dần dần của các biểu diễn địa lý qua các lớp của mô hình, tính tuyến tính của các biểu diễn này, và độ mạnh mẽ của mô hình trước các câu lệnh khác nhau. Đáng chú ý, nghiên cứu cho thấy các mô hình không chỉ xử lý thụ động thông tin này, mà còn chủ động học cấu trúc hình học toàn cục của không gian và thời gian.
• Biểu diễn Bàn cờ: Trong bài báo "Emergent Linear Representations in World Models of Self-Supervised Sequence Models" (Nanda et al., 2023 (mở trong tab mới)), tác giả trình bày những phát hiện quan trọng về bản chất của các biểu diễn trong mô hình AI. Bài báo đi sâu vào cách mô hình Othello-GPT, được huấn luyện để dự đoán các nước đi hợp lệ trong trò chơi Othello, phát triển một biểu diễn thế giới mới trỗi dậy về bàn cờ! Trái với quan niệm trước đây rằng biểu diễn này là phi tuyến tính, tác giả chứng minh rằng nó thực chất là tuyến tính. Ông phát hiện ra rằng mô hình biểu diễn trạng thái bàn cờ không phải theo quân đen hay quân trắng, mà là "màu của tôi" hay "màu của đối phương", phù hợp với góc nhìn của mô hình khi chơi cả hai bên. Công trình này làm sáng tỏ tiềm năng của các mô hình AI trong việc phát triển những biểu diễn thế giới phức tạp nhưng tuyến tính, thông qua những mục tiêu đơn giản như dự đoán token kế tiếp.
• Các ví dụ khác được trình bày trong bài báo: "Eight Things to know about LLMs" (Bowman, 2023 (mở trong tab mới)).

LLM có thể học liên tục, và có trí nhớ dài hạn không? Học liên tục (continual learning) và việc quản lý hiệu quả trí nhớ dài hạn là những thách thức đáng kể trong lĩnh vực AI nói chung.

Quên Thảm khốc (Catastrophic Forgetting). Một trở ngại then chốt trong lĩnh vực này là quên thảm khốc — hiện tượng khi một mạng nơ-ron, sau khi học thông tin mới, có xu hướng quên hoàn toàn thông tin đã học trước đó. Vấn đề này là trọng tâm quan trọng của các nghiên cứu đang diễn ra, nhằm phát triển các hệ thống AI có thể lưu giữ và xây dựng thêm trên nền kiến thức của chúng theo thời gian. Ví dụ, giả sử ta huấn luyện một AI trên một trò chơi Atari. Sau khi kết thúc lần huấn luyện thứ hai, AI đó nhiều khả năng đã quên cách chơi trò chơi đầu tiên. Đây là một ví dụ về quên thảm khốc.

Nhưng giờ giả sử ta huấn luyện một AI lớn trên nhiều trò chơi ATARI cùng lúc, và thậm chí còn thêm vào một số văn bản Internet và một số nhiệm vụ robot. Điều này hoàn toàn có thể hoạt động được. Ví dụ, AI GATO minh họa quy trình huấn luyện này và là ví dụ điển hình cho cái mà ta gọi là ân huệ của việc mở rộng quy mô (blessing of scale) — tức điều bất khả thi ở quy mô nhỏ có thể trở nên khả thi ở quy mô lớn.

Các kỹ thuật khác cũng đang được phát triển để giải quyết vấn đề trí nhớ dài hạn — ví dụ, các cách tiếp cận dựa trên khung hỗ trợ (scaffolding) cũng đã được sử dụng để đạt được trí nhớ dài hạn và học liên tục trong AI. Giàn giáo trong AI đề cập đến việc sử dụng các lớp bọc được lập trình cứng (hard-coded wrapper) — những cấu trúc được con người lập trình tường minh, liên quan đến một vòng lặp for để liên tục truy vấn mô hình:

• LangChain giải quyết những thách thức này bằng cách tạo ra các ngân hàng trí nhớ (memory bank) mở rộng. LangChain là một thư viện Python cho phép LLM truy xuất và sử dụng thông tin từ các tập dữ liệu lớn, về cơ bản cung cấp một cách để AI truy cập vào một kho tri thức khổng lồ và sử dụng thông tin này để xây dựng các phản hồi có căn cứ hơn. Tuy nhiên, cách tiếp cận này có thể không phải là giải pháp tinh gọn nhất, do phụ thuộc vào các nguồn dữ liệu bên ngoài và các cơ chế truy xuất phức tạp. Một giải pháp liền mạch và tích hợp hơn có thể là sử dụng trọng số (weights) của mạng nơ-ron như một dạng trí nhớ động, liên tục tiến hóa và cập nhật dựa trên các nhiệm vụ mà mạng thực hiện.
• Voyager: Một ví dụ đáng chú ý về trí nhớ dài hạn dựa trên khung hỗ trợ là AI Voyager, một hệ thống AI được phát triển theo mô hình "AutoGPT". Hệ thống này nổi bật với khả năng học liên tục trong một môi trường trò chơi 3D như Minecraft. Chỉ trong một phiên chơi duy nhất, AI Voyager thể hiện khả năng học các thao tác điều khiển cơ bản, đạt được các mục tiêu ban đầu như thu thập tài nguyên, và cuối cùng tiến tới những hành vi phức tạp hơn, bao gồm chiến đấu với kẻ địch và chế tạo công cụ để thu thập các tài nguyên tinh vi hơn. Điều này thể hiện một bước tiến đáng kể trong khả năng học liên tục và quản lý trí nhớ dài hạn của LLM trong các môi trường động.

Cần lưu ý rằng trí nhớ dài hạn dựa trên khung hỗ trợ không được xem là một giải pháp tinh gọn, và những người theo chủ nghĩa thuần túy sẽ ưa thích sử dụng chính trọng số của hệ thống làm trí nhớ dài hạn hơn.

Lập Kế hoạch

Lập kế hoạch là một lĩnh vực mà AI hiện vẫn còn gặp khó khăn, nhưng đã có những tiến bộ đáng kể. Một số mô hình, chẳng hạn như những mô hình dựa trên khung hỗ trợ, cho phép phân rã tác vụ (task decomposition) và chia nhỏ mục tiêu thành các mục tiêu con nhỏ hơn, dễ đạt được hơn.

Hơn nữa, bài báo "Voyager: An Open-Ended Embodied Agent with Large Language Models" chứng minh rằng có thể sử dụng GPT-4 để lập kế hoạch bằng ngôn ngữ tự nhiên trong Minecraft (Wang et al., 2023 (mở trong tab mới)).

Khác biệt so với Bộ não

Có vẻ như có nhiều điểm hội tụ giữa LLM và vỏ não ngôn ngữ (linguistic cortex):

• Tương đồng về Hành vi. LLM cho thấy sự tương đồng gần gũi với năng lực ngôn ngữ và vỏ não ngôn ngữ ở con người (Canell, 2022 (mở trong tab mới)). Các mô hình này đã xuất sắc trong việc làm chủ cú pháp và một phần lớn ngữ nghĩa trong ngôn ngữ con người. Tất nhiên, hiện nay chúng vẫn còn tụt hậu ở những khía cạnh như trí nhớ dài hạn, tính mạch lạc, và suy luận tổng quát — những năng lực mà ở con người phụ thuộc vào nhiều vùng não khác nhau như hồi hải mã (hippocampus) và vỏ não trước trán (prefrontal cortex), nhưng như ta đã giải thích ở các phần trước, những vấn đề đó có thể giải quyết được.
• Hội tụ trong Biểu diễn Nội tại: LLM có một biểu diễn hội tụ dần về phía biểu diễn của bộ não khi được mở rộng quy mô. Điều này được củng cố bởi nghiên cứu "Brains and algorithms partially converge in natural language processing" (Caucheteux & King, 2022 (mở trong tab mới)). Có thể tìm thấy thêm những hiểu biết sâu sắc trong các công trình "The Brain as a Universal Learning Machine" (Canell, 2015 (mở trong tab mới)) và "Brain Efficiency: Much More than You Wanted to Know" (Canell, 2022 (mở trong tab mới)). Ở các giai đoạn học tương đương, LLM và vỏ não ngôn ngữ phát triển những biểu diễn đặc trưng tương tự hoặc tương đương. Trong một số đánh giá, các LLM tiên tiến đã có thể dự đoán được 100% phương sai thần kinh có thể giải thích được, như được trình bày chi tiết bởi Schrimpf, Martin, và cộng sự trong "The neural architecture of language: Integrative modeling converges on predictive processing" (Schrimpf et al., 2021 (mở trong tab mới)).
• Quy mô cũng quan trọng ở loài linh trưởng. Sự khác biệt kiến trúc chính giữa não người và não các loài linh trưởng khác dường như là số lượng nơ-ron, chứ không phải yếu tố nào khác, như đã được chứng minh trong nhiều nghiên cứu (Houzel, 2012 (mở trong tab mới); Pearson et al., 2023 (mở trong tab mới); Charvet, 2021 (mở trong tab mới)).

Thêm những Lý do để Tiếp tục Mở rộng Quy mô LLM

Dưới đây là một số lý do để tin rằng các phòng thí nghiệm sẽ tiếp tục mở rộng quy mô LLM.

Định luật mở rộng quy mô trên LLM ngụ ý những cải thiện định tính sâu hơn nữa. Thoạt nhìn, các định luật mở rộng quy mô có thể không có vẻ ấn tượng. Tuy nhiên, việc liên kết các phép đo định lượng này có thể chuyển hóa thành một sự cải thiện định tính về chất lượng thuật toán. Một thuật toán đạt được mức mất mát (loss) gần như hoàn hảo tất yếu phải là một thuật toán nắm bắt được mọi sắc thái tinh tế, và thể hiện khả năng thích ứng to lớn. Việc các định luật mở rộng quy mô không hề chững lại là điều rất đáng chú ý, và có nghĩa là ta có thể khiến mô hình trở thành một cỗ máy suy luận tốt hơn về mặt chất lượng.

Từ các tương quan đơn giản đến sự hiểu biết. Trong suốt một lượt huấn luyện, các mô hình GPT đi từ những tương quan cơ bản đến sự hiểu biết ngày càng sâu sắc hơn. Ban đầu, mô hình chỉ đơn thuần thiết lập các liên kết giữa những từ liên tiếp nhau. Dần dần, nó phát triển sự hiểu biết về ngữ pháp và ngữ nghĩa, tạo ra các liên kết giữa các câu và sau đó là giữa các đoạn văn. Cuối cùng, GPT làm chủ được những sắc thái tinh tế của phong cách viết.

Bài tập: Định luật Mở rộng Quy mô trên LLM Ngụ ý những Cải thiện Định tính Sâu hơn

Hãy tính sự khác biệt về mất mát (loss), đo bằng bit, giữa hai đầu ra của mô hình: "Janelle ate some ice cream because he likes sweet things like ice cream." (Janelle đã ăn kem vì anh ấy thích đồ ngọt như kem) và "Janelle ate some ice cream because she likes sweet things like ice cream." (Janelle đã ăn kem vì cô ấy thích đồ ngọt như kem). Câu này chứa khoảng hai mươi token. Nếu mô hình phân vân giữa "He" (anh ấy) và "She" (cô ấy), chọn ngẫu nhiên (tỷ lệ 50/50), nó sẽ chịu một mức mất mát 2 bit trên token đại từ khi chọn sai. Mức mất mát cho các token khác giữ nguyên như nhau ở cả hai mô hình. Tuy nhiên, vì mô hình chỉ sai một nửa thời gian, cần áp dụng một hệ số 1/2. Điều này cho ra một sự khác biệt là (1/2) × (2/20) = 1/20, tức 0,05 bit. Do đó, một mô hình có mức mất mát trong phạm vi 0,05 bit so với mức mất mát lý thuyết tối thiểu phải có khả năng hiểu được những khái niệm còn tinh tế hơn cả ví dụ đã bàn ở trên.

Hoàn thành văn bản (text completion) có lẽ là một bài kiểm tra AI-hoàn chỉnh (AI-complete) (Wikipedia, 2022 (mở trong tab mới)).

Các LLM hiện tại chỉ có số lượng tham số tương đương số lượng synapse của các loài động vật có vú nhỏ, chẳng có gì lạ khi chúng vẫn còn chưa hoàn hảo. Các mô hình như GPT-4, dù rất lớn so với các mô hình khác, vẫn có quy mô tương đối khiêm tốn so với kích thước của một bộ não người. Để minh họa, mô hình GPT-3 lớn nhất có số lượng tham số tương đương với số synapse của một con nhím. Ta không thực sự biết GPT-4 có bao nhiêu tham số, nhưng nếu nó có kích thước tương đương PALM, vốn có 512 tỷ tham số, thì GPT-4 chỉ có số tham số tương đương số synapse của một con chinchilla. Ngược lại, vỏ não mới (neocortex) của con người chứa khoảng 140 nghìn tỷ synapse, nhiều hơn 200 lần so với một con chinchilla. Để thảo luận sâu hơn về phép so sánh này, xem thảo luận liên quan tại đây (mở trong tab mới). Để thảo luận về số lượng tham số cần thiết nhằm mô phỏng một synapse, xem phần thảo luận về các mốc neo sinh học (biological anchors).

GPT-4 vẫn rẻ hơn nhiều bậc độ lớn so với các dự án khoa học lớn khác: Dù chi phí huấn luyện các mô hình lớn là rất cao, những bước nhảy vọt đáng kể về năng lực AI mà việc mở rộng quy mô mang lại vẫn biện minh cho những chi phí này. Ví dụ, GPT-4 đắt đỏ so với các mô hình học máy khác. Người ta cho rằng chi phí huấn luyện của nó là 50 triệu đô la. Nhưng Dự án Manhattan tốn 25 tỷ đô la — gấp 500 lần, chưa tính đến lạm phát — và việc đạt được trí tuệ ngang tầm con người có lẽ còn quan trọng hơn về mặt kinh tế so với việc chế tạo được bom hạt nhân.

Nhìn chung, những luận điểm này ủng hộ ý tưởng rằng AGI có thể đạt được chỉ bằng cách mở rộng quy mô các thuật toán hiện tại.