Chương 7.2: Động lực học

Quá trình huấn luyện dẫn dắt việc thuật toán và mục tiêu nào sẽ được khám phá ra. Kết quả của việc huấn luyện AI được định hình bởi những thiên hướng còn ít được hiểu rõ trong hệ thống huấn luyện, cùng với việc điều gì dễ tính toán nhất.

Để hiểu sâu hơn về khái quát hóa sai mục tiêu (goal misgeneralization), ta cần xem xét cách quá trình huấn luyện trong học máy thực sự vận hành. Khi huấn luyện mạng nơ-ron, ta đang điều chỉnh hàng triệu hoặc hàng tỷ tham số. Nhưng những tham số này thực sự đại diện cho điều gì? Cách tốt nhất để hình dung học máy là xem nó như một quá trình tìm kiếm xuyên suốt một không gian rộng lớn gồm các thuật toán khả dĩ (đôi khi còn gọi là tìm kiếm trong không gian giả thuyết hay không gian mô hình). Mỗi tổ hợp giá trị tham số cụ thể tương ứng với một thuật toán khác nhau để xử lý thông tin và đưa ra quyết định. Con đường mà quá trình tìm kiếm này đi qua — cùng những thiên hướng dẫn dắt nó — quyết định loại thuật toán nào sẽ được khám phá ra, và liệu chúng có theo đuổi mục tiêu dự định hay chỉ là những mục tiêu đại diện có tương quan. Những trực giác mà bạn học được ở phần này sẽ giúp ích rất nhiều, không chỉ trong chương này mà còn ở những chương sau về khả năng diễn giải (interpretability).

Mỗi điểm trong không gian tham số mã hóa một thuật toán hoàn chỉnh. Cũng giống như hai chữ số nhị phân 0 và 1 có thể mã hóa bất kỳ chương trình máy tính nào, hàng triệu tham số dấu phẩy động trong một mạng nơ-ron mã hóa một thuật toán để giải quyết tác vụ. Thay đổi một vài tham số, và bạn có một thuật toán khác. Trọng số của mạng quyết định chính xác cách nó xử lý đầu vào — mẫu hình nào nó nhận ra, đặc trưng nào nó ưu tiên, quyết định nào nó đưa ra. Hai mạng với giá trị tham số khác nhau thực thi những thuật toán khác nhau, ngay cả khi chúng đạt hiệu suất tương tự nhau.

Quá trình huấn luyện thường khám phá ra những thuật toán hoạt động vì những lý do không ai ngờ tới. Trong hình bên dưới, nếu bạn cho một người xem những vật thể cong màu đỏ này và nói rằng tất cả chúng đều là "thneeb", hầu hết mọi người sẽ cho rằng đặc điểm quyết định là hình dạng. Nhưng nếu ta dùng mạng nơ-ron trên những ví dụ tương tự, mạng sẽ liên tục học rằng "thneeb" chỉ đơn thuần có nghĩa là bất kỳ "vật thể màu đỏ" nào — tập trung vào màu sắc thay vì hình dạng. Nghĩa là nếu ta đưa cho nó một vật thể màu xanh nhưng cùng hình dạng, nó sẽ không xem đó là "thneeb". Cả hai cách tiếp cận đều đạt hiệu suất hoàn hảo trong quá trình huấn luyện, nhưng chúng đại diện cho những thuật toán hoàn toàn khác nhau, sẽ hành xử rất khác nhau khi gặp những ví dụ mới (Cotra, 2021 (mở trong tab mới)).

Nhiều thuật toán có thể không thể phân biệt được về mặt hành vi trong quá trình huấn luyện, dù đang theo đuổi những mục tiêu hoàn toàn khác nhau. Chúng tôi đã đề cập đến điều này ở phần trước, nhưng vẫn đáng để nhấn mạnh lại. Một ví dụ cụ thể khác: các nhà nghiên cứu đã huấn luyện 100 mô hình BERT giống hệt nhau trên cùng một tập dữ liệu với cùng các siêu tham số (hyperparameters); tất cả các mô hình đều đạt hiệu suất gần như không thể phân biệt trong quá trình huấn luyện. Nhưng khi được kiểm thử trên những cấu trúc câu mới lạ, những mô hình này lại bộc lộ những cách tiếp cận hoàn toàn khác nhau — một số đã học được lối suy luận cú pháp vững chắc hơn, trong khi số khác lại dựa vào việc so khớp mẫu hình bề mặt. Quá trình huấn luyện đã tìm ra 100 thuật toán khác nhau trong không gian các chiến lược xử lý ngôn ngữ khả dĩ (McCoy và cộng sự, 2019 (mở trong tab mới)).

Lý do chúng tôi nhấn mạnh lại điều này là để làm nổi bật việc hiểu quá trình tìm kiếm — cách quá trình huấn luyện di chuyển xuyên suốt không gian các thuật toán khả dĩ và xu hướng tìm ra giải pháp nào — là điều rất hữu ích để hình dung loại AI nào (tổ hợp tham số = thuật toán) mà ta thực sự có thể khám phá ra, cũng như liệu ta có thể thay đổi điều gì đó về kiến trúc hay động lực học của mình để tác động đến quá trình này hay không.

Cảnh quan mất mát

Cảnh quan mất mát (loss landscape) giải thích tại sao quá trình huấn luyện có thể khám phá ra nhiều giải pháp thuật toán khác nhau cho cùng một tác vụ, mỗi giải pháp theo đuổi một mục tiêu khác nhau. Khi hình dung cách hiệu suất của mạng nơ-ron thay đổi qua các tổ hợp tham số khác nhau, ta tạo ra thứ mà các nhà nghiên cứu gọi là "cảnh quan mất mát". Mỗi điểm trong không gian nhiều chiều này đại diện cho một thuật toán khác nhau, với "độ cao" thể hiện mức độ tệ của thuật toán đó khi thực hiện đặc tả (độ mất mát càng cao nghĩa là hiệu suất càng tệ). Khái niệm cảnh quan này áp dụng bất kể ta đặc tả tác vụ bằng cách nào — dù thông qua hàm phần thưởng, phản hồi từ con người, hay bất kỳ thước đo hiệu suất nào khác.

Định nghĩa: Cảnh quan mất mát (Loss Landscape) — Cảnh quan mất mát là một cách hình dung việc độ mất mát (hiệu suất) của một mạng nơ-ron thay đổi ra sao khi ta biến thiên các tham số của nó. Mỗi điểm trong không gian nhiều chiều này đại diện cho một thuật toán khác nhau, với "độ cao" thể hiện mức độ tệ của thuật toán đó khi thực hiện tác vụ.

Bản thân cảnh quan mất mát vẫn giữ nguyên xuyên suốt các lượt huấn luyện khác nhau — chỉ có vị trí khởi đầu là thay đổi. Hãy hình dung cảnh quan này như một dãy núi cố định với những đỉnh núi, thung lũng, dải núi, và lòng chảo. Địa hình này hoàn toàn được quyết định bởi kiến trúc mạng của bạn (cấu trúc địa chất), dữ liệu huấn luyện của bạn (khí hậu đã tạo hình nên nó), và hàm mất mát của bạn (hệ thống đo độ cao). Mỗi lần bạn huấn luyện cùng một kiến trúc trên cùng một dữ liệu, bạn đang khám phá đúng dãy núi đó. Các đỉnh núi và thung lũng không bao giờ dịch chuyển. Điều thay đổi là bạn bắt đầu từ đâu: việc khởi tạo ngẫu nhiên giống như bị bịt mắt rồi thả xuống một vị trí ngẫu nhiên trong dãy núi này. Từ mỗi điểm khởi đầu, thuật toán hạ gradient (gradient descent) hoạt động giống như một quả bóng lăn xuống dốc, đi theo hướng dốc nhất để đến đáy thung lũng gần nhất.

Hình dạng của những cảnh quan này quyết định thuật toán nào có thể được tìm ra và bền vững. Một số giải pháp thuật toán chiếm những thung lũng rộng, bằng phẳng, nơi nhiều thiết lập tham số khác nhau đều thực thi những cách tiếp cận tương tự nhau. Số khác tồn tại dưới dạng những đỉnh nhọn, hẹp, khó tìm ra, dễ đánh mất, và thường khái quát hóa sai khi có dịch chuyển phân phối. Các thuật toán trong lòng chảo rộng vẫn ổn định khi tham số của chúng bị nhiễu loạn nhẹ, tương ứng với những giải pháp bền vững, có khả năng khái quát hóa tốt (Li và cộng sự, 2017 (mở trong tab mới)). Những đỉnh nhọn đại diện cho các thuật toán mong manh, nơi những thay đổi nhỏ có thể gây ra sụt giảm hiệu suất lớn (Keskar và cộng sự, 2017 (mở trong tab mới)). Hình dạng này quan trọng đối với khái quát hóa sai mục tiêu bởi vì độ rộng của các "thung lũng mục tiêu" khác nhau quyết định khả năng chúng được tìm ra — thung lũng rộng hơn dành cho những mục tiêu mất căn chỉnh khiến những mục tiêu đó dễ nảy sinh từ quá trình huấn luyện hơn.

Hiểu được cấu trúc cảnh quan cho ta thấy tại sao một số mục tiêu nhất định lại có hệ thống xuất hiện thường xuyên hơn những mục tiêu khác. Kích thước tương đối và mức độ dễ tiếp cận của các thung lũng khác nhau tạo ra những thiên hướng có hệ thống về việc điều gì sẽ được khám phá ra. Nếu thung lũng "đi sang phải" rộng hơn và dễ tiếp cận hơn thung lũng "thu thập đồng xu", quá trình huấn luyện sẽ thường xuyên khám phá ra giải pháp mất căn chỉnh hơn. Cấu trúc cảnh quan này được quyết định bởi kiến trúc mạng, dữ liệu huấn luyện, và hàm mất mát — nhưng quan trọng nhất, nó được quyết định bởi các thiên kiến quy nạp (inductive bias) định hình loại thuật toán nào có được thung lũng rộng, và loại nào chỉ có đỉnh hẹp.

Định nghĩa: Phạm vi thuật toán (Algorithmic Range) — Phạm vi thuật toán của một hệ thống học máy đề cập đến mức độ rộng lớn của tập hợp các thuật toán mà hệ thống đó có khả năng tìm ra.

Phụ thuộc đường đi

Phụ thuộc đường đi (path dependence) quyết định liệu những điểm khởi đầu khác nhau trong cảnh quan mất mát có dẫn đến cùng một đích đến thuật toán hay không. Trong những cảnh quan đơn giản chỉ có một thung lũng chiếm ưu thế, hầu như mọi điểm khởi đầu đều lăn vào cùng một giải pháp — đó là mức độ phụ thuộc đường đi thấp. Nhưng những cảnh quan phức tạp chứa nhiều thung lũng sâu, ngăn cách nhau bởi các dải núi. Lúc này, vị trí khởi đầu của bạn trở nên vô cùng quan trọng. Thả quả bóng ở phía bên trái một dải núi, nó sẽ lăn vào Thung lũng A (học được cách "đi sang phải" trong CoinRun). Thả nó ở phía bên phải, nó sẽ lăn vào Thung lũng B (học được cách "thu thập đồng xu"). Cả hai thung lũng đều đại diện cho những giải pháp hoàn hảo trong quá trình huấn luyện, nhưng chúng thực thi những thuật toán hoàn toàn khác nhau.

Định nghĩa: Phụ thuộc đường đi (Path Dependence) — Phụ thuộc đường đi xảy ra khi những khác biệt nhỏ trong quá trình huấn luyện dẫn đến việc khám phá ra những thuật toán về căn bản khác nhau để giải quyết cùng một tác vụ. Phụ thuộc đường đi cao nghĩa là có độ biến thiên cao giữa các thuật toán đã học xuyên suốt các lượt huấn luyện khác nhau, trong khi phụ thuộc đường đi thấp nghĩa là liên tục tìm ra những giải pháp thuật toán tương tự nhau.

Phụ thuộc đường đi nảy sinh từ cách thuật toán hạ gradient (gradient descent) di chuyển xuyên suốt cảnh quan mất mát. Quá trình huấn luyện bắt đầu từ một điểm ngẫu nhiên trong không gian tham số và đi theo con đường dốc nhất hướng tới hiệu suất tốt hơn. Khi có nhiều thung lũng cùng tồn tại — mỗi thung lũng tương ứng với một cách tiếp cận thuật toán khác nhau — những khác biệt ngẫu nhiên ban đầu có thể đẩy quá trình tối ưu hóa về những vùng hoàn toàn khác nhau. Một khi đã "cam kết" đi xuống một thung lũng cụ thể, thuật toán hạ gradient có xu hướng tiếp tục theo hướng đó, khiến việc thoát ra để tìm những giải pháp thuật toán khác trở nên khó khăn.

Mức độ phụ thuộc đường đi cao xuất hiện khi những thiết lập huấn luyện giống hệt nhau lại khám phá ra những chiến lược thuật toán về căn bản khác nhau. Các nhà nghiên cứu đã huấn luyện những bộ phân loại văn bản trên các tác vụ suy luận ngôn ngữ tự nhiên, và phát hiện ra rằng những mô hình có hiệu suất huấn luyện giống hệt nhau lại rơi vào những cụm (cluster) riêng biệt. Các mô hình trong cùng một cụm sử dụng những cách tiếp cận suy luận tương tự nhau và có thể được kết nối với nhau xuyên suốt cảnh quan mất mát, nhưng các mô hình từ những cụm khác nhau lại bị ngăn cách bởi những rào cản hiệu suất lớn. Một cụm học được cách tiếp cận túi từ (bag-of-words), trong khi cụm khác phát triển những chiến lược suy luận cú pháp (Juneja và cộng sự, 2023 (mở trong tab mới)). Sự biến thiên tương tự cũng xuất hiện trong các thí nghiệm học tăng cường và các nghiên cứu tinh chỉnh (fine-tuning), nơi những thiết lập giống hệt nhau lại tạo ra những hành vi học được khác biệt đáng kể.

Mức độ phụ thuộc đường đi thấp nảy sinh khi các ràng buộc toán học buộc quá trình hội tụ về cùng một giải pháp. Khái quát hóa trì hoãn (delayed generalization) là hiện tượng một mô hình đột ngột chuyển từ trạng thái quá khớp (chỉ hoạt động tốt trên dữ liệu huấn luyện) sang trạng thái khái quát hóa tốt (còn gọi là "grokking") (Carvalho và cộng sự, 2025 (mở trong tab mới)). Ví dụ, các mô hình học phép toán số học ban đầu chỉ ghi nhớ các ví dụ huấn luyện và hoạt động kém trên bài kiểm thử. Nhưng việc huấn luyện kéo dài khiến chúng đột ngột thực thi đúng thuật toán toán học — và luôn là cùng một thuật toán đó xuyên suốt các lượt huấn luyện khác nhau. Điều này gợi ý rằng đối với một số tác vụ, cấu trúc toán học nền tảng ràng buộc không gian giải pháp một cách nghiêm ngặt đến mức chỉ tồn tại duy nhất một thuật toán tốt (Mingard và cộng sự, 2019 (mở trong tab mới)). Bằng chứng khác bao gồm các nghiên cứu cho thấy kết quả của thuật toán hạ gradient có tương quan với việc lấy mẫu ngẫu nhiên từ các phân phối tham số.

Thiên kiến quy nạp

Thiên kiến quy nạp (inductive bias) mô tả hình dạng của cảnh quan và quyết định loại thuật toán nào có nhiều khả năng được khám phá ra hơn. Nếu kiến trúc của bạn có một thiên kiến hướng đến sự đơn giản, điều này có nghĩa là những giải pháp đơn giản về mặt thuật toán sẽ tạo thành những thung lũng rộng, sâu, chiếm ưu thế trong cảnh quan mất mát. Những giải pháp phức tạp vẫn có thể tồn tại trong cảnh quan này, nhưng chúng bị đẩy vào những đỉnh nhỏ, khó tìm. Điều này giải thích một cách trực quan tại sao chiến lược "đi sang phải" trong CoinRun lại chiếm một lòng chảo mất mát khổng lồ, trải rộng khắp những vùng lớn của không gian tham số, trong khi "di chuyển đến những vật thể hình đồng xu" chỉ tồn tại trong những túi nhỏ hơn. Bạn có nhiều khả năng tìm thấy những giải pháp đơn giản hơn như "đi sang phải" bởi vì những lòng chảo và thung lũng đó đơn giản là dễ tìm và dễ rơi vào hơn.

Định nghĩa: Thiên kiến quy nạp (Inductive Bias) — Thiên kiến quy nạp là những thiên hướng có hệ thống của các thuật toán học, ưu tiên một số loại giải pháp nhất định hơn những loại khác. Những thiên hướng này nảy sinh từ kiến trúc, quy trình tối ưu hóa, và thiết lập huấn luyện, chứ không phải được lập trình một cách tường minh.

Thiên kiến đơn giản (simplicity bias) là thiên kiến quy nạp có sức ảnh hưởng lớn nhất, được nghiên cứu kỹ lưỡng nhất, và có khả năng nguy hiểm nhất đối với khái quát hóa sai mục tiêu. Thiên kiến đơn giản đặt ra câu hỏi "việc đặc tả thuật toán này trong trọng số phức tạp đến mức nào?" Đây là phiên bản học máy của Lưỡi dao Occam (Occam's Razor), vốn cho rằng trong số các giả thuyết cạnh tranh nhau, ta nên chọn giả thuyết có ít giả định nhất. SGD dường như tuân theo Lưỡi dao Occam, và liên tục ưu tiên những thuật toán dựa trên tương quan đơn giản hơn là suy luận nhân quả phức tạp (Shah và cộng sự, 2020 (mở trong tab mới); Ren & Sutherland, 2024 (mở trong tab mới); Etienne & Flammarion, 2025 (mở trong tab mới); Tsoy & Konstantinov, 2024 (mở trong tab mới); Carlsmith, 2023 (mở trong tab mới))¹. Trong CoinRun, cả "đi sang phải" lẫn "di chuyển đến những vật thể hình đồng xu" đều có thể giải quyết được tác vụ trong quá trình huấn luyện, nhưng "đi sang phải" đơn giản hơn về mặt thuật toán — chỉ cần một khuôn mẫu hành vi duy nhất, thay vì nhận diện vật thể, suy luận không gian, và điều hướng có định hướng mục tiêu. Vậy nên, thiên kiến này tồn tại là bởi vì các hàm đơn giản chiếm những thể tích lớn hơn rất nhiều trong cảnh quan mất mát — đơn giản là có nhiều cách hơn để mã hóa "đi sang phải" so với "di chuyển đến những vật thể hình đồng xu bằng cách nhận diện thị giác và suy luận không gian". Các nghiên cứu thực nghiệm cho thấy thiên kiến này khá mạnh, gợi ý rằng các hàm đơn giản có khả năng xuất hiện cao hơn theo cấp số mũ so với các hàm phức tạp (Valle-Pérez và cộng sự, 2019 (mở trong tab mới)). Quá trình huấn luyện có hệ thống ưu tiên cách lý giải đơn giản hơn, ngay cả khi thuật toán phức tạp sẽ khái quát hóa tốt hơn (Valle-Pérez và cộng sự, 2019 (mở trong tab mới); Shah và cộng sự, 2020 (mở trong tab mới)). Khuôn mẫu này mở rộng ra nhiều kiến trúc khác nhau: các bộ phân loại hình ảnh thường học các chiến lược dựa trên kết cấu (texture) thay vì dựa trên hình dạng, bởi vì các mẫu hình kết cấu đòi hỏi cấu trúc tính toán đơn giản hơn, dẫn đến sự mong manh khi kết cấu và hình dạng đưa ra những tín hiệu mâu thuẫn nhau (Geirhos và cộng sự, 2019 (mở trong tab mới)).

Các thiên kiến quy nạp khác cũng có thể tạo ra những thiên hướng có hệ thống bổ sung, có thể ưu tiên việc khám phá ra những thuật toán với mục tiêu mất căn chỉnh. Thiên kiến tốc độ (speed bias) xem xét "thuật toán này cần bao nhiêu tính toán tại thời điểm suy luận?" Một kiến trúc có thiên kiến tốc độ sẽ có những lòng chảo mất mát rộng hơn cho các thuật toán đòi hỏi ít bước tính toán hơn, điều này có thể mâu thuẫn với những giải pháp thực hiện suy luận kỹ lưỡng hơn hay lập kế hoạch dài hạn hơn. Còn nhiều ví dụ khác về các thiên kiến — thiên kiến tần số (học các mẫu hình tần số thấp trước khi học các mẫu hình tần số cao) (Rahaman và cộng sự, 2019 (mở trong tab mới)), thiên kiến hình học (các giải pháp có độ biến thiên thấp hơn) (Luo và cộng sự, 2019 (mở trong tab mới)), và nhiều hơn nữa. Về cơ bản, chúng ta sẽ chủ yếu xem xét những thiên kiến quy nạp liên quan đến an toàn — tốc độ và sự đơn giản.

Các thiên kiến quy nạp tạo ra nguy cơ khái quát hóa sai mục tiêu, bởi vì các thuật toán dựa trên tương quan thường đơn giản hơn suy luận nhân quả. Việc học "câu trả lời hữu ích thì được chấp thuận" đơn giản hơn về mặt thuật toán so với việc "hiểu được con người thực sự cần gì và cung cấp đúng điều đó". Khi môi trường huấn luyện càng trở nên phức tạp hơn, khoảng cách giữa mục tiêu dự định và những mục tiêu đại diện dễ học càng lớn hơn, khiến các thuật toán mất căn chỉnh ngày càng có nhiều khả năng xuất hiện hơn. Sự tương tác giữa thiên kiến quy nạp và phụ thuộc đường đi quyết định cả loại lẫn cách thực thi cụ thể của các thuật toán đã học — thiên kiến ràng buộc quá trình huấn luyện để ưu tiên một số lớp giải pháp nhất định, trong khi phụ thuộc đường đi quyết định cách thực thi cụ thể nào trong lớp đó sẽ được khám phá ra.

Phần về động lực học và thiên kiến quy nạp này sẽ đặc biệt liên quan khi chúng ta bàn về khả năng xảy ra của mưu tính (scheming) và giả vờ căn chỉnh (deceptive alignment).

Chú thích

¹ Có thêm tài liệu tham khảo về thiên kiến đơn giản tại đường dẫn này (mở trong tab mới).