Chương 1.7: Phụ lục: Dự báo

Sức mạnh Tính toán Hiệu dụng (Effective Compute)

Hiệu quả Phần cứng

Yếu tố đầu tiên trong việc gia tăng sức mạnh tính toán hiệu dụng là — phần cứng mà ta sản xuất hiệu quả đến mức nào trong việc thực hiện tính toán?

Chip AI đang trở nên mạnh hơn khoảng 35% mỗi năm, nhưng ta đang tiến gần đến các giới hạn vật lý. Kể từ khoảng năm 2010, hiệu suất tính toán thô (FLOP/giây) của GPU ở độ chính xác FP32 đã tăng trưởng khoảng 1,35 lần mỗi năm (Epoch AI, 2023 (mở trong tab mới); Hobbahn et al., 2023 (mở trong tab mới)). Sự cải thiện này đến từ những yếu tố như transistor dày đặc hơn, mạch chuyên dụng cho AI, và việc chuyển sang các định dạng số có độ chính xác thấp hơn. Hiệu suất trên mỗi đô la đã cải thiện nhanh chóng, và phần cứng ở bất kỳ mức độ chính xác và mức hiệu suất cố định nào cũng trở nên rẻ hơn 30% mỗi năm. Đồng thời, các nhà sản xuất vẫn tiếp tục giới thiệu phần cứng mạnh mẽ hơn và đắt đỏ hơn (Epoch AI, 2025 (mở trong tab mới)).

Trong tương lai gần, xu hướng này có vẻ sẽ tiếp tục, nhưng các giới hạn nhiệt động lực học cuối cùng sẽ chặn đứng xu hướng này. Chip chỉ có thể trở nên tiết kiệm năng lượng đến một mức độ nhất định trước khi các quy luật vật lý nói "không". Mỗi phép tính đều sinh ra nhiệt, đây là một quy luật vật lý nền tảng, chứ không phải một vấn đề kỹ thuật. Phân tích hiện tại cho thấy vẫn còn dư địa để cải thiện hiệu quả năng lượng từ 50 đến 1.000 lần trước khi ta chạm đến các giới hạn nền tảng của CMOS, với 50% khả năng những cải thiện sẽ dừng lại trước khi đạt mức cải thiện khoảng 200 lần so với công nghệ hiện có. Những ước tính này cho thấy bộ xử lý CMOS có khả năng đủ hiệu quả để cung cấp năng lượng cho các lượt huấn luyện AI lớn hơn đáng kể so với hiện nay.⁷ Điều này ngụ ý rằng ta vẫn còn nhiều dư địa để mở rộng quy mô bằng cách sử dụng các mô hình silicon hiện tại cho đến năm 2030 và xa hơn nữa, mặc dù lợi tức từ nghiên cứu và phát triển phần cứng cuối cùng có thể giảm dần khi ta tiến gần đến các giới hạn vật lý. Vượt qua những giới hạn này, các lượt huấn luyện có thể sẽ cần đến những thay đổi triệt để trong mô hình tính toán, như việc chuyển sang tính toán đoạn nhiệt (adiabatic computing) (Ho et al., 2023 (mở trong tab mới); Sevilla et al., 2024 (mở trong tab mới)).

Hiệu quả Phần mềm và Thuật toán

Yếu tố thứ hai trong việc gia tăng sức mạnh tính toán hiệu dụng là — ta có thể tận dụng tốt đến mức nào toàn bộ phần cứng hiện có. Điều này tách biệt với việc chỉ đơn thuần làm cho bản thân phần cứng vật lý hiệu quả hơn.

Các thuật toán tốt hơn đã cắt giảm lượng sức mạnh tính toán cần thiết cho một kết quả nhất định khoảng 3 lần mỗi năm. Mức sức mạnh tính toán cần thiết để đạt một mức hiệu suất nhất định đã giảm một nửa khoảng mỗi 8 tháng.⁸ Sự cải thiện nhanh chóng này có nghĩa là lượng sức mạnh tính toán cần thiết để đạt các mức năng lực cụ thể trên các bài kiểm tra có thể giảm đi nhiều bậc độ lớn chỉ sau vài năm tiến bộ thuật toán. Những cải thiện về hiệu quả tính toán giải thích khoảng 35% cải thiện hiệu suất trong mô hình hóa ngôn ngữ kể từ năm 2014, với 65% còn lại đến từ việc chỉ đơn thuần xây dựng thêm chip và vận hành chúng lâu hơn. Nhìn chung, điều này có nghĩa là ta đang trở nên khôn ngoan hơn trong việc sử dụng phần cứng sẵn có, chứ không chỉ đơn thuần đổ thêm sức mạnh tính toán vào vấn đề (Epoch AI, 2023 (mở trong tab mới); Ho et al., 2024 (mở trong tab mới)).

Sản xuất Bán dẫn

Yếu tố thứ ba trong việc gia tăng sức mạnh tính toán hiệu dụng là — bạn thực sự có thể sản xuất được bao nhiêu chip?

Tổng sức mạnh tính toán khả dụng từ chip NVIDIA đã tăng trưởng khoảng 2,3 lần mỗi năm kể từ năm 2019, cho phép huấn luyện các mô hình ngày càng lớn hơn. NVIDIA thiết kế phần lớn thị phần chip huấn luyện AI, và TSMC của Đài Loan đóng vai trò là nhà máy sản xuất chip chính cho các nhà sản xuất này. Chuỗi cung ứng chip AI có mức độ tập trung rất cao. Năm 2024, TSMC dành khoảng 5% sản lượng chip tiên tiến của mình cho các bộ tăng tốc AI (AI accelerators) — phần còn lại được dùng cho điện thoại, máy tính, và các thiết bị điện tử khác (Sevilla et al., 2024 (mở trong tab mới)). Nếu các phòng thí nghiệm AI muốn có nhiều chip hơn đáng kể, TSMC sẽ cần thay đổi thứ tự ưu tiên, mở rộng công suất, và cạnh tranh với các khách hàng khác cũng đang muốn có chất bán dẫn tối tân (Epoch AI, 2025 (mở trong tab mới)).

Đầu tư không làm cho việc sản xuất chip nhanh hơn ngay lập tức. Nếu một quốc gia nào đó muốn xây dựng một nhà máy tương đương TSMC của riêng mình, việc xây dựng một nhà máy tối tân mới có thể mất 4-5 năm (tính cả thời gian xây dựng và cấp phép), dù việc nâng cấp một nhà máy hiện có mất ít thời gian hơn, khoảng 2 năm cộng với hàng tỷ đô la đầu tư (Edelman & Ho, 2025 (mở trong tab mới); Epoch AI, 2025 (mở trong tab mới)). Bên cạnh sự cạnh tranh hiện có để có được chip từ TSMC, một yếu tố khác là các máy móc mà TSMC cần để sản xuất chip. Những máy móc này hầu như chỉ được sản xuất bởi một công ty duy nhất: ASML ở Hà Lan (Blablová, 2025 (mở trong tab mới)). Những cỗ máy in thạch bản cực tím (extreme ultraviolet, EUV) này có giá từ 150 triệu đến 380 triệu đô la mỗi chiếc. Nếu/Khi ai đó (ví dụ TSMC) muốn mở rộng sản xuất, họ không thể chỉ đơn giản đặt thêm năm mươi chiếc vào tháng sau. Họ phải xếp vào một danh sách chờ vốn đã rất dài (Edelman & Ho, 2025 (mở trong tab mới); Sevilla, AXRP Podcast, 2024 (mở trong tab mới)).

Đầu tư và Chi phí Huấn luyện

Chi phí (tính bằng đô la Mỹ) để huấn luyện các mô hình tối tân đã tăng trưởng 3,5 lần mỗi năm kể từ năm 2020. Nếu xu hướng này tiếp tục, ta sẽ thấy chi phí huấn luyện cho một mô hình duy nhất tiến gần đến các lượt huấn luyện trị giá hàng tỷ đô la vào năm 2027. Chi phí này chia ra khoảng: 50-65% cho phần cứng (phân bổ theo vòng đời sử dụng), 30-45% cho các nhà nghiên cứu và kỹ sư, và 2-6% cho điện năng. Cho đến nay, đây là tiền từ quỹ đầu tư mạo hiểm và các tập đoàn công nghệ lớn (Big Tech), nhưng những con số này đang tiến đến quy mô mà chỉ các quốc gia hoặc những tập đoàn lớn nhất mới có thể cạnh tranh (Cottier et al., 2025 (mở trong tab mới)).

Chi phí mua sắm (tính bằng đô la Mỹ) của phần cứng dùng để huấn luyện các mô hình AI tối tân đã tăng trưởng 2,5 lần mỗi năm kể từ năm 2016. Để bạn hình dung chi phí huấn luyện một mô hình tối tân tốn kém đến mức nào, tổng chi phí đã khấu hao để phát triển Grok-4 (ra mắt tháng 7/2025), bao gồm phần cứng và điện năng, được ước tính vào khoảng 480 triệu đô la Mỹ. Chi phí mua sắm phần cứng để huấn luyện Grok-3, bao gồm GPU, các linh kiện máy chủ khác, và hệ thống mạng, được ước tính vào khoảng 3 tỷ đô la Mỹ. Phần cứng dùng để huấn luyện Grok 4 có thể còn đắt đỏ hơn nữa (Epoch AI, 2025 (mở trong tab mới)).

Một câu hỏi chưa có lời giải là liệu lợi tức từ những cải thiện năng suất có đủ để biện minh cho việc tiếp tục đầu tư hay không. Năm 2025 chứng kiến rất nhiều tiêu đề tin tức về đầu tư vòng tròn (circular investment) và một "bong bóng AI". Nếu AI có thể tự động hóa những phần đáng kể của công việc nhận thức, thì việc chiếm lĩnh dù chỉ một phần nhỏ của thị trường lao động toàn cầu cũng khiến các khoản đầu tư hàng nghìn tỷ đô la trở nên hợp lý. Tuy nhiên, các khoản đầu tư khổng lồ đang phải đối mặt với những trở ngại ngày càng tăng do các ràng buộc mang tính cấu trúc. Khi sức mạnh tính toán mở rộng quy mô, thời gian chờ (lead time) giữa lúc khởi động dự án và lúc triển khai kéo dài ra đáng kể — khoảng thêm một năm cho mỗi lần quy mô tăng gấp mười — tạo ra một vòng phản hồi làm chậm lại một cách tự nhiên tốc độ mở rộng quy mô (Edelman & Ho, 2025 (mở trong tab mới)). Sự bất định này về lợi tức dài hạn trong những khoảng thời gian kéo dài có thể khiến các nhà đầu tư nghiêng về việc mở rộng quy mô theo từng bước, chia nhỏ dự án thành các phần nhỏ hơn để đánh giá lợi tức trước khi cam kết thêm, thay vì thực hiện những khoản đầu tư ban đầu khổng lồ (Edelman & Ho, 2025 (mở trong tab mới)). Một số điều có thể phá vỡ hoàn toàn khuôn mẫu này: các mô hình chạm trần năng lực, nơi thêm sức mạnh tính toán không còn giúp ích; các quy định giới hạn quy mô lượt huấn luyện hoặc kích thước trung tâm dữ liệu; chi phí năng lượng khiến các lượt huấn luyện lớn trở nên không kinh tế; hoặc suy thoái kinh tế làm cạn kiệt nguồn vốn. Mỗi yếu tố đại diện cho một cách khác nhau mà việc mở rộng quy mô có thể dừng lại, độc lập với tính khả thi về mặt kỹ thuật.

Tiêu thụ Điện năng

Huấn luyện các mô hình tối tân đòi hỏi đủ điện năng để vận hành một thành phố nhỏ. Lượt huấn luyện GPT-4 có lẽ đã tiêu thụ khoảng 50 megawatt, tương đương với việc cấp điện cho khoảng 40.000 hộ gia đình ở Mỹ. Nếu việc mở rộng quy mô sức mạnh tính toán tiếp tục ở mức 4-5 lần mỗi năm, các lượt huấn luyện tối tân sẽ cần đến 4-16 gigawatt vào năm 2030 — tương đương với đập Grand Coulee, nhà máy điện lớn nhất nước Mỹ (You et al., 2025 (mở trong tab mới)).

Chi phí năng lượng vẫn còn nhỏ so với chi phí phần cứng, nhưng điều này có thể thay đổi. Hiện tại, chi phí điện năng chỉ chiếm 2-6% tổng chi phí huấn luyện, với phần cứng và nhân công chiếm phần lớn ngân sách (Cottier et al., 2024 (mở trong tab mới)). Nhưng nếu các lượt huấn luyện mở rộng quy mô lên hơn 10 gigawatt trong khi tốc độ cải thiện hiệu quả phần cứng chậm lại, năng lượng có thể trở thành một phần chi phí lớn hơn nhiều. Với mức giá 0,05 đô la mỗi kilowatt-giờ, một lượt huấn luyện 10 GW chạy trong 100 ngày sẽ tốn khoảng 120 triệu đô la chỉ riêng cho tiền điện. Con số đó vẫn ít hơn chi phí phần cứng, nhưng không còn là con số có thể bỏ qua nữa. Và trên thực tế, việc đảm bảo nguồn cung cấp điện ở quy mô nhiều gigawatt có thể tốn kém hơn đáng kể so với mức giá điện bán buôn cho thấy.

Việc mở rộng quy mô các hệ thống AI lên mức dự báo cho năm 2030 sẽ đòi hỏi hạ tầng điện năng đáng kể. Một lượt huấn luyện 2×10^29 FLOP sẽ cần khoảng 6 GW điện năng, giả định có những cải thiện về hiệu quả phần cứng. Quy mô này đòi hỏi các khu phức hợp trung tâm dữ liệu từ 1 đến 5 GW vào cuối thập kỷ (Sevilla et al., 2024 (mở trong tab mới)). Thời gian chờ tăng lên theo quy mô: mỗi lần kho sức mạnh tính toán tăng thêm 10 lần sẽ cộng thêm khoảng một năm vào tiến độ dự án. Việc xây dựng các nhà máy điện quy mô lớn cần thiết thường mất 2-3 năm (Edelman & Ho, 2025 (mở trong tab mới)). Bất chấp những trở ngại này, chi phí điện năng vẫn chỉ chiếm một phần nhỏ trong chi phí trung tâm dữ liệu — khoảng một phần mười chi phí chip — khiến khoản đầu tư vốn này trở nên hợp lý xét theo lợi tức tiềm năng (Ho et al., 2025 (mở trong tab mới)).

Chú thích

⁷ CMOS (Complementary Metal-Oxide-Semiconductor — Bán dẫn Oxit Kim loại Bổ sung) là mô hình chủ đạo trong sản xuất bộ xử lý. Phần lớn các mạch tích hợp kỹ thuật số (CPU, GPU, RAM, SoC di động) được sản xuất ngày nay đều là CMOS.

⁸ Khoảng tin cậy 95% là từ 5 đến 14 tháng.