Chương 241: Con đã lớn rồi

Trong lúc ấy, Tiêu Túc đang đeo chiếc ba lô trên vai, chuẩn bị rời đi đến phòng thí nghiệm sức mạnh tính toán. Sau khi nén đặc đặc trưng của Tiểu Trí, các nút thừa trong hệ thống điều phối phân tán hiện có sẽ trở thành điểm tắc nghẽn hiệu suất. Tiêu Túc đã từng suy nghĩ, vấn đề then chốt nằm ở chỗ làm thế nào để thực hiện sự kết hợp động của kích thước và phân bổ sức mạnh tính toán. Hôm nay, anh chủ yếu đến để xác minh ý tưởng của mình. Hôm qua, Cố Thanh Huyên đã hẹn trước với phòng nghiên cứu sức mạnh tính toán rồi.

"Tiểu Túc, chờ đã, mang theo sữa nhé."

Cố Thanh Huyên nhanh chóng bước đến trước mặt anh, đưa cho anh cốc sữa đã hâm nóng, "Một lát nữa tôi sẽ cùng anh đến phòng thí nghiệm sức mạnh tính toán. Bên đó đông người, khó tránh khỏi những cuộc chuyện phiếm, tôi theo anh, có thể giúp anh đỡ tốn thời gian."

Tiêu Túc dừng động tác, quay người lại, sắc mặt bình thản nhưng chứa đựng sự kiên định không thể lay chuyển, nhìn thẳng vào Cố Thanh Huyên: "Không cần đâu, chú Thanh."

Nụ cười trên mặt Cố Thanh Huyên thoáng dừng lại, định nói thêm vài lời thì nhìn thấy ánh mắt của Tiêu Túc càng thêm kiên định, đáy mắt ẩn chứa một nét kiên quyết mà anh chưa từng thấy bao giờ.

Tiêu Túc trước nay vốn tưởng Cố Thanh Huyên rất rảnh rỗi, không có đề tài quan trọng nào phải làm, nên mới chuyện gì cũng theo sát anh. Nhưng hôm đó, khi anh đến phòng làm việc của Cố Thanh Huyên lấy đồ, anh nhìn thấy Cố Thanh Huyên đang tập trung viết luận văn đề tài trước máy tính. Bài luận văn đó không quá khó, với năng lực của Cố Thanh Huyên, vốn không mất nhiều thời gian để hoàn thành. Nhưng hơn một tháng trôi qua, Tiêu Túc đã giải quyết xong giả thuyết Goldbach, thậm chí còn hoàn thiện xong Tiểu Trí, trong khi bài luận văn của Cố Thanh Huyên vẫn chưa có tiến triển gì.

Tiêu Túc nghĩ chắc là Cố Thanh Huyên đã dành quá nhiều thời gian và công sức cho mình, khiến tiến độ luận văn của anh bị chậm trễ. Anh không còn là đứa trẻ cần được người khác chăm sóc nữa, không thể để Cố Thanh Huyên vì mình mà trì hoãn sự nghiệp học thuật của anh ấy.

Từ hôm đó, anh đã quyết tâm không để Cố Thanh Huyên theo mình nữa.

"Con đã lớn rồi."

Giọng nói của Tiêu Túc bình tĩnh nhưng rõ ràng, từng chữ từng câu, "Vấn đề điều phối sức mạnh tính toán, con có thể tự giải quyết. Lâm Nghiễn cũng sẽ theo con. Chú không cần bận tâm, hãy chuyên tâm làm đề tài của mình đi."

Cố Thanh Huyên nhìn vào đôi mắt của Tiêu Túc, nơi đó chỉ toàn sự kiên định không thể lay chuyển. Anh im lặng một lát, nỗi lo lắng và vội vã trong đáy mắt dần tan biến, thay vào đó là một chút an ủi, cùng với nỗi buồn thoáng qua khó nhận thấy.

Anh biết, Tiêu Túc thực sự đã trưởng thành, không còn là đứa trẻ cần anh che chở bên cạnh nữa. Anh có suy nghĩ riêng, có sự kiên định của riêng mình, và có đủ năng lực để tự mình đương đầu.

Cuối cùng, Cố Thanh Huyên nhẹ nhàng gật đầu, nhượng bộ: "Được, tôi không theo anh. Nhưng nhất định phải để Lâm Nghiễn theo sát anh, bất cứ chuyện gì cũng phải gọi điện cho tôi ngay lập tức."

"Ừ."

Tiêu Túc khẽ gật đầu, quay sang cửa gọi, "Lâm Nghiễn, đi thôi."

Lâm Nghiễn đã đứng chờ sẵn ở cửa, nghe thấy tiếng gọi liền tiến lên phía trước, tay cầm chiếc laptop, theo sau Tiêu Túc.

Cố Thanh Huyên đứng ở cửa, nhìn theo bóng dáng hai người dần xa đi, trong lòng tràn ngập nỗi tiếc nuối. Nhưng nỗi tiếc nuối ấy không kéo dài lâu, anh nhanh chóng vực dậy tinh thần. Với thân phận hiện tại của Tiêu Túc, sau này chắc chắn sẽ càng ngày càng bận rộn, anh phải tìm cho Tiêu Túc một trợ lý chuyên nghiệp, vừa có thể giúp anh xử lý những việc vặt trong học thuật, vừa có thể hỗ trợ anh trong những thời khắc quan trọng, như vậy mới có thể giúp Tiêu Túc có nhiều thời gian hơn tập trung vào nghiên cứu cốt lõi.

Cố Thanh Huyên trầm ngâm một hồi lâu, suy nghĩ đi tìm người phù hợp. Cuối cùng, anh như đưa ra một quyết định nào đó, bấm vào chiếc số điện thoại quen thuộc nhưng lâu nay không gọi trên điện thoại. Tiếng chuông điện thoại vang lên rất lâu, lâu đến mức Cố Thanh Huyên gần như định tắt máy thì đầu dây bên kia mới vang lên giọng nam lạnh lùng:

"Có việc gì?"

“Anh trai, chuyện của thằng bé Tiểu Túc ngày càng nhiều rồi, nó một mình không thể xoay xở hết, cần một trợ lý chuyên nghiệp. Em nghĩ đi nghĩ lại, chỉ có anh là người khiến em yên tâm nhất.” Đầu dây bên kia chìm vào im lặng kéo dài, không khí như đông cứng lại. Cử chỉ của Cố Thanh Uyên siết chặt chiếc điện thoại. Lâu lắm sau đó, từ đầu dây mới vọng lên một tiếng “Được” nhạt nhẽo, rồi tiếng bíp tắt ngấm của cuộc gọi kết thúc. Cố Thanh Uyên ngồi đó, nắm chặt điện thoại, ngẩn ngơ hồi lâu rồi mới thở dài nhẹ nhõm. Còn bên kia, trong phòng nghiên cứu sức mạnh tính toán, mọi thứ đã hỗn loạn như nồi cháo sôi. “Nhanh lên! Thu dọn đống tạp chí trên bàn đi, đừng để Tiểu Túc thấy phòng thí nghiệm bừa bộn thế này, mất mặt lắm!” Một nghiên cứu viên đeo kính gọng đen hấp tấp nhét những cuốn “Báo cáo khoa học máy tính” rơi rớt vào tủ, đầu ngón tay đã ướt đẫm mồ hôi. “Nóng lòng gì! Tiểu Túc đến đây là để giải quyết vấn đề chứ có phải đến kiểm tra vệ sinh đâu!” Một cô gái mặc áo blouse trắng vừa lau bàn thí nghiệm vừa càu nhàu, nhưng tay vẫn thoăn thoắt, thậm chí còn dùng tăm bông moi cả bụi trong khe bàn phím. “Nói thật lòng, sao Tiểu Túc đột nhiên lại đến chỗ chúng ta thế nhỉ? Nó vừa giải quyết xong giả thuyết Goldbach mà! Năng lượng của thằng đại gia này cũng quá phi thường rồi, còn hơn cả server của phòng thí nghiệm chúng ta!” “Ai mà biết được! Nghe nói Tiểu Túc để mắt đến thuật toán điều phối sức mạnh tính toán của chúng ta,” chàng trai gãi đầu, giọng vừa ngưỡng mộ vừa lo lắng, “thuật toán điều phối của chúng ta dù có đứng đầu ngành đi nữa, chắc cũng chỉ là trò trẻ con trong mắt Tiểu Túc. Nếu nó hỏi mà mình không trả lời được, chết mất!” “Yên tâm đi, có chủ nhiệm Chu ở đây mà!” Cô gái nhếch môi, ánh mắt nhìn về phía văn phòng, “chủ nhiệm Chu hôm qua còn dặn chúng ta hôm nay phải hết sức tỉnh táo, đừng làm mất mặt phòng thí nghiệm sức mạnh tính toán của Đại học Kính Đại.” Hai người vừa nói chuyện thì một người đàn ông trung niên mặc sơ mi xám nhạt, tóc chải gọn gàng bước ra, chính là chủ nhiệm Chu Khánh Vũ, phụ trách phòng nghiên cứu sức mạnh tính toán. Đôi mắt ông quầng thâm nhạt, rõ ràng là không ngủ được, nhưng gương mặt vẫn cố gắng tỏ ra bình tĩnh, nhìn quanh phòng thí nghiệm rồi trầm giọng nói: “Mọi người đừng bận tâm nữa, cứ làm việc bình thường thôi. Tiểu Túc đến đây là để trao đổi học tập, không phải đến đánh giá chúng ta đâu, cứ thả lỏng tâm trí đi.” Dù nói vậy, lòng bàn tay Chu Khánh Vũ vẫn đầy mồ hôi. Tối hôm trước, điện thoại của Chu Khánh Vũ đột nhiên reo, giọng Cố Thanh Uyên nói Tiểu Túc muốn xem hệ thống sức mạnh tính toán của phòng thí nghiệm. Lúc đó, chiếc cốc nước trong tay Chu Khánh Vũ suýt nữa rơi xuống đất. Ông đã nghiên cứu sức mạnh tính toán hơn hai mươi năm, gặp không biết bao nhiêu thiên tài, từng hợp tác với những chuyên gia hàng đầu của MIT, Stanford, nhưng chưa bao giờ cảm thấy háo hức và lo lắng như lúc này. Đó chính là Tiểu Túc. Một thần đồng mười sáu tuổi đã giải quyết được giả thuyết Chu thị, giả thuyết song sinh nguyên tố, giờ lại dường như đã chứng minh được giả thuyết Goldbach, đồng thời phát triển ra AI hàng đầu thế giới. Một báu vật mà giới học thuật toàn cầu tranh giành, biết bao trường đại học và viện nghiên cứu cố gắng mời mọc, nhưng đều bị anh khéo léo từ chối. Vậy mà giờ đây, anh chủ động tìm đến phòng thí nghiệm sức mạnh tính toán của họ? Chu Khánh Vũ suốt đêm không ngủ, đầu óc cứ quay cuồng với thuật toán điều phối sức mạnh tính toán hiện có của phòng thí nghiệm, suy nghĩ xem Tiểu Túc có thể đưa ra những câu hỏi gì, thậm chí thức trắng đêm lật lại tất cả những bài luận văn Tiểu Túc đã công bố, dù nhiều nội dung về lý thuyết số, hình học symplectic ông không hiểu hết, vẫn cố gắng đọc hết. “Chủ nhiệm Chu, Tiểu Túc đến rồi!” Nghiên cứu viên ở cửa đột nhiên thốt lên, giọng hơi hứng khởi. Chu Khánh Vũ lập tức quay về thực tại, bước nhanh ra đón. Chỉ thấy Tiểu Túc mặc chiếc áo phông trắng đơn giản, quần thể thao đen, đeo chiếc ba lô hai quai, vẻ mặt bình thản, chẳng khác gì sinh viên Đại học Kính Đại bình thường, nhưng khí chất điềm tĩnh tự tại khiến người ta không khỏi kính nể. Đằng sau anh là Lâm Nghiễn, tay bế chiếc laptop. “Tiểu Túc, chào mừng chào mừng!” Chu Khánh Vũ đưa tay ra, giọng đượm niềm hứng khởi, “Tôi là Chu Khánh Vũ, phụ trách phòng nghiên cứu sức mạnh tính toán. Từ lâu tôi đã nghe danh anh, luôn mong có dịp được học hỏi, không ngờ anh lại chủ động đến, thật là vinh dự vô cùng!”

Sảo Tú nhẹ nhàng nắm lấy bàn tay anh ấy, giọng điệu trong trẻo và bình ổn: "Thầy Chu hiền."

Sau một thoáng suy nghĩ, cô lại thêm vào: "Xin thất lễ."

Chu Khánh Vũ vội vàng bước tới: "Không thất lễ chút nào, cô Sảo Tú, mời vào, đây là..."

"Lâm Nghiễn, trợ lý của Sảo Tú." Lâm Nghiễn nở nụ cười, tự nhận thức rõ vai trò của mình.

Chu Khánh Vũ dẫn họ đến khu vực hội nghị, Tống Hiểu Mạn đã pha sẵn trà.

Sảo Tú không ngồi, ánh mắt cô vượt qua tất cả mọi người, thẳng hướng về ba dãy tủ máy.

Những chiếc tủ máy màu đen xếp dọc theo tường, đèn báo nhấp nháy như những vì sao lấp lánh.

Tiếng ồn ù ù của quạt tản nhiệt trầm thấp và đều đặn, như hơi thở của một sinh vật khổng lồ.

Nhìn qua cửa kính tủ, có thể thấy bên trong cắm đầy những tấm thẻ tính toán, dây cáp được bó gọn thành từng bó, chạy dọc theo giá đỡ dọc lên đến hệ thống cầu treo trên trần.

Đây chính là cơ ngơi của Trung tâm Tính toán Hiệu năng Cao Đại học Kinh.

Ba máy quản lý nút, bốn mươi tám máy tính toán nút, mỗi nút có tám thẻ gia tốc GPU, tổng cộng ba trăm tám mươi tư thẻ. Ngoài ra còn có hai nhóm mảng đĩa chuyên dụng cho lưu trữ dữ liệu, và một cụm thí nghiệm làm mát bằng chất lỏng mới bắt đầu xây dựng từ năm ngoái.

Tổng cộng những thiết bị này cộng lại, công suất đỉnh có thể đạt khoảng hai phẩy tám PFlops.

Con số này nếu đem so với các trường đại học trong nước thì thuộc hàng đầu, nhưng so với những công ty thương mại như Thâm Độ Cầu Tốn có đến hàng vạn thẻ H100 thì lại kém xa một bậc.

Tuy nhiên hôm nay đến đây, Sảo Tú không quan tâm đến tổng công suất tính toán.

Cô quan tâm đến cách thức công suất đó được sử dụng.

Chu Khánh Vũ đứng cạnh tủ máy, bắt đầu giới thiệu tình hình.

"Hiện tại hệ thống lập lịch của chúng tôi sử dụng khung Slurm, kết hợp với mô-đun quản lý tiêu thụ năng lượng do chúng tôi tự phát triển. Chiến lược lập lịch thì chúng tôi áp dụng thuật toán hàng đợi công bằng có trọng số đã được cải tiến, kết hợp điều chỉnh điện áp tần số động để cân bằng tải, logic phân bổ tài nguyên cụ thể là..."

Anh nói trong khoảng ba phút.

Sảo Tú vẫn im lặng, chỉ lắng nghe một cách yên tĩnh, ánh mắt cô di chuyển qua lại giữa đèn báo trên tủ máy và đường cong tải thời gian thực trên màn hình giám sát bên cạnh.

Khi Chu Khánh Vũ nói xong, Sảo Tú mới từ từ mở lời.

"Chiến lược lập lịch hiện tại của các anh, là được thiết kế cho không gian đặc trưng đa chiều phải không?"

Chu Khánh Vũ giật mình, rồi gật đầu:

"Đúng vậy, hiện tại các tác vụ huấn luyện AI chủ đạo đều có chiều đặc trưng rất cao, nên chúng tôi mặc định phân bổ tài nguyên theo mô hình tải tính toán tensor đa chiều. Chiến lược này là thứ chúng tôi công bố tại hội nghị SC năm ngoái, tư tưởng cốt lõi là chia nhỏ tensor đa chiều thành nhiều khối con đa chiều thấp hơn, sau đó phân bổ cho các nút khác nhau để tính toán song song. Đánh giá trong ngành khá tốt, có mấy trường đại học còn đến đây học hỏi."

Sảo Tú đứng trước màn hình giám sát, ánh mắt cô dừng lại trên đường cong tải ấy, nhìn một hồi lâu.

Mọi người trong phòng thí nghiệm đều không nói lời nào.

Chu Khánh Vũ đứng ở phía sau bên cạnh cô, tay vẫn cầm chiếc bút vừa dùng để chỉ màn hình lúc giới thiệu hệ thống, không biết từ lúc nào chiếc nắp bút đã bị anh quay lỏng trên đầu ngón tay, phát ra tiếng khe khẽ.

“Chuột lão, khi bộ điều phối của các anh xử lý nhiệm vụ huấn luyện AI tổng quát, tỷ lệ sử dụng node là bao nhiêu?”

Chu Khánh Vũ khẽ thở phào nhẹ nhõm, đây là câu anh có thể trả lời được.

“Với nhiệm vụ tổng quát, GPU trung bình đạt từ bảy mươi lăm đến tám mươi lăm phần trăm, đỉnh điểm có thể lên tới chín mươi trở lên.”

Khi nói câu ấy, giọng anh thoáng hiện chút tự tin không rõ rệt.

Con số này trong các trung tâm tính toán của các trường đại học trong nước quả thật khá ấn tượng, năm ngoái trong luận văn của hội nghị SC còn có hẳn một đoạn phân tích dữ liệu tỷ lệ sử dụng này.

Tiêu Tú gật đầu, không bình luận xem con số này là cao hay thấp.

Ánh mắt anh rời khỏi đường cong tải, chuyển sang đèn chỉ báo của tủ rack. Dãy đèn xanh lục nhấp nháy đều đặn, như nhịp thở có quy luật.

“Thế còn khi chạy khung sườn Tiểu Trí thì sao?”

Chút tự tin của Chu Khánh Vũ lập tức tan biến.

“Khung sườn Tiểu Trí tuần trước chúng tôi đã chạy thử benchmark, độ giải liền quả thật đáng kinh ngạc, khớp với dữ liệu trong luận văn, nhưng tốc độ chạy thực tế chỉ nhanh hơn mô hình truyền thống khoảng ba mươi phần trăm, tỷ lệ sử dụng node…”

Anh dừng lại một chút.

“Dưới năm mươi phần trăm.”

“Gần bằng dự đoán của tôi.”

Khi nói câu ấy, giọng Tiêu Tú rất bình thản.

Anh bước tới trước bảng trắng.

Tống Hiểu Mạn gần như vô thức lùi sang bên, tay vẫn nắm chặt miếng giẻ lau bảng.

“Khi thiết kế Tiểu Trí, tôi đã đưa ra một giả định tiền đề.”

Bàn tay anh nhanh chóng di chuyển trên bảng trắng, chẳng mấy chốc đã vẽ xong một sơ đồ phân cấp rõ ràng.

“Không gian đặc trưng của các mô hình lớn truyền thống là đa chiều, mọi thông tin đều bị trộn lẫn vào nhau. Ngữ nghĩa, logic, ký hiệu, tất cả đều nằm trong cùng một vector đa chiều.

Dưới cấu trúc này, mật độ tính toán tập trung vào thao tác co giãn tenxơ, mỗi lần tính toán khối lượng lớn, nhưng tần suất truyền thông tin giữa các node lại thấp.

Chi phí truyền thông so với chi phí tính toán chiếm tỷ trọng rất nhỏ, vì vậy chiến lược điều phối khi chia nhỏ nhiệm vụ, phân tán ra, chạy song song là đúng.”

Bút của anh dừng lại giữa lớp thứ nhất và lớp thứ hai.

“Tiểu Trí đi ngược lại tư tưởng ấy, tôi đã tách ba lớp này ra. Biểu diễn ngữ nghĩa được nén vào không gian biểu diễn bất khả quy của nhóm compact, lớp logic được mô hình hóa riêng biệt, lớp ký hiệu cũng được mô hình hóa riêng biệt. Mỗi lớp đều có chiều thấp hơn mô hình truyền thống gần hai bậc.”

Anh ghi chú độ phức tạp tính toán tương ứng bên cạnh mỗi lớp.

Phân tích ngữ nghĩa: O(nlogn).

Lập luận logic: O(n²).

Ánh xạ ký hiệu: O(n).

“Sau khi giảm chiều, khối lượng tính toán mỗi lần đã nhỏ hơn, nhưng mối quan hệ phụ thuộc giữa ba lớp lại phức tạp hơn mô hình truyền thống. Đầu ra của lớp ngữ nghĩa là đầu vào của lớp logic, kết quả trung gian của lớp logic cần trao đổi thường xuyên với lớp ký hiệu. Hơn nữa, độ phức tạp tính toán của ba lớp không giống nhau, lớp logic tính toán chậm nhất, lớp ngữ nghĩa xếp sau, lớp ký hiệu nhanh nhất.”

Anh quay người lại, đầu bút chấm chấm vào đường cong tải trên màn hình giám sát.

“Nên nếu vẫn dùng chiến lược điều độ truyền thống, chia mỗi tầng thành những khối con bằng nhau rồi tung ra, sẽ xảy ra tình trạng thế này, đó là các nút ở tầng ký hiệu sẽ nhanh chóng chạy xong, rồi phải chờ không, trong khi chờ kết quả từ tầng logic gửi về. Bản thân các nút ở tầng logic vốn đã tính toán chậm, lại còn phải tổng hợp dữ liệu từ các nút con, toàn bộ áp lực truyền thông dồn hết lên nó, kết quả là…”

“Phần lớn các nút không phải tính toán nữa, mà chỉ chờ đợi thôi.” Chu Khánh Vũ ngắt lời.

Hiệu Súy gật đầu.