Huấn luyện phân tán trên nhiều node GPU: Mạng, lưu trữ và checkpoint cần chuẩn bị gì?

Cụm máy chủ GPU NVIDIA HGX cho huấn luyện phân tán

Bạn đang tìm hiểu về GPU cho AI?
Xem trang tổng quan GPU cho AI cùng các bài viết liên quan | Tìm hiểu ngay

Share this story

Huấn luyện phân tán là chia việc huấn luyện một mô hình AI cho nhiều GPU, thường trên nhiều máy chủ (node), để rút ngắn thời gian hoặc để huấn luyện mô hình quá lớn so với bộ nhớ một máy. Hiệu quả phụ thuộc không chỉ vào GPU mà còn vào mạng giữa các node, hệ thống lưu trữ và cách lưu checkpoint.

Tóm tắt nhanh
  • Một máy 8 GPU kết nối NVLink đủ cho đa số fine-tuning; nhiều node cần khi huấn luyện tiếp hoặc mô hình rất lớn.
  • Bốn kỹ thuật chính: data parallel, sharded (FSDP, ZeRO), tensor parallel, pipeline parallel; mô hình lớn thường kết hợp nhiều kỹ thuật.
  • Mạng tốc độ cao, độ trễ thấp giữa các node quyết định GPU có phải chờ nhau hay không.
  • Lưu trữ phải đọc dữ liệu đủ nhanh và ghi checkpoint lớn mà không làm GPU đứng chờ.
  • Checkpoint định kỳ và khôi phục tự động giúp không mất hàng ngày huấn luyện khi có sự cố.

Khi nào cần nhiều node?

Nhiều đội AI bắt đầu bằng một máy nhiều GPU và chỉ cần mở rộng ra nhiều máy khi:

  • Mô hình không vừa một máy: full fine-tuning mô hình 70B cần trên 1 TB bộ nhớ cho trọng số, gradient và bộ tối ưu, vượt bộ nhớ của máy 8 GPU H100 (640 GB).
  • Dữ liệu quá lớn: huấn luyện tiếp trên hàng tỷ token sẽ mất nhiều tuần nếu chỉ dùng một máy.
  • Cần rút ngắn vòng thử nghiệm: chạy nhanh hơn để thử nhiều cấu hình trong cùng thời gian.

Trước khi mở rộng, hãy tối ưu trên một máy: dùng BF16, gradient checkpointing, FSDP trong máy, batch size hợp lý. Một máy được tối ưu tốt thường hiệu quả hơn hai máy cấu hình vội.

Các kỹ thuật song song

Sơ đồ bốn kỹ thuật song song khi huấn luyện nhiều GPU
Bốn cách chia việc huấn luyện cho nhiều GPU
Kỹ thuậtCách chiaƯu điểmLưu ý
Data parallelMỗi GPU một bản mô hình, chia dữ liệuĐơn giản, mở rộng tốtMô hình phải vừa một GPU
Sharded data parallel (FSDP, ZeRO)Chia trọng số, gradient, bộ tối ưuHuấn luyện mô hình lớn hơn bộ nhớ một GPUTăng lưu lượng mạng
Tensor parallelChia từng ma trận trong một lớpGiảm bộ nhớ mỗi GPU cho lớp rất lớnCần băng thông rất cao, nên giữ trong một máy (NVLink)
Pipeline parallelChia nhóm lớp theo dây chuyềnMở rộng qua nhiều máyCó thời gian chờ giữa các giai đoạn

Mô hình rất lớn thường dùng kết hợp: tensor parallel trong một máy 8 GPU, pipeline hoặc sharded data parallel giữa các máy. Các thư viện phổ biến như PyTorch FSDP, DeepSpeed, Megatron hỗ trợ sẵn các kỹ thuật này.

Mạng giữa các node

Kỹ sư vận hành cụm GPU trong trung tâm dữ liệu
Cụm GPU cần mạng tốc độ cao giữa các máy

Trong mỗi bước huấn luyện, các GPU phải trao đổi gradient hoặc trọng số với nhau (thao tác all-reduce, all-gather). Nếu mạng chậm, GPU tính xong phải chờ dữ liệu từ máy khác, hiệu suất giảm mạnh dù GPU rất mạnh.

  • Trong một máy: NVLink và NVSwitch nối 8 GPU với băng thông hàng trăm GB/s đến hơn 1 TB/s mỗi GPU tùy thế hệ.
  • Giữa các máy: cần mạng chuyên dụng tốc độ cao, độ trễ thấp, hỗ trợ truy cập bộ nhớ từ xa (RDMA), tách biệt với mạng quản trị và mạng lưu trữ.
  • Thư viện giao tiếp: NCCL của NVIDIA tối ưu các thao tác tập thể; cần cấu hình đúng để dùng mạng tốc độ cao.

Khi chọn nhà cung cấp, hãy hỏi rõ kiến trúc mạng giữa các node GPU và chạy thử bài kiểm tra băng thông all-reduce trước khi chạy job dài.

Lưu trữ dữ liệu huấn luyện

Lưu trữ cho huấn luyện phân tán phải đáp ứng hai nhu cầu trái ngược: đọc dữ liệu liên tục cho hàng chục GPU và ghi checkpoint dung lượng lớn trong thời gian ngắn.

  • Ổ NVMe cục bộ: nhanh nhất, dùng làm bộ đệm dữ liệu và ghi checkpoint tạm. Metal Cloud có NVMe cục bộ cấu hình RAID 0 hoặc RAID 1.
  • File Storage hiệu năng cao: hệ thống tệp dùng chung để mọi node cùng đọc bộ dữ liệu và lưu checkpoint.
  • Object Storage: kho lưu trữ lâu dài cho dữ liệu gốc, checkpoint cũ, mô hình đã huấn luyện, chi phí thấp.

Định dạng dữ liệu cũng quan trọng: gom hàng triệu tệp nhỏ thành các tệp lớn dạng shard giúp đọc nhanh hơn nhiều. Chi tiết tại lưu trữ cho AI.

Checkpoint và khôi phục khi lỗi

Sơ đồ chiến lược checkpoint 5 bước khi huấn luyện AI
Chiến lược checkpoint giúp không mất công huấn luyện khi có sự cố

Với hàng chục, hàng trăm GPU chạy liên tục nhiều ngày, xác suất có ít nhất một lỗi phần cứng, mạng hay phần mềm là đáng kể. Không có checkpoint, một lỗi có thể xóa sạch nhiều ngày huấn luyện.

  • Tần suất: cân bằng giữa thời gian ghi và lượng công việc có thể mất; thường 30–60 phút một lần.
  • Dung lượng: checkpoint đầy đủ gồm trọng số và trạng thái bộ tối ưu, có thể gấp nhiều lần kích thước mô hình.
  • Ghi bất đồng bộ: ghi nhanh vào NVMe rồi sao chép nền sang lưu trữ chung để GPU sớm chạy tiếp.
  • Khôi phục tự động: bộ điều phối phát hiện node lỗi, thay node và chạy lại từ checkpoint gần nhất.
  • Kiểm tra checkpoint: thử nạp lại định kỳ để chắc chắn file không hỏng.

Điều phối và giám sát cụm

  • Bộ điều phối: Kubernetes với các operator cho job huấn luyện, hoặc Slurm quen thuộc trong HPC. GPU Cluster cung cấp Kubernetes được quản lý trên máy ảo GPU hoặc Metal Cloud.
  • Giám sát GPU: mức sử dụng, bộ nhớ, nhiệt độ, lỗi phần cứng của từng GPU.
  • Hiệu suất huấn luyện: số token mỗi giây, tỷ lệ sử dụng sức tính thực tế so với lý thuyết; tỷ lệ thấp cho thấy nghẽn ở mạng, lưu trữ hoặc nạp dữ liệu.
  • Theo dõi thí nghiệm: lưu cấu hình, loss, kết quả đánh giá theo từng lần chạy, theo cách làm MLOps.

Checklist trước khi chạy job huấn luyện dài

  1. Chạy thử job trên 1 máy rồi 2 máy với dữ liệu nhỏ để kiểm tra cấu hình phân tán, tốc độ mở rộng.
  2. Kiểm tra băng thông all-reduce giữa các node đạt mức kỳ vọng.
  3. Xác nhận tốc độ đọc dữ liệu đủ nuôi tất cả GPU: GPU không được rảnh vì chờ dữ liệu.
  4. Thử ghi và nạp lại checkpoint, đo thời gian ghi.
  5. Bật cơ chế tự chạy lại khi job lỗi, cảnh báo qua email hoặc chat khi node gặp sự cố.
  6. Ghi lại phiên bản mã nguồn, thư viện, driver, CUDA, dữ liệu cho lần chạy.
  7. Ước tính tổng giờ GPU và chi phí; đặt ngưỡng cảnh báo ngân sách.
  8. Lên kế hoạch đánh giá giữa chừng để dừng sớm nếu kết quả không như kỳ vọng.

Mười lăm phút chạy thử với cấu hình nhỏ thường tiết kiệm hàng chục giờ GPU bị lãng phí vì lỗi cấu hình phát hiện muộn. Với dự án nhiều tuần, nên làm việc trước với đội kỹ thuật của nhà cung cấp để thống nhất cách xử lý khi phần cứng lỗi.

Hạ tầng huấn luyện phân tán tại FPT AI Factory

FPT AI Factory vận hành các cụm NVIDIA HGX H100, H200 và B300 tại Việt Nam và Nhật Bản. Metal Cloud cung cấp máy chủ vật lý 8 GPU dành riêng, chạy độc lập hoặc theo cụm nhiều node, kèm NVMe cục bộ và File Storage hiệu năng cao; GPU Cluster giúp điều phối nhiều máy bằng Kubernetes với Cluster Autoscaler. Hình thức đặt trước theo kỳ hạn phù hợp các dự án huấn luyện kéo dài vài tháng.

Cần cụm GPU cho huấn luyện quy mô lớn?

Gửi nhu cầu để nhận đề xuất cấu hình và báo giá phù hợp.

Đăng ký tư vấn

Bài viết liên quan

Câu hỏi thường gặp

Khi nào cần huấn luyện trên nhiều máy GPU?

Khi mô hình, gradient và trạng thái bộ tối ưu vượt bộ nhớ một máy, hoặc khi dữ liệu quá lớn khiến huấn luyện trên một máy mất quá lâu.

FSDP là gì?

Fully Sharded Data Parallel là kỹ thuật chia trọng số, gradient và trạng thái bộ tối ưu ra các GPU, giúp huấn luyện mô hình lớn hơn bộ nhớ một GPU.

Vì sao mạng giữa các node quan trọng?

Các GPU phải trao đổi gradient sau mỗi bước; mạng chậm khiến GPU phải chờ, làm giảm hiệu suất toàn cụm.

Bao lâu nên lưu checkpoint một lần?

Thường 30–60 phút hoặc sau một số bước nhất định, cân bằng giữa thời gian ghi và lượng công việc có thể mất khi lỗi.

Nên dùng Kubernetes hay Slurm?

Cả hai đều phổ biến; Kubernetes hợp với đội đã quen container và cần cả huấn luyện lẫn phục vụ mô hình, Slurm quen thuộc với nhóm HPC, nghiên cứu.

Bạn có biết?
Tìm hiểu thêm về FPT AI Factory: tổng quan, lợi ích và cách triển khai - Xem thêm

Hạ tầng FPT Cloud cho doanh nghiệp

FPT Cloud cung cấp hạ tầng Public Cloud đặt tại Việt Nam cho doanh nghiệp, gồm Cloud Server, Kubernetes, cơ sở dữ liệu dạng dịch vụ (DBaaS), hạ tầng GPU cho AI, cùng các dịch vụ sao lưu, dự phòng thảm họa, cân bằng tải và tự co giãn. Hạ tầng áp dụng các chuẩn an toàn thông tin như ISO/IEC 27001 và PCI DSS, giúp doanh nghiệp chuẩn bị cho kiểm toán và yêu cầu của đối tác. Cấu hình, mô hình tính phí và phương án triển khai được FPT tư vấn theo từng hệ thống.

Tìm hiểu dịch vụ Cloud Server FPT · Đăng ký tư vấn

Nền tảng Contact Center toàn diện FPT OncallCX

Chăm sóc khách hàng toàn diện, đa kênh với
công nghệ AI
Giải pháp tổng đài Cloud FPT

separator

Tìm hiểu ngay