So sánh H100, H200, B300 · Chạy LLM cần bao nhiêu GPU · FinOps cho AI · FPT AI Factory
Cloud Server GPU là máy chủ ảo có card GPU để xử lý các tác vụ song song như huấn luyện và suy luận mô hình AI, render và phân tích video. Doanh nghiệp thuê theo giờ hoặc theo kỳ thay vì mua máy chủ GPU, nên tránh vốn đầu tư lớn và rủi ro phần cứng nhanh lỗi thời. Nếu ứng dụng chỉ là website, ERP hay cơ sở dữ liệu thông thường thì máy chủ CPU vẫn phù hợp và tiết kiệm hơn nhiều.
Nhu cầu GPU tăng nhanh khi doanh nghiệp đưa AI vào sản phẩm: chatbot, phân tích hình ảnh, nhận dạng giọng nói, mô hình ngôn ngữ lớn. Mua máy chủ GPU tốn vốn và khó tận dụng hết công suất, nên nhiều doanh nghiệp chọn thuê.
Bài này giúp xác định khi nào cần GPU, chọn cấu hình theo bài toán, ước lượng bộ nhớ GPU (VRAM), hiểu các yếu tố quyết định chi phí, vì sao đặt GPU tại Việt Nam có lợi và cách thuê trên FPT Cloud. Các ví dụ về số liệu trong bài là giả định để minh họa.
Khi nào doanh nghiệp thực sự cần GPU?
GPU hữu ích khi tải công việc có nhiều phép tính song song. Ba nhóm bài toán điển hình là huấn luyện hoặc fine-tune mô hình AI trên dữ liệu riêng, suy luận (inference) khối lượng lớn như chatbot, tóm tắt văn bản, nhận dạng ảnh và video theo thời gian thực, và xử lý dữ liệu song song như render, mô phỏng, phân tích video.
Nếu ứng dụng là website, ERP hoặc cơ sở dữ liệu thông thường, hãy ở lại với CPU. Việc thuê GPU cho tải không cần đến nó chỉ làm tăng chi phí mà không làm hệ thống nhanh hơn.
| Dấu hiệu | Nên cân nhắc | Chưa cần GPU nếu |
|---|---|---|
| Mô hình chạy quá chậm trên CPU khi phục vụ người dùng | Thuê GPU cho suy luận | Mô hình rất nhỏ hoặc lượng truy vấn thấp |
| Cần tinh chỉnh mô hình bằng dữ liệu riêng | Thuê GPU theo đợt | Có thể dùng truy xuất tăng cường (RAG) thay vì tinh chỉnh; xem Fine-tuning, LoRA là gì: Khi nào nên tinh chỉnh mô hình thay vì RAG |
| Phân tích video, hình ảnh số lượng lớn | Thuê GPU phù hợp tải thị giác | Chỉ xử lý ảnh lẻ không cần thời gian thực |
| Dự án AI còn thử nghiệm | Thuê theo giờ, tắt khi không dùng | Chưa có bài toán rõ ràng |
Chọn cấu hình Cloud GPU theo bài toán
Cấu hình phụ thuộc vào việc bài toán là huấn luyện hay suy luận và mô hình lớn cỡ nào. Bảng dưới là gợi ý chung; cấu hình cụ thể cần được kiểm chứng bằng đo thực tế.
| Bài toán | Yếu tố quan trọng | Gợi ý |
|---|---|---|
| Suy luận mô hình nhỏ, vừa | Độ trễ, chi phí mỗi giờ | 1 GPU đủ VRAM để nạp mô hình; chạy liên tục, mở rộng theo lưu lượng |
| Fine-tune mô hình ngôn ngữ | VRAM, tốc độ lưu trữ | 1 đến 8 GPU dòng cao cấp, ổ NVMe để nạp dữ liệu nhanh |
| Huấn luyện mô hình lớn | Nhiều GPU, kết nối giữa các GPU | Cụm nhiều GPU cao cấp như NVIDIA H100, H200; thuê theo đợt huấn luyện |
| Thử nghiệm, nghiên cứu | Khởi tạo nhanh, linh hoạt | Thuê theo giờ, tắt khi không dùng |
Ước lượng VRAM trước khi thuê
VRAM là bộ nhớ của card GPU, quyết định mô hình có nạp được hay không. Cách ước lượng thô: bộ nhớ cho trọng số mô hình bằng số tham số nhân với số byte mỗi tham số. Ví dụ giả định, mô hình 7 tỷ tham số ở độ chính xác 16 bit cần khoảng 14 GB chỉ cho trọng số, còn mô hình 70 tỷ tham số cần khoảng 140 GB; chưa kể bộ nhớ đệm cho ngữ cảnh và dữ liệu đầu vào. Cách tính chi tiết xem Chạy LLM cần bao nhiêu GPU và VRAM: Cách tính cho mô hình 7B đến 70B.
So sánh dòng GPU
Dòng GPU và thế hệ ảnh hưởng tới VRAM, tốc độ và giá. Phần so sánh H100, H200, B300 xem trong So sánh NVIDIA H100, H200, B300: Chọn GPU nào cho AI; để chọn giữa máy chủ ảo GPU, bare metal và cụm GPU, xem GPU Server, Metal Cloud, GPU Cluster: Chọn dịch vụ GPU nào.
Chi phí thuê Cloud GPU phụ thuộc vào đâu?
Dòng GPU và số lượng là yếu tố lớn nhất trong hóa đơn, nhưng không phải yếu tố duy nhất. Thời gian GPU chạy không tải là nguyên nhân phổ biến khiến chi phí vượt dự kiến.
| Yếu tố | Ảnh hưởng | Cách kiểm soát |
|---|---|---|
| Dòng GPU và số lượng | Lớn nhất trong hóa đơn | Chọn đúng VRAM thay vì dòng cao nhất |
| Hình thức thuê | Theo giờ cho thử nghiệm; theo kỳ hoặc cam kết dài hạn cho tải ổn định | Tách tải thử nghiệm khỏi tải sản xuất; xem Thuê GPU theo giờ, đặt trước hay mua máy chủ: So sánh TCO |
| Thời gian chạy không tải | Phát sinh chi phí mà không tạo giá trị | Tự động tắt khi nhàn rỗi, đặt cảnh báo |
| Lưu trữ và băng thông | Dữ liệu huấn luyện, checkpoint, mô hình | Chọn đúng loại lưu trữ; xem Lưu trữ cho AI: File, object hay NVMe |
| Quản trị chi phí | Không gắn nhãn thì không biết dự án nào tốn | Áp dụng FinOps; xem FinOps cho AI: Quản lý và tối ưu chi phí GPU |
Khi cần lập kế hoạch lâu dài, xem thêm Lập kế hoạch dung lượng cho hạ tầng Cloud và GPU và FinOps là gì: Chiến lược tối ưu chi phí hạ tầng Cloud cho doanh nghiệp.
Lợi ích khi thuê GPU đặt tại Việt Nam
| Lợi ích | Giải thích | Lưu ý |
|---|---|---|
| Dữ liệu huấn luyện không phải chuyển ra nước ngoài | Thuận lợi khi tuân thủ yêu cầu về dữ liệu cá nhân | Cần đối chiếu văn bản gốc; xem Luật Bảo vệ dữ liệu cá nhân 2026 |
| Độ trễ thấp | Phù hợp ứng dụng suy luận phục vụ người dùng trong nước | Đo thực tế từ vị trí người dùng |
| Thanh toán bằng VNĐ, hỗ trợ tiếng Việt | Dễ làm việc với bộ phận tài chính và kỹ thuật | Điều kiện theo hợp đồng |
Với ngân hàng, bảo hiểm, chứng khoán có yêu cầu đặc biệt về dữ liệu, xem Private AI cho ngân hàng, bảo hiểm, chứng khoán: Chạy mô hình trên hạ tầng riêng.
Cloud GPU tại FPT
FPT AI Factory là hạ tầng GPU Cloud hợp tác cùng NVIDIA, phục vụ huấn luyện và triển khai mô hình AI, đặt tại Việt Nam. Tùy nhu cầu, doanh nghiệp có thể chọn các hướng sau.
| Nhu cầu | Dịch vụ | Bài tham khảo |
|---|---|---|
| Máy chủ ảo GPU cho AI, học máy | FPT GPU Server | FPT GPU Server |
| Chạy ứng dụng AI dạng container | FPT Kubernetes Engine with GPU | FPT Kubernetes Engine with GPU: K8s tích hợp GPU cho AI |
| Huấn luyện, fine-tune mô hình | FPT AI Studio | FPT AI Studio: Nền tảng huấn luyện và fine-tuning mô hình AI |
| Triển khai mô hình qua API | FPT AI Inference | FPT AI Inference: Nền tảng triển khai mô hình AI qua API |
| Hạ tầng AI quy mô lớn | Metal Cloud, GPU Cluster | FPT Metal Cloud và GPU Cluster |
| Phần ứng dụng, cơ sở dữ liệu đi kèm | FPT Cloud Server | FPT Cloud Server là gì |
Tổng quan dịch vụ xem Hạ tầng GPU và AI Factory tại Việt Nam: Tổng quan dịch vụ FPT, FPT AI Factory, FPT Cloud AI: Dịch vụ AI và GPU cho doanh nghiệp và LLM inference là gì: Hạ tầng GPU cần thiết để vận hành mô hình AI tạo sinh; huấn luyện nhiều node xem Huấn luyện phân tán nhiều node GPU: Mạng và lưu trữ checkpoint.
Cloud GPU trên FPT Cloud
Doanh nghiệp có thể bắt đầu từ FPT GPU Server cho thử nghiệm và suy luận, kết hợp FPT Kubernetes Engine with GPU cho ứng dụng container, và mở rộng lên hạ tầng FPT AI Factory khi cần huấn luyện lớn.
Dòng GPU, số lượng, hình thức thuê, giá và điều kiện dùng thử PoC cụ thể cần được FPT tư vấn theo từng bài toán.
Kết luận
Thuê Cloud GPU hợp lý khi nhu cầu chưa ổn định, cần thử nghiệm nhanh hoặc chỉ cần GPU theo từng đợt huấn luyện. Chọn đúng cấu hình bắt đầu từ việc ước lượng VRAM và chạy thử trên một GPU để có số đo thực.
Hãy tách rõ tải thử nghiệm với tải sản xuất, đặt cảnh báo giờ GPU không tải và gắn nhãn chi phí từ đầu để hóa đơn không vượt dự kiến.
Tư vấn cấu hình và báo giá Cloud GPU
Gửi bài toán AI của bạn để đội ngũ FPT đề xuất cấu hình, hỗ trợ dùng thử PoC (theo điều kiện FPT xác nhận). Xem thêm đăng ký nhận tư vấn.
Đăng ký tư vấnCâu hỏi thường gặp
Khi nào nên thuê Cloud Server GPU thay vì mua máy chủ GPU
Khi nhu cầu GPU chưa ổn định, cần thử nghiệm nhanh hoặc chỉ cần GPU theo từng đợt huấn luyện. Thuê theo giờ hoặc theo kỳ giúp tránh vốn đầu tư lớn và rủi ro phần cứng nhanh lỗi thời; mua phù hợp hơn khi tải ổn định và dùng liên tục lâu dài.
Chọn GPU dựa trên tiêu chí nào
Dựa trên dung lượng bộ nhớ GPU (VRAM) cần cho mô hình, bài toán là huấn luyện hay suy luận, số GPU cần chạy song song và thời gian chạy dự kiến. Nên ước lượng VRAM từ kích thước mô hình rồi chạy thử trên một GPU để đo thời gian thực tế.
FPT có cung cấp Cloud GPU không
Có. FPT AI Factory cung cấp hạ tầng GPU Cloud hợp tác cùng NVIDIA cho huấn luyện và triển khai mô hình AI, đặt tại Việt Nam. Doanh nghiệp cũng có thể dùng FPT GPU Server hoặc FPT Kubernetes Engine with GPU tùy cách vận hành ứng dụng.
Chi phí thuê Cloud GPU tính theo gì
Chủ yếu theo dòng GPU và số lượng, cộng thêm hình thức thuê (theo giờ, theo kỳ hoặc cam kết), thời gian chạy không tải, lưu trữ và băng thông cho dữ liệu huấn luyện. Mức giá cụ thể do FPT báo theo cấu hình và thời hạn.
Ứng dụng chỉ là website hay ERP có cần GPU không
Không cần. Website, ERP hay cơ sở dữ liệu thông thường chạy tốt trên Cloud Server dùng CPU và tiết kiệm hơn nhiều. GPU chỉ hợp lý khi tải có nhiều phép tính song song như huấn luyện, suy luận mô hình AI hoặc xử lý video.
Làm sao tránh chi phí GPU vượt dự kiến
Đặt ngân sách và cảnh báo, tự động tắt GPU khi nhàn rỗi, tách môi trường thử nghiệm khỏi sản xuất và gắn nhãn chi phí theo dự án. Quên tắt GPU là nguyên nhân phổ biến nhất khiến hóa đơn tăng ngoài kế hoạch.

