Hạ tầng GPU và AI Factory tại Việt Nam: Tổng quan dịch vụ và kiến thức cho doanh nghiệp

FPT AI Factory hạ tầng GPU cho AI

Bạn đang tìm hiểu về FPT AI Factory?
Xem trang tổng quan FPT AI Factory cùng các bài viết liên quan | Tìm hiểu ngay

Share this story

AI Factory (nhà máy AI) là hạ tầng tính toán chuyên dụng cho toàn bộ vòng đời trí tuệ nhân tạo: từ GPU hiệu năng cao, lưu trữ và mạng tốc độ cao đến công cụ huấn luyện và phục vụ mô hình. FPT AI Factory là nền tảng như vậy do FPT xây dựng cùng NVIDIA, đặt tại Việt Nam và Nhật Bản.

Tóm tắt nhanh
  • FPT AI Factory vận hành các cụm NVIDIA HGX B300, HGX H200 và HGX H100 tại Việt Nam và Nhật Bản; FPT là NVIDIA Preferred Partner.
  • Doanh nghiệp có thể thuê GPU theo nhiều mức: GPU Container, máy ảo GPU, máy chủ vật lý Metal Cloud, cụm GPU Cluster.
  • Nền tảng AI Studio hỗ trợ huấn luyện, fine-tuning; AI Inference phục vụ mô hình qua API.
  • Hạ tầng trong nước giúp giảm độ trễ, thuận lợi cho yêu cầu lưu trữ dữ liệu tại Việt Nam, thanh toán VND.
  • Trang này tổng hợp mọi bài viết về GPU, LLM và AI trên fpt-corp.com.

AI Factory là gì và vì sao doanh nghiệp cần?

Sơ đồ vòng đời AI trên FPT AI Factory: khởi tạo, xây dựng, mở rộng, triển khai
Vòng đời phát triển AI trên FPT AI Factory

Mô hình AI hiện đại, đặc biệt là mô hình ngôn ngữ lớn, cần năng lực tính toán vượt xa máy chủ thông thường. Huấn luyện hay tinh chỉnh một mô hình đòi hỏi nhiều GPU kết nối tốc độ cao; phục vụ hàng nghìn người dùng đòi hỏi GPU bộ nhớ lớn chạy ổn định 24/7. Tự xây hạ tầng này đồng nghĩa với vốn đầu tư lớn, thời gian mua sắm dài và đội ngũ vận hành chuyên sâu.

Khái niệm “AI Factory” mô tả cách tiếp cận khác: một nhà máy dùng chung, nơi dữ liệu là nguyên liệu đầu vào, GPU là dây chuyền sản xuất, và sản phẩm đầu ra là mô hình, câu trả lời, dự đoán. Doanh nghiệp thuê đúng phần năng lực cần dùng thay vì xây cả nhà máy.

FPT AI Factory gồm hạ tầng GPU NVIDIA (hơn 3.000 GPU hiệu năng cao theo công bố của FPT), các dịch vụ thuê GPU ở nhiều mức quản lý và các nền tảng giúp đi nhanh từ thử nghiệm đến triển khai. Hạ tầng được xây theo kiến trúc NVIDIA chứng nhận, hiện có tại Việt Nam và Nhật Bản, Malaysia được giới thiệu là sắp có.

Các dịch vụ trên FPT AI Factory

NhómDịch vụDùng để làm gì
Hạ tầng GPUGPU ContainerMôi trường GPU dựng sẵn, thử nghiệm trong vài phút
GPU Server (máy ảo GPU)1–8 GPU H100 hoặc H200, thuê theo giờ
Metal CloudMáy chủ vật lý 8 GPU dành riêng: H100, H200, B300
GPU ClusterKubernetes được quản lý trên nhiều máy GPU
KubernetesFKE with GPUKubernetes có GPU, chia sẻ GPU MIG/MPS
Nền tảng AIAI StudioHuấn luyện, fine-tuning, theo dõi thử nghiệm
AI InferencePhục vụ mô hình qua API, tự co giãn
AI dùng ngayAI Chat, eKYC, AI Read, Text to SpeechỨng dụng AI tích hợp qua API, không cần tự huấn luyện

Xem cách chọn chi tiết tại GPU Server, Metal Cloud hay GPU Cluster.

GPU NVIDIA nào có tại FPT?

Máy chủ NVIDIA HGX B300 tại FPT AI Factory
NVIDIA HGX B300, thế hệ GPU mới nhất trên FPT AI Factory
GPUBộ nhớVị trí, dịch vụPhù hợp
NVIDIA B300288 GB HBM3eMetal Cloud, vùng Hà Nội 2Huấn luyện, suy luận quy mô rất lớn
NVIDIA H200 SXM141 GB HBM3eGPU Server (Nhật Bản), Metal Cloud (Tokyo)Suy luận LLM lớn, ngữ cảnh dài
NVIDIA H100 SXM80 GB HBM3GPU Server, Metal Cloud (Hà Nội 2)Huấn luyện, fine-tuning, suy luận
A30, A100, RTX (24 GB)24 GB trở lênGPU Server, FKE with GPUML, rendering, suy luận nhỏ

So sánh chi tiết tại H100, H200 và B300: chọn GPU nào. Để biết mô hình cần bao nhiêu GPU, xem cách tính VRAM cho LLM.

Lợi ích khi dùng hạ tầng GPU trong nước

  • Độ trễ thấp: ứng dụng phục vụ người dùng Việt Nam phản hồi nhanh hơn khi mô hình chạy tại trung tâm dữ liệu trong nước.
  • Dữ liệu: thuận lợi cho yêu cầu lưu trữ dữ liệu tại Việt Nam, đặc biệt với ngân hàng, bảo hiểm, y tế, cơ quan nhà nước; xem Luật Trí tuệ nhân tạo.
  • Chi phí và thanh toán: thanh toán VND, hóa đơn trong nước, giảm rủi ro tỷ giá; linh hoạt thuê theo giờ hoặc đặt trước.
  • Hỗ trợ: đội kỹ thuật hỗ trợ 24/7 bằng tiếng Việt, đồng hành từ thiết kế đến vận hành.
  • Hệ sinh thái: kết nối với Public Cloud, lưu trữ, cơ sở dữ liệu, kênh thuê riêng và các sản phẩm AI dùng ngay của FPT.

Tiêu chí đánh giá nhà cung cấp GPU cloud

Khi so sánh các nhà cung cấp GPU cloud trong và ngoài nước, doanh nghiệp nên đặt cùng một bộ câu hỏi:

  1. Dòng GPU và khả năng có máy: có H100, H200, B300 không; thời gian chờ để có máy 8 GPU hoặc cụm nhiều máy là bao lâu.
  2. Mạng và lưu trữ: băng thông giữa các máy khi huấn luyện phân tán, hệ thống lưu trữ hiệu năng cao cho dữ liệu và checkpoint.
  3. Mức quản lý: chỉ cho thuê máy, hay có thêm Kubernetes, nền tảng fine-tuning, phục vụ mô hình qua API.
  4. Vị trí dữ liệu và tuân thủ: trung tâm dữ liệu đặt ở đâu, có chứng nhận bảo mật nào, đáp ứng yêu cầu ngành ra sao.
  5. Mô hình giá: theo giờ, đặt trước, kỳ hạn tối thiểu; chi phí lưu trữ, truyền dữ liệu đi kèm.
  6. Hỗ trợ: thời gian phản hồi, hỗ trợ tiếng Việt, kinh nghiệm triển khai AI thực tế.

Câu trả lời rõ ràng cho sáu câu hỏi này giúp tránh các chi phí phát sinh và rủi ro tiến độ khi dự án AI mở rộng.

Doanh nghiệp đang dùng FPT AI Factory

Theo giới thiệu trên trang FPT AI Factory, nhiều tổ chức trong và ngoài nước đã dùng nền tảng này: LandingAI (công ty AI thị giác) dùng hạ tầng để phát triển và triển khai mô hình quy mô lớn; Home Credit Việt Nam xây trợ lý AI cho tổng đài; FPT Long Châu ứng dụng AI trong đào tạo dược sĩ; Bệnh viện E ứng dụng AI trong chăm sóc sức khỏe; VEM.AI rút ngắn thời gian huấn luyện mô hình nhờ GPU thế hệ mới. Xem thêm các giải pháp theo ngành tại giải pháp công nghệ FPT theo ngành.

Thư viện bài viết về GPU và AI

Chọn và thuê GPU

Huấn luyện và tinh chỉnh mô hình

Triển khai và vận hành mô hình

Sản phẩm

Kiến thức LLM và vận hành AI

Pháp lý

Bắt đầu thế nào?

  1. Xác định bài toán: dùng AI có sẵn (chatbot, eKYC, OCR), tinh chỉnh mô hình với dữ liệu riêng, hay huấn luyện mô hình mới.
  2. Ước tính tài nguyên: cỡ mô hình, số người dùng, độ dài ngữ cảnh, dữ liệu huấn luyện.
  3. Thử nghiệm theo giờ trên GPU Container hoặc GPU Server để đo thực tế.
  4. Chọn mô hình thuê phù hợp: theo giờ, đặt trước hoặc kết hợp.
  5. Triển khai và tối ưu với AI Inference, GPU Cluster, theo dõi chi phí trên mỗi kết quả.

Nhận tư vấn hạ tầng GPU cho doanh nghiệp

Gửi nhu cầu để nhận đề xuất cấu hình và báo giá phù hợp.

Đăng ký tư vấn

Câu hỏi thường gặp

FPT AI Factory là gì?

Là nền tảng hạ tầng và công cụ AI của FPT xây dựng cùng NVIDIA, cung cấp GPU H100, H200, B300 và các dịch vụ huấn luyện, phục vụ mô hình tại Việt Nam và Nhật Bản.

Doanh nghiệp nhỏ có dùng được FPT AI Factory không?

Có, có thể thuê GPU theo giờ hoặc dùng nền tảng AI Inference, AI Studio mà không cần đầu tư hay đội hạ tầng riêng.

GPU của FPT đặt ở đâu?

Tại các trung tâm dữ liệu ở Việt Nam và Nhật Bản; Malaysia được giới thiệu là sắp có.

Nên bắt đầu với dịch vụ GPU nào?

Với thử nghiệm, nên bắt đầu bằng GPU Container hoặc GPU Server thuê theo giờ, sau đó chọn Metal Cloud, GPU Cluster hoặc AI Inference khi đã rõ nhu cầu.

FPT có GPU NVIDIA B300 không?

Có, FPT AI Factory cung cấp NVIDIA HGX B300; trên Metal Cloud, B300 có tại vùng Hà Nội 2.

Bạn có biết?
Tìm hiểu thêm về LLM Inference: tổng quan, lợi ích và cách triển khai - Xem thêm

Hạ tầng FPT Cloud cho doanh nghiệp

FPT Cloud cung cấp hạ tầng Public Cloud đặt tại Việt Nam cho doanh nghiệp, gồm Cloud Server, Kubernetes, cơ sở dữ liệu dạng dịch vụ (DBaaS), hạ tầng GPU cho AI, cùng các dịch vụ sao lưu, dự phòng thảm họa, cân bằng tải và tự co giãn. Hạ tầng áp dụng các chuẩn an toàn thông tin như ISO/IEC 27001 và PCI DSS, giúp doanh nghiệp chuẩn bị cho kiểm toán và yêu cầu của đối tác. Cấu hình, mô hình tính phí và phương án triển khai được FPT tư vấn theo từng hệ thống.

Tìm hiểu dịch vụ Cloud Server FPT · Đăng ký tư vấn

Nền tảng Contact Center toàn diện FPT OncallCX

Chăm sóc khách hàng toàn diện, đa kênh với
công nghệ AI
Giải pháp tổng đài Cloud FPT

separator

Tìm hiểu ngay