Giám sát Kubernetes: Monitoring và logging với Prometheus, Grafana

Giám sát Kubernetes: Monitoring và logging với Prometheus, Grafana

Bạn đang tìm hiểu về Giám sát và vận hành?
Xem trang tổng quan Giám sát và vận hành cùng các bài viết liên quan | Tìm hiểu ngay

Share this story

Giám sát Kubernetes là việc thu thập chỉ số, log và sự kiện từ cluster, node, pod và ứng dụng để phát hiện sớm sự cố, tối ưu tài nguyên và hỗ trợ điều tra.

Cần giám sát gì?

LớpChỉ số
Cluster, nodeCPU, RAM, ổ đĩa, trạng thái node
PodKhởi động lại, OOMKilled, pending
Ứng dụngĐộ trễ, tỷ lệ lỗi, lưu lượng
LogLog ứng dụng, audit log
Ba trụ cột giám sát Kubernetes gồm metric, log và trace
Metric, log và trace bổ sung cho nhau

Công cụ phổ biến

  • Prometheus: thu thập chỉ số.
  • Grafana: dashboard, cảnh báo.
  • Loki, Elasticsearch: log tập trung.
  • OpenTelemetry: tracing.

Có thể kết hợp FPT Cloud Monitoring cho hạ tầng.

Cảnh báo nên có

  1. Node NotReady.
  2. Pod khởi động lại liên tục.
  3. Dung lượng volume gần đầy.
  4. Tỷ lệ lỗi ứng dụng tăng đột biến.
  5. Chứng chỉ sắp hết hạn.

Metric, log và trace: Khi nào dùng cái nào?

LoạiTrả lời câu hỏiVí dụ
MetricHệ thống đang khỏe hay yếu, xu hướng ra sao?CPU node, số lần khởi động lại của pod, tỷ lệ lỗi
LogĐiều gì đã xảy ra ở một thời điểm cụ thể?Thông báo lỗi, ngoại lệ, thao tác của người dùng
TraceYêu cầu chậm ở dịch vụ nào trong chuỗi?Một đơn hàng đi qua cổng, dịch vụ thanh toán, kho

Quy trình xử lý thường là: cảnh báo từ metric cho biết có vấn đề, log giúp tìm lỗi cụ thể, trace chỉ ra dịch vụ gây chậm trong hệ thống nhiều thành phần.

Dashboard nên có

  • Tổng quan cluster: số node sẵn sàng, tài nguyên còn trống, pod lỗi.
  • Theo từng ứng dụng: yêu cầu mỗi giây, độ trễ p95, tỷ lệ lỗi, số pod.
  • Tài nguyên: CPU, RAM, mạng, ổ đĩa theo namespace để thấy ai dùng nhiều.
  • Database và hàng đợi mà ứng dụng phụ thuộc.

Vấn đề thường gặp khi giám sát Kubernetes

  • Gom quá nhiều chỉ số khiến hệ thống giám sát tốn tài nguyên và dashboard khó đọc; hãy bắt đầu từ những chỉ số cần hành động.
  • Cảnh báo không có người nhận hoặc quá nhiều cảnh báo giả khiến đội ngũ bỏ qua; xem lại ngưỡng định kỳ.
  • Log lưu quá lâu gây tốn dung lượng; đặt thời hạn lưu theo loại log và yêu cầu pháp lý.
  • Quên giám sát chính hệ thống giám sát: Prometheus hoặc Grafana ngừng chạy thì mọi cảnh báo cũng biến mất.

Ví dụ quy tắc cảnh báo Prometheus

groups:
- name: kubernetes
  rules:
  - alert: PodRestartingFrequently
    expr: increase(kube_pod_container_status_restarts_total[15m]) > 3
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: "Pod khởi động lại liên tục"

Quy tắc này cảnh báo khi một container khởi động lại hơn 3 lần trong 15 phút và tình trạng kéo dài 5 phút. Khoảng thời gian for giúp lọc các dao động ngắn không cần xử lý. Mỗi cảnh báo nên có mức độ nghiêm trọng rõ ràng để chuyển tới đúng kênh.

Lộ trình triển khai giám sát trong 4 tuần

  1. Tuần 1: cài Prometheus và Grafana, thu thập chỉ số node, pod và dựng dashboard tổng quan cluster.
  2. Tuần 2: thêm chỉ số ứng dụng (độ trễ, tỷ lệ lỗi) và năm cảnh báo cơ bản như danh sách ở trên.
  3. Tuần 3: triển khai gom log tập trung, đặt thời hạn lưu cho từng loại log.
  4. Tuần 4: thêm tracing cho các luồng quan trọng, rà soát cảnh báo và viết runbook cho mỗi cảnh báo.

Giám sát trên FPT Kubernetes Engine

FPT Kubernetes Engine (FKE) là dịch vụ Managed Kubernetes trên FPT Cloud:

  • Khởi tạo cluster trên Portal chỉ với vài thao tác, trả phí theo tài nguyên compute, storage thực tế sử dụng.
  • Tự động mở rộng node, pod khi tải tăng.
  • Tích hợp sẵn storage, networking, security và các dịch vụ PaaS; triển khai nhanh từ FPT App Catalog, CI/CD với FPT DevOps Service và ArgoCD.
  • Lưu image riêng tư với FPT Container Registry; chạy AI với FKE tích hợp GPU.
  • Tương thích chuẩn Kubernetes, dễ di chuyển ứng dụng từ AWS, Azure, Google Cloud.
  • Cập nhật phiên bản, tính năng mới miễn phí; đội ngũ kỹ thuật hỗ trợ 24/7 bằng tiếng Việt.

Hạ tầng đặt tại trung tâm dữ liệu Việt Nam, kết hợp FPT Cloud Server, FPT Database, Load Balancer và Cloud Monitoring trong cùng một hệ sinh thái.

Cần tư vấn triển khai Kubernetes cho doanh nghiệp?

Gửi nhu cầu để nhận đề xuất cấu hình và báo giá phù hợp.

Đăng ký tư vấn

Câu hỏi thường gặp

Portal FKE có xem được trạng thái cluster không?

Có, giao diện quản trị hiển thị trạng thái cluster, node, pod và tài nguyên đang dùng.

Log nên lưu bao lâu?

Tùy yêu cầu nghiệp vụ và tuân thủ; log an ninh thường lưu dài hơn log ứng dụng.

Có cần giám sát bảo mật riêng không?

Nên có; xem checklist bảo mật Kubernetes và dịch vụ SOC.

Nên bắt đầu giám sát từ đâu?

Bắt đầu với Prometheus và Grafana cho metric cùng cảnh báo về node, pod, tỷ lệ lỗi; sau đó bổ sung log tập trung và tracing.

Metric, log và trace khác nhau thế nào?

Metric cho biết xu hướng, log cho biết điều đã xảy ra ở một thời điểm cụ thể, trace chỉ ra dịch vụ gây chậm trong chuỗi yêu cầu.

Bạn có biết?
Tìm hiểu thêm về Độ sẵn sàng cao: tổng quan, lợi ích và cách triển khai - Xem thêm

Hạ tầng FPT Cloud cho doanh nghiệp

FPT Cloud cung cấp hạ tầng Public Cloud đặt tại Việt Nam cho doanh nghiệp, gồm Cloud Server, Kubernetes, cơ sở dữ liệu dạng dịch vụ (DBaaS), hạ tầng GPU cho AI, cùng các dịch vụ sao lưu, dự phòng thảm họa, cân bằng tải và tự co giãn. Hạ tầng áp dụng các chuẩn an toàn thông tin như ISO/IEC 27001 và PCI DSS, giúp doanh nghiệp chuẩn bị cho kiểm toán và yêu cầu của đối tác. Cấu hình, mô hình tính phí và phương án triển khai được FPT tư vấn theo từng hệ thống.

Tìm hiểu dịch vụ Cloud Server FPT · Đăng ký tư vấn

Nền tảng Contact Center toàn diện FPT OncallCX

Chăm sóc khách hàng toàn diện, đa kênh với
công nghệ AI
Giải pháp tổng đài Cloud FPT

separator

Tìm hiểu ngay