FPT Database · ClickHouse · FPT Ingestion (CDC, Apache NiFi)
Khi phòng kinh doanh chạy báo cáo cuối tháng hoặc bộ phận tài chính xuất số liệu lớn, hệ thống bán hàng và kế toán thường chậm lại vì cùng dùng một database. Hai hướng thường được cân nhắc là read replica (bản sao chỉ đọc) và kho phân tích (nơi riêng để chạy báo cáo). Cả hai đều gặp một hiện tượng cần hiểu rõ: replication lag, tức độ trễ giữa dữ liệu trên máy chính và trên bản sao.
Vì sao báo cáo làm chậm hệ thống giao dịch
Hệ thống giao dịch (OLTP) xử lý nhiều thao tác nhỏ, cần phản hồi nhanh. Báo cáo (OLAP) lại quét lượng dữ liệu lớn, gom nhóm, sắp xếp và chiếm nhiều CPU, bộ nhớ và I/O trong thời gian dài. Khi hai loại tải chạy trên cùng một máy, báo cáo có thể đẩy dữ liệu “nóng” của giao dịch ra khỏi bộ nhớ đệm, giữ khóa lâu hoặc làm đầy đĩa tạm. Dấu hiệu thường gặp: hệ thống chậm đúng vào giờ báo cáo hoặc cuối kỳ. Xem thêm quy trình chẩn đoán tại 7 bước tìm nút thắt khi database chậm giờ cao điểm và tổng quan tối ưu hiệu năng database: Slow query, index, read replica, DB proxy.
Replication lag là gì và vì sao xảy ra
Phần lớn bản sao đọc nhận dữ liệu theo kiểu bất đồng bộ: máy chính ghi xong là trả lời ứng dụng, còn bản sao áp dụng thay đổi sau đó. Khoảng chênh lệch này là replication lag. Nguyên nhân thường gặp:
- Máy chính ghi nhiều hoặc có giao dịch lớn, bản sao áp dụng không kịp.
- Cấu hình bản sao yếu hơn máy chính về CPU hoặc đĩa.
- Truy vấn dài trên bản sao cạnh tranh tài nguyên với việc áp dụng thay đổi; một số hệ quản trị còn có cơ chế hủy truy vấn khi xung đột với việc đồng bộ.
- Đường truyền giữa hai máy chậm hoặc không ổn định.
Cách đo: MySQL cung cấp thông tin trạng thái bản sao có độ trễ tính bằng giây; PostgreSQL có các trường độ trễ trong thông tin sao chép trên máy chính. Nên đưa chỉ số này vào hệ thống giám sát và cảnh báo khi vượt ngưỡng nghiệp vụ chấp nhận được.
Ảnh hưởng đến ứng dụng: Đọc lại dữ liệu vừa ghi
Tình huống kinh điển: người dùng vừa sửa thông tin, trang tiếp theo đọc từ bản sao và vẫn thấy dữ liệu cũ. Cách xử lý thường dùng:
- Sau khi ghi, các truy vấn đọc của chính người dùng đó trong một khoảng thời gian ngắn được chuyển về máy chính.
- Chỉ cho phép đọc từ bản sao ở những màn hình chấp nhận dữ liệu trễ vài giây, như danh mục, báo cáo, lịch sử.
- Dùng bộ trung gian hoặc thư viện hỗ trợ định tuyến đọc ghi và kiểm tra độ trễ.
Read replica hay kho phân tích
| Tiêu chí | Read replica | Kho phân tích riêng |
|---|---|---|
| Mục đích | Chia tải đọc, báo cáo vừa phải | Báo cáo nặng, phân tích nhiều chiều trên dữ liệu lớn |
| Cấu trúc dữ liệu | Giống hệt máy chính | Có thể thiết kế lại để truy vấn nhanh |
| Độ trễ dữ liệu | Thường vài giây, có thể tăng khi tải cao | Tùy cách đồng bộ: theo thời gian thực hoặc theo lô |
| Công sức triển khai | Thấp | Cao hơn: đồng bộ, mô hình dữ liệu, vận hành thêm hệ thống |
| Phù hợp khi | Báo cáo không quá phức tạp, dữ liệu vài chục đến vài trăm GB | Báo cáo chạy hàng chục phút, nhiều người dùng phân tích đồng thời |
Ngưỡng dung lượng chỉ mang tính tham khảo và phụ thuộc phần cứng, loại truy vấn. Nhiều doanh nghiệp bắt đầu bằng read replica và chỉ chuyển sang kho phân tích khi báo cáo vẫn quá nặng. Về lựa chọn công nghệ phân tích, xem ClickHouse, OpenSearch, TimescaleDB: Chọn database cho phân tích.
Đồng bộ dữ liệu sang kho phân tích
Có hai cách phổ biến: chép theo lô theo giờ hoặc theo ngày (đơn giản, độ trễ lớn) và chép theo thay đổi (CDC) gần thời gian thực. CDC đọc nhật ký thay đổi của database nguồn nên ít ảnh hưởng đến hiệu năng hơn việc quét bảng liên tục, xem đồng bộ dữ liệu thời gian thực với CDC và Apache NiFi. Cần kiểm tra việc đối soát số liệu giữa nguồn và kho phân tích để báo cáo không bị lệch.
Giảm tải trước khi tách hệ thống
- Đưa báo cáo nặng sang ngoài giờ cao điểm.
- Tạo bảng tổng hợp hoặc view đã tính sẵn cho báo cáo lặp lại hằng ngày.
- Giới hạn thời gian chạy và tài nguyên của tài khoản chạy báo cáo.
- Rà soát các câu truy vấn báo cáo chậm, xem slow query và index.
Dịch vụ database và nền tảng dữ liệu trên FPT Cloud
Doanh nghiệp có thể dùng dịch vụ database quản lý cho hệ thống giao dịch và nền tảng dữ liệu riêng cho phân tích. Xem FPT Database và FPT Data Suite. Kiến trúc và cấu hình cần được FPT tư vấn theo khối lượng dữ liệu và yêu cầu báo cáo.
Báo cáo đang làm chậm hệ thống giao dịch
Cho biết loại database, dung lượng và các báo cáo nặng để được tư vấn phương án tách tải.
Đăng ký tư vấnCâu hỏi thường gặp
Replication lag bao nhiêu thì chấp nhận được
Tùy nghiệp vụ. Báo cáo ngày có thể chấp nhận vài phút, còn màn hình người dùng vừa thao tác thường cần gần như tức thời. Nên xác định ngưỡng theo từng chức năng và cảnh báo khi vượt.
Read replica có làm báo cáo nhanh hơn không
Giúp báo cáo không tranh tài nguyên với giao dịch, nhưng bản thân truy vấn vẫn chạy trên cấu trúc dữ liệu giao dịch nên có thể vẫn chậm nếu quá nặng.
Khi nào cần kho phân tích thay vì replica
Khi báo cáo chạy rất lâu, cần tổng hợp trên dữ liệu lớn hoặc nhiều người phân tích cùng lúc. Lúc này cần cấu trúc dữ liệu và công cụ tối ưu cho phân tích.
CDC khác gì sao chép theo lô
CDC đọc nhật ký thay đổi nên dữ liệu về gần thời gian thực và ít tải hơn cho nguồn. Sao chép theo lô đơn giản hơn nhưng có độ trễ theo chu kỳ.
Replica có dùng làm dự phòng khi máy chính hỏng không
Có thể, nhưng cần quy trình chuyển đổi và chấp nhận rủi ro mất một phần dữ liệu chưa kịp đồng bộ nếu sao chép bất đồng bộ. Cần thiết kế riêng cho dự phòng.
Có cần dừng hệ thống khi thêm replica không
Thường không cần dừng lâu, nhưng việc dựng bản sao ban đầu tốn I/O trên máy chính. Nên thực hiện ngoài giờ cao điểm và kiểm thử trước.

