Replication lag và báo cáo làm chậm hệ thống giao dịch: Nên tách read replica hay kho phân tích

Tách tải báo cáo khỏi database giao dịch bằng read replica hoặc kho phân tích

Bạn đang tìm hiểu về Database Cloud?
Xem trang tổng quan Database Cloud cùng các bài viết liên quan | Tìm hiểu ngay

Share this story

Khi phòng kinh doanh chạy báo cáo cuối tháng hoặc bộ phận tài chính xuất số liệu lớn, hệ thống bán hàng và kế toán thường chậm lại vì cùng dùng một database. Hai hướng thường được cân nhắc là read replica (bản sao chỉ đọc) và kho phân tích (nơi riêng để chạy báo cáo). Cả hai đều gặp một hiện tượng cần hiểu rõ: replication lag, tức độ trễ giữa dữ liệu trên máy chính và trên bản sao.

Vì sao báo cáo làm chậm hệ thống giao dịch

Hệ thống giao dịch (OLTP) xử lý nhiều thao tác nhỏ, cần phản hồi nhanh. Báo cáo (OLAP) lại quét lượng dữ liệu lớn, gom nhóm, sắp xếp và chiếm nhiều CPU, bộ nhớ và I/O trong thời gian dài. Khi hai loại tải chạy trên cùng một máy, báo cáo có thể đẩy dữ liệu “nóng” của giao dịch ra khỏi bộ nhớ đệm, giữ khóa lâu hoặc làm đầy đĩa tạm. Dấu hiệu thường gặp: hệ thống chậm đúng vào giờ báo cáo hoặc cuối kỳ. Xem thêm quy trình chẩn đoán tại 7 bước tìm nút thắt khi database chậm giờ cao điểm và tổng quan tối ưu hiệu năng database: Slow query, index, read replica, DB proxy.

Replication lag là gì và vì sao xảy ra

Phần lớn bản sao đọc nhận dữ liệu theo kiểu bất đồng bộ: máy chính ghi xong là trả lời ứng dụng, còn bản sao áp dụng thay đổi sau đó. Khoảng chênh lệch này là replication lag. Nguyên nhân thường gặp:

  • Máy chính ghi nhiều hoặc có giao dịch lớn, bản sao áp dụng không kịp.
  • Cấu hình bản sao yếu hơn máy chính về CPU hoặc đĩa.
  • Truy vấn dài trên bản sao cạnh tranh tài nguyên với việc áp dụng thay đổi; một số hệ quản trị còn có cơ chế hủy truy vấn khi xung đột với việc đồng bộ.
  • Đường truyền giữa hai máy chậm hoặc không ổn định.

Cách đo: MySQL cung cấp thông tin trạng thái bản sao có độ trễ tính bằng giây; PostgreSQL có các trường độ trễ trong thông tin sao chép trên máy chính. Nên đưa chỉ số này vào hệ thống giám sát và cảnh báo khi vượt ngưỡng nghiệp vụ chấp nhận được.

Ảnh hưởng đến ứng dụng: Đọc lại dữ liệu vừa ghi

Tình huống kinh điển: người dùng vừa sửa thông tin, trang tiếp theo đọc từ bản sao và vẫn thấy dữ liệu cũ. Cách xử lý thường dùng:

  • Sau khi ghi, các truy vấn đọc của chính người dùng đó trong một khoảng thời gian ngắn được chuyển về máy chính.
  • Chỉ cho phép đọc từ bản sao ở những màn hình chấp nhận dữ liệu trễ vài giây, như danh mục, báo cáo, lịch sử.
  • Dùng bộ trung gian hoặc thư viện hỗ trợ định tuyến đọc ghi và kiểm tra độ trễ.

Read replica hay kho phân tích

Tiêu chíRead replicaKho phân tích riêng
Mục đíchChia tải đọc, báo cáo vừa phảiBáo cáo nặng, phân tích nhiều chiều trên dữ liệu lớn
Cấu trúc dữ liệuGiống hệt máy chínhCó thể thiết kế lại để truy vấn nhanh
Độ trễ dữ liệuThường vài giây, có thể tăng khi tải caoTùy cách đồng bộ: theo thời gian thực hoặc theo lô
Công sức triển khaiThấpCao hơn: đồng bộ, mô hình dữ liệu, vận hành thêm hệ thống
Phù hợp khiBáo cáo không quá phức tạp, dữ liệu vài chục đến vài trăm GBBáo cáo chạy hàng chục phút, nhiều người dùng phân tích đồng thời

Ngưỡng dung lượng chỉ mang tính tham khảo và phụ thuộc phần cứng, loại truy vấn. Nhiều doanh nghiệp bắt đầu bằng read replica và chỉ chuyển sang kho phân tích khi báo cáo vẫn quá nặng. Về lựa chọn công nghệ phân tích, xem ClickHouse, OpenSearch, TimescaleDB: Chọn database cho phân tích.

Đồng bộ dữ liệu sang kho phân tích

Có hai cách phổ biến: chép theo lô theo giờ hoặc theo ngày (đơn giản, độ trễ lớn) và chép theo thay đổi (CDC) gần thời gian thực. CDC đọc nhật ký thay đổi của database nguồn nên ít ảnh hưởng đến hiệu năng hơn việc quét bảng liên tục, xem đồng bộ dữ liệu thời gian thực với CDC và Apache NiFi. Cần kiểm tra việc đối soát số liệu giữa nguồn và kho phân tích để báo cáo không bị lệch.

Giảm tải trước khi tách hệ thống

  • Đưa báo cáo nặng sang ngoài giờ cao điểm.
  • Tạo bảng tổng hợp hoặc view đã tính sẵn cho báo cáo lặp lại hằng ngày.
  • Giới hạn thời gian chạy và tài nguyên của tài khoản chạy báo cáo.
  • Rà soát các câu truy vấn báo cáo chậm, xem slow query và index.

Dịch vụ database và nền tảng dữ liệu trên FPT Cloud

Doanh nghiệp có thể dùng dịch vụ database quản lý cho hệ thống giao dịch và nền tảng dữ liệu riêng cho phân tích. Xem FPT Database và FPT Data Suite. Kiến trúc và cấu hình cần được FPT tư vấn theo khối lượng dữ liệu và yêu cầu báo cáo.

Báo cáo đang làm chậm hệ thống giao dịch

Cho biết loại database, dung lượng và các báo cáo nặng để được tư vấn phương án tách tải.

Đăng ký tư vấn

Câu hỏi thường gặp

Replication lag bao nhiêu thì chấp nhận được

Tùy nghiệp vụ. Báo cáo ngày có thể chấp nhận vài phút, còn màn hình người dùng vừa thao tác thường cần gần như tức thời. Nên xác định ngưỡng theo từng chức năng và cảnh báo khi vượt.

Read replica có làm báo cáo nhanh hơn không

Giúp báo cáo không tranh tài nguyên với giao dịch, nhưng bản thân truy vấn vẫn chạy trên cấu trúc dữ liệu giao dịch nên có thể vẫn chậm nếu quá nặng.

Khi nào cần kho phân tích thay vì replica

Khi báo cáo chạy rất lâu, cần tổng hợp trên dữ liệu lớn hoặc nhiều người phân tích cùng lúc. Lúc này cần cấu trúc dữ liệu và công cụ tối ưu cho phân tích.

CDC khác gì sao chép theo lô

CDC đọc nhật ký thay đổi nên dữ liệu về gần thời gian thực và ít tải hơn cho nguồn. Sao chép theo lô đơn giản hơn nhưng có độ trễ theo chu kỳ.

Replica có dùng làm dự phòng khi máy chính hỏng không

Có thể, nhưng cần quy trình chuyển đổi và chấp nhận rủi ro mất một phần dữ liệu chưa kịp đồng bộ nếu sao chép bất đồng bộ. Cần thiết kế riêng cho dự phòng.

Có cần dừng hệ thống khi thêm replica không

Thường không cần dừng lâu, nhưng việc dựng bản sao ban đầu tốn I/O trên máy chính. Nên thực hiện ngoài giờ cao điểm và kiểm thử trước.

Bạn có biết?
Tìm hiểu thêm về FPT Cloud Server: tổng quan, lợi ích và cách triển khai - Xem thêm

Hạ tầng FPT Cloud cho doanh nghiệp

FPT Cloud cung cấp hạ tầng Public Cloud đặt tại Việt Nam cho doanh nghiệp, gồm Cloud Server, Kubernetes, cơ sở dữ liệu dạng dịch vụ (DBaaS), hạ tầng GPU cho AI, cùng các dịch vụ sao lưu, dự phòng thảm họa, cân bằng tải và tự co giãn. Hạ tầng áp dụng các chuẩn an toàn thông tin như ISO/IEC 27001 và PCI DSS, giúp doanh nghiệp chuẩn bị cho kiểm toán và yêu cầu của đối tác. Cấu hình, mô hình tính phí và phương án triển khai được FPT tư vấn theo từng hệ thống.

Tìm hiểu dịch vụ Cloud Server FPT · Đăng ký tư vấn

Nền tảng Contact Center toàn diện FPT OncallCX

Chăm sóc khách hàng toàn diện, đa kênh với
công nghệ AI
Giải pháp tổng đài Cloud FPT

separator

Tìm hiểu ngay