Bài này nói về cách chia tải. Khái niệm xem load balancer là gì; phân biệt tầng xem L4 và L7.
Thuật toán cân bằng tải quyết định yêu cầu tiếp theo đi tới máy chủ nào. Round Robin chia lần lượt; Weighted chia theo trọng số; Least Connections chọn máy đang ít kết nối nhất; IP Hash gắn một người dùng với một máy. Không có thuật toán tốt nhất cho mọi trường hợp.
- Round Robin và Weighted Round Robin
- Least Connections
- IP Hash và gắn phiên
- Bảng tóm tắt
- Cách chọn và kiểm chứng
- Ví dụ cấu hình trên Nginx
- Chọn thuật toán theo tình huống
- Giữ phiên người dùng mà không phụ thuộc IP
- Cách đặt trọng số cho máy chủ
- Theo dõi để biết thuật toán có hiệu quả
- Thuật toán trên FPT Load Balancer
- Câu hỏi thường gặp
Round Robin và Weighted Round Robin
Round Robin gửi yêu cầu lần lượt tới từng máy. Đơn giản và hiệu quả khi các máy giống nhau và mỗi yêu cầu tốn tài nguyên tương đương. Weighted cho phép máy mạnh nhận nhiều yêu cầu hơn máy yếu.
Least Connections
Chọn máy đang có ít kết nối đang hoạt động nhất. Hợp khi thời gian xử lý mỗi yêu cầu chênh lệch lớn hoặc kết nối kéo dài, vì tránh dồn việc vào một máy đang bận.
IP Hash và gắn phiên
Dùng địa chỉ IP người dùng để luôn chọn cùng một máy. Hữu ích khi ứng dụng lưu phiên cục bộ trên máy. Hạn chế: người dùng sau cùng một địa chỉ (mạng công ty, NAT) có thể dồn vào một máy, và khi thêm bớt máy, phân bổ có thể thay đổi. Giải pháp lâu dài là lưu phiên ở nơi dùng chung để mọi máy đều xử lý được.
Bảng tóm tắt
| Thuật toán | Hợp khi | Lưu ý |
|---|---|---|
| Round Robin | Máy giống nhau, yêu cầu ngắn và đồng đều | Không xét tải thực tế của máy |
| Weighted Round Robin | Máy có cấu hình khác nhau | Cần đặt trọng số hợp lý |
| Least Connections | Yêu cầu dài hoặc không đồng đều | Cần theo dõi số kết nối |
| IP Hash | Ứng dụng lưu phiên trên máy | Có thể mất cân bằng |
Cách chọn và kiểm chứng
Bắt đầu từ đặc điểm ứng dụng, sau đó thử tải để xem phân bổ thực tế và thời gian phản hồi, xem load test trước khi go-live. Kết hợp health check để loại máy lỗi, xem health check và failover. Các dấu hiệu cần cân bằng tải xem khi nào doanh nghiệp cần load balancer.
Ví dụ cấu hình trên Nginx
Đoạn cấu hình dưới đây kết hợp ba ý: chọn thuật toán ít kết nối nhất, đặt trọng số cho máy mạnh và một máy dự phòng. Địa chỉ chỉ là ví dụ:
upstream ung_dung {
least_conn;
server 10.0.1.11:8080 weight=3;
server 10.0.1.12:8080 weight=2;
server 10.0.1.13:8080 backup;
}
server {
listen 80;
location / {
proxy_pass http://ung_dung;
}
}Muốn gắn người dùng với một máy theo địa chỉ IP, thay dòng least_conn; bằng ip_hash;. Máy khai báo backup chỉ nhận yêu cầu khi các máy còn lại không khả dụng. Dịch vụ cân bằng tải trên Cloud thường có tùy chọn tương đương qua giao diện quản trị.
Chọn thuật toán theo tình huống
| Tình huống | Thuật toán gợi ý | Lý do |
|---|---|---|
| Website tin tức, các máy cấu hình giống nhau | Round Robin | Yêu cầu ngắn và đồng đều nên chia lần lượt là đủ |
| Cụm có máy mạnh yếu khác nhau | Weighted Round Robin | Máy mạnh nhận nhiều yêu cầu hơn |
| API có yêu cầu xử lý lâu, kết nối kéo dài | Least Connections | Tránh dồn việc vào máy đang bận |
| Ứng dụng cũ lưu phiên trên từng máy | IP Hash tạm thời | Giữ người dùng ở một máy, nhưng nên tính đến việc lưu phiên dùng chung |
Giữ phiên người dùng mà không phụ thuộc IP
- Lưu phiên ở kho dùng chung như Redis để máy nào cũng đọc được.
- Dùng token có chữ ký để máy chủ không cần lưu trạng thái phiên.
- Cookie gắn phiên của bộ cân bằng tải là giải pháp tạm khi chưa sửa được ứng dụng.
- Tránh phụ thuộc IP vì người dùng sau cùng một NAT sẽ dồn vào một máy.
Cách đặt trọng số cho máy chủ
Trọng số nên phản ánh năng lực xử lý tương đối giữa các máy, không phải con số tùy ý. Ví dụ giả định:
| Máy | Cấu hình (giả định) | Trọng số gợi ý |
|---|---|---|
| Máy A | 8 vCPU, 16 GB RAM | 4 |
| Máy B | 4 vCPU, 8 GB RAM | 2 |
| Máy C | 2 vCPU, 4 GB RAM | 1 |
Tỷ lệ 4:2:1 bám theo năng lực CPU. Sau đó đo thực tế: nếu máy A luôn quá tải hơn dự kiến thì giảm trọng số, vì cấu hình phần cứng không phải lúc nào cũng phản ánh đúng khả năng chịu tải của ứng dụng.
- Khi thêm máy mới, bắt đầu với trọng số thấp rồi tăng dần để máy có thời gian làm nóng cache.
- Khi cần bảo trì một máy, giảm trọng số về 0 hoặc đặt trạng thái rút kết nối trước khi tắt.
- Ghi lại lý do chọn trọng số để người sau điều chỉnh có căn cứ.
Theo dõi để biết thuật toán có hiệu quả
- So sánh CPU và số kết nối giữa các máy, lệch lớn là dấu hiệu phân phối chưa đều.
- Theo dõi thời gian phản hồi theo từng máy để phát hiện máy chậm bất thường.
- Quan sát số yêu cầu lỗi sau mỗi lần thêm hoặc bớt máy.
- Thử thay thuật toán trên một nhóm nhỏ trước khi áp dụng toàn bộ.
Cần tư vấn cấu hình cân bằng tải?
Gửi mô hình ứng dụng và lưu lượng để đội ngũ FPT liên hệ trao đổi và đề xuất phương án phù hợp.
Đăng ký tư vấnThuật toán trên FPT Load Balancer
Theo tài liệu giới thiệu dịch vụ của FPT Cloud, FPT Load Balancer bản v2 hỗ trợ ba thuật toán: Round Robin, Least Connection và Source IP (cùng nguyên lý với IP Hash: yêu cầu từ một địa chỉ nguồn về cùng một máy chủ). Khi cần giữ phiên ở lớp ứng dụng, có thể dùng thêm sticky session.
| Thuật toán | Gợi ý dùng |
|---|---|
| Round Robin | Các máy chủ cấu hình giống nhau, yêu cầu ngắn và đều |
| Least Connection | Thời gian xử lý mỗi yêu cầu chênh lệch nhiều, kết nối giữ lâu |
| Source IP | Cần cùng một khách về cùng một máy chủ mà không dùng cookie |
Mỗi server pool có thể chọn thuật toán riêng, và một load balancer có thể có nhiều pool. Xem FPT Load Balancer.
Nguồn: tài liệu giới thiệu dịch vụ của FPT Cloud. Thông số có thể thay đổi theo thời điểm; cấu hình và điều kiện áp dụng cần được FPT tư vấn và xác nhận khi báo giá.
Câu hỏi thường gặp
Round Robin có công bằng không?
Công bằng về số yêu cầu, nhưng không xét mức dùng tài nguyên thực tế của từng yêu cầu.
Khi nào dùng Least Connections?
Khi thời gian xử lý mỗi yêu cầu khác nhau nhiều hoặc có kết nối kéo dài.
IP Hash có đảm bảo một người dùng luôn vào một máy không?
Thường có khi danh sách máy không đổi. Thêm bớt máy có thể làm thay đổi phân bổ.
Có cần lưu phiên trên máy không?
Nên tránh. Lưu phiên dùng chung giúp mọi máy xử lý được và dễ mở rộng.
Có thể đổi thuật toán sau khi đã chạy không?
Thường có thể, nhưng nên thử trên môi trường kiểm thử và theo dõi phân bổ tải sau khi đổi.

