FPT Incident Management · FPT Cloud Monitoring · FPT Disaster Recovery
Khi hệ thống gặp sự cố, thời gian đầu thường bị lãng phí vì nhiều người cùng điều tra một việc, không ai thông báo cho khách hàng, hoặc mỗi người thử một cách khác nhau và làm tình hình tệ hơn. Một quy trình ngắn cho 30 phút đầu với vai trò rõ ràng, một kênh liên lạc chung và các mẫu thông báo có sẵn giúp rút ngắn thời gian phát hiện, giảm thiểu và khôi phục.
Phút 0–5: xác nhận và phân loại
- Xác nhận sự cố thật: đối chiếu nhiều nguồn như giám sát, khách hàng báo, kiểm tra thủ công; tránh báo động nhầm.
- Gán mức độ theo tác động, không theo cảm tính (xem bảng bên dưới).
- Chỉ định người chỉ huy sự cố ngay từ đầu.
| Mức | Ví dụ tác động | Hành động |
|---|---|---|
| Nghiêm trọng | Dịch vụ chính ngừng hoàn toàn, mất dữ liệu, ảnh hưởng nhiều khách hàng | Huy động ngay, thông báo lãnh đạo và khách hàng |
| Cao | Chức năng quan trọng suy giảm nặng | Huy động đội liên quan, cập nhật định kỳ |
| Trung bình | Một phần người dùng bị ảnh hưởng, có cách tạm thời | Xử lý trong giờ làm việc, theo dõi |
Bảng chỉ là khung tham khảo; mỗi doanh nghiệp nên tự định nghĩa theo hệ thống và cam kết với khách hàng của mình.
Các vai trò cần có
| Vai trò | Nhiệm vụ |
|---|---|
| Người chỉ huy | Điều phối, quyết định hướng xử lý, không tự đi sâu vào kỹ thuật |
| Người xử lý kỹ thuật | Điều tra và thực hiện thao tác khắc phục, báo cáo từng bước cho người chỉ huy |
| Người liên lạc | Cập nhật nội bộ và khách hàng, gom câu hỏi để kỹ thuật không bị ngắt quãng |
| Người ghi chép | Ghi lại dòng thời gian: ai làm gì, lúc nào, kết quả |
Đội nhỏ có thể một người kiêm nhiều vai, nhưng riêng vai người chỉ huy và người liên lạc nên tách khỏi người đang gõ lệnh. Xem thêm về lịch trực ở giám sát và trực sự cố cho đội nhỏ.
Phút 5–10: lập kênh liên lạc duy nhất
- Một nhóm trò chuyện hoặc cuộc gọi chung dành riêng cho sự cố; mọi thông tin quan trọng đi qua đây.
- Ghi mức độ, thời điểm bắt đầu và người chỉ huy vào đầu kênh.
- Ghim bản cập nhật mới nhất để người vào sau không phải hỏi lại.
Phút 10–20: ưu tiên giảm thiểu, chưa cần tìm nguyên nhân gốc
Mục tiêu đầu tiên là đưa dịch vụ hoạt động lại hoặc giảm tác động, không phải hiểu hết nguyên nhân. Các hành động giảm thiểu thường dùng:
- Quay lại phiên bản triển khai gần nhất nếu sự cố bắt đầu sau một thay đổi.
- Tắt tạm tính năng gây lỗi.
- Mở rộng tài nguyên hoặc khởi động lại thành phần bị treo, xem checklist xử lý cloud server chậm hoặc không truy cập được.
- Chuyển sang hệ thống dự phòng nếu có, xem kế hoạch khôi phục sau sự cố đơn giản cho SME.
Nguyên tắc: mỗi lần chỉ thay đổi một thứ và ghi lại, để biết thay đổi nào có tác dụng. Sau khi dịch vụ ổn định mới đi vào nguyên nhân gốc, xem báo cáo hậu sự cố không đổ lỗi.
Phút 20–30: thông báo và cập nhật
Nên thông báo sớm và trung thực, kể cả khi chưa biết nguyên nhân. Một thông báo tốt có ba phần: điều gì đang xảy ra, ai bị ảnh hưởng, khi nào sẽ cập nhật tiếp.
- Nội bộ: “Hệ thống [tên] đang gặp sự cố từ [giờ]. Mức độ: [mức]. Người chỉ huy: [tên]. Cập nhật tiếp theo lúc [giờ].”
- Khách hàng: “Chúng tôi đang ghi nhận [mô tả ảnh hưởng] trên [dịch vụ]. Đội kỹ thuật đang xử lý. Chúng tôi sẽ cập nhật lúc [giờ].”
Không hứa thời gian khôi phục khi chưa có cơ sở, không đổ lỗi cho bên thứ ba khi chưa xác minh, và không đưa chi tiết kỹ thuật nhạy cảm hoặc dữ liệu cá nhân. Với sự cố liên quan dữ liệu cá nhân hoặc an ninh mạng, cần theo quy trình riêng và xin ý kiến pháp chế, xem quy trình ứng phó sự cố an ninh mạng (bài này không phải tư vấn pháp lý).
Chuẩn bị trước để 30 phút đầu hiệu quả
- Danh sách liên hệ khẩn cấp luôn cập nhật, gồm cả nhà cung cấp.
- Sổ tay xử lý cho các sự cố thường gặp, xem bộ tài liệu tối thiểu để giảm phụ thuộc vào một người.
- Cảnh báo có người nhận rõ ràng, xem giám sát hệ thống toàn diện.
- Diễn tập định kỳ bằng tình huống giả lập.
- Biết mục tiêu khôi phục của từng hệ thống, xem RTO và RPO bằng ngôn ngữ quản trị.
Công cụ hỗ trợ xử lý sự cố trên FPT Cloud
Doanh nghiệp có thể kết hợp giám sát, cảnh báo và quản lý sự cố để rút ngắn thời gian phát hiện và phối hợp xử lý. Xem quản lý sự cố thông minh. Phạm vi dịch vụ và cách tích hợp cần được FPT tư vấn theo hệ thống của bạn.
Muốn xây quy trình xử lý sự cố cho đội vận hành
Mô tả hệ thống và đội vận hành để được tư vấn giám sát, cảnh báo và quy trình phù hợp.
Đăng ký tư vấnCâu hỏi thường gặp
Vì sao nên giảm thiểu trước, tìm nguyên nhân sau
Vì mỗi phút gián đoạn gây thiệt hại. Đưa dịch vụ hoạt động lại bằng cách quay lại hoặc tắt tính năng lỗi trước, sau đó mới điều tra gốc rễ khi tình hình ổn định.
Đội IT chỉ có 2 người thì phân vai thế nào
Một người xử lý kỹ thuật, một người vừa chỉ huy vừa liên lạc và ghi chép. Quan trọng là không để người đang xử lý kỹ thuật phải trả lời mọi câu hỏi.
Có nên thông báo khách hàng khi chưa rõ nguyên nhân
Nên, nếu sự cố ảnh hưởng đến họ. Nói rõ điều đang xảy ra và thời điểm cập nhật tiếp, không cần nêu nguyên nhân khi chưa chắc chắn.
Bao lâu nên cập nhật một lần
Theo mức độ: sự cố nghiêm trọng thường cập nhật định kỳ vài chục phút một lần, kể cả khi chưa có tiến triển, để người nhận biết đội vẫn đang xử lý.
Mức độ sự cố nên do ai quyết định
Người chỉ huy sự cố quyết định dựa trên tiêu chí đã thống nhất trước, và có thể nâng hoặc hạ mức khi có thêm thông tin.
Quy trình này có áp dụng cho sự cố bảo mật không
Có thể dùng làm khung chung, nhưng sự cố bảo mật cần thêm các bước thu thập bằng chứng, cô lập và nghĩa vụ báo cáo. Cần quy trình và ý kiến pháp chế riêng.

