Bài thuộc nhóm Voice Bot, Chat Bot, AI Agent. Kiến thức nền xem tại RAG là gì và cách triển khai chatbot với dữ liệu riêng.
Đánh giá chatbot RAG là quá trình kiểm tra hai việc: hệ thống có tìm đúng đoạn tài liệu liên quan hay không (truy xuất) và câu trả lời có bám đúng nội dung tìm được hay không (sinh câu trả lời). Hallucination, tức là mô hình trả lời sai nhưng nghe rất thuyết phục, chỉ giảm được khi có bộ đo rõ ràng và cơ chế từ chối khi thiếu căn cứ.
Các kiểu lỗi thường gặp của chatbot RAG
- Truy xuất sai hoặc thiếu: tài liệu đúng không được tìm thấy, hoặc đoạn tìm được không đủ để trả lời.
- Trả lời vượt nguồn: mô hình thêm chi tiết không có trong tài liệu (ví dụ điều kiện, con số).
- Dùng tài liệu cũ: nguồn tri thức không cập nhật hoặc có nhiều phiên bản mâu thuẫn.
- Hiểu sai câu hỏi: câu hỏi mơ hồ, thiếu ngữ cảnh nhưng bot vẫn trả lời thay vì hỏi lại.
- Lộ thông tin ngoài quyền: truy xuất tài liệu mà người hỏi không được phép xem.
Phân loại lỗi như vậy giúp biết cần sửa ở khâu dữ liệu, truy xuất, câu lệnh hay phân quyền.
Xây bộ câu hỏi chuẩn để đo
Nền tảng của mọi đánh giá là một bộ câu hỏi chuẩn (golden set) gồm câu hỏi, câu trả lời mong muốn và tài liệu căn cứ, do chuyên gia nghiệp vụ xác nhận.
- Lấy câu hỏi từ lịch sử tổng đài, chat và email thật, không chỉ từ người xây hệ thống.
- Bao gồm cả câu hỏi không có đáp án trong tài liệu để kiểm tra bot có biết từ chối hay không.
- Có câu hỏi mơ hồ, câu hỏi nhiều bước và câu hỏi cố tình dẫn dắt.
- Gắn nhãn theo chủ đề và mức rủi ro để đo riêng nhóm nhạy cảm.
Các chỉ số đánh giá
| Khía cạnh | Câu hỏi cần trả lời | Cách đo |
|---|---|---|
| Truy xuất | Đoạn tài liệu đúng có nằm trong kết quả tìm được không | So khớp với tài liệu căn cứ trong bộ câu hỏi chuẩn. |
| Bám nguồn | Mọi khẳng định trong câu trả lời có căn cứ ở đoạn đã truy xuất không | Chuyên gia chấm hoặc mô hình chấm có kiểm tra mẫu bởi người. |
| Đúng và đủ | Câu trả lời có đúng và đủ so với đáp án mong muốn không | Chấm theo thang do đơn vị định nghĩa. |
| Từ chối đúng lúc | Khi không có căn cứ, bot có nói không biết hoặc chuyển người không | Đo trên nhóm câu hỏi không có đáp án. |
| An toàn và quyền truy cập | Bot có lộ nội dung ngoài quyền không | Kiểm thử theo vai trò người dùng. |
Việc dùng mô hình để chấm điểm giúp mở rộng quy mô nhưng có thể sai lệch, nên cần đối chiếu định kỳ với chấm tay của chuyên gia.
Giảm hallucination bằng thiết kế
- Yêu cầu trích dẫn nguồn trong câu trả lời để người dùng và người kiểm tra đối chiếu.
- Quy tắc từ chối: nếu đoạn truy xuất không đủ căn cứ, bot hỏi lại hoặc chuyển người thay vì đoán.
- Giới hạn phạm vi: chỉ trả lời trong các chủ đề được phê duyệt.
- Quản trị tài liệu: có chủ sở hữu, phiên bản, ngày hiệu lực; loại bỏ bản cũ.
- Phân quyền truy xuất theo vai trò, tương tự cách các nền tảng AI agent doanh nghiệp quản lý tri thức, xem nền tảng AI Agent FPT EOS.
Với câu trả lời có thể ảnh hưởng đến quyền lợi khách hàng (phí, điều kiện, thời hạn), nên có bước người kiểm tra hoặc dùng nội dung đã được phê duyệt sẵn.
Đánh giá liên tục sau khi vận hành
Hệ thống thay đổi liên tục: tài liệu được cập nhật, mô hình được nâng cấp, câu lệnh được chỉnh. Mỗi thay đổi nên chạy lại bộ câu hỏi chuẩn để phát hiện suy giảm chất lượng (regression) trước khi đưa vào hoạt động. Song song, thu thập phản hồi “hữu ích/không hữu ích” từ người dùng, nghe lại các hội thoại bị chuyển người, và bổ sung câu hỏi mới vào bộ chuẩn. Việc ghi nhận nội dung hội thoại cần cân nhắc dữ liệu cá nhân và các yêu cầu trong yêu cầu tuân thủ khi triển khai AI agent, GenAI.
Các bài liên quan trong nhóm:
- Chatbot đa kênh Zalo OA, Facebook, web và chuyển giao sang nhân viên
- Chọn chatbot, voicebot hay AI agent: Khung quyết định cho doanh nghiệp
- Kiểm thử và đánh giá AI agent: Bộ test, mô phỏng, chỉ số
- Chi phí vận hành AI agent và LLM: Token, hạ tầng, cache, kiểm soát
Cần đánh giá chất lượng chatbot RAG trước khi đưa vào hoạt động
Đội ngũ FPT có thể trao đổi về nguồn tri thức, bộ câu hỏi chuẩn và cơ chế kiểm soát câu trả lời.
Đăng ký tư vấnCâu hỏi thường gặp
Hallucination của chatbot là gì
Là hiện tượng mô hình đưa ra thông tin sai hoặc không có căn cứ nhưng trình bày như thể đúng. Với RAG, nguy cơ giảm khi câu trả lời bị ràng buộc vào tài liệu truy xuất nhưng không biến mất hoàn toàn.
RAG có loại bỏ hoàn toàn trả lời sai không
Không. RAG giúp bám dữ liệu của đơn vị nhưng vẫn có thể truy xuất sai hoặc diễn giải sai. Vì vậy cần đo lường, trích dẫn nguồn và cơ chế từ chối.
Bộ câu hỏi chuẩn cần bao nhiêu câu
Không có con số cố định. Nên đủ để bao phủ các chủ đề chính và nhóm rủi ro cao, rồi bổ sung dần từ hội thoại thật. Chất lượng và tính đại diện quan trọng hơn số lượng.
Có thể dùng AI để chấm câu trả lời của AI không
Có thể để mở rộng quy mô, nhưng kết quả có thể thiên lệch nên cần chuyên gia kiểm tra mẫu định kỳ, đặc biệt với nhóm câu hỏi rủi ro cao.
Nên làm gì khi bot không có đủ căn cứ để trả lời
Hỏi lại để làm rõ, nói rõ là chưa có thông tin hoặc chuyển cho nhân viên, thay vì tự suy đoán.
Đánh giá chatbot có liên quan đến yêu cầu pháp lý không
Có thể, nhất là khi chatbot xử lý dữ liệu cá nhân hoặc đưa thông tin ảnh hưởng quyền lợi khách hàng. Bài viết không phải tư vấn pháp lý; cần đối chiếu quy định hiện hành và tham vấn pháp chế.

