Đánh giá chatbot RAG: Chống trả lời sai (hallucination) và đo chất lượng câu trả lời

Đánh giá chatbot RAG: chống trả lời sai và đo chất lượng câu trả lời

Bạn đang tham khảo tổng đài?
Giải pháp tổng đài chia nhánh Cloud hiện đại - FPT CloudPBX | Tìm hiểu ngay

Share this story

Đánh giá chatbot RAG là quá trình kiểm tra hai việc: hệ thống có tìm đúng đoạn tài liệu liên quan hay không (truy xuất) và câu trả lời có bám đúng nội dung tìm được hay không (sinh câu trả lời). Hallucination, tức là mô hình trả lời sai nhưng nghe rất thuyết phục, chỉ giảm được khi có bộ đo rõ ràng và cơ chế từ chối khi thiếu căn cứ.

Các kiểu lỗi thường gặp của chatbot RAG

  • Truy xuất sai hoặc thiếu: tài liệu đúng không được tìm thấy, hoặc đoạn tìm được không đủ để trả lời.
  • Trả lời vượt nguồn: mô hình thêm chi tiết không có trong tài liệu (ví dụ điều kiện, con số).
  • Dùng tài liệu cũ: nguồn tri thức không cập nhật hoặc có nhiều phiên bản mâu thuẫn.
  • Hiểu sai câu hỏi: câu hỏi mơ hồ, thiếu ngữ cảnh nhưng bot vẫn trả lời thay vì hỏi lại.
  • Lộ thông tin ngoài quyền: truy xuất tài liệu mà người hỏi không được phép xem.

Phân loại lỗi như vậy giúp biết cần sửa ở khâu dữ liệu, truy xuất, câu lệnh hay phân quyền.

Xây bộ câu hỏi chuẩn để đo

Nền tảng của mọi đánh giá là một bộ câu hỏi chuẩn (golden set) gồm câu hỏi, câu trả lời mong muốn và tài liệu căn cứ, do chuyên gia nghiệp vụ xác nhận.

  • Lấy câu hỏi từ lịch sử tổng đài, chat và email thật, không chỉ từ người xây hệ thống.
  • Bao gồm cả câu hỏi không có đáp án trong tài liệu để kiểm tra bot có biết từ chối hay không.
  • Có câu hỏi mơ hồ, câu hỏi nhiều bước và câu hỏi cố tình dẫn dắt.
  • Gắn nhãn theo chủ đề và mức rủi ro để đo riêng nhóm nhạy cảm.

Các chỉ số đánh giá

Khía cạnhCâu hỏi cần trả lờiCách đo
Truy xuấtĐoạn tài liệu đúng có nằm trong kết quả tìm được khôngSo khớp với tài liệu căn cứ trong bộ câu hỏi chuẩn.
Bám nguồnMọi khẳng định trong câu trả lời có căn cứ ở đoạn đã truy xuất khôngChuyên gia chấm hoặc mô hình chấm có kiểm tra mẫu bởi người.
Đúng và đủCâu trả lời có đúng và đủ so với đáp án mong muốn khôngChấm theo thang do đơn vị định nghĩa.
Từ chối đúng lúcKhi không có căn cứ, bot có nói không biết hoặc chuyển người khôngĐo trên nhóm câu hỏi không có đáp án.
An toàn và quyền truy cậpBot có lộ nội dung ngoài quyền khôngKiểm thử theo vai trò người dùng.

Việc dùng mô hình để chấm điểm giúp mở rộng quy mô nhưng có thể sai lệch, nên cần đối chiếu định kỳ với chấm tay của chuyên gia.

Giảm hallucination bằng thiết kế

  • Yêu cầu trích dẫn nguồn trong câu trả lời để người dùng và người kiểm tra đối chiếu.
  • Quy tắc từ chối: nếu đoạn truy xuất không đủ căn cứ, bot hỏi lại hoặc chuyển người thay vì đoán.
  • Giới hạn phạm vi: chỉ trả lời trong các chủ đề được phê duyệt.
  • Quản trị tài liệu: có chủ sở hữu, phiên bản, ngày hiệu lực; loại bỏ bản cũ.
  • Phân quyền truy xuất theo vai trò, tương tự cách các nền tảng AI agent doanh nghiệp quản lý tri thức, xem nền tảng AI Agent FPT EOS.

Với câu trả lời có thể ảnh hưởng đến quyền lợi khách hàng (phí, điều kiện, thời hạn), nên có bước người kiểm tra hoặc dùng nội dung đã được phê duyệt sẵn.

Đánh giá liên tục sau khi vận hành

Hệ thống thay đổi liên tục: tài liệu được cập nhật, mô hình được nâng cấp, câu lệnh được chỉnh. Mỗi thay đổi nên chạy lại bộ câu hỏi chuẩn để phát hiện suy giảm chất lượng (regression) trước khi đưa vào hoạt động. Song song, thu thập phản hồi “hữu ích/không hữu ích” từ người dùng, nghe lại các hội thoại bị chuyển người, và bổ sung câu hỏi mới vào bộ chuẩn. Việc ghi nhận nội dung hội thoại cần cân nhắc dữ liệu cá nhân và các yêu cầu trong yêu cầu tuân thủ khi triển khai AI agent, GenAI.

Các bài liên quan trong nhóm:

Cần đánh giá chất lượng chatbot RAG trước khi đưa vào hoạt động

Đội ngũ FPT có thể trao đổi về nguồn tri thức, bộ câu hỏi chuẩn và cơ chế kiểm soát câu trả lời.

Đăng ký tư vấn

Câu hỏi thường gặp

Hallucination của chatbot là gì

Là hiện tượng mô hình đưa ra thông tin sai hoặc không có căn cứ nhưng trình bày như thể đúng. Với RAG, nguy cơ giảm khi câu trả lời bị ràng buộc vào tài liệu truy xuất nhưng không biến mất hoàn toàn.

RAG có loại bỏ hoàn toàn trả lời sai không

Không. RAG giúp bám dữ liệu của đơn vị nhưng vẫn có thể truy xuất sai hoặc diễn giải sai. Vì vậy cần đo lường, trích dẫn nguồn và cơ chế từ chối.

Bộ câu hỏi chuẩn cần bao nhiêu câu

Không có con số cố định. Nên đủ để bao phủ các chủ đề chính và nhóm rủi ro cao, rồi bổ sung dần từ hội thoại thật. Chất lượng và tính đại diện quan trọng hơn số lượng.

Có thể dùng AI để chấm câu trả lời của AI không

Có thể để mở rộng quy mô, nhưng kết quả có thể thiên lệch nên cần chuyên gia kiểm tra mẫu định kỳ, đặc biệt với nhóm câu hỏi rủi ro cao.

Nên làm gì khi bot không có đủ căn cứ để trả lời

Hỏi lại để làm rõ, nói rõ là chưa có thông tin hoặc chuyển cho nhân viên, thay vì tự suy đoán.

Đánh giá chatbot có liên quan đến yêu cầu pháp lý không

Có thể, nhất là khi chatbot xử lý dữ liệu cá nhân hoặc đưa thông tin ảnh hưởng quyền lợi khách hàng. Bài viết không phải tư vấn pháp lý; cần đối chiếu quy định hiện hành và tham vấn pháp chế.

Bạn có biết?
Contact Center AI triển khai dễ dàng cùng FPT - Khám phá Voice Bot, Chat Bot

Hạ tầng FPT Cloud cho doanh nghiệp

FPT Cloud cung cấp hạ tầng Public Cloud đặt tại Việt Nam cho doanh nghiệp, gồm Cloud Server, Kubernetes, cơ sở dữ liệu dạng dịch vụ (DBaaS), hạ tầng GPU cho AI, cùng các dịch vụ sao lưu, dự phòng thảm họa, cân bằng tải và tự co giãn. Hạ tầng áp dụng các chuẩn an toàn thông tin như ISO/IEC 27001 và PCI DSS, giúp doanh nghiệp chuẩn bị cho kiểm toán và yêu cầu của đối tác. Cấu hình, mô hình tính phí và phương án triển khai được FPT tư vấn theo từng hệ thống.

Tìm hiểu dịch vụ Cloud Server FPT · Đăng ký tư vấn

Nền tảng Contact Center toàn diện FPT OncallCX

Chăm sóc khách hàng toàn diện, đa kênh với
công nghệ AI
Giải pháp tổng đài Cloud FPT

separator

Tìm hiểu ngay