Khi bên mình bắt đầu đưa chatbot vào phục vụ khách thật, bài học đầu tiên khá phũ: một bản demo đẹp không có nghĩa là hệ thống chạy được. Ứng dụng AI cho chăm sóc khách hàng ở môi trường production phải xử lý hàng nghìn cuộc trò chuyện mỗi ngày, giữ độ chính xác ổn định và, quan trọng không kém, biết dừng đúng lúc khi chính nó không chắc. Bài này chúng tôi kể lại cách đội ngũ nhìn vấn đề từ phía kỹ thuật, theo đúng những gì đã gặp phải.
Một hệ thống CSKH bằng AI thực tế được ghép từ những gì?
Lúc mới làm, ai trong đội cũng nghĩ chỉ cần một mô hình ngôn ngữ lớn là đủ. Thực tế thì không. Mỗi tin nhắn đi qua nhiều lớp khác nhau, và mỗi lớp có một việc riêng.
Lớp đầu tiên là phân loại ý định. Mô hình NLP đọc tin nhắn và xếp nó vào một nhóm như tra cứu đơn hàng, yêu cầu đổi trả, hỏi về sản phẩm hay khiếu nại. Nếu bước này sai, mọi thứ phía sau cũng sai theo.
Lớp thứ hai là truy xuất tri thức. Hệ thống RAG lấy những thông tin liên quan từ kho kiến thức của doanh nghiệp, tuỳ theo ý định vừa xác định. Chúng tôi từng để kho kiến thức quá lớn và nhiều nhiễu, kết quả là câu trả lời lúc đúng lúc lệch. Sau đó đội ngũ phải chia nhỏ và gắn nhãn lại.
Lớp thứ ba là sinh câu trả lời. LLM viết phản hồi tự nhiên dựa trên phần ngữ cảnh vừa lấy được. Lớp cuối là logic chuyển người. Có thể dùng luật đơn giản hoặc một mô hình học máy để quyết định khi nào nên chuyển cho nhân viên thật. Mọi cuộc trò chuyện đều được ghi lại để về sau đội ngũ phân tích chất lượng và cải thiện.
Những quyết định kỹ thuật ảnh hưởng nhiều nhất
Có một điều đội ngũ rút ra sớm: quan trọng nhất không phải là bot trả lời giỏi cỡ nào, mà là bot biết mình không biết. Khi khách hỏi một việc nằm ngoài phạm vi, bot phải nhận ra và chuyển hướng khéo léo, chứ không được bịa ra một câu nghe có vẻ hợp lý. Lớp phát hiện ngoài phạm vi vì thế là một lá chắn an toàn, và chúng tôi xem nó quan trọng ngang với bản thân mô hình.
Thứ hai là độ tươi của kho kiến thức. Chatbot tốt đến đâu cũng chỉ phản ánh đúng dữ liệu nó được cấp. Khi chính sách giá đổi mà kho kiến thức chưa cập nhật, khách sẽ nhận được thông tin cũ và mất niềm tin rất nhanh. Vì vậy đội ngũ dựng một quy trình tự động cập nhật kho mỗi khi sản phẩm, chính sách hoặc bảng giá thay đổi.
Thứ ba là cá nhân hoá mà không xâm phạm quyền riêng tư. Bot nên biết lịch sử đơn hàng và lần khiếu nại trước của khách để trả lời có ngữ cảnh. Nhưng dữ liệu nhạy cảm phải được quản trị chặt, không được để lộ ra ngoài. Chúng tôi phân quyền truy cập rất rõ ràng cho từng loại thông tin.
Kiểm thử chất lượng cho chatbot CSKH thế nào?
Kiểm thử AI khác với kiểm thử phần mềm thông thường, vì đầu ra không cố định. Đội ngũ dùng vài cách kết hợp để yên tâm trước mỗi lần cập nhật.
Đầu tiên là bộ hội thoại vàng, gồm những cuộc trò chuyện điển hình kèm câu trả lời kỳ vọng. Mỗi lần đổi mô hình, chúng tôi chạy lại bộ này để chắc rằng không có lỗi cũ nào tái xuất hiện.
Tiếp theo là chạy thử ở chế độ bóng. Một tỷ lệ nhỏ lưu lượng được chuyển sang mô hình mới, nhưng khách vẫn nhận phản hồi từ mô hình cũ. Đội ngũ so sánh hai bên trước khi quyết định đưa mô hình mới lên chính thức.
Cuối cùng là A/B test kèm đo điểm hài lòng của khách. Độ chính xác trên giấy là một chỉ số, nhưng cái thực sự quyết định là khách có thấy hài lòng hay không. Có những lần độ chính xác tăng nhẹ mà điểm hài lòng lại giảm, và chính điều đó cho chúng tôi biết phải sửa cách bot diễn đạt.
Vì sao độ tin cậy quan trọng hơn bản demo đẹp?
Niềm tin của khách với chatbot được xây dần qua từng lần tương tác. Chúng tôi từng thấy một câu trả lời sai đúng vào lúc khách đang cần gấp làm mất lòng tin nhanh hơn nhiều so với việc mười câu đúng xây dựng được nó. Vì thế, đầu tư cho kiểm thử và giám sát nghiêm túc không phải là chi phí phụ. Đó là khoản đầu tư trực tiếp vào niềm tin của khách.
Nếu bạn đang cân nhắc đưa AI vào chăm sóc khách hàng, có thể tham khảo thêm các mô hình triển khai thực tế ở môi trường B2B, như những gì được chia sẻ tại ứng dụng AI cho chăm sóc khách hàng. Với các chủ đề công nghệ và kinh doanh online khác, bạn cũng có thể đọc thêm trên mona.media.
Gợi ý khi bắt đầu triển khai
Nếu bạn là chủ shop hay người phụ trách vận hành, đừng bắt đầu bằng việc muốn bot làm được mọi thứ. Hãy chọn trước vài loại câu hỏi lặp lại nhiều nhất, chẳng hạn tra cứu đơn và hỏi chính sách đổi trả, rồi giao cho bot xử lý. Phần còn lại vẫn để nhân viên xử lý và chuyển người khi cần. Cách làm này an toàn hơn và cho bạn thời gian học từ dữ liệu thực.
Bạn cũng có thể xem các bài liên quan trong chuyên mục để hiểu thêm về cách tổ chức kho kiến thức và quy trình hỗ trợ khách, như tin tức tổng hợp hoặc bài báo giá bulong mắt cho giá treo hàng: hỏi đúng trước nếu bạn quan tâm đến việc chuẩn bị thông tin trước khi làm việc với nhà cung cấp.