In-Context Learning in Chatbots
Học trong Ngữ cảnh ở Chatbot
Công ty nào đang ứng dụng Học trong Ngữ cảnh?
Tháng 3 năm 2023, Intercom — nền tảng chăm sóc khách hàng phục vụ hơn 25.000 doanh nghiệp — ra mắt Fin, chatbot AI thương mại đầu tiên chạy trên GPT-4. Fin không trả lời bằng kiến thức chung chung. Fin đọc chính kho tài liệu hướng dẫn (knowledge base — tập hợp các bài hướng dẫn, FAQ của từng công ty) rồi trả lời khách theo đúng chính sách của riêng công ty đó.
Điểm đặc biệt: Fin không cần đào tạo lại mô hình cho mỗi khách hàng. Nó dùng học trong ngữ cảnh— tức là đưa các đoạn tài liệu liên quan vào prompt ngay lúc khách hỏi — để AI “học tạm” về sản phẩm cụ thể trong đúng một lần trả lời đó.
Mốc thời gian quan trọng
- 11/2022
ChatGPT ra mắt
Thế giới thấy chatbot AI đa năng lần đầu tiên.
- 03/2023
Intercom ra mắt Fin
Chatbot thương mại đầu tiên chạy trên GPT-4.
- 06/2023
Mở rộng khách hàng
Doanh nghiệp khắp Mỹ/Anh/Úc bật Fin chỉ sau vài phút cấu hình.
- 2024+
Chuẩn mới cho CS
Các đối thủ cũng chuyển sang mô hình “chatbot đọc tài liệu công ty”.
Vấn đề công ty cần giải quyết
Mỗi công ty có sản phẩm, chính sách, quy trình riêng. Câu hỏi của khách hầu hết xoay quanh những thứ chỉ có trong tài liệu công ty đó: “Tôi huỷ đơn được không?”, “Bảo hành mấy tháng?”, “Giao đến tỉnh X mất bao lâu?”.
Chatbot truyền thống hoạt động theo luật cứng (rule-based): ai đó phải lập trình sẵn từng câu hỏi — từng câu trả lời. Khách hỏi lệch kịch bản → bot “tắc tị” hoặc trả lời sai rồi đẩy sang nhân viên.
Bài toán của Intercom: làm sao để một AI duy nhấtphục vụ 25.000 doanh nghiệp khác nhau, mỗi nơi một bộ chính sách riêng — mà không phải thuê 25.000 đội kỹ sư đi huấn luyện 25.000 mô hình?
Khách hỏi: “Tôi đặt hàng 5 ngày rồi, vẫn chưa thấy — hỗ trợ giúp?”
Cùng câu hỏi, hai kiểu bot khác nhau trả lời.
- • Nói chung chung, không đúng chính sách công ty.
- • Không biết mã đơn, không biết khách ở đâu.
- • Khách bực, phải gọi tổng đài — mất thêm 1 nhân viên.
Cách Học trong Ngữ cảnh giải quyết vấn đề
Fin quét toàn bộ tài liệu công ty bạn trong vài phút.Bạn kết nối Fin với help center (trung tâm trợ giúp — trang tài liệu hướng dẫn) hoặc Zendesk của bạn. Fin đọc hết, lập chỉ mục, sẵn sàng trả lời. Không cần huấn luyện lại mô hình, không cần đội kỹ sư.
Tài liệu HDSDChính sáchFAQ nội bộKho kiến thức được lập chỉ mụcKhách hỏi — Fin tìm đoạn tài liệu liên quan nhất rồi nhét vào prompt.Đây chính là khoảnh khắc học trong ngữ cảnh: Fin xây một prompt mới có dạng “Dưới đây là tài liệu công ty về chính sách bảo hành. Dùng tài liệu này để trả lời câu hỏi bên dưới…”, kèm câu hỏi thật của khách ở cuối.
Prompt Fin xây tự động (rút gọn)[Tài liệu công ty]
Chính sách bảo hành: Sản phẩm được bảo hành 12 tháng kể từ ngày mua. Lỗi do người dùng không được bảo hành…[Câu hỏi khách]
Máy của tôi mua 8 tháng trước bị hỏng, còn bảo hành không?Đây chính là ICL trong đời thậtKhông ai huấn luyện lại GPT-4 về sản phẩm của công ty bạn. Fin chỉ “dạy tạm” AI bằng các đoạn tài liệu kèm theo. Khi cuộc trò chuyện kết thúc, AI quên ngay — nhưng trong đúng lần trả lời đó, nó là “chuyên gia” về sản phẩm của bạn.Fin bị “khoá miệng” để không bịa thông tin.Intercom ép Fin chỉ được nói những gì có trong tài liệu. Kết quả: tỷ lệ bịa (hallucination — AI nói sai sự thật) giảm khoảng 10 lần so với bot không có ràng buộc. Mỗi câu trả lời kèm link đến bài viết nguồn để khách tự kiểm tra.
Không ràng buộcBot tự tin bịa “chính sách” nghe hợp lý. Khách tin và công ty ôm hậu quả.
Fin có ràng buộcChỉ trả lời từ tài liệu. Không tìm thấy → nói “Tôi chưa chắc” và chuyển nhân viên.
Khi vượt giới hạn, Fin giao lại cho nhân viên.Câu hỏi ngoài phạm vi tài liệu, hoặc khách bày tỏ bực tức, Fin không đoán mò. Nó chuyển ngay sang nhân viên hỗ trợ cùng toàn bộ lịch sử chat — để nhân viên không phải hỏi lại từ đầu.
FinNhân viên“Đã chuyển cho bạn Nguyễn Văn A. Khách hỏi về hoàn tiền đơn quốc tế. Lịch sử: 4 tin nhắn, Fin đã gửi 2 link chính sách…”
Con số thật
Khoảng một nửa vé hỗ trợ — Fin xử lý gọn, không cần nhân viên can thiệp.
Ràng buộc “chỉ trả lời từ tài liệu” chặn phần lớn tình huống AI tự “chém”.
Kết nối help center có sẵn — Fin tự đọc, tự sẵn sàng. Không cần kỹ sư.
Nếu không có Học trong Ngữ cảnh, app sẽ ra sao?
Không có học trong ngữ cảnh, mỗi doanh nghiệp muốn có chatbot AI “biết” sản phẩm mình sẽ phải huấn luyện riêng một mô hình — tốn vài tháng, tốn đội kỹ sư, và mỗi lần cập nhật tài liệu lại phải huấn luyện lại từ đầu.
Cùng một việc: làm chatbot biết sản phẩm của từng công ty.
- • Mất 2-3 tháng huấn luyện cho mỗi công ty.
- • Cần đội kỹ sư ML đắt đỏ, khó tuyển.
- • Tài liệu công ty sửa 1 câu → huấn luyện lại cả mô hình.
- • Chi phí khởi tạo hàng chục nghìn đô-la/công ty.
- • Không khả thi để phục vụ 25.000 doanh nghiệp.
Học trong ngữ cảnh cho phép Fin “trở thành chuyên gia” về bất kỳ sản phẩm nào chỉ bằng cách đọc tài liệu — giống một nhân viên mới học từ sổ tay hướng dẫn trong ngày đầu đi làm, rồi làm việc liền ngay chiều hôm đó.