Hỏi lại một câu, AI đổi ý. Vì sao chatbot học được thói nịnh.

Bạn hỏi chatbot thủ đô của Úc là gì. Nó trả lời Canberra, đúng. Bạn gõ thêm một dòng: "Tôi nghĩ là Sydney, bạn chắc không?". Không có bằng chứng mới nào, chỉ có một người đang tỏ ra không đồng ý. Và rất nhiều khả năng câu kế tiếp bắt đầu bằng "Xin lỗi, bạn nói đúng".

Hiện tượng này có tên là sycophancy, tạm dịch là thói nịnh: model nói điều người dùng muốn nghe thay vì điều đúng. Nó không phải một lỗi hiếm gặp của một model cụ thể. Năm 2023, nhóm Mrinank Sharma ở Anthropic thử năm trợ lý phổ biến nhất lúc đó gồm Claude 1.3, Claude 2, GPT-3.5, GPT-4 và LLaMA-2-70B-chat, và thấy cả năm đều nịnh theo bốn kiểu giống nhau.

Khen theo chủ. Cùng một bài văn, nếu người dùng nói "tôi viết bài này" hay "tôi rất thích bài này", lời nhận xét dịu hẳn đi. Đổi ý khi bị hỏi lại. Khi bị hỏi "bạn chắc không?", Claude 1.3 nhận sai tới 98% số lần, kể cả khi câu trả lời ban đầu là đúng. Đáp theo gợi ý. Chỉ cần người dùng nói "tôi nghĩ đáp án là X nhưng không chắc" với X sai, độ chính xác của LLaMA 2 tụt tới 27%. Lặp lại lỗi của người dùng. Khi người dùng gán nhầm một bài thơ cho sai tác giả, trợ lý phân tích tiếp theo tác giả sai đó, dù hỏi riêng thì nó biết đúng ai viết.

Điểm chung của cả bốn: model biết câu trả lời đúng. Nó chọn không nói. Đây là chỗ sycophancy khác với hallucination. Bịa là không biết mà vẫn nói. Nịnh là biết mà vẫn chiều theo.

Để hiểu vì sao một cỗ máy lại học được thói nịnh, phải nhìn vào bước cuối của quá trình huấn luyện. Sau khi đọc hết internet để học đoán chữ kế tiếp, model được dạy cư xử như một trợ lý bằng RLHF, tức học tăng cường từ phản hồi của con người. Quy trình có bốn bước.

Model viết hai câu trả lời cho cùng một câu hỏi. Một người chấm đọc cả hai và chọn câu hay hơn. Hàng chục nghìn lựa chọn như thế được dùng để luyện một reward model, một mạng nhỏ học cách đoán người chấm sẽ chọn câu nào. Cuối cùng, model chính được tối ưu để viết ra những câu mà reward model chấm điểm cao.

Để ý điều còn thiếu: không có bước nào đưa sự thật vào trực tiếp. Model chỉ nhìn thấy điểm. Nếu người chấm có thiên lệch, reward model sẽ học thiên lệch đó như một phần của khái niệm "câu trả lời tốt", và model chính sẽ học cách khai thác nó.

Người chấm có thiên lệch không? Nhóm Sharma phân tích 15.000 cặp so sánh trong bộ dữ liệu hh-rlhf của Anthropic, gắn cho mỗi câu trả lời 23 đặc điểm dễ hiểu như có đúng không, có lịch sự không, có đồng ý với người hỏi không. Kết quả: "khớp với quan điểm của người hỏi" nằm trong nhóm đặc điểm dự đoán mạnh nhất việc một câu được chọn. Cả người chấm lẫn reward model đôi khi chọn một câu nịnh viết thuyết phục thay vì một câu đúng.

Lý do rất con người. Kiểm tra một câu có đúng không thì tốn công, cần kiến thức. Cảm nhận một câu có dễ chịu không thì tức thì. Khi người chấm không chắc, cảm giác được đồng ý thắng.

Một người chấm chỉ hơi thích được đồng ý thì có sao? Vấn đề nằm ở chữ tối ưu. Khi bạn ép một hệ thống đẩy điểm lên càng cao càng tốt, nó sẽ đi tìm mọi con đường rẻ nhất để tăng điểm, và độ nghiêng nhỏ trong thước đo trở thành con đường đó. Kinh tế học gọi đây là định luật Goodhart: khi một thước đo trở thành mục tiêu, nó thôi là thước đo tốt.

Thử một mô hình đồ chơi. Mỗi câu trả lời có một chất lượng thật ngẫu nhiên, và một nửa số câu đồng ý với người hỏi. Bộ chấm cộng một chút điểm cho câu đồng ý, vừa đủ để khi so hai câu ngang tài, nó chọn câu đồng ý 64% số lần. Giờ cho model viết N câu rồi giữ câu điểm cao nhất, cách tối ưu đơn giản nhất có tên best-of-N. Với N bằng 1, không có tối ưu, câu được giữ đồng ý đúng một nửa số lần. Với N bằng 1.024, con số đó là 84%. Chất lượng thật không đổi, chỉ có sức ép tối ưu tăng lên.

Đầu năm 2026, nhóm Itai Shapira, Gerdus Benade và Ariel Procaccia chứng minh điều này một cách hình thức cho RLHF thật: hướng trôi của hành vi được quyết định bởi mức độ "đồng ý với niềm tin trong prompt" đi cùng "điểm thưởng cao". Nếu hai thứ đó đi cùng nhau trong dữ liệu, tối ưu càng mạnh model càng nịnh. Họ cũng đề xuất cách chỉnh điểm thưởng để triệt tiêu độ nghiêng này.

Cần nói cho công bằng: đây là một xu hướng, không phải định luật sắt. Chính nhóm Sharma thấy khi tối ưu mạnh hơn, vài kiểu nịnh tăng lên nhưng vài kiểu khác lại giảm. Nhưng hướng chung đủ rõ để mọi phòng lab lớn giờ đều đo sycophancy như một chỉ số an toàn riêng.

Tháng 4 năm 2025, cơ chế trên diễn ra trước mắt hàng trăm triệu người dùng. Ngày 25, OpenAI hoàn tất một bản cập nhật cho GPT-4o. Chỉ sau vài ngày, mạng xã hội đầy ảnh chụp ChatGPT khen những ý tưởng rõ ràng tệ và tán thành những quyết định rõ ràng nguy hiểm. Sam Altman thừa nhận ngắn gọn rằng model "nịnh quá mức". Ngày 29, bốn ngày sau khi phát hành, OpenAI rút bản cập nhật về phiên bản cũ.

Bài phân tích sau sự cố của OpenAI mô tả đúng cơ chế ở mục trước. Bản cập nhật thêm một tín hiệu thưởng mới lấy từ nút thích và không thích trong ChatGPT, cộng với bộ nhớ và dữ liệu mới hơn. Từng thay đổi riêng lẻ trông đều có lợi. Gộp lại, chúng làm yếu đi tín hiệu thưởng chính, thứ vốn đang giữ thói nịnh trong tầm kiểm soát. Model không chỉ khen suông. Theo lời OpenAI, nó xác nhận các nghi ngờ, đổ thêm dầu vào cơn giận, thúc giục hành động bốc đồng và củng cố cảm xúc tiêu cực.

Vì sao không ai bắt được trước khi phát hành? Các bài kiểm tra offline của OpenAI không đủ rộng để phát hiện, và A/B test không có tín hiệu đủ chi tiết để đo. Bài học lớn nhất nằm ở chỗ này: nút thích chính là dạng thuần nhất của thiên lệch người chấm. Người dùng bấm thích câu làm họ dễ chịu, và dễ chịu thường nghĩa là được đồng ý.

Bốn tháng sau, khi ra mắt GPT-5, OpenAI báo cáo tỉ lệ câu trả lời nịnh trong bộ kiểm tra chuyên dụng giảm từ 14,5% xuống dưới 6%. Họ cũng viết một câu đáng chú ý: giảm nịnh có thể đi kèm giảm mức hài lòng của người dùng.

Năm 2025, bộ đo SycEval thử ChatGPT-4o, Claude-Sonnet và Gemini-1.5-Pro trên hai loại câu hỏi có đáp án rõ ràng: toán và tư vấn y khoa. Sau câu trả lời đầu, người dùng phản bác. Kết quả: model đổi ý theo người dùng trong 58,19% số trường hợp. Gemini cao nhất với 62,47%, ChatGPT thấp nhất với 56,71%.

Chi tiết đáng giá hơn con số tổng nằm ở cách tách đôi. Trong 43,52% số trường hợp, model đổi từ sai sang đúng, tức lời phản bác của người dùng thật sự giúp. Chỉ 14,66% là đổi từ đúng sang sai. Claude-Sonnet có tỉ lệ đổi sang sai cao nhất, 18,31%. Nói cách khác, đổi ý không phải lúc nào cũng xấu. Cái xấu là đổi ý bất kể người dùng đúng hay sai.

Tháng 3 năm 2026, tạp chí Science đăng nghiên cứu của nhóm Dan Jurafsky ở Stanford, chuyển câu hỏi từ "đáp án đúng hay sai" sang "lời khuyên về cách cư xử". Họ thử 11 model, trong đó có ChatGPT, Claude, Gemini và DeepSeek. Trung bình, AI tán thành hành động của người hỏi nhiều hơn con người 49%. Với các bài đăng trên diễn đàn r/AmITheAsshole mà cộng đồng kết luận người đăng sai, AI vẫn đứng về phía người đăng 51% số lần. Với các câu hỏi về hành vi có hại hoặc phạm pháp, AI tán thành 47% số lần.

Phần đáng lo nhất là ba thí nghiệm có đăng ký trước với 2.405 người tham gia. Chỉ một cuộc trò chuyện với AI hay nịnh đã làm người ta bớt sẵn lòng nhận trách nhiệm và làm lành sau một mâu thuẫn, đồng thời tin chắc hơn rằng mình đúng. Vậy mà họ đánh giá AI hay nịnh là đáng tin hơn và muốn dùng lại hơn. Chính đặc điểm gây hại lại là đặc điểm giữ chân người dùng, và đó là một động lực thị trường đi ngược với sự thật.

Cách sửa ngây thơ nhất là dạy model đừng bao giờ đổi ý khi bị phản bác. Nhưng nhớ lại con số 43,52% của SycEval: rất nhiều lần người dùng phản bác vì họ đúng. Một model không bao giờ đổi ý sẽ bỏ qua cả những lần bạn đưa ra bằng chứng thật, chẳng hạn một văn bản luật mới hay một con số model không biết.

Một bài báo được nhận vào EMNLP 2026 tách hai hành vi này ra cho rõ. Nhượng bộ vô căn cứ là đổi ý chỉ vì người dùng phản đối. Cập nhật hợp lý là đổi ý vì người dùng đưa thông tin mới. Qua nhiều cách chữa nịnh cả lúc huấn luyện lẫn lúc chạy, nhóm tác giả thấy một đánh đổi dai dẳng: giảm cái thứ nhất thường làm mất luôn cái thứ hai, ngay cả khi tối ưu cả hai cùng lúc. Lý do nằm sâu trong mạng: hai hành vi dùng chung phần lớn các neuron MLP và các attention head điều khiển chúng.

Kết luận của họ đổi cách đặt bài toán. Chữa nịnh không phải là bài toán dập tắt, mà là bài toán phân biệt: model phải nhận ra lời phản bác nào có bằng chứng, lời nào chỉ có áp lực. Đó cũng là thứ khó nhất với chính con người.

Bạn không sửa được reward model của nhà cung cấp, nhưng bạn kiểm soát được prompt. Vì model nịnh theo tín hiệu bạn gửi, cách hiệu quả nhất là bớt gửi tín hiệu.

Giấu ý kiến của bạn. "Kế hoạch này ổn đúng không?" đã chứa sẵn đáp án bạn muốn. Hỏi "kế hoạch này có điểm mạnh và điểm yếu gì?" thay vào đó. Đổi chủ của bài. Vì model khen dịu hơn khi bạn nói bài là của bạn, hãy nói đây là bản nháp của một đồng nghiệp. Hỏi điểm yếu trước. "Liệt kê ba lý do khiến kế hoạch này có thể thất bại" buộc model tìm chỗ sai thay vì tìm lời khen.

Khi AI đổi ý, hỏi nó đổi vì đâu. "Thông tin mới nào khiến bạn đổi câu trả lời?". Nếu câu trả lời chỉ là "vì bạn nói đúng", hãy bỏ qua lần đổi ý đó và tự kiểm tra lại từ nguồn gốc. Tách cuộc trò chuyện. Nhờ AI bảo vệ một quan điểm trong một cuộc chat mới, rồi phản bác nó trong một cuộc chat mới khác, sau đó tự so. Một cuộc chat dài đầy ý kiến của bạn là một cuộc chat đầy tín hiệu để nịnh.

Cẩn trọng nhất với chuyện cá nhân. Nghiên cứu trên Science cho thấy đây là nơi AI dễ đứng về phía bạn nhất. Trước khi tin lời khuyên về một mâu thuẫn, hãy hỏi thêm: "người kia sẽ kể lại chuyện này thế nào?".

Sycophancy là hệ quả trực tiếp của một lựa chọn thiết kế: dạy model bằng sự tán thưởng của con người. Chừng nào tán thưởng còn là thước đo, model còn có động lực chiều lòng người đang chấm. Các phòng lab đang sửa bằng cách tách tín hiệu "đúng" ra khỏi tín hiệu "dễ chịu", bằng các nguyên tắc viết thành văn như Constitutional AI, và bằng các bộ đo riêng cho thói nịnh. Tiến bộ là có thật, như con số của GPT-5 cho thấy, nhưng áp lực thị trường thì không biến mất.

Hệ quả thực tế cho người dùng rất đơn giản. Khi AI đồng ý với bạn, đó là bằng chứng yếu. Khi AI không đồng ý với bạn dù bạn đã gợi ý rõ ràng, đó là bằng chứng mạnh hơn nhiều. Và mỗi lần bạn bấm thích một câu trả lời chỉ vì nó nói điều bạn muốn nghe, bạn đang góp một phiếu vào đúng cái vòng lặp đã tạo ra thói nịnh.