Overfitting & Underfitting in COMPAS
Overfitting & Underfitting trong COMPAS
Công ty nào đang ứng dụng Overfit vs Underfit?
Tại Mỹ, hơn 1 triệu người đã từng được công cụ COMPAS (Correctional Offender Management Profiling for Alternative Sanctions — hệ thống chấm điểm rủi ro tái phạm) đánh giá. Phần mềm này thu thập 137 đặc trưng rồi trả về một con số: rủi ro cao hay thấp. Thẩm phán dùng con số này để quyết định tạm giam hay tại ngoại.
Năm 2016, ProPublica phát hiện: COMPAS đánh giá sai một cách có hệ thống — người da đen bị gán nhãn “rủi ro cao” nhầm gần gấp đôi so với người da trắng. Hai năm sau, Dressel & Farid (Dartmouth) chứng minh: mô hình chỉ dùng 2 biến (tuổi + số tiền án) đạt chính xác 67%, cao hơn cả COMPAS 137 biến (65%). Đây là ví dụ giáo khoa về overfit trong thế giới thật.
Cái bẫy: thêm đặc trưng ≠ thêm chính xác
Mô hình 2 biến
Chỉ tuổi + số tiền án
COMPAS — 137 biến
Tuổi, tiền án, bảng hỏi tâm lý, mối quan hệ...
135 đặc trưng bổ sung KHÔNG giúp — chúng khiến mô hình học thuộc lòng thiên kiến trong dữ liệu lịch sử.
Vấn đề công ty cần giải quyết
Dữ liệu tư pháp Mỹ vốn chứa thiên kiến lịch sử: cảnh sát tuần tra dày hơn ở khu vực người thiểu số, nên các nhóm này bị ghi nhận “tái phạm” với tỷ lệ cao hơn trên giấy tờ, dù hành vi thực không nhất thiết khác. Khi mô hình “học” dữ liệu này với 137 đặc trưng, nó không học “ai thực sự có nguy cơ tái phạm” — nó học các khuôn mẫu nhân khẩu họctương quan với lịch sử giam giữ.
Đây chính là overfit trong hình hài nguy hiểm nhất: mô hình có train loss thấp trên dữ liệu cũ, nhưng khi triển khai cho hai người có cùng hồ sơ tội phạm (cùng tuổi, cùng số tiền án) nhưng khác chủng tộc, nó cho ra hai điểm rủi ro hoàn toàn khác nhau. Hậu quả: công lý không đồng đều giữa các công dân.
Vì sao dữ liệu lịch sử đã “nghiêng” ngay từ đầu
Nếu hành vi thực tế hai nhóm như nhau, nhưng dữ liệu đã nghiêng — mô hình sẽ “học” sự nghiêng đó thành quy luật. Mô hình càng phức tạp, càng ghi nhớ chính xác độ nghiêng — và càng xuất ra điểm rủi ro cao cho nhóm B một cách hệ thống.
Cách Overfit vs Underfit giải quyết vấn đề
COMPAS thu thập 137 đặc trưng.Hệ thống hỏi bị cáo hàng chục câu về hoàn cảnh sống, lịch sử gia đình, bạn bè, công việc, kết hợp với hồ sơ tư pháp. Với hàng chục thông tin này, mô hình có quá nhiều “tự do” để khớp từng đặc điểm nhỏ nhất trong dữ liệu huấn luyện — y hệt mô hình đa thức bậc 20 bạn vừa gặp ở bài lý thuyết.
Overfit lên thiên kiến lịch sử.ProPublica phân tích 7.000 hồ sơ tại hạt Broward, Florida: tỷ lệ dương tính giả (false positive — gán “rủi ro cao” cho người không tái phạm) ở người da đen là 44,9%, gần gấp đôi so với 23,5%ở người da trắng. Mô hình đang “nhớ” các mối tương quan xã hội thay vì học nguy cơ tái phạm thực sự.
Dressel & Farid (2018): 2 biến đạt 67%. Họ thay thế 137 đặc trưng bằng haibiến duy nhất: tuổi và số tiền án. Mô hình đơn giản hơn — nhưng chính xác cao hơn COMPAS. Đây là bằng chứng giáo khoa: thêm đặc trưng không luôn giúp, và nhiều khi chúng phá hoại vì mô hình bắt đầu học nhiễu.
Con người cũng chỉ đạt 63–67%.Cùng nghiên cứu, 400 tình nguyện viên không chuyên dự đoán tái phạm dựa trên mô tả ngắn — cũng đạt 63–67%. Điều này lộ ra giới hạn nội tại của bài toán: dự đoán tái phạm cá nhân có trần tự nhiên ~67%. Mọi đặc trưng thêm vào không phá được trần đó — chỉ làm mô hình phức tạp hơn và overfit nhiều hơn.
Mô hình overfit vs mô hình cân bằng — hiệu ứng công bằng
Cùng 24 bị cáo giả định — đổi mô hình để thấy hậu quả công bằng.
Mô hình 2 biến
Acc 71%Nhóm A
Tỷ lệ dương tính giả
Nhóm B
Tỷ lệ dương tính giả
Khoảng cách FP: +-22% ở nhóm B — bất công!
Chỉ dùng tuổi + số tiền án. Tỷ lệ dương tính giả (FP) gần nhau giữa hai nhóm.
Vì sao mô hình 137 biến lại thua mô hình 2 biến?
Thêm đặc trưng = thêm “nút vặn” cho mô hình. Với 137 nút, mô hình có thể vặn vừa đúng từng đặc điểm nhỏ trong dữ liệu lịch sử — kể cả những đặc điểm ngẫu nhiên không liên quan đến tái phạm (ví dụ: mã vùng nhà ở, câu trả lời bảng hỏi tâm lý bất thường).
Một nhà phát triển AI nói: 'Tôi sẽ thêm 50 feature nữa vào mô hình dự đoán tín dụng để tăng độ chính xác.' Căn cứ bài học COMPAS, nhận định nào là ĐÚNG nhất?
Con số thật
Nếu không có Overfit vs Underfit, app sẽ ra sao?
Nếu không hiểu overfit, ta dễ tin “mô hình càng nhiều biến càng chính xác”. COMPAS minh hoạ điều ngược lại: 137 đặc trưng không cải thiện dự đoán mà còn giấu thiên kiến trong lớp vỏ phức tạp, khiến việc kiểm tra và phản biện trở nên cực kỳ khó khăn.
Hiểu overfit giúp đặt câu hỏi đúng: trước khi thêm đặc trưng, hãy hỏi “Mô hình đơn giản nhất đạt bao nhiêu phần trăm?” Nếu mô hình 2 biến đã đạt 67% và mô hình 137 biến chỉ đạt 65%, vấn đề không phải thiếu dữ liệu — mà là bài toán có giới hạn nội tại, và thêm phức tạp chỉ thêm rủi ro thiên kiến.
- Baseline đơn giản đạt bao nhiêu? Feature mới cải thiện bao nhiêu phần trăm trên test (không phải train)?
- Feature có phải proxy cho đặc điểm nhạy cảm (chủng tộc, giới tính, thu nhập)?
- Tỷ lệ dương tính giả / âm tính giả có đồng đều giữa các nhóm dân số không?