Model Evaluation & Selection

Đánh giá và chọn mô hình đi theo vòng lặp 4 bước: huấn luyện → dự đoán → đo lường → so sánh. Mỗi vòng lặp cho bạn thêm hiểu biết để tinh chỉnh: đổi hyperparameter, thêm feature, hoặc chuyển hẳn sang model khác.

ROC AUC — công thức một dòng, ý nghĩa một đời

ROC AUC là xác suất model đưa ra score cao hơn cho một mẫu dương ngẫu nhiên so với một mẫu âm ngẫu nhiên:

Nói ngắn gọn: đưa model hai giao dịch — một gian lận thật, một bình thường. AUC = 0,95 nghĩa là 95% số lần model xếp giao dịch gian lận có score cao hơn. AUC 0,50 = đoán mò. AUC 1,0 = hoàn hảo. Biểu đồ dưới cho 3 mức AUC:

Average Precision (AP) — bạn bè thân thiết của AUC cho dữ liệu mất cân bằng

AP là diện tích dưới precision-recall curve. Khi gian lận chỉ chiếm 1% dữ liệu, AUC có thể cao giả tạo (vì TN rất nhiều). AP nhìn trực tiếp vào đường precision-recall — phản ánh thực chất hơn. Quy tắc: dữ liệu mất cân bằng trên 1:20 → ưu tiên AP hơn AUC.

Code: cross_val_score + GridSearchCV trong 13 dòng

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

models = {
    "LogReg": LogisticRegression(max_iter=1000, random_state=42),
    "RandomForest": RandomForestClassifier(n_estimators=100, random_state=42),
}
for name, m in models.items():
    scores = cross_val_score(m, X, y, cv=5, scoring="f1_weighted")
    print(f"{name}: F1 = {scores.mean():.3f} +/- {scores.std():.3f}")

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {
    "n_estimators": [100, 300],
    "max_depth": [None, 8, 16],
    "min_samples_leaf": [1, 4],
}
grid = GridSearchCV(RandomForestClassifier(random_state=42),
                    param_grid, cv=5, scoring="f1", n_jobs=-1)
grid.fit(X_train, y_train)
print("Best:", grid.best_params_, "score:", grid.best_score_)

Sơ đồ quyết định: chọn metric theo bài toán