Model Evaluation & Selection

Đánh giá và chọn mô hình đi theo vòng lặp 4 bước: huấn luyện → dự đoán → đo lường → so sánh. Mỗi vòng lặp cho bạn thêm hiểu biết để tinh chỉnh: đổi hyperparameter, thêm feature, hoặc chuyển hẳn sang model khác.

ROC AUC: một dòng công thức, một đời dùng được

ROC AUC là xác suất model đưa ra score cao hơn cho một mẫu dương ngẫu nhiên so với một mẫu âm ngẫu nhiên:

Nói ngắn gọn: đưa cho model hai giao dịch, một là gian lận thật, một là giao dịch bình thường. AUC = 0,95 có nghĩa là 95% số lần model xếp giao dịch gian lận với score cao hơn. AUC 0,50 nghĩa là đoán mò. AUC 1,0 là hoàn hảo. Biểu đồ dưới đây so ba mức AUC:

Average Precision (AP): bạn đồng hành của AUC khi dữ liệu mất cân bằng

AP là diện tích dưới precision-recall curve. Khi gian lận chỉ chiếm 1% dữ liệu, AUC có thể cao một cách giả tạo do TN rất nhiều. Trong khi đó, AP nhìn trực tiếp vào đường precision-recall nên phản ánh thực chất hơn. Quy tắc: dữ liệu mất cân bằng trên 1:20 thì ưu tiên AP hơn AUC.

Code: cross_val_score + GridSearchCV trong 13 dòng

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

models = {
    "LogReg": LogisticRegression(max_iter=1000, random_state=42),
    "RandomForest": RandomForestClassifier(n_estimators=100, random_state=42),
}
for name, m in models.items():
    scores = cross_val_score(m, X, y, cv=5, scoring="f1_weighted")
    print(f"{name}: F1 = {scores.mean():.3f} +/- {scores.std():.3f}")

from sklearn.model_selection import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {
    "n_estimators": [100, 300],
    "max_depth": [None, 8, 16],
    "min_samples_leaf": [1, 4],
}
grid = GridSearchCV(RandomForestClassifier(random_state=42),
                    param_grid, cv=5, scoring="f1", n_jobs=-1)
grid.fit(X_train, y_train)
print("Best:", grid.best_params_, "score:", grid.best_score_)

Sơ đồ quyết định: chọn metric theo bài toán