Klasifikasi & evaluasi model
Menilai model kategori: confusion matrix, precision–recall, F1, AUC, sampai class imbalance.
Confusion matrixMatriks kebingungan · TP FP TN FN
Tabel 2×2 pembanding prediksi vs aktual: TP/FP/TN/FN; dasar dari akurasi, precision, dan recall.
Akurasi dan jebakannyaAccuracy · Accuracy paradox
Porsi tebakan benar dari semua data; menipu di data tidak seimbang (99% transaksi sah → model "semua sah" dapat 99% akurasi tapi nol fraud tertangkap).
Precision dan recallPresisi · Recall · Sensitivity
Precision: dari yang diprediksi positif, berapa % yang benar. Recall: dari semua yang sebenarnya positif, berapa % yang tertangkap.
F1-scoreF1 · Skor F1
Rata-rata harmonik precision dan recall; cocok sebagai satu angka ringkas saat kedua sisi salah sama pentingnya.
ROC dan AUCROC curve · AUC
Kurva ROC memetakan trade-off di semua ambang; AUC = luasnya (0,5 = tebak acak, 1 = sempurna) — ukuran kualitas ranking model.
Threshold klasifikasiAmbang keputusan · Cutoff · Decision threshold
Batas skor probabilitas untuk menyatakan "positif"; default 0,5 jarang optimal — geser sesuai biaya salah.
Train-test splitData latih-uji · Holdout model
Memisahkan data jadi latih (untuk belajar) dan uji (terkunci untuk nilai akhir); menilai di data latih itu nilai ulangan sendiri.
Cross-validationK-fold · Validasi silang
Mengulang latih–uji di K lipatan data bergiliran agar nilai performa stabil dan tidak tergantung satu belahan beruntung.
Class imbalanceData tidak seimbang · Kelas langka · Imbalanced data
Kelas target yang jomplang (misalnya 1% fraud); model malas cenderung menebak kelas mayoritas terus.
Kurva precision–recallPR curve · PR-AUC · Average precision
Kurva trade-off precision–recall di semua ambang plus luasnya (PR-AUC); untuk data langka (fraud 1%) jauh lebih jujur daripada ROC-AUC.
Kalibrasi modelCalibration · Reliability diagram · Skor jujur
Apakah probabilitas model jujur: dari 100 prediksi '80% churn', benarkah ~80 yang churn? Dicek via kurva kalibrasi per desil skor.