Kenapa akurasi 99% bisa berarti model tak berguna

Akurasi adalah porsi prediksi model yang benar. Kalau satu kelas jarang muncul, model bisa meraih 99% tanpa berguna sama sekali. Deteksi penipuan adalah contoh klasiknya. Ambil 10.000 transaksi kartu, 100 di antaranya penipuan, jadi tingkatnya 1%.

1. 1
   Confusion matrix menghitung keputusan model menurut kelas sebenarnya. Baris adalah kenyataan, normal atau penipuan, dan kolom adalah keputusan, lolos atau ditandai. True negative (TN) adalah transaksi normal yang lolos, false positive (FP) adalah transaksi normal yang ditandai, false negative (FN) adalah penipuan yang lolos, dan true positive (TP) adalah penipuan yang ditandai. Model di atas selalu menjawab normal, jadi semua 10.000 transaksi lolos: 9.900 TN dan 100 FN.
2. 2
   Akurasinya (TP + TN) / 10.000 = 9.900 / 10.000 = 99%. Recall, porsi penipuan yang berhasil ditandai, adalah TP / (TP + FN) = 0 / 100 = 0%. Precision, porsi transaksi bertanda yang memang penipuan, adalah TP / (TP + FP) = 0 / 0. Model ini tidak menandai apa pun, jadi precision-nya tidak terdefinisi. F1, satu skor yang menggabungkan precision dan recall, lalu dilaporkan sebagai N/A atau 0, tergantung konvensinya. Penjelasan interaktifnya menampilkan keduanya sebagai N/A.
3. 3
   Model di bawah menangkap 80% penipuan dan keliru menandai 4% transaksi normal: 80 TP, 20 FN, 396 FP, dan 9.504 TN. Akurasinya lebih rendah, 95,8%, karena ia membuat 416 kesalahan, yaitu 396 alarm palsu dan 20 yang terlewat, sedangkan model pertama hanya 100. Namun, model ini menemukan 80 dari 100 penipuan. Recall-nya 80%, precision 16,8%, dan F1 27,8%. Menurut akurasi, peringkatnya tetap di bawah model yang tidak menangkap apa-apa.