Precision vs recall: satu threshold, dua jenis kesalahan

Filter spam bisa salah dengan dua cara. Ia bisa menandai email normal, disebut false positive, atau meloloskan email spam, disebut false negative. Threshold-nya, batas skor yang membuat sebuah email ditandai kalau skornya sama atau lebih tinggi, menentukan kesalahan mana yang lebih sering terjadi.

1. 1
   Model memberi setiap email skor dari 0 sampai 1, dan setiap email dengan skor sama atau di atas threshold ditandai sebagai spam. Kurva abu-abu menunjukkan sebaran skor 700 email normal, berpusat di 0,35. Kurva biru menunjukkan 300 email spam, berpusat di 0,65. Keduanya kurva normal berbentuk lonceng dengan simpangan baku, sebaran khasnya, sebesar 0,12, sehingga tumpang tindih paling banyak di sekitar 0,5. Area di bawah kurva menghitung jumlah email.
2. 2
   True positive adalah email spam yang ditandai. Precision adalah porsi email bertanda yang memang spam: true positive dibagi semua email bertanda. Recall adalah porsi semua spam yang berhasil ditandai. Pada threshold 0,4, area merah, yaitu email normal di kanan garis, berisi 237 false positive. Area emas, yaitu spam di kiri garis, hanya berisi 6 false negative. Recall-nya 98%, tetapi precision-nya 55%: hampir setengah isi folder spam adalah email asli.
3. 3
   Naikkan threshold ke 0,6, dan ukuran kedua area bertukar. False positive turun ke 13 dan false negative naik ke 102, jadi precision naik ke 94% dan recall turun ke 66%. Menggeser garis hanya menukar satu kesalahan dengan yang lain, karena di area tumpang tindih kedua jenis email mendapat skor yang sama. Hanya model yang lebih baik, dengan kurva yang lebih berjauhan, yang bisa memangkas kedua kesalahan sekaligus.