My ane

IoU (Intersection over Union)#

IoU adalah metrik yang digunakan untuk mengukur akurasi posisi/geometri, seberapa baiknya predicted bounding box dari model cocok dengan ground truth bounding box. IoU dihitung dengan membagi luas area irisan (intersection) antara predicted bounding box dan ground bounding box dengan luas area gabungan (union) keduanya.

Nilai IoU berkisar antara 0 dan 1, di mana semakin besar nilainya, semakin baik kecocokannya. Lalu, nilai IoU ini digunakan untuk menentukan apakah sebuah prediksi dianggap benar atau tidak, dengan kata lain ambang batas IoU (threshold) biasanya ditetapkan pada nilai tertentu (misalnya 0.5) untuk memutuskan apakah sebuah bounding box prediksi dianggap sebagai true positif atau false positif.

berikut merupakan ilustrasi yang saya buat

kalau buat true negative gimana? ya dia si bounding box yang bener-bener nggak ada objectnya.

dan berikut merupakan code snippet untuk menghitung IoU dari dokumentasi resminya:

1
import torch
2
from ultralytics.utils.metrics import box_iou
3

4
# Define ground truth and prediction boxes: [x1, y1, x2, y2]
5
ground_truth = torch.tensor([[100, 100, 200, 200]])
6
predicted = torch.tensor([[110, 110, 210, 210]])
7

8
# Calculate the Intersection over Union score
9
iou_score = box_iou(ground_truth, predicted)
10

11
print(f"IoU Score: {iou_score.item():.4f}")
12
# Output: IoU Score: 0.6806

pertanyaan dari rekan saya
pengaruh nya apa kalau treshold diset lebih rendah/tinggi?

kalau treshold dibuat lebih rendah maka semakin banyak object yang terdeteksi tapi juga meningkatkan jumlah false positives

kalau treshold dibuat lebih tinggi, jumlah False Positives akan menurun. Model menjadi lebih “pemilih”, sehingga hanya deteksi dengan tingkat kecocokan sangat tinggi yang diterima.

jadi harus seimbang antara precision dan recall, maka dari itu dipilih angka 0.5 sevagai standar

kaitannya dengan pembahasan selanjutnya? treshold rendah meningkatkan recall (menemukan semua objek) tetapi menurunkan precision (banyak salah tebak). Sebaliknya, treshold tinggi meningkatkan precision tetapi menurunkan recall. (bakal tak bahas lagi di tip masing masing metric)

Precision (Presisi)#

Precision mengukur seberapa banyak prediksi yang benar dari keseluruhan prediksi yang dibuat oleh model. Dengan kata lain, precision menjawab pertanyaan: Dari semua tebakan yang dibuat model, seberapa banyak yang benar-benar akurat?

Rumus perhitungan Precision adalah sebagai berikut:

Dimana:

• True Positives (TP): Jumlah prediksi yang benar (model mendeteksi object dengan benar).
• False Positives (FP): Jumlah prediksi yang salah (model mendeteksi object yang sebenarnya tidak ada, atau bounding box-nya tidak akurat).

Nilai Precision berkisar antara 0 hingga 1. Semakin tinggi nilai precision, semakin baik kemampuan model dalam menghindari prediksi yang salah.

Secara visual, precision dapat diilustrasikan sebagai berikut:

TIP

kalau mau meningkatkan nilai precision, maka naikkan confidence treshold saat melakukan inference. resiko nya menurunkan recall.

berikut merupakan code snippet untuk mengukur precision dari dokumentasi resminya (yolo26)

1
from ultralytics import YOLO
2

3
# Load a pretrained YOLO26 model
4
model = YOLO("yolo26n.pt")
5

6
# Validate the model on the COCO8 dataset to calculate metrics
7
metrics = model.val(data="coco8.yaml")
8

9
# Access and print the mean Precision (P) score
10
# The results dictionary contains keys for various metrics
11
print(f"Mean Precision: {metrics.results_dict['metrics/precision(B)']:.4f}")

Recall (Sensitivity)#

Recall mengukur seberapa banyak object sebenarnya yang berhasil dideteksi oleh model dari keseluruhan object yang ada. Recall menjawab pertanyaan: Dari seluruh objek asli yang ada, seberapa banyak yang berhasil ditemukan?

Rumus perhitungan Recall adalah sebagai berikut:

Dimana:

• True Positives (TP): Jumlah prediksi yang benar.
• False Negatives (FN): Jumlah object yang sebenarnya ada tetapi tidak terdeteksi oleh model.

Nilai Recall juga berkisar antara 0 hingga 1. Semakin tinggi nilai recall, semakin baik kemampuan model dalam menemukan object yang sebenarnya.

Berikut adalah ilustrasi untuk Recall:

TIP

kalau mau meningkatkan nilai recall, maka turunkan confidence treshold saat melakukan deteksi. jadi bakal ngebuat model lebih “berani” menebak, sehingga objek samar lebih mungkin terdeteksi, meskipun resiko nya menurunkan precision (menambah false positive).

berikut merupakan code snippet untuk mengukur recall dari dokumentasi resminya (yolo26)

1
from ultralytics import YOLO
2

3
# Load a pretrained YOLO26 model
4
model = YOLO("yolo26n.pt")
5

6
# Validate the model on the COCO8 dataset
7
# The results object contains metrics like Precision, Recall, and mAP
8
metrics = model.val(data="coco8.yaml")
9

10
# Access and print the mean recall score for box detection
11
print(f"Mean Recall: {metrics.results_dict['metrics/recall(B)']:.4f}")

F1 Score#

F1 Score adalah ukuran gabungan dari Precision dan Recall. F1 Score memberikan nilai tunggal yang merupakan rata-rata harmonik dari Precision dan Recall. Hal ini berguna untuk mengevaluasi model secara keseluruhan, terutama ketika terdapat ketidakseimbangan dalam dataset.

Rumus F1 Score adalah sebagai berikut:

dari situ bisa dilihat kalau precision dan recall punya hubungan yang berbanding terbalik, ketika precision naik maka recall akan turun dan sebaliknya, hasil nya pun akan naik turun juga tergantung precision dan recall nya. hasil yang besar biasanya ada diantara keduanya.

Hasil dari F1 Score ini akan digunakan untuk menentukan Confidence Threshold, apa itu? jadi yolo itu akan memberikan skor (0-1) setiap deteksi. Misal di set Confidence Threshold 0.5, maka model hanya menampilkan objek yg ia yakini lebih dari 50% benar.

F1 score ini membantu kita untuk menemukan angka terbaik ini, jika nilai F1 mencapai puncak 0.6, maka pakai nilai ini saat aplikasi dijalankan supaya deteksi seimbang

berikut merupakan code snippet untuk menghitung f1 score dari dokumentasi resminya (yolo26)

1
from ultralytics import YOLO
2

3
# Load a pre-trained YOLO26 model
4
model = YOLO("yolo26n.pt")
5

6
# Validate the model on a dataset (metrics are computed automatically)
7
# This returns a validator object containing precision, recall, and mAP
8
metrics = model.val(data="coco8.yaml")
9

10
# Print the Mean Average Precision (mAP50-95), which correlates with F1 performance
11
print(f"mAP50-95: {metrics.box.map}")
12

13
# Access precision and recall arrays to manually inspect the balance
14
print(f"Precision: {metrics.box.p}")
15
print(f"Recall: {metrics.box.r}")

AP (Average Precision)#

AP adalah metrik yang menghitung area dibawah kurva precision recall. AP ini menghasilkan satu nilai tunggal yg merepresentasikan kemampuan model dlm menyeimbangkan precision dan recall pada berbagai treshold untuk satu kelas tertentu.

berbeda dengan F1 Score yang hanya mengambil satu titik optimal, AP menilai model di seluruh rentang confidence threshold.

Rumus nya adalah dengan mengintegrasikan Precision (P) sebagai fungsi dari Recall (R):

1
# Contoh di internal Ultralytics
2
x = np.linspace(0, 1, 101) # 101-point interp
3
ap = np.trapezoid(np.interp(x, mrec, mpre), x) # Integrasi area

mAP (mean Average Precision)#

Average Precision (AP) hanya mengukur seberapa baik model mendeteksi satu kelas saja. Dalam dunia nyata, model deteksi objek harus bisa mendeteksi banyak objek sekaligus (misalnya: mobil, motor, orang).

mAP adalah nilai rata-rata dari AP dari semua kelas yang ada dalam dataset tersevut.

Jika kita memiliki 3 kelas:

• Kelas ‘Person’: AP = 0.80
• Kelas ‘Car’: AP = 0.70
• Kelas ‘Bicycle’: AP = 0.60

Maka mAP = (0.80 + 0.70 + 0.60) / 3 = 0.70

Rumus lengkap mAP:

Dimana:

• $N$ = jumlah kelas
• $AP_i$ = Average Precision untuk kelas ke-i

mAP sendiri sangat bergantung pada threshold IoU yg digunakan. oleh karena itu ada beberapa variasi mAP tergantung penggunaan threshold IoU nya.

• ada yang menyebut mAP@50 (artinya mAP dengan threshold IoU 0.5)
• ada yang menyebut mAP@50-95 (artinya mAP dengan threshold IoU dari 0.5 sampai 0.95 dengan interval 0.05)

berikut merupakan code snippet untuk mengukur mAP dari dokumentasi resminya (yolo26)

1
from ultralytics import YOLO
2

3
# Load the YOLO26 model (recommended for new projects)
4
model = YOLO("yolo26n.pt")
5

6
# Validate the model on a dataset to compute mAP
7
# This runs inference and compares predictions to ground truth
8
metrics = model.val(data="coco8.yaml")
9

10
# Print mAP@50-95 (map) and mAP@50 (map50)
11
print(f"mAP@50-95: {metrics.box.map:.3f}")
12
print(f"mAP@50: {metrics.box.map50:.3f}")

ibaratkan mAP ini sebagai rapot final kinerja si model terhadap dataset yang digunakan

mungkin cukup segitu yg bisa ane jabarkan, selebihnya bisa cek langsung pada dokumentasi resmi dari ultralytics nya