Bir güvenlik kamerasının görüntüsünde derin öğrenme modeli "bıçak" dediğinde iki ihtimal vardır: model gerçekten bıçağı görmüştür ya da eğitim verisinde bıçakla sık sık yan yana görünen bir şeye, örneğin mutfak tezgâhına bakarak tahmin yürütmüştür. İkisi de aynı doğru cevabı verebilir; ama ikincisi sahada bir gün hiç beklenmedik biçimde yanılır. Açıklanabilir yapay zekâ, bu iki durumu birbirinden ayırabilmemiz için var.
Bir ısı haritası nasıl çıkar?
Evrişimli sinir ağları görüntüyü katman katman işler. Son evrişim katmanına gelindiğinde görüntü, her biri belirli bir örüntüye duyarlı onlarca "özellik haritasına" dönüşmüştür: biri keskin kenarlara, biri metalik parıltıya, biri insan eline tepki veriyor olabilir. Bu haritalar düşük çözünürlüklüdür; örneğin 640 piksellik bir görüntü 20×20'lik bir ızgaraya inmiştir.
Grad-CAM (Gradient-weighted Class Activation Mapping) şu soruyu sorar: "bıçak" kararının puanı, bu özellik haritalarının her birine ne kadar duyarlı? Bu duyarlılık gradyanla ölçülür. Her harita kendi önem ağırlığıyla çarpılıp toplanır, negatif değerler atılır ve ortaya çıkan küçük ızgara görüntünün boyutuna büyütülüp renklendirilir. Sıcak renkler, karara en çok katkı veren bölgeleri gösterir.
Bu sitenin ana sayfasındaki ısı merceği aynı görsel dili kullanıyor: düşük çözünürlüklü bir ızgara, yumuşatılarak büyütülüyor ve soğuk mordan sıcak sarıya bir ölçekle renkleniyor. Elbette oradaki harita bir modelden değil, imlecin konumundan hesaplanıyor.
Isı haritası neyi söylemez?
Grad-CAM'in çıktısı sezgiseldir ama dikkatle okunmalıdır:
- Çözünürlük kabadır. Harita son evrişim katmanının ızgarası kadar ayrıntılıdır; küçük nesnelerde sıcak bölge nesneden taşabilir.
- "Neden" değil "nerede" sorusunu yanıtlar. Modelin bıçağın sapına mı ağzına mı baktığını gösterir; o bölgede hangi özelliğin işe yaradığını tek başına söylemez.
- Tek bir görüntü kanıt değildir. Birkaç güzel örneğe bakıp modelin "doğru yere baktığına" karar vermek kolaydır; yüzlerce görüntü üzerinde tutarlılığı ölçmek gerekir.
Dikkati sayıyla ölçmek
Son madde, Computers dergisinde yayımlanan çalışmamızın çıkış noktalarından biriydi. YOLOv8-nano tabanlı bir silah ve bıçak dedektörünü sahadan gelen doğrulanmış örneklerle beş tur boyunca artırımlı olarak eğittik. Her turda başarım metrikleri yükseliyordu; ama modelin gerçekten nesneye mi, yoksa arka plandaki ipuçlarına mı öğrendiğini görmek istiyorduk.
Bunun için Heatmap Focus Score adını verdiğimiz bir ölçü önerdik: ısı haritasındaki toplam dikkatin ne kadarının tespit kutusunun içinde kaldığını ölçüyor. Skor turlar ilerledikçe yükseldi; yani model yalnızca daha çok doğru cevap vermekle kalmadı, dikkatini de giderek nesnenin üzerinde topladı. Bu, başarım artışının arka plandaki tesadüfi ilişkilerden değil nesnenin kendisinden geldiğine dair sayısal bir işaret.
Sahada neden önemli?
Bir tehdit tespit sistemi operatöre yalnızca "alarm" demez; operatörün o alarma güvenip güvenmeyeceğine karar vermesi gerekir. Tespit kutusunun yanında küçük bir ısı haritası, yanlış alarmın nedenini çoğu zaman bir bakışta gösterir: model bıçak yerine parlak bir kalem ya da bir telefon kılıfına bakıyordur. Bu geri bildirim bir sonraki eğitim turunun hangi örneklerle yapılacağını da belirler.
İlgili yayın: Kutlu, Z. ve Emiroğlu, B. G. (2025). Image-Based Threat Detection and Explainability Investigation Using Incremental Learning and Grad-CAM with YOLOv8. Computers, 14(12), 511.