Açıklanabilir ve sürekli öğrenen nesne tespiti

Artırımlı öğrenme ve unutma

Doktora çalışmamda gözetim görüntülerinde silah ve bıçak tespiti için YOLOv8-nano modelini, uç cihazların gönderdiği ve merkezde doğrulanan örneklerle beş tur boyunca yeniden eğiten bir çerçeve geliştirdim. Model her turda yalnız yeni örneklerle değil, eskilerden seçilmiş bir karışımla eğitildiğinde azınlık sınıfı olan bıçakta başarım yaklaşık üç katına çıktı, eğitim süresi ise tek seferlik eğitime göre belirgin biçimde kısaldı.

Gerçek veriyle yapılan denemelerde modelin önceki turlarda öğrendiklerini kaybettiği görüldü; bu katastrofik unutma sorunu karma bir eğitim yöntemiyle giderildi. Devam eden çalışmalarda sentetik bozulmalarla yapılan stres testlerinin gerçek dünyadaki unutmayı ne kadar temsil ettiğini, unutturma (machine unlearning) yöntemlerinin artırımlı eğitilmiş dedektörlerde nasıl ölçüleceğini ve tekrar oynatma (replay) tamponlarının mahremiyet maliyetini inceliyorum.

Kararı görünür kılmak

Bir güvenlik kamerasındaki model "tehdit" dediğinde operatörün o kararın neye dayandığını görebilmesi gerekir. Grad-CAM, modelin son katmanlarındaki gradyanlardan görüntünün hangi bölgesinin karara katkı verdiğini gösteren bir ısı haritası üretir. Computers dergisindeki makalemizde bu haritaların nesneye ne kadar odaklandığını sayısal olarak ölçen bir Heatmap Focus Score önerdik; skor, modelin dikkatinin eğitim turları boyunca nesnenin üzerinde toplandığını gösterdi.

Bu sitenin ana sayfasındaki ısı merceği de aynı fikrin görsel bir benzetmesi.

Uç cihazlarda çalıştırmak

Sahada model çoğu zaman bir ekran kartında değil, ARM işlemcili küçük bir bilgisayarda çalışır. Aynı dedektörün farklı çıkarım çalışma zamanlarında ve işlemci mimarilerinde aynı sonucu verip vermediğini, karşıt (adversarial) eğitimin tespit başarımına etkisini kontrollü deneylerle inceliyorum. Deneylerin kodu, ham sonuçları ve veri bölmeleri açık bilim paketleri olarak paylaşılıyor.