ROAD-DETR, beklenmedik yol tehlikelerini farklı ölçeklerde, zayıf görsel sınırlarda ve kötü görüntü koşullarında yerelleştirmek için tasarlanan zorluk-duyarlı Transformer tabanlı bir nesne tespit çerçevesidir. Çalışma aynı zamanda ROAD-6-Det adlı, altı beklenmedik yol tehlikesini eksenlere paralel bounding box anotasyonlarıyla içeren 33.784 görüntülük bir benchmark veri kümesi sunmaktadır. ROAD-DETR; Hazard-Aware Multi-Scale Fusion Module (HMSFM), Difficulty-Aware Feature Enhancement Module (DAFEM) ve Hazard Query Refinement Module (HQRM) adlı üç görev-özel modülü, ayrıca tahmin güvenilirliğini lokalizasyon kalitesine göre öğrenen bir confidence branch'i bir araya getirir.

ROAD-6-Det üzerindeki ortak test bölümünde ROAD-DETR; 94.2% mAP@50, 72.1% mAP@50:95, 93.2% precision, 91.1% recall ve 93.5% genel F1 elde etmiştir. En güçlü temel model RF-DETR-M'nin mAP@50 değeri 85.7%, mAP@50:95 değeri 63.7%'dir. Model ayrıca ağır düşük ışıkta 90.6%, yoğun siste 90.8%, şiddetli yağmurda 90.4%, ağır bulanıklıkta 88.6% ve en zor küçük-tehlike grubunda 90.1% performans raporlamıştır.

Bu bulgular ROAD-6-Det'in test koşulları ve çalışmada oluşturulan kontrollü görüntü bozulmaları için geçerlidir. Çalışma gerçek bir otonom aracın açık yol üzerinde güvenli sürüş gerçekleştirdiğini, bütün ülkelerde veya görülmemiş veri kümelerinde aynı performansı koruduğunu ya da ROAD-DETR'in güvenlik-kritik sürüş için tek başına yeterli olduğunu göstermemektedir.

Araştırma problemi

Geleneksel otonom sürüş veri kümeleri çoğunlukla araç, yaya, bisikletli, trafik işareti ve yol şeridi gibi düzenli trafik varlıklarına odaklanır. Beklenmedik yol tehlikeleri ise nesne tespit sistemleri açısından farklı bir problem oluşturur. Devrilmiş bir ağaç veya kaza yapmış araç büyük ve yapısal bir nesne olabilirken, yağ döküntüsü, yüzey suyu veya buzlu yol çevre yol dokusuyla zayıf sınırlar oluşturan geniş ve amorf yüzey bölgeleridir. Yol döküntüsü ise görüntünün çok küçük bölümünü kaplayabilir.

Kaynak, Transformer tabanlı algılayıcılar için üç temel zorluk tanımlar: tehlikelerin uzamsal ölçeğinin büyük ölçüde değişmesi, kötü hava veya düşük kontrast nedeniyle ara özelliklerin ayırt ediciliğinin zayıflaması ve standart öğrenilebilir object query'lerin seyrek veya belirsiz tehlikeleri yeterince temsil edememesi. ROAD-DETR'in üç modülü bu üç probleme karşılık gelecek biçimde tasarlanmıştır.

ROAD-6-Det Nedir?

ROAD-6-Det, daha önce görüntü-düzeyi sınıflandırma için geliştirilen ROAD-6'yı nesne-düzeyi lokalizasyona genişleten ve altı beklenmedik yol tehlikesi için bounding box anotasyonları sağlayan 33.784 görüntülük bir nesne tespit benchmarkıdır.

Altı tehlike sınıfı

• Accident Vehicle — Kazaya karışmış araç: Trafik akışını bozan veya tehlikeli sürüş durumu oluşturan kaza yapmış araç.
• Fallen Tree — Devrilmiş ağaç: Yolun bir bölümünü veya tamamını engelleyen ağaç ve büyük dallar.
• Road Debris — Yol döküntüsü/enkazı: Lastik, araç parçası, inşaat malzemesi veya başka beklenmedik yol üstü nesneleri.
• Oil Spill — Yağ döküntüsü: Lastik-yol tutunmasını azaltabilecek sıvı kontaminasyonu.
• Surface Water — Yüzey suyu: Yağış, taşkın veya drenaj problemleriyle oluşan su birikimi.
• Icy Road — Buzlu yol: Kayma ve araç kontrol kaybı riskini artırabilecek buz kaplı yol yüzeyi.

Veri kümesi nasıl oluşturuldu?

ROAD-6-Det, ROAD-6'nın aynı altı sınıfını ve görüntü kompozisyonunu korurken bütün görünür tehlike örneklerine eksenlere paralel bounding box ekler. Görüntüler kaynak ROAD-6 çalışmasında halka açık çevrimiçi kaynaklardan, yol sahnesi veri tabanlarından ve gerçek sürüş görüntülerinden derlenmiştir. Veri kümesi hem özgün hem de augmentasyonla türetilmiş görüntüler içerir.

Veri kaçağını azaltmak için bir özgün görüntü ile ondan türetilen augmentasyon örnekleri aynı veri bölümünde tutulmuştur. Böylece eğitimdeki bir özgün görüntünün augmentasyon varyantının doğrulama veya test bölümüne geçmesi engellenmiştir. Eğitim, doğrulama ve test kümeleri birbirinden ayrıdır.

Anotasyon kalitesi nasıl kontrol edildi?

Bounding box'lar bilgisayarlı görü ve nesne tespiti deneyimi bulunan araştırmacılar tarafından manuel hazırlanmıştır. Annotator'lardan tehlikenin görünür uzamsal kapsamını mümkün olduğunca sıkı çevrelemeleri ve ilgisiz arka planı kutuya dahil etmemeleri istenmiştir. İlk anotasyondan sonra bütün görüntüler Roboflow arayüzü kullanılarak manuel kalite kontrolünden geçirilmiş; eksik tehlikeler, hatalı kapsam, gevşek veya yanlış konumlu kutular tekrar incelenmiştir. Küçük, kısmen örtülü ve belirsiz sınırlı yüzey tehlikelerine özellikle dikkat edilmiştir.

ROAD-6-Det diğer veri kümelerinden nasıl ayrılıyor?

ROAD-DETR Beklenmedik Yol Tehlikelerini Nasıl Tespit Ediyor?

ROAD-DETR önce RF-DETR backbone'undan düşük, orta ve yüksek seviyeli özellik haritaları çıkarır; HMSFM bunları ortak bir çok-ölçekli tehlike temsiline dönüştürür, DAFEM kanal ve uzamsal attention ile zor görsel bölgeleri güçlendirir, HQRM ise Transformer decoder'a girmeden önce object query'leri sahneye özgü tehlike bağlamıyla yeniden ağırlıklandırır.

Denklem (1): Hiyerarşik backbone özellikleri

\[ F=\{F_1,F_2,F_3\}. \tag{1} \]

Giriş görüntüsü \(I\in\mathbb{R}^{H\times W\times3}\) biçimindedir. Backbone üç farklı semantik seviyede \(F_1\), \(F_2\) ve \(F_3\) özellik haritaları üretir. Her özellik haritası:

\[ F_i\in\mathbb{R}^{C_i\times H_i\times W_i} \]

şeklindedir. \(C_i\) kanal sayısını, \(H_i\) ve \(W_i\) uzamsal boyutları temsil eder. Düşük seviyeler daha fazla ince konum ayrıntısı taşırken yüksek seviyeler daha güçlü semantik bağlam taşır.

Denklem (2): HMSFM ile çok ölçekli füzyon

\[ F_m=\Phi_{\mathrm{HMSFM}}(F_1,F_2,F_3). \tag{2} \]

\(\Phi_{\mathrm{HMSFM}}\), üç özellik seviyesini tek bir ortak tehlike temsiline dönüştüren öğrenilebilir işlemler bütünüdür. \(F_m\in\mathbb{R}^{C\times H_m\times W_m}\) birleşik çok ölçekli özellik haritasıdır. Bu formülün temel amacı küçük yol döküntülerindeki uzamsal ipuçları ile büyük kaza araçları veya devrilmiş ağaçlardaki yüksek seviyeli semantik bilgiyi aynı özellik uzayında tutabilmektir.

Denklem (3): DAFEM özellik geliştirme

\[ F_d=\Phi_{\mathrm{DAFEM}}(F_m). \tag{3} \]

\(F_d\), kötü hava, düşük ışık, zayıf nesne-arka plan kontrastı veya belirsiz sınırlar nedeniyle zor algılanan tehlike bölgelerinin özelliklerini güçlendirmeyi amaçlayan geliştirilmiş temsildir. DAFEM görüntüyü fiziksel olarak “temizlemez”; özellik uzayında bilgilendirici kanal ve konumları yeniden ağırlıklandırır.

Denklem (4): Tehlike-duyarlı query iyileştirme

\[ Q_h=\Phi_{\mathrm{HQRM}}(Q,F_d). \tag{4} \]

\(Q\in\mathbb{R}^{N_q\times C}\), Transformer'ın öğrenilebilir object query kümesidir. \(N_q\) query sayısıdır. HQRM, sabit öğrenilmiş query'leri sahnenin mevcut tehlike özellikleriyle ilişkilendirerek \(Q_h\) biçiminde yeniden düzenler.

Denklem (5): Transformer decoder çıktısı

\[ Z=\operatorname{Decoder}(F_d,Q_h). \tag{5} \]

\(Z\), sınıflandırma ve bounding-box regresyon başlıklarının kullanacağı decoder embedding'leridir. Böylece modelin son tahmini hem geliştirilmiş görüntü özelliklerine \(F_d\) hem de sahneye göre ayarlanmış tehlike query'lerine \(Q_h\) dayanır.

HMSFM'nin iç yapısı

Denklem (6): Ortak embedding uzayına projeksiyon

\[ \hat F_i=\psi_i(F_i). \tag{6} \]

\(\psi_i\), her backbone seviyesine ait öğrenilebilir 1×1 convolution projeksiyonudur. Farklı kanal sayılarına sahip \(F_i\) haritalarını ortak embedding boyutuna getirir. 1×1 convolution uzamsal komşuluğu genişletmeden kanal kombinasyonu yapar.

Denklem (7): Çok ölçekli özelliklerin birleştirilmesi

\[ F_c=\operatorname{Concat}(\hat F_1,\hat F_2,\hat F_3). \tag{7} \]

Önce projekte edilen özellik haritaları ortak uzamsal çözünürlüğe yeniden boyutlandırılır; ardından kanal doğrultusunda birleştirilir. \(F_c\), aynı sahnenin ince uzamsal ayrıntılarını ve yüksek seviyeli semantiğini birlikte taşır.

Denklem (8): Konvolüsyonel füzyon

\[ F_m=\sigma(W_f*F_c+b_f). \tag{8} \]

\(*\) convolution işlemini, \(W_f\) öğrenilebilir filtreleri, \(b_f\) bias'ı ve \(\sigma\) doğrusal olmayan aktivasyonu gösterir. Bu adım yalnız özellikleri yan yana koymakla kalmaz; birleştirilmiş bilgilerden yeni çok ölçekli tehlike özellikleri öğrenir.

Zorlu görüntü koşulları DAFEM içinde nasıl ele alınıyor?

Kaynak, sis veya yağmur gibi atmosferik bozulmayı açıklamak için numaralandırılmamış klasik görüntü oluşum modelini verir:

\[ I(x)=J(x)t(x)+A(1-t(x)). \]

\(I(x)\) gözlenen görüntü, \(J(x)\) alttaki gerçek sahne ışınımı, \(t(x)\) iletim katsayısı ve \(A\) atmosferik ışıktır. \(t(x)\) düştükçe kontrast ve ayırt edici görüntü yapısı zayıflar. ROAD-DETR bu denklemi tersine çözerek dehazing yapmaz; DAFEM kalan bilgilendirici özellikleri attention ile güçlendirir.

Denklem (9): Yerel özellik çıkarma

\[ F_l=\phi_l(F_m). \tag{9} \]

\(\phi_l\), birleşik özellik haritası üzerinde çalışan yerel convolution tabanlı özellik çıkarma operatörüdür. Çıktı \(F_l\), kanal ve uzamsal attention hesaplarının temel girdisidir.

Denklem (10): Kanal attention

\[ A_c= \sigma\left( W_c(\operatorname{GAP}(F_l)) \right). \tag{10} \]

GAP, Global Average Pooling işlemidir. Her kanalın uzamsal bilgisini tek bir özet değerde toplar. \(W_c\) bu özeti öğrenilebilir biçimde dönüştürür ve sigmoid \(\sigma\), attention ağırlıklarını sınırlı bir aralığa taşır. Amaç, tehlike tespiti açısından daha bilgilendirici feature channel'lara daha güçlü katkı vermektir.

Denklem (11): Uzamsal attention

\[ A_s=\sigma(W_s*F_l). \tag{11} \]

\(W_s\) öğrenilebilir uzamsal convolution çekirdeğidir. \(A_s\), görüntünün hangi uzamsal bölgelerinin tehlike açısından daha önemli olduğunu belirleyen attention haritasıdır.

Denklem (12): Residual zorluk-duyarlı özellik

\[ F_d=F_l\odot A_c\odot A_s+F_m. \tag{12} \]

\(\odot\) eleman-eleman çarpımdır. Önce \(F_l\), kanal ve uzamsal attention ile yeniden ağırlıklandırılır; daha sonra orijinal \(F_m\) residual bağlantıyla eklenir. Residual terim önemlidir: attention çok zayıf olsa bile temel çok ölçekli özellik kaybolmaz.

HQRM'nin iç yapısı

Denklem (13): Global tehlike bağlamı

\[ C_h=\operatorname{GAP}(F_d). \tag{13} \]

\(C_h\), geliştirilmiş özellik haritasının kompakt global bağlam vektörüdür. Kaynak, daha ağır deformable-attention benzeri bir yapı yerine düşük ek hesaplama maliyeti nedeniyle global pooling tercih etmektedir.

Denklem (14): Query uzayına bağlam projeksiyonu

\[ G_h=\delta(W_hC_h). \tag{14} \]

\(W_h\) öğrenilebilir projeksiyon parametreleri, \(\delta\) doğrusal olmayan aktivasyondur. \(G_h\), sahne bağlamını object query'lerle uyumlu embedding boyutuna dönüştürür.

Denklem (15): Residual query gating

\[ Q_h=Q+G_h\odot Q. \tag{15} \]

Her query'nin temel öğrenilmiş anlamı \(Q\) korunur; \(G_h\odot Q\) ise sahneye özgü tehlike bağlamını ekler. Bu formül:

\[ Q_h=(1+G_h)\odot Q \]

şeklinde de düşünülebilir. Kaynak \(G_h\in(0,1)\) kabulünden hareketle query koordinatlarının 1 ile 2 arasında ölçeklendiğini belirtir; query işareti tersine çevrilmez veya sıfıra bastırılmaz.

Denklem (16): Decoder embedding kümesi

\[ Z=\{z_1,z_2,\ldots,z_{N_q}\}. \tag{16} \]

Her \(z_i\), bir object query ile ilişkili decoder embedding'idir ve sonraki üç tahmin başlığı için ortak temsil görevi görür.

Denklem (17): Sınıflandırma başlığı

\[ P_i=\operatorname{Softmax}(W_{\mathrm{cls}}z_i). \tag{17} \]

\(P_i\), \(i\). query'nin tehlike sınıflarına ilişkin olasılık dağılımıdır. Softmax sınıf skorlarını normalize eder.

Denklem (18): Bounding-box regresyonu

\[ B_i=\sigma(W_{\mathrm{box}}z_i). \tag{18} \]

\[ B_i=(x_i,y_i,w_i,h_i). \]

\(x_i,y_i\) kutunun konumunu, \(w_i,h_i\) genişlik ve yüksekliğini temsil eder. Sigmoid, normalize edilmiş kutu çıktısını sınırlı aralıkta tutar.

Denklem (19): Ayrı güvenilirlik tahmini

\[ S_i=\sigma(W_{\mathrm{conf}}z_i). \tag{19} \]

\(S_i\in(0,1)\), tahminin güvenilirliğine ilişkin scalar confidence değeridir. Bu değer \(P_i\) sınıf olasılığıyla aynı değildir. Sınıf branch'i “hangi tehlike?” sorusuna, confidence branch'i ise “bu nesne tahmini lokalizasyon açısından ne kadar güvenilir?” sorusuna yaklaşır.

ROAD-DETR nasıl eğitiliyor?

Denklem (20): Toplam çok görevli kayıp

\[ L_{\mathrm{total}} = L_{\mathrm{cls}} +\lambda_1L_{L1} +\lambda_2L_{\mathrm{GIoU}} +\lambda_{\mathrm{conf}}L_{\mathrm{conf}}. \tag{20} \]

\(L_{\mathrm{cls}}\) sınıflandırma, \(L_{L1}\) kutu koordinatı, \(L_{\mathrm{GIoU}}\) geometrik kutu örtüşmesi ve \(L_{\mathrm{conf}}\) confidence tahmini kaybıdır. \(\lambda_1\), \(\lambda_2\) ve \(\lambda_{\mathrm{conf}}\) bu görevlerin optimizasyondaki göreli ağırlıklarını kontrol eder. Kaynak \(\lambda_{\mathrm{conf}}=1.0\) değerini bütün deneylerde sabit kullanmıştır.

Kaynak-içi raporlama notu: Denklem (20) toplam objektifi bu dört kayıp bileşeniyle tanımlar. Buna karşılık kaynak Şekil 3'te eğitim ve doğrulama grafikleri arasında ayrıca DFL loss eğrileri bulunmaktadır. Makale bu DFL eğrilerinin Denklem (20) ile tam ilişkisini ayrıca açıklamamaktadır; bu nedenle burada yeni bir kayıp terimi eklenmemiştir.

Denklem (21): Focal classification loss

\[ L_{\mathrm{cls}} = -\alpha_t(1-p_t)^{\gamma}\log(p_t). \tag{21} \]

\(p_t\), doğru sınıfa verilen olasılığı; \(\alpha_t\) sınıf dengeleme ağırlığını; \(\gamma\) ise kolay örneklerin kayba katkısını azaltan focusing parametresini temsil eder. \(p_t\) 1'e yaklaştıkça \((1-p_t)^\gamma\) küçülür ve zaten kolay sınıflandırılan örneğin kayıp üzerindeki etkisi azalır.

Denklem (22): Confidence için lokalizasyon-kalitesi hedefi

\[ q_i= \begin{cases} \operatorname{IoU}(B_i,B_i^{gt}), & i\in\mathcal{M},\\ 0, & i\notin\mathcal{M}. \end{cases} \tag{22} \]

\(\mathcal M\), bipartite matching sonucunda gerçek nesnelerle eşleşen query kümesidir. Eşleşmiş bir query'nin confidence hedefi yalnız 1/0 değildir; tahmin kutusu ile gerçek kutu arasındaki IoU değeridir. Eşleşmeyen query için hedef sıfırdır. Böylece confidence score sınıf doğruluğundan ayrı olarak lokalizasyon kalitesini öğrenir.

Denklem (23): Confidence kaybı

\[ L_{\mathrm{conf}} = -\frac{1}{N_q} \sum_{i=1}^{N_q} \left[ q_i\log(S_i) + (1-q_i)\log(1-S_i) \right]. \tag{23} \]

Bu, query düzeyinde binary cross-entropy biçiminde bir kayıptır; ancak hedef \(q_i\), eşleşmiş query'lerde IoU üzerinden sürekli değer alabilir. \(S_i\) ile gerçek lokalizasyon kalitesi arasındaki uyumu artırmak amaçlanır.

Hesaplama karmaşıklığı

HMSFM'nin 1×1 projeksiyonlarının karmaşıklığı:

\[ O\left( \sum_{i=1}^{3}C_iCH_iW_i \right) \]

ve birleştirilmiş özellik üzerindeki \(k\times k\) convolution füzyonunun karmaşıklığı:

\[ O(3k^2C^2H_mW_m) \]

olarak verilmektedir. Bu maliyet uzamsal çözünürlükle doğrusal ölçeklenir.

DAFEM içinde yerel refinement:

\[ O(k^2C^2H_mW_m), \]

uzamsal attention:

\[ O(k^2CH_mW_m), \]

kanal attention ise:

\[ O(CH_mW_m+C^2) \]

maliyetindedir. Baskın terim yerel convolution dalıdır.

HQRM'nin maliyeti:

\[ O(CH_mW_m+C^2+N_qC) \]

olarak verilir. Buna karşılık Transformer encoder self-attention'ın uzamsal maliyeti:

\[ O\left((H_mW_m)^2C\right) \]

ölçeğindedir. Yazarların teorik argümanı, yeni üç modülün encoder–decoder çekirdeğine göre daha düşük mertebeli ek yük getirdiğidir. Bu durum parametre sayısındaki 33.7 M → 34.6 M artışıyla da uyumludur.

Residual gating için üç teorik özellik

1. Identity preservation: Denklem (12)'de \(A_c\odot A_s\rightarrow0\) olduğunda:

\[ F_d\rightarrow F_m. \]

Yani attention branch'i yararsız hale gelse bile temel birleşik özellik residual yol üzerinden korunur.

2. Bounded query modulation: \(G_h\in(0,1)\) olduğunda kaynak:

\[ \|Q\|_2 \leq \|Q_h\|_2 \leq 2\|Q\|_2 \]

sınırını verir. Dolayısıyla refinement, query'leri sınırlı şekilde büyütür; pretrained query anlamını tersine çeviren veya tamamen bastıran bir modülasyon değildir.

3. Gradient propagation: DAFEM için:

\[ \frac{\partial F_d}{\partial F_m} = I+ \frac{\partial(F_l\odot A_c\odot A_s)} {\partial F_m}. \]

Residual koldan gelen \(I\) identity operatörü, attention ağırlıkları küçük olduğunda bile gradyanın daha önceki katmanlara doğrudan aktarılabileceği bir yol sağlar. Kaynak benzer identity terimin HQRM query türevinde de bulunduğunu belirtmektedir.

Çalışmanın Yöntemi ve Bulguları

Eğitim ve değerlendirme düzeni

Kontrollü zorluk seviyeleri nasıl oluşturuldu?

Denklem (24): Precision

\[ \operatorname{Precision} = \frac{TP}{TP+FP}. \tag{24} \]

\(TP\) doğru pozitif, \(FP\) yanlış pozitif tahmin sayısıdır. Precision, modelin “tehlike var” dediği tespitlerin ne kadarının gerçekten doğru olduğunu ölçer. Yüksek precision, gereksiz yanlış alarmın daha az olduğunu gösterir.

Denklem (25): Recall

\[ \operatorname{Recall} = \frac{TP}{TP+FN}. \tag{25} \]

\(FN\), gerçek tehlike olduğu halde modelin kaçırdığı örnek sayısıdır. Güvenlik-kritik tehlike tespitinde yüksek recall özellikle önemlidir; çünkü recall düştükçe kaçırılan tehlikelerin oranı artar.

Denklem (26): F1 skoru

\[ F1 = 2 \frac{ \operatorname{Precision}\times\operatorname{Recall} }{ \operatorname{Precision}+\operatorname{Recall} }. \tag{26} \]

F1, precision ile recall'un harmonik ortalamasıdır. İki metrikten biri çok düşükse F1 de belirgin biçimde düşer. Bu nedenle yalnız yanlış alarmı veya yalnız kaçırma oranını değil, iki davranışın dengesini özetler.

Denklem (27): Intersection over Union

\[ \operatorname{IoU} = \frac{B^p\cap B^{gt}} {B^p\cup B^{gt}}. \tag{27} \]

\(B^p\) tahmin edilen, \(B^{gt}\) gerçek bounding box'tır. Pay iki kutunun kesişim alanı, payda birleşim alanıdır. IoU 1'e yaklaştıkça tahmin edilen kutu gerçek kutuyla daha iyi örtüşür.

Denklem (28): Average Precision

\[ AP= \int_0^1P(R)\,dR. \tag{28} \]

\(P(R)\), recall düzeyine bağlı precision eğrisidir. AP, Precision–Recall eğrisinin altındaki alanı özetler ve belirli bir sınıfın farklı confidence eşiklerinde genel tespit kalitesini ölçer.

Denklem (29): Mean Average Precision

\[ mAP= \frac{1}{N} \sum_{i=1}^{N}AP_i. \tag{29} \]

\(N\) sınıf sayısıdır; ROAD-6-Det için altı sınıf vardır. mAP@50, IoU=0.50 eşiğindeki AP'lerin ortalamasıdır. mAP@50:95 ise IoU 0.50'dan 0.95'e kadar 0.05 artımlarla hesaplanan daha sıkı lokalizasyon değerlendirmesidir. Bu nedenle mAP@50:95'in yüksek olması kutunun yalnız nesneyi bulduğunu değil, daha hassas konumlandırıldığını da gösterir.

State-of-the-art model karşılaştırması

ROAD-DETR, en güçlü baseline RF-DETR-M'ye kıyasla mAP@50'yi 85.7%'den 94.2%'ye, mAP@50:95'i 63.7%'den 72.1%'e yükseltmiştir. Precision 86.7%'den 93.2%'ye, recall 82.0%'den 91.1%'e ve genel F1 84.3%'ten 93.5%'e çıkmıştır. Özellikle mAP@50:95 artışı, modelin yalnız tehlike sınıfını bulmakta değil, daha sıkı bounding-box örtüşmesi koşullarında lokalizasyon yapmakta da iyileştiğini gösterir.

Hesaplama maliyeti ve güvenlik odaklı göstergeler

ROAD-DETR, RF-DETR-M'ye göre parametre sayısını yaklaşık %2.7 ve hesaplama maliyetini yaklaşık %8.5 artırırken test edilen RTX PRO A6000 sisteminde yaklaşık 10.1 ms/görüntü ve 99 FPS sağlamıştır. Kaynaktaki FPR, klasik true-negative tabanlı false-positive rate değildir; toplam tahminler içindeki yanlış pozitif tespit oranıdır. FNR ise gerçek tehlikeler içindeki kaçırılan tehlikelerin oranıdır.

ROAD-DETR farklı donanımlarda ne kadar hızlı çalıştı?

Bu sonuçlar donanım bağlamının kritik olduğunu gösterir. RTX PRO A6000 çok yüksek throughput sunarken Jetson Orin daha düşük FPS'ye rağmen kaynakta en yüksek FPS/W değerini vermiştir. Raspberry Pi 5 üzerinde ise 0.80 FPS, gerçek zamanlı video algılama için belirgin şekilde sınırlıdır. Dolayısıyla “ROAD-DETR 99 FPS çalışıyor” ifadesi donanımdan bağımsız bir özellik değildir.

Confidence branch ne kazandırdı?

Kaynak Şekil 6'daki reliability diagram, tam ROAD-DETR'ın predicted confidence ile ampirik doğruluk arasındaki ilişkisinin RF-DETR-M'den ve confidence branch'i çıkarılmış ROAD-DETR'dan daha iyi kalibre edildiğini gösterir. Kaynak bu grafikten ayrı bir ECE sayısı raporlamadığından burada grafikten yeni bir kalibrasyon metriği üretilmemiştir.

ROAD-DETR Kötü Hava ve Küçük Tehlikelerde Performansını Koruyor mu?

ROAD-6-Det üzerinde oluşturulan kontrollü düşük ışık, sis, yağmur, blur ve küçük-tehlike koşullarında ROAD-DETR karşılaştırılan Transformer modellerinden daha yüksek performans göstermiştir; ancak bu deneyler sınırsız gerçek dünya hava koşullarında cross-domain doğrulama değil, ortak test görüntülerine kontrollü zorluk uygulanarak yapılan robustness değerlendirmesidir.

Sınıf bazında hangi tehlikeler daha zor?

En yüksek AP@50 kaza araçlarında 97.8% ve devrilmiş ağaçlarda 96.9%'dur. Yağ döküntüsü 91.2% ve yüzey suyu 92.0% ile daha zor sınıflardır. Kaynak bu durumu zayıf sınırlar ve yansıtıcı/amorf görünümlerle ilişkilendirir. Confusion matrix'lerde en sık karışıklıklardan biri Oil Spill ile Surface Water arasındadır.

F1 raporlama notu: Ana benchmark tablosunda precision 93.2% ve recall 91.1%'den hesaplanan genel F1 93.5% olarak verilmiştir. Sınıf bazındaki F1 değerlerinin Tablo 6 “Mean” satırı ise 92.1%'dir. Bu iki değer farklı toplulaştırma biçimlerini temsil ettiğinden biri diğerinin yerine kullanılmamalıdır.

Kümülatif ablasyon: Her modül ne kadar katkı sağladı?

HMSFM tek başına baseline'a göre mAP@50'de 2.7, mAP@50:95'te 2.5 yüzde puanı artış sağlamıştır. DAFEM eklendiğinde değerler 90.6 ve 68.7'ye; HQRM ile 92.3 ve 70.5'e; confidence branch ile 94.2 ve 72.1'e yükselmiştir. Bu kümülatif deney her ek bileşenin tam pipeline içinde pozitif katkı verdiğini gösterir.

Bağımsız ablasyon: Modüller hangi tür zorlukta daha etkili?

HMSFM'nin en büyük bağımsız katkısı küçük tehlikelerde görülmüş ve baseline 79.8%'den 83.2%'ye yükselmiştir. DAFEM yağmur/sis koşulunda 82.6 → 86.0, düşük ışıkta 81.4 → 85.2 artış üretmiştir. HQRM bütün koşullarda artış sağlarken özellikle düşük ışık ve küçük tehlike koşullarında fayda göstermiştir. Tam model bütün dört grupta tek modüllü varyantlardan belirgin biçimde daha yüksek sonuç vermiştir.

Çalışmanın desteklediği sonuçlar

• ROAD-6-Det, ROAD-6'yı görüntü-düzeyi tanımadan bounding-box tabanlı nesne lokalizasyonuna genişletmiştir.
• ROAD-DETR, ROAD-6-Det'in ortak test bölümünde karşılaştırılan YOLO ve Transformer modellerinden daha yüksek raporlanan genel performans elde etmiştir.
• mAP@50:95 artışı, daha sıkı IoU eşiklerinde lokalizasyon doğruluğunda da iyileşme olduğunu göstermektedir.
• HMSFM küçük tehlikeler için, DAFEM kötü görünürlük koşulları için özellikle yararlı bağımsız katkılar göstermiştir.
• HQRM, sahne bağlamına göre object query'leri iyileştirerek baseline'a göre tutarlı performans artışı sağlamıştır.
• Confidence branch'in eklenmesi hem detection performansını artırmış hem de reliability diagram'da confidence kalibrasyonunu iyileştirmiştir.
• RTX PRO A6000 üzerinde model 99 FPS; Jetson Orin üzerinde 26 FPS ölçülmüştür.

Çalışmanın desteklemediği genellemeler ve sınırlılıklar

• Değerlendirme esas olarak ROAD-6-Det üzerinde yapılmıştır; sonuçlar sınırsız cross-domain genelleme kanıtı değildir.
• Mevcut diğer veri kümelerinin sınıf ve anotasyon yapıları farklı olduğundan doğrudan altı sınıflı cross-dataset benchmark yapılmamıştır.
• Robustness testlerindeki düşük ışık, sis, yağmur ve blur koşullarının bir bölümü kontrollü görüntü bozunumu ile oluşturulmuştur; bunlar bütün gerçek meteorolojik koşulların yerine geçmez.
• ROAD-DETR yalnız RGB görüntü kullanır; derinlik, geometri ve hareket bilgisi sağlayan LiDAR veya radar bu modelde kullanılmamıştır.
• Oil Spill, Surface Water ve Icy Road gibi amorf yüzey tehlikeleri eksenlere paralel bounding box ile yalnız yaklaşık olarak temsil edilebilir.
• Modelin yüksek benchmark performansı, tek başına otonom araç güvenliği veya gerçek sürüş güvenlik sertifikasyonu anlamına gelmez.
• Raspberry Pi 5 üzerindeki 0.80 FPS sonucu, kaynak kısıtlı CPU platformlarında gerçek zamanlı kullanımın mevcut biçimde sınırlı olduğunu göstermektedir.

Gelecek çalışma

Yazarlar gelecekte farklı yol ve çevre koşullarında kategori-uyumlu araç-tabanlı veri toplayarak bağımsız zero-shot değerlendirme yapmayı, RGB'yi LiDAR geometrisi/derinliği, radar mesafe-hareket bilgisi ve V2X bağlamıyla birleştiren multimodal hazard perception yapıları geliştirmeyi ve amorf yol tehlikeleri için bounding box'tan daha hassas shape-aware temsil yöntemlerini araştırmayı planlamaktadır.

Kaynak ve Yöntem Notu

Özgün başlık: Learning to Expect the Unexpected: Benchmarking and Detecting Unexpected Road Hazards

Yazarlar: Temirova Zubayda Okmirzaevna; Shehzad Ali; Rafał Scherer; Arslan Munir; Khan Muhammad.

Sorumlu yazarlar: Arslan Munir; Khan Muhammad.

Kurumlar: Visual Analytics for Knowledge Laboratory (VIS2KNOW Lab), Department of Applied Artificial Intelligence, College of Computing and Informatics, Sungkyunkwan University, Seoul, Republic of Korea; Department of Artificial Intelligence, Częstochowa University of Technology, Częstochowa, Poland; Intelligent Systems, Computer Architecture, Analytics, and Security Laboratory (ISCAAS Lab), Department of Electrical Engineering and Computer Science, Florida Atlantic University, Boca Raton, USA.

Dergi: Mathematics.

Yayınevi: MDPI.

Bibliyografik kayıt: Mathematics 2026, 14(19), 3543.

DOI: 10.3390/math14193543

Gönderim: 30 Temmuz 2026. Revizyon: 15 Eylül 2026. Kabul: 24 Eylül 2026. Yayın: 29 Eylül 2026.

Kaynak türü: Hakemli araştırma makalesi; bilgisayarlı görü, nesne tespiti, benchmark veri kümesi geliştirme ve deneysel derin öğrenme model değerlendirmesi.

Lisans: Creative Commons Attribution (CC BY).

Academic Editor: Lukun Wang.

Finansman bildirimi: Makalenin Funding bölümünde “This research received no external funding” ifadesi yer almaktadır.

Acknowledgments bildirimi: Ayrı Acknowledgments bölümünde çalışmanın ANCHOR aracılığıyla Seoul ANCHOR Center tarafından desteklendiği ve programın Ministry of Education ile Seoul Metropolitan Government tarafından finanse edildiği, proje numarasının 2026-ANCHOR-01-018-01 olduğu belirtilmektedir. Bu iki kaynak beyanı burada birbirine dönüştürülmeden ayrı tutulmuştur.

Veri ve kod erişilebilirliği: Makale, ROAD-6-Det veri kümesi ile kaynak kodunun GitHub üzerindeki ROAD-6-Det deposunda halka açık olduğunu ve ilgili kaynağın 23 Eylül 2026 tarihinde erişildiğini belirtmektedir.

Çıkar çatışması: Yazarlar çıkar çatışması olmadığını bildirmiştir.

Yazar katkıları: Kavramsallaştırma ve metodoloji bütün yazarlar; yazılım Temirova Zubayda Okmirzaevna ve Shehzad Ali; doğrulama Rafał Scherer, Arslan Munir ve Khan Muhammad; biçimsel analiz ve araştırma bütün yazarlar; kaynaklar Temirova Zubayda Okmirzaevna, Shehzad Ali ve Khan Muhammad; veri kürasyonu Temirova Zubayda Okmirzaevna; ilk taslak Temirova Zubayda Okmirzaevna, Shehzad Ali ve Khan Muhammad; gözden geçirme/düzenleme bütün yazarlar; görselleştirme Temirova Zubayda Okmirzaevna, Shehzad Ali ve Khan Muhammad; danışmanlık ve proje yönetimi Arslan Munir ile Khan Muhammad; finansman edinimi Khan Muhammad tarafından yürütülmüştür.

Kaynak-içi raporlama notları: HMSFM ana yöntem bölümünde “Hazard-Aware Multi-Scale Fusion Module” olarak adlandırılmış, Tablo 7 açıklamasında ise “Hierarchical Multi-Scale Fusion” biçiminde açılmıştır. Denklem (20) dört kayıp bileşeni tanımlarken Şekil 3'te ayrıca DFL loss eğrileri bulunmaktadır ve kaynak bu farkı açıkça uzlaştırmamaktadır. Genel F1 skoru 93.5% iken sınıf-bazlı F1 değerlerinin Tablo 6 ortalaması 92.1%'dir; iki sonuç farklı toplulaştırma düzeylerinde korunmuştur.

Temel yorum sınırı: ROAD-DETR'ın raporlanan sonuçları ROAD-6-Det test bölümü ve çalışmada tanımlanan robustness deneylerine aittir. Çalışma bağımsız altı sınıflı cross-dataset zero-shot değerlendirme, gerçek araç üzerinde açık yol güvenlik doğrulaması veya bütün hava/coğrafya koşullarında performans garantisi sunmamaktadır.