ROAD-DETR, күтүлбөгөн жол коркунучтарын ар кандай масштабдарда, начар көрүнгөн чек араларда жана начар сүрөт шарттарында локалдаштыруу үчүн иштелип чыккан кыйынчылыкка сезгич Transformer негизиндеги объект аныктоо алкагы болуп саналат. Изилдөө ошондой эле ROAD-6-Det аттуу, алты күтүлбөгөн жол коркунучун окторго параллелдүү bounding box аннотациялары менен камтыган 33.784 сүрөттөн турган benchmark маалымат топтомун сунуштайт. ROAD-DETR; Hazard-Aware Multi-Scale Fusion Module (HMSFM), Difficulty-Aware Feature Enhancement Module (DAFEM) жана Hazard Query Refinement Module (HQRM) аттуу үч тапшырмага өзгөчө модулду, ошондой эле божомол ишенимдүүлүгүн локалдаштыруу сапатына жараша үйрөнгөн confidence branch-ти бириктирет.

ROAD-6-Det боюнча жалпы тест бөлүмүндө ROAD-DETR; 94.2% mAP@50, 72.1% mAP@50:95, 93.2% precision, 91.1% recall жана 93.5% жалпы F1 көрсөткүчүнө жетишкен. Эң күчтүү базалык модель RF-DETR-Mдин mAP@50 көрсөткүчү 85.7%, mAP@50:95 көрсөткүчү 63.7% болгон. Модель ошондой эле өтө төмөн жарыкта 90.6%, коюу туманда 90.8%, катуу жамгырда 90.4%, катуу бүдөмүктө 88.6% жана эң кыйын майда-коркунуч тобунда 90.1% натыйжа билдирген.

Бул табылгалар ROAD-6-Detтин тест шарттары жана изилдөөдө түзүлгөн көзөмөлдөнгөн сүрөт бузулуулар үчүн жарактуу. Изилдөө чыныгы автономдуу унаа ачык жолдо коопсуз айдоо жүргүзгөнүн, бардык өлкөлөрдө же мурда көрүлбөгөн маалымат топтомдорунда бирдей натыйжаны сактай турганын же ROAD-DETR коопсуздук-критикалык айдоо үчүн өз алдынча жетиштүү экенин көрсөтпөйт.

Изилдөө көйгөйү

Салттуу автономдуу айдоо маалымат топтомдору негизинен унаа, жөө жүргүнчү, велосипедчи, жол белгиси жана жол тилкеси сыяктуу кадимки жол кыймылы объекттерине көңүл бурат. Күтүлбөгөн жол коркунучтары болсо объект аныктоо системалары үчүн башка көйгөй жаратат. Кулаган дарак же кырсыкка кабылган унаа чоң жана түзүмдүү объект болушу мүмкүн, ал эми май төгүлүшү, беттик суу же муз тоңгон жол айланадагы жол текстурасы менен начар чек ара түзгөн кең жана аморфтук беттик аймактар болуп саналат. Жол таштандысы болсо сүрөттүн өтө кичине бөлүгүн гана ээлеши мүмкүн.

Булак Transformer негизиндеги детекторлор үчүн үч негизги кыйынчылыкты аныктайт: коркунучтардын мейкиндик масштабынын абдан өзгөрүшү, начар аба ырайы же төмөн контрасттан улам аралык өзгөчөлүктөрдүн айырмалоо жөндөмүнүн төмөндөшү жана стандарттуу үйрөнүлүүчү object query-лердин сейрек же бүдөмүк коркунучтарды жетиштүү чагылдыра албашы. ROAD-DETRдин үч модулу ушул үч көйгөйгө жооп бере тургандай иштелип чыккан.

ROAD-6-Det деген эмне?

ROAD-6-Det мурда сүрөт-деңгээлдеги классификация үчүн иштелип чыккан ROAD-6ны объект-деңгээлдеги локалдаштырууга кеңейтип, алты күтүлбөгөн жол коркунучу үчүн bounding box аннотацияларын берген 33.784 сүрөттөн турган объект аныктоо benchmark болуп саналат.

Алты коркунуч классы

• Accident Vehicle — Кырсыкка кабылган унаа: Жол кыймылынын агымын бузган же кооптуу айдоо абалын жараткан кырсыкка кабылган унаа.
• Fallen Tree — Кулаган дарак: Жолдун бир бөлүгүн же толугу менен тосуп калган дарак жана чоң бутактар.
• Road Debris — Жол таштандысы/сыныктары: Дөңгөлөк, унаа бөлүгү, курулуш материалы же башка күтүлбөгөн жол үстүндөгү объекттер.
• Oil Spill — Май төгүлүшү: Дөңгөлөк-жол кармашын төмөндөтүшү мүмкүн болгон суюк булгануу.
• Surface Water — Беттик суу: Жаан-чачын, ташкын же дренаж көйгөйлөрүнөн пайда болгон суу топтолушу.
• Icy Road — Муз тоңгон жол: Тайгалануу жана унааны башкарууну жоготуу коркунучун жогорулата турган муз каптаган жол бети.

Маалымат топтому кантип түзүлгөн?

ROAD-6-Det, ROAD-6нын ошол эле алты классын жана сүрөт композициясын сактоо менен бардык көрүнгөн коркунуч үлгүлөрүнө окторго параллелдүү bounding box кошот. Сүрөттөр баштапкы ROAD-6 изилдөөсүндө ачык онлайн булактардан, жол көрүнүшү маалымат базаларынан жана чыныгы айдоо сүрөттөрүнөн топтолгон. Маалымат топтомунда түпнуска жана augmentatsiya аркылуу алынган сүрөттөр бар.

Маалымат агып кетүүсүн азайтуу үчүн түпнуска сүрөт жана андан алынган augmentatsiya үлгүлөрү бир эле маалымат бөлүгүндө сакталган. Ошентип, окутуудагы түпнуска сүрөттүн augmentatsiya варианты валидация же тест бөлүмүнө өтүп кетишинин алдын алынган. Окутуу, валидация жана тест топтомдору бири-биринен бөлүнгөн.

Аннотациянын сапаты кантип текшерилген?

Bounding box-тор компьютердик көрүү жана объект аныктоо тажрыйбасы бар изилдөөчүлөр тарабынан кол менен даярдалган. Annotator-лордон коркунучтун көрүнгөн мейкиндик камтуусун мүмкүн болушунча тыгыз чектеп, тиешеси жок фонду кутуга кошпоо талап кылынган. Алгачкы аннотациядан кийин бардык сүрөттөр Roboflow интерфейси аркылуу кол менен сапат көзөмөлүнөн өткөрүлүп; жетишпеген коркунучтар, туура эмес камтуу, бош же туура эмес жайгашкан кутулар кайра каралган. Майда, жарым-жартылай тосулган жана чек арасы бүдөмүк беттик коркунучтарга өзгөчө көңүл бурулган.

ROAD-6-Det башка маалымат топтомдорунан эмнеси менен айырмаланат?

ROAD-DETR күтүлбөгөн жол коркунучтарын кантип аныктайт?

ROAD-DETR адегенде RF-DETR backbone-дан төмөн, орто жана жогорку деңгээлдеги өзгөчөлүк карталарын чыгарат; HMSFM аларды жалпы көп-масштабдуу коркунуч өкүлчүлүгүнө айлантат, DAFEM каналдык жана мейкиндик attention аркылуу татаал визуалдык аймактарды күчөтөт, HQRM болсо Transformer decoder-га кирерден мурда object query-лерди көрүнүшкө өзгөчө коркунуч контексти менен кайра салмактайт.

Теңдеме (1): Иерархиялык backbone өзгөчөлүктөрү

\[ F=\{F_1,F_2,F_3\}. \tag{1} \]

Киргизүү сүрөтү \(I\in\mathbb{R}^{H\times W\times3}\) түрүндө. Backbone үч башка семантикалык деңгээлде \(F_1\), \(F_2\) жана \(F_3\) өзгөчөлүк карталарын чыгарат. Ар бир өзгөчөлүк картасы:

\[ F_i\in\mathbb{R}^{C_i\times H_i\times W_i} \]

түрүндө. \(C_i\) канал санын, \(H_i\) жана \(W_i\) мейкиндик өлчөмдөрүн билдирет. Төмөн деңгээлдер майда жайгашуу деталдарын көбүрөөк алып жүрсө, жогорку деңгээлдер күчтүүрөөк семантикалык контекст алып жүрөт.

Теңдеме (2): HMSFM менен көп-масштабдуу фьюжн

\[ F_m=\Phi_{\mathrm{HMSFM}}(F_1,F_2,F_3). \tag{2} \]

\(\Phi_{\mathrm{HMSFM}}\) үч өзгөчөлүк деңгээлин бир жалпы коркунуч өкүлчүлүгүнө айландырган үйрөнүлүүчү операциялардын жыйындысы. \(F_m\in\mathbb{R}^{C\times H_m\times W_m}\) бириктирилген көп-масштабдуу өзгөчөлүк картасы. Бул формуланын негизги максаты майда жол таштандыларындагы мейкиндик белгилерин чоң кырсык унааларындагы же кулаган дарактардагы жогорку деңгээлдүү семантикалык маалымат менен бир өзгөчөлүк мейкиндигинде сактоо.

Теңдеме (3): DAFEM өзгөчөлүктү күчөтүү

\[ F_d=\Phi_{\mathrm{DAFEM}}(F_m). \tag{3} \]

\(F_d\) начар аба ырайы, төмөн жарык, объект-фон контрастынын начардыгы же бүдөмүк чек аралардан улам кыйын аныкталган коркунуч аймактарынын өзгөчөлүктөрүн күчөтүүгө багытталган жакшыртылган өкүлчүлүк. DAFEM сүрөттү физикалык жактан “тазалабайт”; өзгөчөлүк мейкиндигиндеги маалыматтуу каналдар менен орундарды кайра салмактайт.

Теңдеме (4): Коркунуч-сезгич query жакшыртуу

\[ Q_h=\Phi_{\mathrm{HQRM}}(Q,F_d). \tag{4} \]

\(Q\in\mathbb{R}^{N_q\times C}\) — Transformerдин үйрөнүлүүчү object query топтому. \(N_q\) query саны. HQRM туруктуу үйрөнүлгөн query-лерди көрүнүштөгү учурдагы коркунуч өзгөчөлүктөрү менен байланыштырып, \(Q_h\) түрүндө кайра уюштурат.

Теңдеме (5): Transformer decoder чыгышы

\[ Z=\operatorname{Decoder}(F_d,Q_h). \tag{5} \]

\(Z\) классификация жана bounding-box регрессия баштары колдоно турган decoder embedding-дер. Ошентип моделдин акыркы божомолу жакшыртылган сүрөт өзгөчөлүктөрү \(F_d\) менен көрүнүшкө ылайыкталган коркунуч query-лерине \(Q_h\) таянат.

HMSFMдин ички түзүлүшү

Теңдеме (6): Жалпы embedding мейкиндигине проекция

\[ \hat F_i=\psi_i(F_i). \tag{6} \]

\(\psi_i\) ар бир backbone деңгээлине тиешелүү үйрөнүлүүчү 1×1 convolution проекциясы. Ал ар башка канал санына ээ \(F_i\) карталарын жалпы embedding өлчөмүнө алып келет. 1×1 convolution мейкиндик коңшулукту кеңейтпестен канал комбинациясын түзөт.

Теңдеме (7): Көп-масштабдуу өзгөчөлүктөрдү бириктирүү

\[ F_c=\operatorname{Concat}(\hat F_1,\hat F_2,\hat F_3). \tag{7} \]

Адегенде проекцияланган өзгөчөлүк карталары жалпы мейкиндик чечилишине кайра өлчөмдөлөт; андан соң канал багыты боюнча бириктирилет. \(F_c\) бир эле көрүнүштүн майда мейкиндик деталдарын жана жогорку деңгээлдүү семантикасын бирге алып жүрөт.

Теңдеме (8): Конволюциялык фьюжн

\[ F_m=\sigma(W_f*F_c+b_f). \tag{8} \]

\(*\) convolution операциясын, \(W_f\) үйрөнүлүүчү фильтрлерди, \(b_f\) biasты жана \(\sigma\) сызыктуу эмес активацияны көрсөтөт. Бул кадам өзгөчөлүктөрдү жөн гана жанаша койбойт; бириктирилген маалыматтан жаңы көп-масштабдуу коркунуч өзгөчөлүктөрүн үйрөнөт.

Кыйын сүрөт шарттары DAFEM ичинде кантип иштетилет?

Булак туман же жамгыр сыяктуу атмосфералык бузулууну түшүндүрүү үчүн номерленбеген классикалык сүрөт түзүлүү моделин берет:

\[ I(x)=J(x)t(x)+A(1-t(x)). \]

\(I(x)\) байкалган сүрөт, \(J(x)\) астындагы чыныгы көрүнүш нурлануусу, \(t(x)\) өткөрүү коэффициенти жана \(A\) атмосфералык жарык. \(t(x)\) азайган сайын контраст жана айырмалоочу сүрөт түзүмү начарлайт. ROAD-DETR бул теңдемени тескери чечип dehazing кылбайт; DAFEM калган маалыматтуу өзгөчөлүктөрдү attention менен күчөтөт.

Теңдеме (9): Жергиликтүү өзгөчөлүк чыгаруу

\[ F_l=\phi_l(F_m). \tag{9} \]

\(\phi_l\) бириктирилген өзгөчөлүк картасында иштеген жергиликтүү convolution негизиндеги өзгөчөлүк чыгаруу оператору. Чыгыш \(F_l\) каналдык жана мейкиндик attention эсептөөлөрүнүн негизги кириши.

Теңдеме (10): Канал attention

\[ A_c= \sigma\left( W_c(\operatorname{GAP}(F_l)) \right). \tag{10} \]

GAP — Global Average Pooling операциясы. Ал ар бир каналдын мейкиндик маалыматын бир жыйынтык мааниге топтойт. \(W_c\) бул жыйынтыкты үйрөнүлүүчү түрдө өзгөртөт жана sigmoid \(\sigma\) attention салмактарын чектелген аралыкка алып келет. Максат коркунуч аныктоо үчүн маалыматтуураак feature channel-дарга күчтүү салым берүү.

Теңдеме (11): Мейкиндик attention

\[ A_s=\sigma(W_s*F_l). \tag{11} \]

\(W_s\) үйрөнүлүүчү мейкиндик convolution ядросу. \(A_s\) сүрөттүн кайсы мейкиндик аймактары коркунуч жагынан маанилүүрөөк экенин аныктаган attention картасы.

Теңдеме (12): Residual кыйынчылык-сезгич өзгөчөлүк

\[ F_d=F_l\odot A_c\odot A_s+F_m. \tag{12} \]

\(\odot\) элемент-элемент көбөйтүү. Адегенде \(F_l\) каналдык жана мейкиндик attention менен кайра салмакталат; андан кийин түпкү \(F_m\) residual байланыш аркылуу кошулат. Residual мүчө маанилүү: attention өтө алсыз болсо да негизги көп-масштабдуу өзгөчөлүк жоголбойт.

HQRMдин ички түзүлүшү

Теңдеме (13): Глобалдык коркунуч контексти

\[ C_h=\operatorname{GAP}(F_d). \tag{13} \]

\(C_h\) жакшыртылган өзгөчөлүк картасынын компакттуу глобалдык контекст вектору. Булак оорураак deformable-attention сыяктуу түзүмдүн ордуна кошумча эсептөө чыгымы төмөн болгондуктан global pooling тандайт.

Теңдеме (14): Query мейкиндигине контекст проекциясы

\[ G_h=\delta(W_hC_h). \tag{14} \]

\(W_h\) үйрөнүлүүчү проекция параметрлери, \(\delta\) сызыктуу эмес активация. \(G_h\) көрүнүш контекстин object query-лерге ылайыктуу embedding өлчөмүнө айландырат.

Теңдеме (15): Residual query gating

\[ Q_h=Q+G_h\odot Q. \tag{15} \]

Ар бир queryнин негизги үйрөнүлгөн мааниси \(Q\) сакталат; \(G_h\odot Q\) болсо көрүнүшкө өзгөчө коркунуч контекстин кошот. Бул формула:

\[ Q_h=(1+G_h)\odot Q \]

түрүндө да каралышы мүмкүн. Булак \(G_h\in(0,1)\) божомолунан улам query координаттары 1 менен 2нин ортосунда масштабдалат деп белгилейт; query белгиси тескери бурулбайт же нөлгө басылбайт.

Теңдеме (16): Decoder embedding топтому

\[ Z=\{z_1,z_2,\ldots,z_{N_q}\}. \tag{16} \]

Ар бир \(z_i\) бир object query менен байланышкан decoder embedding болуп, кийинки үч божомол башы үчүн жалпы өкүлчүлүк милдетин аткарат.

Теңдеме (17): Классификация башы

\[ P_i=\operatorname{Softmax}(W_{\mathrm{cls}}z_i). \tag{17} \]

\(P_i\) \(i\)-queryнин коркунуч класстары боюнча ыктымалдык бөлүштүрүүсү. Softmax класс упайларын нормалдаштырат.

Теңдеме (18): Bounding-box регрессиясы

\[ B_i=\sigma(W_{\mathrm{box}}z_i). \tag{18} \]

\[ B_i=(x_i,y_i,w_i,h_i). \]

\(x_i,y_i\) кутунун ордун, \(w_i,h_i\) туурасын жана бийиктигин билдирет. Sigmoid нормалдаштырылган куту чыгышын чектелген аралыкта кармайт.

Теңдеме (19): Өзүнчө ишенимдүүлүк божомолу

\[ S_i=\sigma(W_{\mathrm{conf}}z_i). \tag{19} \]

\(S_i\in(0,1)\) божомол ишенимдүүлүгүнө тиешелүү scalar confidence мааниси. Бул \(P_i\) класс ыктымалдыгы менен бирдей эмес. Класс branch “кайсы коркунуч?” суроосуна, confidence branch болсо “бул объект божомолу локалдаштыруу жагынан канчалык ишенимдүү?” суроосуна багытталат.

ROAD-DETR кантип окутулат?

Теңдеме (20): Жалпы көп-тапшырмалуу жоготуу

\[ L_{\mathrm{total}} = L_{\mathrm{cls}} +\lambda_1L_{L1} +\lambda_2L_{\mathrm{GIoU}} +\lambda_{\mathrm{conf}}L_{\mathrm{conf}}. \tag{20} \]

\(L_{\mathrm{cls}}\) классификация, \(L_{L1}\) куту координаты, \(L_{\mathrm{GIoU}}\) геометриялык куту жабышуусу жана \(L_{\mathrm{conf}}\) confidence божомол жоготуусу. \(\lambda_1\), \(\lambda_2\) жана \(\lambda_{\mathrm{conf}}\) бул тапшырмалардын оптимизациядагы салыштырмалуу салмактарын башкарат. Булак \(\lambda_{\mathrm{conf}}=1.0\) маанисин бардык эксперименттерде туруктуу колдонгон.

Булак ичиндеги отчеттук эскертүү: Теңдеме (20) жалпы максат функциясын ушул төрт жоготуу компоненти менен аныктайт. Бирок булак 3-сүрөттө окутуу жана валидация графиктеринин арасында кошумча DFL loss ийри сызыктарын да көрсөтөт. Макала бул DFL ийри сызыктарынын Теңдеме (20) менен так байланышын өзүнчө түшүндүрбөйт; ошондуктан бул жерде жаңы жоготуу мүчөсү кошулган жок.

Теңдеме (21): Focal classification loss

\[ L_{\mathrm{cls}} = -\alpha_t(1-p_t)^{\gamma}\log(p_t). \tag{21} \]

\(p_t\) туура класска берилген ыктымалдыктын; \(\alpha_t\) классты тең салмактоо салмагынын; \(\gamma\) жеңил үлгүлөрдүн жоготууга салымын азайткан focusing параметринин белгиси. \(p_t\) 1ге жакындаган сайын \((1-p_t)^\gamma\) кичирейип, буга чейин жеңил классификацияланган үлгүнүн жоготууга таасири азаят.

Теңдеме (22): Confidence үчүн локалдаштыруу-сапат максаты

\[ q_i= \begin{cases} \operatorname{IoU}(B_i,B_i^{gt}), & i\in\mathcal{M},\\ 0, & i\notin\mathcal{M}. \end{cases} \tag{22} \]

\(\mathcal M\) bipartite matching натыйжасында чыныгы объекттер менен дал келген query топтому. Дал келген queryнин confidence максаты 1/0 гана эмес; божомол кутусу менен чыныгы кутунун ортосундагы IoU мааниси. Дал келбеген query үчүн максат нөл. Ошентип confidence score класс тактыгынан өзүнчө локалдаштыруу сапатын үйрөнөт.

Теңдеме (23): Confidence жоготуусу

\[ L_{\mathrm{conf}} = -\frac{1}{N_q} \sum_{i=1}^{N_q} \left[ q_i\log(S_i) + (1-q_i)\log(1-S_i) \right]. \tag{23} \]

Бул query деңгээлиндеги binary cross-entropy түрүндөгү жоготуу; бирок максат \(q_i\) дал келген query-лерде IoU аркылуу үзгүлтүксүз маани ала алат. \(S_i\) менен чыныгы локалдаштыруу сапатынын шайкештигин жогорулатуу көздөлөт.

Эсептөө татаалдыгы

HMSFMдин 1×1 проекцияларынын татаалдыгы:

\[ O\left( \sum_{i=1}^{3}C_iCH_iW_i \right) \]

жана бириктирилген өзгөчөлүк үстүндөгү \(k\times k\) convolution фьюжнунун татаалдыгы:

\[ O(3k^2C^2H_mW_m) \]

деп берилет. Бул чыгым мейкиндик чечилишине жараша сызыктуу масштабдалат.

DAFEM ичиндеги жергиликтүү refinement:

\[ O(k^2C^2H_mW_m), \]

мейкиндик attention:

\[ O(k^2CH_mW_m), \]

канал attention болсо:

\[ O(CH_mW_m+C^2) \]

чыгымына ээ. Үстөм мүчө жергиликтүү convolution бутагы.

HQRMдин чыгымы:

\[ O(CH_mW_m+C^2+N_qC) \]

деп берилет. Ал эми Transformer encoder self-attention мейкиндик чыгымы:

\[ O\left((H_mW_m)^2C\right) \]

масштабында. Авторлордун теориялык жүйөсү жаңы үч модуль encoder–decoder өзөгүнө салыштырмалуу төмөн тартиптеги кошумча жүк алып келет дегенге негизделет. Бул параметрлер санынын 33.7 M → 34.6 M өсүшү менен да шайкеш.

Residual gating үчүн үч теориялык касиет

1. Identity preservation: Теңдеме (12)де \(A_c\odot A_s\rightarrow0\) болгондо:

\[ F_d\rightarrow F_m. \]

Демек attention branch пайдасыз болуп калса да негизги бириктирилген өзгөчөлүк residual жол аркылуу сакталат.

2. Bounded query modulation: Булак боюнча \(G_h\in(0,1)\) болгондо:

\[ \|Q\|_2 \leq \|Q_h\|_2 \leq 2\|Q\|_2 \]

чегин берет. Ошондуктан refinement query-лерди чектелген түрдө чоңойтот; pretrained query маанисин тескери айланткан же толугу менен баскан модуляция эмес.

3. Gradient propagation: DAFEM үчүн:

\[ \frac{\partial F_d}{\partial F_m} = I+ \frac{\partial(F_l\odot A_c\odot A_s)} {\partial F_m}. \]

Residual бутактан келген \(I\) identity оператору attention салмактары кичине болсо да градиенттин мурдагы катмарларга түз өтүшүнө жол берет. Булак ушуга окшош identity мүчө HQRM query туундусунда да бар экенин билдирет.

Изилдөөнүн Ыкмасы жана Жыйынтыктары

Окутуу жана баалоо тартиби

Көзөмөлдөнгөн кыйынчылык деңгээлдери кантип түзүлдү?

Теңдеме (24): Precision

\[ \operatorname{Precision} = \frac{TP}{TP+FP}. \tag{24} \]

\(TP\) туура оң, \(FP\) жалган оң божомолдордун саны. Precision модель “коркунуч бар” деген аныктоолордун канчасы чындап туура экенин өлчөйт. Жогорку precision керексиз жалган эскертүүлөр аз экенин көрсөтөт.

Теңдеме (25): Recall

\[ \operatorname{Recall} = \frac{TP}{TP+FN}. \tag{25} \]

\(FN\) чыныгы коркунуч бар болсо да модель өткөрүп жиберген үлгүлөрдүн саны. Коопсуздук-критикалык коркунуч аныктоодо жогорку recall өзгөчө маанилүү; анткени recall төмөндөгөн сайын өткөрүлүп кеткен коркунучтардын үлүшү өсөт.

Теңдеме (26): F1 упайы

\[ F1 = 2 \frac{ \operatorname{Precision}\times\operatorname{Recall} }{ \operatorname{Precision}+\operatorname{Recall} }. \tag{26} \]

F1 precision менен recallдун гармониялык орточосу. Эки метриканын бири өтө төмөн болсо, F1 да байкаларлык төмөндөйт. Ошондуктан ал жалган эскертүүнү же өткөрүп жиберүү деңгээлин гана эмес, эки жүрүм-турумдун тең салмагын жалпылайт.

Теңдеме (27): Intersection over Union

\[ \operatorname{IoU} = \frac{B^p\cap B^{gt}} {B^p\cup B^{gt}}. \tag{27} \]

\(B^p\) божомолдонгон, \(B^{gt}\) чыныгы bounding box. Алым эки кутунун кесилиш аянты, бөлүм биригүү аянты. IoU 1ге жакындаган сайын божомол кутусу чыныгы куту менен жакшыраак жабышат.

Теңдеме (28): Average Precision

\[ AP= \int_0^1P(R)\,dR. \tag{28} \]

\(P(R)\) recall деңгээлине көз каранды precision ийри сызыгы. AP Precision–Recall ийри сызыгынын астындагы аянтты жыйынтыктайт жана белгилүү бир класстын ар башка confidence босоголорундагы жалпы аныктоо сапатын өлчөйт.

Теңдеме (29): Mean Average Precision

\[ mAP= \frac{1}{N} \sum_{i=1}^{N}AP_i. \tag{29} \]

\(N\) класс саны; ROAD-6-Det үчүн алты класс бар. mAP@50 — IoU=0.50 босогосундагы APлердин орточосу. mAP@50:95 болсо IoU 0.50дөн 0.95ке чейин 0.05 кадам менен эсептелген катуураак локалдаштыруу баасы. Ошондуктан mAP@50:95тин жогору болушу куту объектти гана таппастан, аны такыраак жайгаштырганын да көрсөтөт.

Эң алдыңкы моделдерди салыштыруу

ROAD-DETR эң күчтүү baseline RF-DETR-Mге салыштырмалуу mAP@50ни 85.7%дан 94.2%га, mAP@50:95ти 63.7%дан 72.1%га көтөргөн. Precision 86.7%дан 93.2%га, recall 82.0%дан 91.1%га жана жалпы F1 84.3%дан 93.5%га өскөн. Айрыкча mAP@50:95тин өсүшү модель коркунуч классын табууда гана эмес, катуураак bounding-box жабышуу шарттарында локалдаштырууда да жакшырганын көрсөтөт.

Эсептөө чыгымы жана коопсуздукка багытталган көрсөткүчтөр

ROAD-DETR, RF-DETR-Mге салыштырмалуу параметрлер санын болжол менен %2.7 жана эсептөө чыгымын болжол менен %8.5 көбөйткөнү менен тесттелген RTX PRO A6000 системасында болжол менен 10.1 ms/сүрөт жана 99 FPS камсыз кылган. Булактагы FPR, классикалык true-negative негизиндеги false-positive rate эмес; жалпы божомолдор ичиндеги жалган оң аныктоолордун үлүшү. FNR болсо чыныгы коркунучтар ичиндеги өткөрүлүп кеткен коркунучтардын үлүшү.

ROAD-DETR ар кандай жабдыктарда канчалык тез иштеди?

Бул натыйжалар жабдык контексти маанилүү экенин көрсөтөт. RTX PRO A6000 өтө жогорку throughput берсе, Jetson Orin төмөн FPSке карабастан булакта эң жогорку FPS/W маанисин берген. Raspberry Pi 5те болсо 0.80 FPS реалдуу убакыт видео аныктоо үчүн олуттуу чектелген. Демек “ROAD-DETR 99 FPS иштейт” деген сөз жабдыктан көз карандысыз касиет эмес.

Confidence branch эмне берди?

Булак 6-сүрөттөгү reliability diagram толук ROAD-DETRдын predicted confidence менен эмпирикалык тактыктын ортосундагы байланышы RF-DETR-Mден жана confidence branch алынып салынган ROAD-DETRдан жакшыраак калибрленгенин көрсөтөт. Булак бул графиктен өзүнчө ECE санын билдирбегендиктен, бул жерде графиктен жаңы калибрлөө метрикасы чыгарылган жок.

ROAD-DETR начар аба ырайында жана майда коркунучтарда натыйжасын сактайбы?

ROAD-6-Detте түзүлгөн көзөмөлдөнгөн төмөн жарык, туман, жамгыр, blur жана майда-коркунуч шарттарында ROAD-DETR салыштырылган Transformer моделдеринен жогорку натыйжа көрсөткөн; бирок бул эксперименттер чексиз реалдуу дүйнө аба шарттарында cross-domain валидация эмес, жалпы тест сүрөттөрүнө көзөмөлдөнгөн кыйынчылык колдонуу аркылуу жүргүзүлгөн robustness баалоосу.

Класс боюнча кайсы коркунучтар кыйыныраак?

Эң жогорку AP@50 кырсыкка кабылган унааларда 97.8% жана кулаган дарактарда 96.9%. Май төгүлүшү 91.2% жана беттик суу 92.0% менен кыйыныраак класстар. Булак муну начар чек аралар жана чагылдыруучу/аморфтук көрүнүштөр менен байланыштырат. Confusion matrixтерде эң көп чаташкан жуптардын бири Oil Spill менен Surface Water.

F1 отчеттук эскертүү: Негизги benchmark таблицасында precision 93.2% жана recall 91.1%дан эсептелген жалпы F1 93.5% деп берилген. Класс боюнча F1 маанилеринин 6-таблицадагы “Mean” сабы болсо 92.1%. Бул эки маани ар башка агрегаттоо формаларын билдиргендиктен, бири экинчисинин ордуна колдонулбашы керек.

Кумулятивдик абляция: Ар бир модуль канча салым кошту?

HMSFM жалгыз өзү baselineге салыштырмалуу mAP@50дө 2.7, mAP@50:95те 2.5 пайыздык пункт өсүш берген. DAFEM кошулганда маанилер 90.6 жана 68.7ге; HQRM менен 92.3 жана 70.5ке; confidence branch менен 94.2 жана 72.1ге көтөрүлгөн. Бул кумулятивдик эксперимент ар бир кошумча компонент толук pipeline ичинде оң салым бергенин көрсөтөт.

Көз карандысыз абляция: Модулдар кайсы түрдөгү кыйынчылыкта натыйжалуураак?

HMSFMдин эң чоң көз карандысыз салымы майда коркунучтарда байкалып, baseline 79.8%дан 83.2%га көтөрүлгөн. DAFEM жамгыр/туман шартында 82.6 → 86.0, төмөн жарыкта 81.4 → 85.2 өсүш берген. HQRM бардык шарттарда өсүш берсе да, айрыкча төмөн жарык жана майда коркунуч шарттарында пайда көрсөткөн. Толук модель төрт топтун баарында бир-модулдуу варианттардан байкаларлык жогорку натыйжа берген.

Изилдөө колдогон жыйынтыктар

• ROAD-6-Det, ROAD-6ны сүрөт-деңгээлдеги таануудан bounding-box негизиндеги объект локалдаштырууга кеңейткен.
• ROAD-DETR, ROAD-6-Detтин жалпы тест бөлүмүндө салыштырылган YOLO жана Transformer моделдеринен жогорку билдирилген жалпы натыйжа алган.
• mAP@50:95тин өсүшү катуураак IoU босоголорунда да локалдаштыруу тактыгы жакшырганын көрсөтөт.
• HMSFM майда коркунучтар үчүн, DAFEM начар көрүнүү шарттары үчүн өзгөчө пайдалуу көз карандысыз салымдарды көрсөткөн.
• HQRM көрүнүш контекстине жараша object query-лерди жакшыртып, baselineге салыштырмалуу туруктуу натыйжа өсүшүн камсыз кылган.
• Confidence branch кошулушу detection натыйжасын да жогорулатып, reliability diagramда confidence калибрлөөнү да жакшырткан.
• RTX PRO A6000де модель 99 FPS; Jetson Orinде 26 FPS өлчөнгөн.

Изилдөө колдобогон жалпылоолор жана чектөөлөр

• Баалоо негизинен ROAD-6-Detте жүргүзүлгөн; натыйжалар чексиз cross-domain жалпылоонун далили эмес.
• Башка бар маалымат топтомдорунун класс жана аннотация түзүмдөрү ар башка болгондуктан, түз алты класстуу cross-dataset benchmark жүргүзүлгөн эмес.
• Robustness тесттериндеги төмөн жарык, туман, жамгыр жана blur шарттарынын бир бөлүгү көзөмөлдөнгөн сүрөт бузулуулары менен түзүлгөн; алар бардык чыныгы метеорологиялык шарттардын ордун баспайт.
• ROAD-DETR RGB сүрөттү гана колдонот; тереңдик, геометрия жана кыймыл маалыматын берген LiDAR же radar бул моделде колдонулган эмес.
• Oil Spill, Surface Water жана Icy Road сыяктуу аморфтук беттик коркунучтар окторго параллелдүү bounding box менен болжолдуу гана чагылдырылышы мүмкүн.
• Моделдин жогорку benchmark натыйжасы өз алдынча автономдуу унаа коопсуздугун же чыныгы айдоо коопсуздук сертификациясын билдирбейт.
• Raspberry Pi 5теги 0.80 FPS натыйжасы ресурсу чектелген CPU платформаларында реалдуу убакыт колдонуу азыркы түрүндө чектелүү экенин көрсөтөт.

Келечектеги изилдөө

Авторлор келечекте ар башка жол жана чөйрө шарттарында категорияга шайкеш унаа негизиндеги маалыматтарды чогултуп көз карандысыз zero-shot баалоо жүргүзүүнү, RGBни LiDAR геометриясы/тереңдиги, radar аралык-кыймыл маалыматы жана V2X контексти менен бириктирген multimodal hazard perception түзүмдөрүн иштеп чыгууну жана аморфтук жол коркунучтары үчүн bounding boxтан такыраак shape-aware өкүлчүлүк ыкмаларын изилдөөнү пландашат.

Булак жана Ыкма Жөнүндө Эскертүү

Түпнуска аталышы: Learning to Expect the Unexpected: Benchmarking and Detecting Unexpected Road Hazards

Авторлор: Temirova Zubayda Okmirzaevna; Shehzad Ali; Rafał Scherer; Arslan Munir; Khan Muhammad.

Жооптуу авторлор: Arslan Munir; Khan Muhammad.

Мекемелер: Visual Analytics for Knowledge Laboratory (VIS2KNOW Lab), Department of Applied Artificial Intelligence, College of Computing and Informatics, Sungkyunkwan University, Seoul, Republic of Korea; Department of Artificial Intelligence, Częstochowa University of Technology, Częstochowa, Poland; Intelligent Systems, Computer Architecture, Analytics, and Security Laboratory (ISCAAS Lab), Department of Electrical Engineering and Computer Science, Florida Atlantic University, Boca Raton, USA.

Журнал: Mathematics.

Басма: MDPI.

Библиографиялык жазуу: Mathematics 2026, 14(19), 3543.

DOI: 10.3390/math14193543

Жөнөтүлгөн: 30-июль 2026. Ревизия: 15-сентябрь 2026. Кабыл алынган: 24-сентябрь 2026. Жарыяланган: 29-сентябрь 2026.

Булак түрү: Рецензияланган изилдөө макаласы; компьютердик көрүү, объект аныктоо, benchmark маалымат топтомун иштеп чыгуу жана эксперименттик терең үйрөнүү моделин баалоо.

Лицензия: Creative Commons Attribution (CC BY).

Academic Editor: Lukun Wang.

Каржылоо билдирүүсү: Макаланын Funding бөлүмүндө “This research received no external funding” деген билдирүү бар.

Acknowledgments билдирүүсү: Өзүнчө Acknowledgments бөлүмүндө изилдөө ANCHOR аркылуу Seoul ANCHOR Center тарабынан колдоого алынганы жана программа Ministry of Education менен Seoul Metropolitan Government тарабынан каржыланганы, долбоор номери 2026-ANCHOR-01-018-01 экени көрсөтүлгөн. Бул эки булак билдирүүсү бул жерде бири-бирине айландырылбастан өзүнчө сакталган.

Маалымат жана код жеткиликтүүлүгү: Макала ROAD-6-Det маалымат топтому менен булак коду GitHubдагы ROAD-6-Det репозиторийинде ачык экенин жана тиешелүү булакка 23-сентябрь 2026 күнү кирилгенин билдирет.

Кызыкчылыктардын кагылышы: Авторлор кызыкчылыктардын кагылышы жок экенин билдиришкен.

Авторлордун салымдары: Концептуалдаштыруу жана методология бардык авторлор; программалык камсыздоо Temirova Zubayda Okmirzaevna жана Shehzad Ali; валидация Rafał Scherer, Arslan Munir жана Khan Muhammad; формалдык талдоо жана изилдөө бардык авторлор; ресурстар Temirova Zubayda Okmirzaevna, Shehzad Ali жана Khan Muhammad; маалыматтарды курациялоо Temirova Zubayda Okmirzaevna; алгачкы долбоор Temirova Zubayda Okmirzaevna, Shehzad Ali жана Khan Muhammad; карап чыгуу/редакциялоо бардык авторлор; визуалдаштыруу Temirova Zubayda Okmirzaevna, Shehzad Ali жана Khan Muhammad; жетекчилик жана долбоорду башкаруу Arslan Munir менен Khan Muhammad; каржылоону алуу Khan Muhammad тарабынан жүргүзүлгөн.

Булак ичиндеги отчеттук эскертүүлөр: HMSFM негизги ыкма бөлүмүндө “Hazard-Aware Multi-Scale Fusion Module” деп аталып, 7-таблица түшүндүрмөсүндө “Hierarchical Multi-Scale Fusion” деп чечмеленген. Теңдеме (20) төрт жоготуу компонентин аныктаса, 3-сүрөттө кошумча DFL loss ийри сызыктары бар жана булак бул айырманы ачыкча шайкеш келтирбейт. Жалпы F1 упайы 93.5% болсо, класс боюнча F1 маанилеринин 6-таблицадагы орточосу 92.1%; эки натыйжа ар башка агрегаттоо деңгээлдеринде сакталган.

Негизги чечмелөө чеги: ROAD-DETRдын билдирилген натыйжалары ROAD-6-Det тест бөлүмүнө жана изилдөөдө аныкталган robustness эксперименттерине тиешелүү. Изилдөө көз карандысыз алты класстуу cross-dataset zero-shot баалоону, чыныгы унаада ачык жол коопсуздугун валидациялоону же бардык аба ырайы/география шарттарында натыйжа кепилдигин бербейт.