ROAD-DETR, ni mfumo wa utambuzi wa vitu unaotegemea Transformer na unaozingatia ugumu, ulioundwa kwa ajili ya kuweka mahali hatari zisizotarajiwa barabarani katika viwango tofauti, mipaka dhaifu ya kuona na hali duni za picha. Utafiti pia unawasilisha ROAD-6-Det unaoitwa hivyo, seti ya data ya benchmark yenye picha 33.784 na anoteshini za bounding box zilizo sambamba na mhimili kwa hatari sita zisizotarajiwa barabarani. ROAD-DETR inaunganisha moduli tatu maalum kwa kazi — Hazard-Aware Multi-Scale Fusion Module (HMSFM), Difficulty-Aware Feature Enhancement Module (DAFEM) na Hazard Query Refinement Module (HQRM) — pamoja na confidence branch inayojifunza uaminifu wa utabiri kulingana na ubora wa lokalizesheni.

Katika sehemu ya pamoja ya majaribio kwenye ROAD-6-Det, ROAD-DETR ilipata 94.2% mAP@50, 72.1% mAP@50:95, 93.2% precision, 91.1% recall na 93.5% F1 ya jumla. Modelii msingi yenye nguvu zaidi RF-DETR-M ilikuwa na mAP@50 ya 85.7% na mAP@50:95 ya 63.7%. Modelii pia iliripoti utendaji wa 90.6% katika mwanga hafifu sana, 90.8% katika ukungu mzito, 90.4% katika mvua kubwa, 88.6% katika ukungu wa picha ulio mkali na 90.1% katika kundi gumu zaidi la hatari ndogo.

Matokeo haya yanatumika kwa masharti ya majaribio ya ROAD-6-Det na uharibifu wa picha uliodhibitiwa ulioundwa katika utafiti. Utafiti hauonyeshi kwamba gari halisi linalojiendesha limeendesha kwa usalama kwenye barabara wazi, kwamba litadumisha utendaji huo katika nchi zote au seti za data ambazo halijawahi kuona, wala kwamba ROAD-DETR peke yake inatosha kwa uendeshaji unaohusisha usalama muhimu.

Tatizo la utafiti

Seti za data za kawaida za uendeshaji wa magari yanayojiendesha hulenga zaidi vitu vya kawaida vya trafiki kama magari, watembea kwa miguu, waendesha baiskeli, alama za barabarani na mistari ya barabara. Hatari zisizotarajiwa barabarani huleta tatizo tofauti kwa mifumo ya utambuzi wa vitu. Mti ulioanguka au gari lililopata ajali unaweza kuwa kitu kikubwa na chenye muundo, ilhali mafuta yaliyomwagika, maji juu ya uso au barabara yenye barafu ni maeneo mapana na yasiyo na umbo maalum yenye mipaka dhaifu dhidi ya muundo wa barabara unaozunguka. Mabaki ya barabarani yanaweza pia kuchukua sehemu ndogo sana ya picha.

Chanzo kinabainisha changamoto tatu kuu kwa vigunduzi vinavyotegemea Transformer: kubadilika sana kwa kipimo cha anga cha hatari, kupungua kwa uwezo wa vipengele vya kati kutofautisha kutokana na hali mbaya ya hewa au kontrasti ndogo, na object query za kawaida zinazoweza kujifunzwa kutoweza kuwakilisha vya kutosha hatari adimu au zisizoeleweka. Moduli tatu za ROAD-DETR zimeundwa kukabiliana na matatizo hayo matatu.

ROAD-6-Det ni nini?

ROAD-6-Det ni benchmark ya utambuzi wa vitu yenye picha 33.784 inayopanua ROAD-6, ambayo awali ilitengenezwa kwa uainishaji wa kiwango cha picha, hadi lokalizesheni ya kiwango cha kitu na kutoa anoteshini za bounding box kwa hatari sita zisizotarajiwa barabarani.

Madarasa sita ya hatari

• Accident Vehicle — Gari lililohusika katika ajali: Gari lililopata ajali linalovuruga mtiririko wa trafiki au kuunda hali hatari ya kuendesha.
• Fallen Tree — Mti ulioanguka: Mti na matawi makubwa yanayozuia sehemu au barabara nzima.
• Road Debris — Mabaki/takataka za barabarani: Tairi, sehemu ya gari, vifaa vya ujenzi au vitu vingine visivyotarajiwa vilivyo juu ya barabara.
• Oil Spill — Mafuta yaliyomwagika: Uchafuzi wa kimiminika unaoweza kupunguza mshiko kati ya tairi na barabara.
• Surface Water — Maji juu ya uso: Mkusanyiko wa maji unaotokana na mvua, mafuriko au matatizo ya mifereji ya maji.
• Icy Road — Barabara yenye barafu: Uso wa barabara uliofunikwa na barafu unaoweza kuongeza hatari ya kuteleza na kupoteza udhibiti wa gari.

Seti ya data iliundwaje?

ROAD-6-Det huhifadhi madarasa yale yale sita na muundo wa picha wa ROAD-6 huku ikiongeza bounding box zilizo sambamba na mhimili kwa mifano yote ya hatari inayoonekana. Picha zilikusanywa katika utafiti wa chanzo wa ROAD-6 kutoka vyanzo vya mtandaoni vilivyo wazi kwa umma, hifadhidata za mandhari za barabarani na picha halisi za uendeshaji. Seti ya data ina picha asili pamoja na picha zilizotokana na augmentatsiya.

Ili kupunguza uvujaji wa data, picha asili na mifano ya augmentatsiya iliyotokana nayo ziliwekwa katika sehemu ile ile ya data. Kwa njia hii, toleo la augmentatsiya la picha asili iliyoko kwenye mafunzo halikuruhusiwa kuingia katika sehemu ya uthibitishaji au majaribio. Seti za mafunzo, uthibitishaji na majaribio zimetenganishwa.

Ubora wa anoteshini ulikaguliwaje?

Bounding box ziliandaliwa kwa mikono na watafiti wenye uzoefu katika uoni wa kompyuta na utambuzi wa vitu. Annotator waliombwa kuzungushia kwa ukaribu iwezekanavyo eneo linaloonekana la hatari na kutoweka mandharinyuma yasiyohusika ndani ya kisanduku. Baada ya anoteshini ya awali, picha zote zilipitia ukaguzi wa ubora wa mikono kwa kutumia kiolesura cha Roboflow; hatari zilizokosekana, ufunikaji usio sahihi na visanduku vilivyolegea au kuwekwa vibaya vilikaguliwa tena. Uangalifu maalum ulipewa hatari ndogo, zilizofunikwa kwa sehemu na hatari za uso zenye mipaka isiyoeleweka.

ROAD-6-Det inatofautianaje na seti nyingine za data?

ROAD-DETR inatambuaje hatari zisizotarajiwa barabarani?

ROAD-DETR kwanza hutoa ramani za vipengele vya kiwango cha chini, cha kati na cha juu kutoka backbone ya RF-DETR; HMSFM huzibadilisha kuwa uwakilishi wa pamoja wa hatari wa viwango vingi, DAFEM huimarisha maeneo magumu ya kuona kwa attention ya chaneli na anga, na HQRM hupima upya object query kwa kutumia muktadha wa hatari mahususi wa mandhari kabla ya kuingia kwenye Transformer decoder.

Mlinganyo (1): Vipengele vya kihierarkia vya backbone

\[ F=\{F_1,F_2,F_3\}. \tag{1} \]

Picha ya ingizo \(I\in\mathbb{R}^{H\times W\times3}\) ina umbo hili. Backbone huzalisha ramani za vipengele \(F_1\), \(F_2\) na \(F_3\) katika viwango vitatu tofauti vya semantiki. Kila ramani ya kipengele:

\[ F_i\in\mathbb{R}^{C_i\times H_i\times W_i} \]

ina umbo hili. \(C_i\) inawakilisha idadi ya chaneli, na \(H_i\), \(W_i\) vipimo vya anga. Viwango vya chini hubeba maelezo mengi zaidi ya mahali kwa usahihi, huku viwango vya juu vikibeba muktadha wenye nguvu zaidi wa semantiki.

Mlinganyo (2): Fusion ya viwango vingi kwa HMSFM

\[ F_m=\Phi_{\mathrm{HMSFM}}(F_1,F_2,F_3). \tag{2} \]

\(\Phi_{\mathrm{HMSFM}}\) ni mkusanyiko wa operesheni zinazoweza kujifunzwa zinazobadilisha viwango vitatu vya vipengele kuwa uwakilishi mmoja wa pamoja wa hatari. \(F_m\in\mathbb{R}^{C\times H_m\times W_m}\) ni ramani ya kipengele ya viwango vingi iliyounganishwa. Lengo kuu la fomula hii ni kuhifadhi ishara za anga za mabaki madogo ya barabarani pamoja na taarifa za semantiki za kiwango cha juu kutoka magari yaliyopata ajali au miti iliyoanguka katika nafasi moja ya vipengele.

Mlinganyo (3): Uimarishaji wa vipengele kwa DAFEM

\[ F_d=\Phi_{\mathrm{DAFEM}}(F_m). \tag{3} \]

\(F_d\) ni uwakilishi ulioboreshwa unaolenga kuimarisha vipengele vya maeneo ya hatari ambayo ni vigumu kugundua kwa sababu ya hali mbaya ya hewa, mwanga hafifu, kontrasti dhaifu kati ya kitu na mandharinyuma au mipaka isiyoeleweka. DAFEM haisafishi picha kimwili; hupima upya chaneli na maeneo yenye taarifa katika nafasi ya vipengele.

Mlinganyo (4): Uboreshaji wa query unaozingatia hatari

\[ Q_h=\Phi_{\mathrm{HQRM}}(Q,F_d). \tag{4} \]

\(Q\in\mathbb{R}^{N_q\times C}\) ni seti ya object query zinazoweza kujifunzwa za Transformer. \(N_q\) ni idadi ya query. HQRM huunganisha query zilizojifunzwa kwa uthabiti na vipengele vya hatari vilivyopo katika mandhari na kuzipanga upya kuwa \(Q_h\).

Mlinganyo (5): Tokeo la Transformer decoder

\[ Z=\operatorname{Decoder}(F_d,Q_h). \tag{5} \]

\(Z\) ni decoder embedding zitakazotumiwa na vichwa vya uainishaji na regression ya bounding-box. Hivyo utabiri wa mwisho wa modeli hutegemea vipengele vilivyoboreshwa vya picha \(F_d\) pamoja na query za hatari \(Q_h\) zilizorekebishwa kwa mandhari.

Muundo wa ndani wa HMSFM

Mlinganyo (6): Projeksheni katika nafasi ya pamoja ya embedding

\[ \hat F_i=\psi_i(F_i). \tag{6} \]

\(\psi_i\) ni projeksheni ya 1×1 convolution inayoweza kujifunzwa kwa kila kiwango cha backbone. Hubadilisha ramani \(F_i\) zenye idadi tofauti za chaneli kuwa ukubwa mmoja wa embedding. 1×1 convolution huchanganya chaneli bila kupanua ujirani wa anga.

Mlinganyo (7): Kuunganisha vipengele vya viwango vingi

\[ F_c=\operatorname{Concat}(\hat F_1,\hat F_2,\hat F_3). \tag{7} \]

Kwanza ramani za vipengele zilizoprojektiwa hubadilishwa ukubwa hadi azimio moja la anga; kisha huunganishwa kwa mwelekeo wa chaneli. \(F_c\) hubeba pamoja maelezo madogo ya anga na semantiki ya kiwango cha juu ya mandhari ile ile.

Mlinganyo (8): Fusion ya convolution

\[ F_m=\sigma(W_f*F_c+b_f). \tag{8} \]

\(*\) inaonyesha operesheni ya convolution, \(W_f\) vichujio vinavyoweza kujifunzwa, \(b_f\) bias na \(\sigma\) uamilishaji usio wa mstari. Hatua hii haiweki vipengele pamoja tu; hujifunza vipengele vipya vya hatari vya viwango vingi kutoka taarifa iliyounganishwa.

Hali ngumu za picha zinashughulikiwaje ndani ya DAFEM?

Chanzo kinatoa modeli ya kawaida isiyo na nambari ya uundaji wa picha ili kueleza uharibifu wa angahewa kama ukungu au mvua:

\[ I(x)=J(x)t(x)+A(1-t(x)). \]

\(I(x)\) ni picha inayotazamwa, \(J(x)\) ni mng’ao halisi wa mandhari chini yake, \(t(x)\) ni mgawo wa upitishaji na \(A\) ni mwanga wa angahewa. Kadiri \(t(x)\) inavyopungua, kontrasti na muundo wa picha unaotofautisha hudhoofika. ROAD-DETR haitatui mlinganyo huu kinyume ili kufanya dehazing; DAFEM huimarisha vipengele vilivyobaki vyenye taarifa kwa attention.

Mlinganyo (9): Uchimbaji wa kipengele cha eneo

\[ F_l=\phi_l(F_m). \tag{9} \]

\(\phi_l\) ni opereta ya uchimbaji wa kipengele cha eneo inayotegemea convolution na kufanya kazi juu ya ramani ya vipengele iliyounganishwa. Tokeo \(F_l\) ndilo ingizo kuu la hesabu za attention ya chaneli na anga.

Mlinganyo (10): Attention ya chaneli

\[ A_c= \sigma\left( W_c(\operatorname{GAP}(F_l)) \right). \tag{10} \]

GAP ni operesheni ya Global Average Pooling. Hukusanya taarifa ya anga ya kila chaneli kuwa thamani moja ya muhtasari. \(W_c\) hubadilisha muhtasari huu kwa namna inayoweza kujifunzwa na sigmoid \(\sigma\) huweka uzito wa attention katika masafa yaliyodhibitiwa. Lengo ni kutoa mchango mkubwa zaidi kwa feature channel zenye taarifa zaidi kwa utambuzi wa hatari.

Mlinganyo (11): Attention ya anga

\[ A_s=\sigma(W_s*F_l). \tag{11} \]

\(W_s\) ni kiini cha convolution cha anga kinachoweza kujifunzwa. \(A_s\) ni ramani ya attention inayobainisha maeneo gani ya anga katika picha ni muhimu zaidi kwa hatari.

Mlinganyo (12): Kipengele cha residual kinachozingatia ugumu

\[ F_d=F_l\odot A_c\odot A_s+F_m. \tag{12} \]

\(\odot\) ni kuzidisha elementi kwa elementi. Kwanza \(F_l\) hupimwa upya kwa attention ya chaneli na anga; baadaye \(F_m\) asili huongezwa kwa muunganisho wa residual. Neno la residual ni muhimu: hata attention ikiwa dhaifu sana, kipengele msingi cha viwango vingi hakipotei.

Muundo wa ndani wa HQRM

Mlinganyo (13): Muktadha wa jumla wa hatari

\[ C_h=\operatorname{GAP}(F_d). \tag{13} \]

\(C_h\) ni vekta fupi ya muktadha wa jumla ya ramani ya vipengele iliyoboreshwa. Chanzo kinapendelea global pooling badala ya muundo mzito zaidi unaofanana na deformable-attention kwa sababu ya gharama ndogo ya ziada ya hesabu.

Mlinganyo (14): Projeksheni ya muktadha katika nafasi ya query

\[ G_h=\delta(W_hC_h). \tag{14} \]

\(W_h\) ni vigezo vya projeksheni vinavyoweza kujifunzwa na \(\delta\) ni uamilishaji usio wa mstari. \(G_h\) hubadilisha muktadha wa mandhari kuwa ukubwa wa embedding unaooana na object query.

Mlinganyo (15): Residual query gating

\[ Q_h=Q+G_h\odot Q. \tag{15} \]

Maana ya msingi iliyojifunzwa ya kila query, \(Q\), huhifadhiwa; \(G_h\odot Q\) huongeza muktadha wa hatari mahususi wa mandhari. Fomula hii:

\[ Q_h=(1+G_h)\odot Q \]

inaweza pia kufikiriwa kwa namna hiyo. Chanzo, kwa kudhani \(G_h\in(0,1)\), kinaeleza kuwa kuratibu za query hupimwa kati ya 1 na 2; ishara ya query haigeuzwi wala kubanwa hadi sifuri.

Mlinganyo (16): Seti ya embedding za decoder

\[ Z=\{z_1,z_2,\ldots,z_{N_q}\}. \tag{16} \]

Kila \(z_i\) ni decoder embedding inayohusiana na object query moja na hutumika kama uwakilishi wa pamoja kwa vichwa vitatu vya utabiri vinavyofuata.

Mlinganyo (17): Kichwa cha uainishaji

\[ P_i=\operatorname{Softmax}(W_{\mathrm{cls}}z_i). \tag{17} \]

\(P_i\) ni mgawanyo wa uwezekano wa query ya \(i\) kwa madarasa ya hatari. Softmax hurekebisha alama za madarasa.

Mlinganyo (18): Regression ya bounding-box

\[ B_i=\sigma(W_{\mathrm{box}}z_i). \tag{18} \]

\[ B_i=(x_i,y_i,w_i,h_i). \]

\(x_i,y_i\) zinawakilisha nafasi ya kisanduku, na \(w_i,h_i\) upana na urefu. Sigmoid huweka tokeo la kisanduku lililorekebishwa ndani ya masafa yaliyodhibitiwa.

Mlinganyo (19): Utabiri tofauti wa uaminifu

\[ S_i=\sigma(W_{\mathrm{conf}}z_i). \tag{19} \]

\(S_i\in(0,1)\) ni thamani ya scalar confidence ya uaminifu wa utabiri. Thamani hii si sawa na uwezekano wa darasa \(P_i\). Class branch hujibu swali “ni hatari gani?”, na confidence branch hujibu “utabiri huu wa kitu unaaminika kwa kiwango gani kwa upande wa lokalizesheni?”.

ROAD-DETR inafunzwaje?

Mlinganyo (20): Hasara ya jumla ya majukumu mengi

\[ L_{\mathrm{total}} = L_{\mathrm{cls}} +\lambda_1L_{L1} +\lambda_2L_{\mathrm{GIoU}} +\lambda_{\mathrm{conf}}L_{\mathrm{conf}}. \tag{20} \]

\(L_{\mathrm{cls}}\) ni hasara ya uainishaji, \(L_{L1}\) ya kuratibu za kisanduku, \(L_{\mathrm{GIoU}}\) ya ufunikaji wa kijiometri wa visanduku na \(L_{\mathrm{conf}}\) ya utabiri wa confidence. \(\lambda_1\), \(\lambda_2\) na \(\lambda_{\mathrm{conf}}\) hudhibiti uzito wa jamaa wa majukumu haya katika uboreshaji. Chanzo kilitumia \(\lambda_{\mathrm{conf}}=1.0\) kwa uthabiti katika majaribio yote.

Dokezo la kuripoti ndani ya chanzo: Mlinganyo (20) hufafanua lengo la jumla kwa vipengele hivi vinne vya hasara. Hata hivyo, katika Kielelezo 3 cha chanzo pia kuna mikunjo ya DFL loss miongoni mwa grafu za mafunzo na uthibitishaji. Makala haielezi kando uhusiano kamili wa mikunjo hii ya DFL na Mlinganyo (20); kwa hiyo hakuna neno jipya la hasara lililoongezwa hapa.

Mlinganyo (21): Focal classification loss

\[ L_{\mathrm{cls}} = -\alpha_t(1-p_t)^{\gamma}\log(p_t). \tag{21} \]

\(p_t\) ni uwezekano uliotolewa kwa darasa sahihi; \(\alpha_t\) ni uzito wa kusawazisha darasa; na \(\gamma\) ni kigezo cha focusing kinachopunguza mchango wa mifano rahisi kwenye hasara. Kadiri \(p_t\) inavyokaribia 1, \((1-p_t)^\gamma\) hupungua na athari ya mfano uliokwishaainishwa kwa urahisi kwenye hasara hupungua.

Mlinganyo (22): Lengo la ubora wa lokalizesheni kwa Confidence

\[ q_i= \begin{cases} \operatorname{IoU}(B_i,B_i^{gt}), & i\in\mathcal{M},\\ 0, & i\notin\mathcal{M}. \end{cases} \tag{22} \]

\(\mathcal M\) ni seti ya query zilizolinganishwa na vitu halisi kutokana na bipartite matching. Lengo la confidence kwa query iliyolinganishwa si 1/0 tu; ni thamani ya IoU kati ya kisanduku cha utabiri na kisanduku halisi. Kwa query isiyolinganishwa, lengo ni sifuri. Hivyo confidence score hujifunza ubora wa lokalizesheni tofauti na usahihi wa darasa.

Mlinganyo (23): Hasara ya Confidence

\[ L_{\mathrm{conf}} = -\frac{1}{N_q} \sum_{i=1}^{N_q} \left[ q_i\log(S_i) + (1-q_i)\log(1-S_i) \right]. \tag{23} \]

Hii ni hasara ya binary cross-entropy katika kiwango cha query; hata hivyo, lengo \(q_i\) linaweza kuwa na thamani endelevu kupitia IoU kwa query zilizolinganishwa. Lengo ni kuongeza ulinganifu kati ya \(S_i\) na ubora halisi wa lokalizesheni.

Utata wa kihesabu

Utata wa projeksheni za 1×1 za HMSFM:

\[ O\left( \sum_{i=1}^{3}C_iCH_iW_i \right) \]

na utata wa fusion ya \(k\times k\) convolution juu ya kipengele kilichounganishwa:

\[ O(3k^2C^2H_mW_m) \]

hutolewa hivyo. Gharama hii hukua kwa mstari kulingana na azimio la anga.

Refinement ya eneo ndani ya DAFEM:

\[ O(k^2C^2H_mW_m), \]

attention ya anga:

\[ O(k^2CH_mW_m), \]

attention ya chaneli:

\[ O(CH_mW_m+C^2) \]

ina gharama hiyo. Neno linalotawala ni tawi la convolution la eneo.

Gharama ya HQRM:

\[ O(CH_mW_m+C^2+N_qC) \]

hutolewa hivyo. Kwa upande mwingine, gharama ya anga ya self-attention ya Transformer encoder ni:

\[ O\left((H_mW_m)^2C\right) \]

katika kiwango hicho. Hoja ya kinadharia ya waandishi ni kwamba moduli tatu mpya zinaongeza mzigo wa daraja la chini zaidi kuliko kiini cha encoder–decoder. Hili pia linaendana na ongezeko la idadi ya vigezo kutoka 33.7 M → 34.6 M.

Sifa tatu za kinadharia za residual gating

1. Identity preservation: Katika Mlinganyo (12), wakati \(A_c\odot A_s\rightarrow0\):

\[ F_d\rightarrow F_m. \]

Yaani hata attention branch ikiwa haina manufaa, kipengele msingi kilichounganishwa huhifadhiwa kupitia njia ya residual.

2. Bounded query modulation: Kulingana na chanzo, wakati \(G_h\in(0,1)\):

\[ \|Q\|_2 \leq \|Q_h\|_2 \leq 2\|Q\|_2 \]

hutoa mpaka huo. Kwa hiyo refinement huongeza query kwa kiwango kilichodhibitiwa; si modulesheni inayogeuza maana ya pretrained query au kuifinya kabisa.

3. Gradient propagation: Kwa DAFEM:

\[ \frac{\partial F_d}{\partial F_m} = I+ \frac{\partial(F_l\odot A_c\odot A_s)} {\partial F_m}. \]

Opereta ya identity \(I\) kutoka tawi la residual hutoa njia ambayo gradient inaweza kupita moja kwa moja hadi tabaka za awali hata uzito wa attention unapokuwa mdogo. Chanzo kinaeleza kuwa neno la identity linalofanana pia lipo katika derivative ya query ya HQRM.

Mbinu na Matokeo ya Utafiti

Mpangilio wa mafunzo na tathmini

Viwango vya ugumu vinavyodhibitiwa viliundwaje?

Mlinganyo (24): Precision

\[ \operatorname{Precision} = \frac{TP}{TP+FP}. \tag{24} \]

\(TP\) ni idadi ya utabiri chanya sahihi na \(FP\) ni idadi ya utabiri chanya wa uongo. Precision hupima ni utambuzi gani kati ya wale ambao modeli imesema “kuna hatari” ambao kwa kweli ni sahihi. Precision ya juu inaonyesha tahadhari za uongo zisizo za lazima ni chache.

Mlinganyo (25): Recall

\[ \operatorname{Recall} = \frac{TP}{TP+FN}. \tag{25} \]

\(FN\) ni idadi ya mifano ambayo hatari halisi ipo lakini modeli imeikosa. Katika utambuzi wa hatari muhimu kwa usalama, recall ya juu ni muhimu hasa; kwa sababu recall inapopungua, uwiano wa hatari zinazokosekana huongezeka.

Mlinganyo (26): Alama ya F1

\[ F1 = 2 \frac{ \operatorname{Precision}\times\operatorname{Recall} }{ \operatorname{Precision}+\operatorname{Recall} }. \tag{26} \]

F1 ni wastani wa harmoniki wa precision na recall. Ikiwa mojawapo ya vipimo hivyo viwili ni vya chini sana, F1 pia hupungua kwa kiasi kikubwa. Kwa hiyo inafupisha si tahadhari za uongo pekee au kiwango cha kukosa pekee, bali usawaziko wa tabia hizo mbili.

Mlinganyo (27): Intersection over Union

\[ \operatorname{IoU} = \frac{B^p\cap B^{gt}} {B^p\cup B^{gt}}. \tag{27} \]

\(B^p\) ni bounding box iliyotabiriwa na \(B^{gt}\) ni bounding box halisi. Namba ya juu ni eneo la makutano ya visanduku viwili na ya chini ni eneo la muungano. Kadiri IoU inavyokaribia 1, kisanduku kilichotabiriwa hufunika vizuri zaidi kisanduku halisi.

Mlinganyo (28): Average Precision

\[ AP= \int_0^1P(R)\,dR. \tag{28} \]

\(P(R)\) ni mkunjo wa precision unaotegemea kiwango cha recall. AP hufupisha eneo chini ya mkunjo wa Precision–Recall na kupima ubora wa jumla wa utambuzi wa darasa fulani katika vizingiti tofauti vya confidence.

Mlinganyo (29): Mean Average Precision

\[ mAP= \frac{1}{N} \sum_{i=1}^{N}AP_i. \tag{29} \]

\(N\) ni idadi ya madarasa; ROAD-6-Det ina madarasa sita. mAP@50 ni wastani wa AP katika kizingiti cha IoU=0.50. mAP@50:95 ni tathmini kali zaidi ya lokalizesheni inayohesabiwa kutoka IoU 0.50 hadi 0.95 kwa hatua za 0.05. Kwa hiyo mAP@50:95 ya juu inaonyesha kwamba kisanduku hakijapata kitu tu, bali kimekiweka kwa usahihi zaidi.

Ulinganisho wa modeli za hali ya juu

Ikilinganishwa na baseline yenye nguvu zaidi RF-DETR-M, ROAD-DETR iliongeza mAP@50 kutoka 85.7% hadi 94.2% na mAP@50:95 kutoka 63.7% hadi 72.1%. Precision iliongezeka kutoka 86.7% hadi 93.2%, recall kutoka 82.0% hadi 91.1% na F1 ya jumla kutoka 84.3% hadi 93.5%. Hasa, ongezeko la mAP@50:95 linaonyesha kwamba modeli imeboreshwa si katika kutambua darasa la hatari pekee, bali pia katika lokalizesheni chini ya masharti makali zaidi ya ufunikaji wa bounding-box.

Gharama ya hesabu na viashiria vinavyolenga usalama

Ikilinganishwa na RF-DETR-M, ROAD-DETR iliongeza idadi ya vigezo kwa takriban %2.7 na gharama ya hesabu kwa takriban %8.5, huku ikitoa takriban 10.1 ms/picha na 99 FPS kwenye mfumo wa RTX PRO A6000 uliotumika katika majaribio. Katika chanzo, FPR, si false-positive rate ya kawaida inayotegemea true-negative; ni uwiano wa utambuzi chanya wa uongo kati ya utabiri wote. FNR ni uwiano wa hatari halisi zilizokosekana.

ROAD-DETR ilifanya kazi kwa kasi gani kwenye vifaa tofauti?

Matokeo haya yanaonyesha kwamba muktadha wa vifaa ni muhimu. RTX PRO A6000 hutoa throughput ya juu sana, huku Jetson Orin ikiwa na FPS ya chini zaidi lakini ikitoa thamani ya juu zaidi ya FPS/W katika chanzo. Kwenye Raspberry Pi 5, 0.80 FPS ni kikwazo kikubwa kwa utambuzi wa video wa wakati halisi. Kwa hiyo kauli “ROAD-DETR hufanya kazi kwa 99 FPS” si sifa isiyotegemea vifaa.

Confidence branch ilileta faida gani?

Reliability diagram katika Kielelezo 6 cha chanzo inaonyesha kwamba uhusiano kati ya predicted confidence na usahihi wa majaribio katika ROAD-DETR kamili umekalibishwa vizuri zaidi kuliko RF-DETR-M na ROAD-DETR bila confidence branch. Kwa kuwa chanzo hakiripoti thamani tofauti ya ECE kutoka grafu hii, hakuna kipimo kipya cha kalibrasheni kilichotolewa kutoka grafu hapa.

Je, ROAD-DETR inadumisha utendaji katika hali mbaya ya hewa na hatari ndogo?

Katika hali zilizodhibitiwa za mwanga hafifu, ukungu, mvua, blur na hatari ndogo zilizoundwa juu ya ROAD-6-Det, ROAD-DETR ilionyesha utendaji wa juu kuliko modeli za Transformer zilizolinganishwa; hata hivyo, majaribio haya si uthibitishaji wa cross-domain katika hali zisizo na kikomo za hewa halisi, bali ni tathmini ya robustness iliyofanywa kwa kutumia ugumu uliodhibitiwa kwenye picha za pamoja za majaribio.

Ni hatari zipi zilizo ngumu zaidi kwa kila darasa?

AP@50 ya juu zaidi ni 97.8% kwa magari yaliyopata ajali na 96.9% kwa miti iliyoanguka. Oil Spill kwa 91.2% na Surface Water kwa 92.0% ni madarasa magumu zaidi. Chanzo kinahusisha hali hii na mipaka dhaifu na mwonekano wa kuakisi/usio na umbo maalum. Mojawapo ya mikanganyiko ya kawaida kwenye confusion matrix ni kati ya Oil Spill na Surface Water.

Dokezo la kuripoti F1: Katika jedwali kuu la benchmark, F1 ya jumla iliyohesabiwa kutoka precision 93.2% na recall 91.1% imetolewa kuwa 93.5%. Hata hivyo, mstari wa “Mean” katika Jedwali 6 kwa thamani za F1 za kila darasa ni 92.1%. Kwa kuwa thamani hizi mbili zinawakilisha aina tofauti za uunganishaji wa matokeo, moja haipaswi kutumika badala ya nyingine.

Ablation ya nyongeza: Kila moduli ilichangia kiasi gani?

HMSFM pekee iliongeza mAP@50 kwa pointi 2.7 za asilimia na mAP@50:95 kwa pointi 2.5 za asilimia dhidi ya baseline. Baada ya kuongeza DAFEM, thamani zilifikia 90.6 na 68.7; kwa HQRM zikafikia 92.3 na 70.5; na kwa confidence branch zikafikia 94.2 na 72.1. Jaribio hili la nyongeza linaonyesha kwamba kila sehemu ya ziada ilitoa mchango chanya ndani ya pipeline kamili.

Ablation huru: Moduli zinafaa zaidi katika aina gani ya ugumu?

Mchango mkubwa zaidi wa HMSFM peke yake ulionekana katika hatari ndogo, ambapo baseline iliongezeka kutoka 79.8% hadi 83.2%. DAFEM iliongeza matokeo kutoka 82.6 → 86.0 katika hali ya mvua/ukungu na kutoka 81.4 → 85.2 katika mwanga hafifu. HQRM iliboresha matokeo katika hali zote na ikaonyesha manufaa hasa katika mwanga hafifu na hatari ndogo. Modelii kamili ilitoa matokeo ya juu kwa kiasi kikubwa kuliko matoleo yenye moduli moja katika makundi yote manne.

Matokeo yanayoungwa mkono na utafiti

• ROAD-6-Det ilipanua ROAD-6 kutoka utambuzi wa kiwango cha picha hadi lokalizesheni ya kitu inayotegemea bounding-box.
• Katika sehemu ya pamoja ya majaribio ya ROAD-6-Det, ROAD-DETR ilipata utendaji wa jumla ulioripotiwa kuwa wa juu kuliko modeli za YOLO na Transformer zilizolinganishwa.
• Ongezeko la mAP@50:95 linaonyesha kuwa usahihi wa lokalizesheni pia umeboreshwa katika vizingiti vikali zaidi vya IoU.
• HMSFM ilionyesha mchango huru wenye manufaa hasa kwa hatari ndogo, na DAFEM kwa hali za mwonekano mbaya.
• HQRM iliboresha object query kulingana na muktadha wa mandhari na kutoa ongezeko thabiti la utendaji dhidi ya baseline.
• Kuongezwa kwa confidence branch kuliimarisha utendaji wa detection na pia kuboresha kalibrasheni ya confidence katika reliability diagram.
• Modelii ilipimwa kwa 99 FPS kwenye RTX PRO A6000 na 26 FPS kwenye Jetson Orin.

Ujumla na vikwazo ambavyo utafiti hauungi mkono

• Tathmini ilifanywa hasa kwenye ROAD-6-Det; matokeo si ushahidi wa ujanibishaji usio na kikomo wa cross-domain.
• Kwa sababu seti nyingine zilizopo za data zina miundo tofauti ya madarasa na anoteshini, benchmark ya moja kwa moja ya cross-dataset yenye madarasa sita haikufanywa.
• Baadhi ya hali za mwanga hafifu, ukungu, mvua na blur katika majaribio ya robustness ziliundwa kwa uharibifu wa picha uliodhibitiwa; haziwezi kuchukua nafasi ya hali zote halisi za hali ya hewa.
• ROAD-DETR hutumia picha za RGB pekee; LiDAR au radar zinazotoa taarifa za kina, jiometri na mwendo hazikutumika katika modeli hii.
• Hatari za uso zisizo na umbo maalum kama Oil Spill, Surface Water na Icy Road zinaweza kuwakilishwa kwa makadirio tu kwa bounding box zilizo sambamba na mhimili.
• Utendaji wa juu wa benchmark wa modeli hauimaanishi peke yake usalama wa gari linalojiendesha au uthibitisho wa usalama wa uendeshaji halisi.
• Matokeo ya 0.80 FPS kwenye Raspberry Pi 5 yanaonyesha kuwa matumizi ya wakati halisi kwenye majukwaa ya CPU yenye rasilimali chache yana vikwazo katika hali ya sasa.

Utafiti wa baadaye

Waandishi wanapanga katika siku zijazo kukusanya data ya magari inayolingana na kategoria katika hali tofauti za barabara na mazingira ili kufanya tathmini huru ya zero-shot, kuunda mifumo ya multimodal hazard perception inayounganisha RGB na jiometri/kina cha LiDAR, taarifa za umbali-mwendo za radar na muktadha wa V2X, na kuchunguza mbinu za uwakilishi wa shape-aware zilizo sahihi zaidi kuliko bounding box kwa hatari za barabarani zisizo na umbo maalum.

Maelezo ya Chanzo na Mbinu

Kichwa asili: Learning to Expect the Unexpected: Benchmarking and Detecting Unexpected Road Hazards

Waandishi: Temirova Zubayda Okmirzaevna; Shehzad Ali; Rafał Scherer; Arslan Munir; Khan Muhammad.

Waandishi wanaowajibika: Arslan Munir; Khan Muhammad.

Taasisi: Visual Analytics for Knowledge Laboratory (VIS2KNOW Lab), Department of Applied Artificial Intelligence, College of Computing and Informatics, Sungkyunkwan University, Seoul, Republic of Korea; Department of Artificial Intelligence, Częstochowa University of Technology, Częstochowa, Poland; Intelligent Systems, Computer Architecture, Analytics, and Security Laboratory (ISCAAS Lab), Department of Electrical Engineering and Computer Science, Florida Atlantic University, Boca Raton, USA.

Jarida: Mathematics.

Mchapishaji: MDPI.

Rekodi ya kibiblia: Mathematics 2026, 14(19), 3543.

DOI: 10.3390/math14193543

Imewasilishwa: 30 Julai 2026. Marekebisho: 15 Septemba 2026. Imekubaliwa: 24 Septemba 2026. Imechapishwa: 29 Septemba 2026.

Aina ya chanzo: Makala ya utafiti iliyopitiwa na wenzao; uoni wa kompyuta, utambuzi wa vitu, uundaji wa seti ya data ya benchmark na tathmini ya majaribio ya modeli ya ujifunzaji wa kina.

Leseni: Creative Commons Attribution (CC BY).

Academic Editor: Lukun Wang.

Taarifa ya ufadhili: Katika sehemu ya Funding ya makala kuna kauli “This research received no external funding”.

Taarifa ya Acknowledgments: Katika sehemu tofauti ya Acknowledgments imeelezwa kwamba utafiti uliungwa mkono na Seoul ANCHOR Center kupitia ANCHOR na kwamba programu hiyo ilifadhiliwa na Ministry of Education pamoja na Seoul Metropolitan Government, huku nambari ya mradi ikiwa 2026-ANCHOR-01-018-01. Taarifa hizi mbili za chanzo zimehifadhiwa kando hapa bila kubadilishwa moja kuwa nyingine.

Upatikanaji wa data na msimbo: Makala inaeleza kuwa seti ya data ya ROAD-6-Det na msimbo chanzo vinapatikana kwa umma katika hazina ya ROAD-6-Det kwenye GitHub na kwamba rasilimali husika ilifikiliwa tarehe 23 Septemba 2026.

Mgongano wa maslahi: Waandishi waliripoti kutokuwepo kwa mgongano wa maslahi.

Michango ya waandishi: Uundaji wa dhana na metodolojia — waandishi wote; programu — Temirova Zubayda Okmirzaevna na Shehzad Ali; uthibitishaji — Rafał Scherer, Arslan Munir na Khan Muhammad; uchambuzi rasmi na utafiti — waandishi wote; rasilimali — Temirova Zubayda Okmirzaevna, Shehzad Ali na Khan Muhammad; upangaji wa data — Temirova Zubayda Okmirzaevna; rasimu ya kwanza — Temirova Zubayda Okmirzaevna, Shehzad Ali na Khan Muhammad; mapitio/uhariri — waandishi wote; uoneshaji — Temirova Zubayda Okmirzaevna, Shehzad Ali na Khan Muhammad; usimamizi na usimamizi wa mradi — Arslan Munir na Khan Muhammad; upatikanaji wa ufadhili — Khan Muhammad.

Madokezo ya kuripoti ndani ya chanzo: HMSFM imeitwa “Hazard-Aware Multi-Scale Fusion Module” katika sehemu kuu ya mbinu, lakini maelezo ya Jedwali 7 yanaifafanua kama “Hierarchical Multi-Scale Fusion”. Ingawa Mlinganyo (20) unafafanua vipengele vinne vya hasara, Kielelezo 3 pia kina mikunjo ya DFL loss na chanzo hakipatani wazi na tofauti hii. F1 ya jumla ni 93.5%, ilhali wastani wa F1 za kila darasa katika Jedwali 6 ni 92.1%; matokeo yote mawili yamehifadhiwa katika viwango tofauti vya uunganishaji.

Kikomo cha msingi cha tafsiri: Matokeo yaliyoripotiwa ya ROAD-DETR yanahusu sehemu ya majaribio ya ROAD-6-Det na majaribio ya robustness yaliyofafanuliwa katika utafiti. Utafiti hautoi tathmini huru ya cross-dataset zero-shot yenye madarasa sita, uthibitishaji wa usalama wa barabara wazi kwenye gari halisi, wala dhamana ya utendaji katika hali zote za hali ya hewa/jiografia.