Пешгӯкунандаи CNN бо ҳамҷоясозии таваҷҷуҳ, ҳассос ба текстура (Attention Fusion-Based CNN Predictor, AFCNNP), чаҳорчӯбаи пешгӯии тасвир аст, ки барои дақиқтар пешгӯӣ кардани қиматҳои пиксел дар пинҳонкунии баргардонишавандаи маълумот, пешгӯии маҳаллии CNN-ро бо пешгӯии миёнаҳои ғайримаҳаллӣ (Non-Local Means, NLM) дар сатҳи пиксел якҷо мекунад. Ғояи асосии усул ин аст, ки қобилияти қавии коррелятсияи маҳаллии пешгӯкунандаи CNN дар минтақаҳои ҳамвор бо қобилияти NLM барои истифодаи порчаҳои дур, вале шабеҳи тасвир дар минтақаҳои текстурадор якҷо карда шавад. Вазни омӯхташудаи таваҷҷуҳ \(\alpha(i,j)\) муайян мекунад, ки CNNP ва NLM барои ҳар пиксел то чӣ андоза ба пешгӯии ниҳоӣ саҳм мегузоранд.
Ҳадафи таҳқиқот танҳо кам кардани хатои пешгӯии пиксел нест. Дар пинҳонкунии баргардонишавандаи маълумот, дар атрофи сифр ташаккул ёфтани тақсимоти танг ва баланд аз хатогиҳои пешгӯӣ ба механизми Prediction Error Expansion (PEE) имкон медиҳад, ки маълумоти бештарро бо таҳрифи камтари тасвир ҷойгир кунад. Аз ин рӯ, AFCNNP танҳо бо истифодаи минтақаҳои ҳамвор маҳдуд нашуда, мекӯшад худмонандии ғайримаҳаллиро дар минтақаҳои текстурадор низ ба маълумоти пешгӯии қобили истифода табдил диҳад.
Дар муқоиса рӯи 100 тасвири UCID.v2 барои усули пешниҳодшуда MSE 51.5, қимате, ки дар ҷадвали манбаъ ҳамчун “Mean” оварда шудааст, 3.3 ва дисперсияи хатои пешгӯӣ 34.0 гузориш шудааст; ҳамаи ин қиматҳо аз пешгӯкунандаҳои CNN-и муқоисашуда пасттаранд. Усули RDH-и пешниҳодшуда бар асоси AFCNNP ба иқтидори миёнаи максималии 125.816 bit ҷойгиркунӣ расида, дар ин нуқта қимати миёнаи PSNR 42.58 dB будааст. Дар 24 тасвири маҷмӯаи додаҳои Kodak бошад, MSE \(50.30\pm2.7\), PSNR \(64.78\pm0.38\) гузориш шуда, дар муқоисаи MSE бо усули Lin ва ҳамкорон натиҷаи t-тести ҷуфтшуда \(p<0.05\) ба даст омадааст.
Натиҷаҳо нишон медиҳанд, ки AFCNNP дар тарҳи таҷрибавии истифодашуда метавонад бо истифода аз ҳам минтақаҳои ҳамвор ва ҳам текстурадор дақиқии пешгӯӣ ва самаранокии ҷойгиркунии маълумотро беҳтар кунад. Бо вуҷуди ин, таҳқиқот ба тасвирҳои хокистарранг, меъмории муайяни CNN/NLM, маҷмӯаҳои додаҳои UCID.v2 ва Kodak ва тарҳи омӯзиши гузоришшуда асос ёфтааст; натиҷаҳо далели худкори бартарӣ барои ҳамаи намудҳои тасвир ё ҳамаи системаҳои RDH нестанд.
Пинҳонкунии Баргардонишавандаи Маълумот Чист?
Пинҳонкунии баргардонишавандаи маълумот (Reversible Data Hiding, RDH) равиши пинҳонкунии маълумот аст, ки пас аз ҷойгир кардани маълумоти иловагӣ дар тасвири интиқолдиҳанда ҳам баровардани маълумоти иловагӣ ва ҳам барқарор кардани бенуқсони тасвири аслии интиқолдиҳандаро ҳадаф мегирад. Дар барномаҳое, ки таҳрифи доимии пиксел қобили қабул нест, ин баргардонишавӣ талаботи асосӣ мебошад.
Масъалае, ки таҳқиқот мекӯшад ҳал кунад
Дар усулҳои RDH бар асоси Prediction Error Expansion фарқи байни қимати воқеии пиксел ва қимати пешгӯишуда барои ҷойгир кардани маълумот истифода мешавад. Ҳар қадар пешгӯӣ дақиқтар бошад, қиматҳои хато ҳамон қадар дар атрофи сифр мутамарказ мешаванд. Ин хатогиҳои хурди бештареро ба вуҷуд меорад, ки бо таҳрифи кам метавон истифода бурд.
Пешгӯкунандаҳои классикии CNN метавонанд аз коррелятсияи қавии маҳаллӣ байни пикселҳои ҳамсоя дар минтақаҳои ҳамвор хуб истифода баранд. Аммо дар минтақаҳои дорои текстураи зич, мӯй, матоъ, барг, канорҳои мураккаб ё нақшҳои такрорӣ танҳо ба ҳамсоягии наздик нигаристан метавонад кофӣ набошад. NLM бошад, азбаски порчаҳои шабеҳро дар ҷойи дигари тасвир меҷӯяд, дар минтақаҳои текстурадор навъи дигари маълумотро истифода мебарад. Моҳияти илмии AFCNNP ин аст, ки ба ҷои маҷбуран интихоб кардани яке аз ин ду шакли пешгӯӣ барои тамоми тасвир, саҳми онҳоро дар ҳар пиксел омӯзад ва якҷо кунад.
Оилаи пешгӯкунандаҳои дар манбаъ муқоисашуда
| Пешгӯкунанда | Навъ | Минтақаҳои ҳамвор | Минтақаҳои текстурадор | Иқтидори ҷойгиркунӣ |
|---|---|---|---|---|
| [16] | Классикӣ | Дақиқии миёна | Заъиф, хатогиҳои калон | Паст |
| [20] | Классикӣ | Дар минтақаҳои ҳамвор/канорӣ хуб | Миёна | Миёна |
| [21] | Классикӣ | Дар минтақаҳои ҳамвор хеле хуб | Заъиф | Паст |
| [22] | Классикӣ | Дар градиентҳо хуб | Миёна; дар садо ноустувор | Миёна |
| [23] | Классикӣ | Бо диффузия хеле хуб | Миёна; хатари аз ҳад ҳамворкунӣ | Миёна |
| [24] | Классикӣ | Сохтори ҳамворро меомӯзад | Миёна | Баланд |
| [25] | Классикӣ | Мутобиқшаванда | Хуб, қисман устувор | Баланд |
| [28] | CNN | Барои ҳамворӣ омӯзонида шудааст | Аз минтақаҳои текстурадор канорагирӣ мекунад | Миёна |
| [29] | CNN | Дар минтақаҳои ҳамвор устувор | Аз пикселҳои дорои хатои баланд канорагирӣ мекунад | Миёна |
| [30] | CNN | Майдони қабулкунии васеъ | Ҷойгиркунии интихобӣ | Миёна |
| [31] | CNN | Пешгӯиҳои тез бо хатои паст | Текстураҳоро хориҷ мекунад | Паст |
| [32] | CNN | Ба ҳамворӣ вазн медиҳад | Вазни текстура паст | Паст-Миёна |
| [33] | CNN | Интихоби мураккабии паст | Текстураҳоро хориҷ мекунад | Миёна |
Муодила (1): Пиксел чӣ гуна пешгӯӣ мешавад?
\[ \hat{p}_{i,j}=\mathcal{P}\left(p_{i',j'}\right),\qquad (i',j')\in\mathcal{N}_{i,j} \tag{1} \]
\(p_{i,j}\) қимати воқеии пиксели сатҳи хокистарӣ аст; \(\hat p_{i,j}\) қимати пешгӯишуда мебошад. \(\mathcal{N}_{i,j}\) ҳамсоягӣ ё контексти пешгӯиро, ки барои пешгӯии пиксели марказӣ истифода мешавад, ва \(\mathcal P\) функсияи пешгӯиро нишон медиҳад. Дар тасвирҳои хокистарранги 8-bit қиматҳои пиксел дар фосилаи 0-255 қарор доранд. Ҳадафи математикӣ ин аст, ки қимати \(\hat p_{i,j}\) то ҳадди имкон ба қимати воқеии \(p_{i,j}\) наздик карда шавад.
Хатои пешгӯӣ инчунин:
\[ e_{i,j}=p_{i,j}-\hat p_{i,j} \]
таъриф мешавад. Вақте ки \(e_{i,j}=0\), пешгӯӣ комилан дуруст аст. Бо зиёд шудани қимати мутлақи хато, пешгӯӣ аз пиксели воқеӣ бештар дур мешавад.
Хатогиҳои дохилӣ ва берунии пешгӯӣ дар PEE
Манбаъ хатогиҳои пешгӯиро бо ёрии ду остона \(T_l\) ва \(T_r\) ҷудо мекунад. Хатогиҳои дар фосилаи \(e_{i,j}\in[T_l,T_r)\) ҳамчун хатогиҳои дохилӣ-и интиқолдиҳандаи маълумот истифода мешаванд. Хатогиҳои берун аз ин фосила ба ҷойи интиқоли бити маълумот барои эҷоди фазои холӣ дар гистограмма ҷойиваз карда мешаванд.
Барои хатои дохилӣ, бо бити ҷойгиршаванда \(b\in\{0,1\}\), хатои васеъшуда:
\[ e^w_{i,j}=2e_{i,j}+b \]
мебошад. Дар ин ҷо зарб ба ду байни қиматҳои қобили истифодаи гистограммаи хато мавқеъҳои нав эҷод мекунад; \(b\) муайян мекунад, ки кадоме аз ин ду мавқеи имконпазир интихоб мешавад.
Муодила (2): Эҷоди пиксели нишондор
\[ p^w_{i,j}= \begin{cases} p_{i,j}+e_{i,j}+b, & e_{i,j}\in[T_l,T_r)\\ p_{i,j}+T_r, & e_{i,j}\in[T_r,+\infty)\\ p_{i,j}+T_l, & e_{i,j}\in(-\infty,T_l) \end{cases} \tag{2} \]
\(p^w_{i,j}\) қимати пиксели нишондор пас аз ҷойгиркунии маълумот аст. Дар ҳолати аввал пиксел бити маълумотро мебарад. Дар ҳолатҳои дуюм ва сеюм тарафи рост ё чапи тақсимоти хато ҷойиваз карда шуда, барои қиматҳои хатои интиқолдиҳандаи маълумот бахшҳои холии гистограмма эҷод мешаванд. Агар дар натиҷаи амал пиксел аз ҳудуди 0-255 берун барояд, манбаъ хориҷ кардани ин пиксел ё сабти онро бо харитаи ҷойгиршавӣ пешбинӣ мекунад.
Муодила (3): Хатои васеъшуда дар тарафи қабулкунанда
\[ e^w_{i,j}=p^w_{i,j}-\hat p_{i,j} \tag{3} \]
Қабулкунанда бо истифода аз ҳамон функсияи пешгӯӣ қимати \(\hat p_{i,j}\)-ро аз нав ҳосил мекунад. Фарқи байни пиксели нишондор ва ин пешгӯӣ хатои васеъшудаи пешгӯиро, ки дар марҳилаи ҷойгиркунии маълумот сохта шудааст, медиҳад. Шарти асосии баргардонишавӣ ин аст, ки контексти пешгӯӣ ҳангоми ҷойгиркунӣ ва баровардан яксон боқӣ монад.
Муодила (4): Барқарор кардани хатои аслии пешгӯӣ
\[ e_{i,j}= \begin{cases} \left\lfloor\dfrac{e^w_{i,j}}{2}\right\rfloor, & e^w_{i,j}\in[2T_l,2T_r)\\ e^w_{i,j}-T_r, & e^w_{i,j}\in[2T_r,+\infty)\\ e^w_{i,j}-T_l, & e^w_{i,j}\in(-\infty,2T_l) \end{cases} \tag{4} \]
Дар минтақаи хатои дохилӣ амали васеъкунӣ бо тақсим ба ду баръакс гардонида мешавад. Дар минтақаҳои берунӣ бошад, ҷойивазкунии остона, ки ҳангоми ҷойгиркунӣ анҷом дода шудааст, баргардонида мешавад. Бити ҷойгиршуда:
\[ b=e^w_{i,j}\bmod 2 \]
бароварда мешавад ва пиксели аслӣ:
\[ p_{i,j}=\hat p_{i,j}+e_{i,j} \]
аз нав сохта мешавад. Ин занҷир аз нигоҳи математикӣ нишон медиҳад, ки чаро усул “баргардонишаванда” аст: ҳадаф танҳо баровардани маълумоти пинҳонӣ нест, балки барқарор кардани қиматҳои пиксел то пеш аз ҷойгиркунии маълумот низ мебошад.
Чаро AFCNNP Пешгӯиҳои CNN ва NLM-ро Якҷо Истифода Мекунад?
AFCNNP маълумоти коррелятсияи маҳаллии CNNP-ро дар минтақаҳои ҳамвор ва маълумоти худмонандии ғайримаҳаллии NLM-ро дар минтақаҳои текстурадор дар як пешгӯии пиксел муттаҳид мекунад; вазни омӯхташудаи \(\alpha(i,j)\) дар ҷое, ки CNNP муфидтар аст, ба 1 ва дар ҷое, ки NLM муфидтар аст, ба 0 наздик шуда, гузариши мутобиқшавандаро дар сатҳи пиксел байни ду пешгӯкунанда таъмин мекунад.
Non-Local Means: Ба ҷойи пиксели наздик нақши шабеҳро ҷустуҷӯ кардан
Ғояи асосии NLM чунин аст: агар пикселҳои бевосита дар паҳлуи пиксели пешгӯишаванда маълумоти кофӣ надиҳанд, дар қисмҳои дуртари тасвир порчаҳои дорои ҳамон ё сохтори текстуравии шабеҳро ҷустуҷӯ кардан мумкин аст. Дар манбаъ порчаи ромбшакл аз пиксели ҳадаф \(p_{i,j}\) ва чор ҳамсояи наздиктарини он таъриф мешавад.
Муодила (5): Пешгӯии NLM
\[ NL(p_{i,j})= \frac{1}{\sum_k w_k} \sum_{\tilde p_k\in\tilde P_k} w_k\tilde p_k \tag{5} \]
\(\tilde p_k\) пиксели номзади ғайримаҳаллӣ ва \(w_k\) вазнеро нишон медиҳад, ки мувофиқи дараҷаи монандии ин номзад ба минтақаи ҳадаф дода мешавад. Сурат ҷамъбасти вазндори пикселҳои қабулшуда ва махраҷ ҷамъбасти вазнҳо мебошад. Ҳамин тавр, натиҷа миёнаи вазндор аст. Дар татбиқи манбаъ вазн коэффисиенти пайвастаи монандӣ нест, балки тағйирёбандаи интихоб аст, ки тавре дар Муодила (7) нишон дода шудааст, қимати 0 ё 1 мегирад.
Муодила (6): Масофаи монандии порчаҳо
\[ d_k= \left\| V(\tilde p_k)-V(p_{i,j}) \right\|_2 \tag{6} \]
\(V(\cdot)\) намояндагии ададии муҳити тасвири муқоисашаванда ва \(d_k\) масофаи Евклидиро байни ду намояндагӣ ифода мекунад. Ҳар қадар \(d_k\) хурд шавад, минтақаи номзад ба минтақаи ҳадаф бештар монанд мешавад. Ин бузургӣ аз қиматҳои сатҳи хокистарӣ ҳосил шуда, бо остонаи \(T_{sim}\) муқоиса карда мешавад.
Муодила (7): Интихоби монандии NLM
\[ w_k= \begin{cases} 1, & d_k\leq T_{sim}\\ 0, & \text{aksi halde} \end{cases} \tag{7} \]
\(T_{sim}\) остонаи монандиест, ки корбар муайян мекунад. Агар масофа аз остона хурд ё ба он баробар бошад, номзад ба пешгӯии NLM дохил мешавад; агар калон бошад, пурра хориҷ карда мешавад. Хеле хурд будани остона метавонад бо интихоби танҳо порчаҳои хеле монанд хаторо кам кунад, аммо шумораи намунаҳои ғайримаҳаллии қобили истифодаро маҳдуд мекунад. Калон кардани остона истифодаи порчаҳои бештарро иҷозат медиҳад, вале намунаҳои камтар монандро ҳам ба пешгӯӣ дохил мекунад.
Муодила (8): Энтропияи хатои пешгӯӣ
\[ E=-\sum_e p(e)\ln p(e) \tag{8} \]
\(p(e)\) эҳтимоли хатои пешгӯии \(e\) мебошад. Энтропия нишон медиҳад, ки тақсимот то чӣ андоза паҳн ё номуайян аст. Аз нигоҳи RDH ҳадаф ин аст, ки хатогиҳои пешгӯӣ то ҳадди имкон дар атрофи сифр мутамарказ шаванд. Дар манбаъ рӯи тасвири Baboon мушоҳида шудааст, ки бо калон шудани \(T_{sim}\) энтропияи хатои пешгӯӣ ба таври якнавохт меафзояд. Сабаб дар он аст, ки остонаҳои калонтар порчаҳои камтар монандро ба пешгӯии NLM дохил мекунанд.
Чаро ҷудокунии тасвир ба Dot ва Cross зарур аст?
Тасвир ба ду маҷмӯи мустақили пикселҳо ҷудо мешавад. Манбаъ онҳоро маҷмӯаҳои Dot ва Cross меномад. Ҳангоми пешгӯии пикселҳои як маҷмӯа, контексти пешгӯӣ аз пикселҳои ҳанӯз тағйирнаёфтаи маҷмӯи муқобил сохта мешавад. Сипас нақшҳо иваз мешаванд. Ин стратегия имкон медиҳад, ки контексти пешгӯии ҳангоми ҷойгиркунии маълумот истифодашуда ҳангоми баровардани маълумот дубора сохта шавад ва ба нигоҳ доштани баргардонишавӣ кумак мекунад.
Муодила (9): Пешгӯии CNNP
\[ P_{\mathrm{CNNP}}(i,j) = f_{\theta} \left( \mathcal{V}_k(I(i,j)) \right) \tag{9} \]
\(I\in\mathbb{R}^{H\times W}\) тасвири вурудӣ мебошад. \(\mathcal V_k(I(i,j))\) порчаи маҳаллии \(k\times k\)-ро дар атрофи пиксели \((i,j)\), ва \(f_\theta\) пешгӯкунандаи CNN-и пешакӣ омӯзонидашударо бо вазнҳои \(\theta\) нишон медиҳад. Баромади \(P_{\mathrm{CNNP}}(i,j)\) пешгӯии сатҳи хокистариест, ки CNN барои пиксели марказӣ ҳосил мекунад.
Сохтори шабакаи ҳамҷоясозии таваҷҷуҳ
Ҳар яке аз харитаҳои пешгӯии CNNP ва NLM шакли \((B,1,H,W)\) доранд. Ҳангоми якҷо кардан дар андозаи канал тензори \((B,2,H,W)\) ҳосил мешавад. Шабакаи таваҷҷуҳ аз ду қабати конволютсионӣ иборат аст. Қабати аввал бо ядрои 3×3 аз 16 филтр ва padding 1 истифода мебарад, сипас ReLU татбиқ мешавад. Конволютсияи дуюми 3×3 харитаи вазни якканала ҳосил мекунад ва функсияи Sigmoid натиҷаро байни 0 ва 1 маҳдуд месозад.
Муодила (10): Вазни таваҷҷуҳ дар сатҳи пиксел
\[ \alpha(i,j) = \sigma \left( W_2\cdot \operatorname{ReLU} \left( W_1\cdot [P_{\mathrm{CNNP}}(i,j);P_{\mathrm{NLM}}(i,j)] +b_1 \right) +b_2 \right) \tag{10} \]
Дар ифодаи манбаъ \(W_1\in\mathbb{R}^{16\times2}\), \(b_1\in\mathbb{R}^{16}\), \(W_2\in\mathbb{R}^{1\times16}\) ва \(b_2\in\mathbb{R}^{1}\) таъриф шудаанд. \(\sigma\) функсияи Sigmoid аст. Аз ин рӯ, \(0\leq\alpha(i,j)\leq1\).
Вақте ки \(\alpha\rightarrow1\), пешгӯии CNNP бартарӣ пайдо мекунад. Вақте ки \(\alpha\rightarrow0\), пешгӯии NLM бартарӣ пайдо мекунад. Қиматҳои миёна маънои омехтаи мулоими ду пешгӯкунандаро доранд.
Муодила (11): Пешгӯии ниҳоии якҷошуда
\[ P_{\mathrm{fused}}(i,j) = \alpha(i,j)P_{\mathrm{CNNP}}(i,j) + \left(1-\alpha(i,j)\right)P_{\mathrm{NLM}}(i,j) \tag{11} \]
Ин якҷоякунии вазндори конвексӣ аст: ҷамъбасти ду коэффисиент ба 1 баробар аст. Шабака ба ҷойи мустақим сохтани пешгӯии сеюм саҳми нисбии пешгӯиҳои CNNP ва NLM-ро муайян мекунад. Мувофиқи шарҳи манбаъ, дар минтақаҳои ҳамвор CNNP ва дар минтақаҳои текстурадор NLM вазни бештар мегирад.
Муодила (12): Талафоти омӯзиши AFCNNP
\[ \mathcal{L} = \frac{1}{HW} \sum_{i,j} \left| I(i,j)-P_{\mathrm{fused}}(i,j) \right| + \psi\cdot \operatorname{Var} \left( I-P_{\mathrm{fused}} \right) \tag{12} \]
Ҳади аввал хатои миёнаи мутлақ байни пиксели воқеӣ ва пешгӯии якҷошударо, ҳади дуюм бошад дисперсияи хатогиҳои пешгӯиро ҷарима мекунад. Дар таҳқиқот параметри регуляризатсия \(\psi=0.3\) таъин шудааст.
Вазифаи ҳади аввал таъмини пешгӯии дурусти ҳар як пиксел аст. Ҳади дуюм мекӯшад аз паҳн шудани хатогиҳо дар минтақаи васеъ пешгирӣ кунад. Аз нигоҳи RDH танҳо паст будани хатои миёна кофӣ нест; мутамарказ шудани гистограммаи хато дар атрофи сифр низ барои PEE муфид аст.
Дар графики ҳассосияти \(\psi\)-и манбаъ, \(\psi=0.1\) тақсимоти хатои думаш васеъ ва қуллааш пастро ба вуҷуд меорад, дар ҳоле ки \(\psi=0.3\) тақсимотро дар атрофи сифр зичтар мекунад. \(\psi=0.5\) тақсимоти тезтар месозад, аммо қулла аз сифр дур шуда, MAE зиёд мешавад. Аз ин рӯ, қимати истифодашуда дар таҳқиқот 0.3 аст.
Усул ва Натиҷаҳои Таҳқиқот
Раванди ҷойгиркунии RDH
Тасвири аслӣ аввал ба зерсвирҳои Dot \(I_D\) ва Cross \(I_C\) ҷудо мешавад. Дар марҳилаи аввал \(I_C\) барои пешгӯии пикселҳои Dot истифода мешавад. Аз рӯи хатогиҳои пешгӯӣ байни \(I_D\)-и воқеӣ ва \(\tilde I_D\)-и пешгӯишуда қисми якуми маълумоти иловагӣ \(W_1\) ҷойгир карда шуда, тасвири нишондори Dot \(I_D^{W_1}\) ҳосил мешавад.
Дар марҳилаи дуюм \(I_D^{W_1}\) ба пешгӯкунандаи гибридӣ дода шуда, тасвири Cross \(\tilde I_C\) пешгӯӣ мешавад. Бо истифода аз ин пешгӯӣ \(W_2\) ҷойгир карда шуда, \(I_C^{W_2}\) ҳосил мешавад. Ду зерсвири нишондор якҷо шуда, тасвири ниҳоии нишондор \(I^W\) сохта мешавад.
Баровардани маълумот ва барқарорсозии тасвир
Раванди баровардан бо тартиби баръакси раванди ҷойгиркунӣ анҷом меёбад. Аввал тасвири нишондор дубора ба маҷмӯаҳои Dot ва Cross ҷудо мешавад. Бо истифода аз тасвири нишондори Dot пикселҳои Cross пешгӯӣ мешаванд; \(W_2\) бароварда ва \(I_C\)-и аслӣ барқарор мешавад. Сипас бо истифода аз тасвири Cross-и барқароршуда тасвири Dot пешгӯӣ мешавад; \(W_1\) бароварда ва \(I_D\)-и аслӣ барқарор мешавад. Дар охир \(I_D\) ва \(I_C\) якҷо шуда тасвири аслӣ, ва \(W_1\) ва \(W_2\) якҷо шуда маълумоти ҷойгиршуда дубора ба даст меояд.
Тарҳи омӯзиш ва таҷриба
| Тасвирҳои омӯзишӣ | 3000 тасвир, ки аз ImageNet ба таври тасодуфӣ интихоб шудаанд |
|---|---|
| Шакли омӯзиш | Хокистарранг, 512×512 |
| Оптимизатор | Adam |
| Суръати ибтидоии омӯзиш | \(1\times10^{-4}\) |
| Weight decay | \(1\times10^{-3}\) |
| Batch size | 8 |
| Adam \(\beta_1\) | 0.9 |
| Adam \(\beta_2\) | 0.999 |
| Adam \(\epsilon\) | \(1\times10^{-8}\) |
| Epoch | 20 |
| Тасвирҳои асосии таҷрибавӣ | Lena, Baboon, Boat, Barbara, Pepper, Lake |
| Маҷмӯаи додаҳо барои муқоиса | UCID.v2 |
| Санҷиши иловагӣ | Kodak |
| Нармафзор | Python 3.11.2, PyTorch 2.6.0 |
| CPU | Intel Core i9-10980XE @ 3.00 GHz |
| RAM | 64 GB |
| GPU | NVIDIA RTX A5000 |
Ёддошти параметрӣ дар дохили манбаъ: Дар тавсифи усули AFCNNP гуфта шудааст, ки NLM аз порчаи 3×3 ва равзанаи ҷустуҷӯи 21×21 истифода мебарад. Баръакс, дар бахши мураккабии ҳисоббарорӣ ҳисоб бо истифода аз \(S=15\) ва \(P=5\) анҷом дода шудааст. Манбаъ алоҳида шарҳ намедиҳад, ки чаро ин ду маҷмӯи параметрҳо фарқ мекунанд; бинобар ин дар ин ҷо яке ба ҷойи дигаре гузошта нашудааст.
Харитаҳои вазни таваҷҷуҳ чиро нишон доданд?
Дар харитаҳои вазни шаш тасвири санҷишии манбаъ минтақаҳои дорои \(\alpha>0.8\), ки CNNP дар онҳо бартарӣ дорад, зард; минтақаҳои дорои \(\alpha<0.2\), ки NLM дар онҳо бартарӣ дорад, кабуд; ва минтақаҳои мобайнии \(0.2\leq\alpha\leq0.8\) ҳамчун омехтаи мулоими ду пешгӯкунанда нишон дода шудаанд. Дар қисми зиёди тасвирҳои Lena, Boat ва Pepper CNNP бартарӣ доштааст, дар ҳоле ки саҳми NLM дар тасвирҳои Barbara ва Lake зиёд шудааст. Дар тасвири Baboon, ки текстураи мӯинаш хеле зич ва зуд тағйирёбанда аст, ду пешгӯкунанда ба таври равшантар якҷо истифода шудаанд.
Дақиқии пешгӯӣ: 100 тасвири UCID.v2
| Метрика | Hu [28] | Hu [29] | Yang [30] | Wu [31] | Lin [32] | Пешниҳодшуда |
|---|---|---|---|---|---|---|
| MSE | 92.41 | 79.57 | 59.72 | 57.31 | 53.23 | 51.5 |
| Mean | 4.42 | 4.31 | 3.70 | 3.59 | 3.41 | 3.3 |
| Дисперсия | 63.17 | 52.34 | 39.67 | 37.78 | 35.30 | 34.0 |
Дар гистограммаи миёнаи хатои пешгӯӣ тақсимоти AFCNNP нисбат ба усулҳои дигар бештар дар атрофи сифр мутамарказ шуда, қуллаи марказии баландтаре ҳосил кардааст. Аз нигоҳи PEE ин муҳим аст, зеро шумораи зиёди хатогиҳои хурд ё сифрии пешгӯӣ гистограммаи барои ҷойгиркунии маълумот мувофиқтарро ба вуҷуд меорад.
Шумораи хатогиҳои сифрии пешгӯӣ
| Тасвир | Hu [28] | Hu [29] | Yang [30] | Wu [31] | Lin [32] | Пешниҳодшуда |
|---|---|---|---|---|---|---|
| Lena | 36.203 | 36.982 | 39.375 | 40.354 | 41.135 | 42.735 |
| Baboon | 12.032 | 12.940 | 13.765 | 14.011 | 15.322 | 16.371 |
| Boat | 22.111 | 25.078 | 27.550 | 28.428 | 30.352 | 31.142 |
| Barbara | 31.896 | 38.587 | 43.135 | 44.969 | 45.621 | 46.931 |
| Pepper | 21.959 | 23.807 | 28.038 | 29.600 | 32.199 | 33.753 |
| Lake | 20.409 | 23.101 | 25.934 | 26.246 | 26.832 | 27.926 |
Махсусан афзоиш дар тасвири дорои текстураи баланди Baboon бо асосноккунии таҳқиқот барои илова кардани ҷузъи NLM мувофиқ аст. Бо вуҷуди ин, натиҷаи як тасвир ҳамчун далели бартарии умумӣ қабул нашудааст; таҳқиқот арзёбиҳои васеътари UCID.v2 ва Kodak-ро низ анҷом додааст.
Иқтидори максималии ҷойгиркунӣ ва PSNR
| Усул | Истифодаи текстура | Иқтидори миёнаи максималӣ (bit) | PSNR-и миёна дар иқтидори максималӣ (dB) |
|---|---|---|---|
| Hu [28] | Паст | 120.000 | 43.0 |
| Hu [29] | Паст | 45.000 | 52.1 |
| Yang [30] | Хеле паст | 80.000 | 49.97 |
| Wu [31] | Паст | 20.000 | 59.64 |
| Lin [32] | Хеле паст | 20.000 | 59.78 |
| Пешниҳодшуда | Миёна-Баланд | 125.816 | 42.58 |
Усули пешниҳодшуда баландтарин иқтидори миёнаи максималиро дар ҷадвал ба даст овардааст. Аммо PSNR-и 42.58 dB дар иқтидори максималӣ аз қиматҳои PSNR-и баъзе усулҳое, ки маълумоти камтар ҷойгир мекунанд, пасттар аст. Аз ин рӯ, натиҷаро набояд чунин тафсир кард, ки “AFCNNP дар ҳама шароит баландтарин PSNR-ро дорад”. Бартарии таҳқиқот дар он аст, ки ба нуқтаи дигари тавозун байни иқтидори баланд ва садоқати тасвир мерасад.
Муқоисаи PSNR дар иқтидори якхелаи ҷойгиркунӣ
| Bit | Hu [28] | Hu [29] | Yang [30] | Wu [31] | Lin [32] | Пешниҳодшуда |
|---|---|---|---|---|---|---|
| 10.000 | 63.42 | 64.12 | 64.32 | 65.03 | 65.15 | 65.50 |
| 11.000 | 63.18 | 63.62 | 63.79 | 64.71 | 64.89 | 65.17 |
| 12.000 | 62.89 | 63.41 | 63.50 | 64.35 | 64.51 | 64.80 |
| 13.000 | 62.51 | 63.02 | 63.10 | 64.01 | 64.13 | 64.45 |
| 14.000 | 62.21 | 62.76 | 62.73 | 63.63 | 63.78 | 64.06 |
| 15.000 | 61.89 | 62.50 | 62.41 | 63.22 | 63.43 | 63.65 |
| 16.000 | 61.56 | 62.21 | 62.09 | 62.91 | 63.06 | 63.30 |
| 17.000 | 61.31 | 61.93 | 61.80 | 62.56 | 62.74 | 62.95 |
| 18.000 | 61.12 | 61.70 | 61.61 | 62.40 | 62.58 | 62.78 |
| 19.000 | 60.89 | 61.49 | 61.40 | 62.21 | 62.32 | 62.59 |
| 20.000 | 60.67 | 61.27 | 61.15 | 61.94 | 61.98 | 62.30 |
Азбаски дар ин муқоиса иқтидор барои ҳар усул якхела нигоҳ дошта шудааст, тафсир мустақимтар аст: дар ҳамаи нуқтаҳои иқтидори гузоришшуда дар фосилаи 10.000-20.000 bit усули пешниҳодшуда баландтарин қимати миёнаи PSNR-ро додааст. Бо зиёд шудани иқтидор PSNR дар ҳамаи усулҳо кам мешавад, зеро ҷойгиркунии бештари маълумот тағйироти бештарро дар тасвир талаб мекунад.
Маҷмӯаи додаҳои Kodak ва озмоиши аблятсионӣ
Тасвирҳои рангаи Kodak ба хокистарранг табдил дода шуда, ба андозаи 512×512 аз нав миқёс карда шудаанд. Ablation 1, миёнаи оддии пешгӯиҳои CNN ва NLM-ро бе шабакаи таваҷҷуҳ; Ablation 2 бошад натиҷаи бе ҳади регуляризатсияи дисперсия дар Муодила (12)-ро ифода мекунад.
| Тасвир | Hu [28] | Hu [29] | Yang [30] | Wu [31] | Lin [32] | Abl. 1 | Abl. 2 | Пешниҳодшуда |
|---|---|---|---|---|---|---|---|---|
| Kodak01 | 62.24 | 63.30 | 63.78 | 64.31 | 64.83 | 61.14 | 64.21 | 65.02 |
| Kodak02 | 61.33 | 62.25 | 63.40 | 63.72 | 64.54 | 60.78 | 63.78 | 64.86 |
| Kodak03 | 61.93 | 62.56 | 63.70 | 64.19 | 64.56 | 61.04 | 64.05 | 64.30 |
| Kodak04 | 62.50 | 63.21 | 63.81 | 64.45 | 65.63 | 61.12 | 64.63 | 65.78 |
| Kodak05 | 61.68 | 63.81 | 63.90 | 64.58 | 64.83 | 59.31 | 64.45 | 65.32 |
| Kodak06 | 59.78 | 61.54 | 63.60 | 64.41 | 64.87 | 58.43 | 63.01 | 64.93 |
| Kodak07 | 60.62 | 62.45 | 63.24 | 63.20 | 63.93 | 58.14 | 62.37 | 64.58 |
| Kodak08 | 61.43 | 62.65 | 62.80 | 63.78 | 64.41 | 59.72 | 63.72 | 65.02 |
| Kodak09 | 62.21 | 62.36 | 63.14 | 63.74 | 63.85 | 60.25 | 62.83 | 64.81 |
| Kodak10 | 62.54 | 62.78 | 63.42 | 63.55 | 64.20 | 61.62 | 62.93 | 64.73 |
| Миёна | 61.63 | 62.69 | 63.48 | 63.99 | 64.57 | 60.15 | 63.59 | 64.94 |
Дар сатҳи миёнаи 60.15 dB мондани Ablation 1 нишон медиҳад, ки танҳо ба таври арифметикӣ миёна гирифтани CNN ва NLM кофӣ нест. Қимати 63.59 dB-и Ablation 2 бошад дастгирӣ мекунад, ки регуляризатсияи дисперсия низ ба самаранокии ниҳоӣ саҳм мегузорад. AFCNNP-и пурра ба ҳисоби миёна 64.94 dB ба даст овардааст.
Арзёбии оморӣ дар 24 тасвири Kodak
| Усул | MSE | PSNR (dB) |
|---|---|---|
| Hu [28] | 90.23 ± 4.2 | 60.42 ± 0.83 |
| Hu [29] | 78.52 ± 3.7 | 61.51 ± 0.60 |
| Yang [30] | 56.14 ± 3.4 | 63.23 ± 0.46 |
| Wu [31] | 55.35 ± 3.1 | 63.67 ± 0.43 |
| Lin [32] | 52.42 ± 2.8 | 64.12 ± 0.49 |
| Пешниҳодшуда | 50.30 ± 2.7 | 64.78 ± 0.38 |
Манбаъ барои қавитарин муқоиса байни усули пешниҳодшуда ва усулҳои мавҷуда усули Lin ва ҳамкоронро интихоб намуда, ба қиматҳои MSE-и 24 тасвир t-тести ҷуфтшударо татбиқ кардааст. Натиҷа \(p<0.05\) гузориш шуда, беҳбуди мушоҳидашудаи MSE дар ин таҷриба аз ҷиҳати оморӣ ба дараҷае муҳим дониста шудааст, ки онро бо тағйирёбии тасодуфӣ шарҳ додан мумкин нест. Ин тест танҳо барои тасвирҳо, метрика ва ҷуфти усулҳои муқоисашуда эътибор дорад.
Ҳангоми афзоиши мураккабии текстура чӣ рӯй дод?
Таҳқиқот 10 тасвири UCID.v2-ро аз рӯи қимати Laplacian Variance (LV), аз тасвирҳои ҳамвортар ба тасвирҳои текстурадортар тартиб додааст. Дар ҳоле ки иқтидори ҷойгиркунии усулҳои қаблӣ бо зиёд шудани текстураи тасвир умуман кам мешуд, иқтидори AFCNNP дар тасвирҳои дорои текстураи баланд устувортар боқӣ монда ё зиёд шудааст. Муаллифон ин рафторро ба қобилияти NLM барои истифодаи монандии сохтории ғайримаҳаллӣ дар минтақаҳои ғайриҳамвор нисбат медиҳанд.
Мураккабии ҳисоббарорӣ
Тасвири вурудӣ ҳамчун \(H\times W\) ва шумораи умумии пикселҳо ҳамчун \(N=H\times W\) таъриф шудааст. Барои як қабати конволютсионӣ манбаъ:
\[ O\left(NK^2C_{in}C_{out}\right) \]
мураккабиро истифода мебарад. Дар ин ҷо \(K\times K\) андозаи ядро, \(C_{in}\) шумораи каналҳои вурудӣ ва \(C_{out}\) шумораи каналҳои баромад мебошад.
Пешгӯкунандаи CNN дар се шохаи параллелии истихроҷи хусусият бо ядроҳои 3×3, 5×5 ва 7×7 32 харитаи хусусият ҳосил мекунад; дар шохаи пешгӯӣ ду блоки пайдарпайи конволютсионии 3×3 мавҷуд аст. Ҳисоби умумии CNN дар манбаъ:
\[ C_{\mathrm{CNN}}=O(6.7\times10^4N) \]
оварда шудааст.
Барои NLM:
\[ C_{\mathrm{NLM}}=O(NS^2P^2) \]
истифода шудааст. Дар ин бахш манбаъ қиматҳои \(S=15\) ва \(P=5\)-ро дода:
\[ C_{\mathrm{NLM}}=O(5.6\times10^3N) \]
натиҷаро гузориш мекунад. Дар ин ҷо \(S\times S\) равзанаи ҷустуҷӯи монандӣ ва \(P\times P\) андозаи порча мебошад. Тавре пештар гуфта шуд, ин қиматҳо бо гузориши 21×21 ва 3×3 дар бахши усул яксон нестанд.
Барои шабакаи дуқабатаи ҳамҷоясозии таваҷҷуҳ:
\[ C_{\mathrm{Attn}}=O(4.3\times10^2N) \]
ва барои маҷмӯъ:
\[ C_{\mathrm{total}} = C_{\mathrm{CNN}}+ C_{\mathrm{NLM}}+ C_{\mathrm{Attn}} = O(7.3\times10^4N) \]
гузориш шудааст. Манбаъ изҳор мекунад, ки дар ин сохтор мураккабӣ бо шумораи пикселҳои тасвир ба таври хаттӣ миқёс мегирад.
| Ҷузъ | Мураккабии дар манбаъ гузоришшуда |
|---|---|
| CNN Predictor | \(O(6.7\times10^4N)\) |
| NLM Predictor | \(O(5.6\times10^3N)\) |
| Attention Fusion Network | \(O(4.3\times10^2N)\) |
| Маҷмӯъ | \(O(7.3\times10^4N)\) |
Натиҷаҳое, ки таҳқиқот дастгирӣ мекунад
- AFCNNP дар таҷрибаҳои гузоришшуда нисбат ба пешгӯкунандаҳои CNN-и муқоисашуда MSE ва дисперсияи хатои пешгӯии пасттар ҳосил кардааст.
- Шабакаи таваҷҷуҳ тавонистааст саҳми CNNP ва NLM-ро дар сатҳи пиксел тағйир диҳад.
- Дар тасвирҳои текстурадор саҳми NLM як қисми пикселҳои пешгӯишавандаро, ки усулҳои танҳо минтақаҳои ҳамворро авлавиятдиҳанда истифода бурда наметавонистанд, қобили истифода кардааст.
- Дар таҷрибаи UCID.v2 усули пешниҳодшуда ба баландтарин иқтидори миёнаи максималии ҷойгиркунии гузоришшуда расидааст.
- Дар муқоисаҳои иқтидори баробар дар фосилаи 10.000-20.000 bit усули пешниҳодшуда баландтарин PSNR-и миёнаро дар ҷадвали манбаъ додааст.
- Натиҷаҳои аблятсия дастгирӣ мекунанд, ки ҳам ҳамҷоясозии таваҷҷуҳи омӯхташуда ва ҳам регуляризатсияи дисперсия ба самаранокӣ саҳм мегузоранд.
- Дар муқоисаи MSE дар 24 тасвири Kodak фарқ нисбат ба усули Lin ва ҳамкорон ҳамчун \(p<0.05\) гузориш шудааст.
Умумисозиҳо ва маҳдудиятҳое, ки таҳқиқот дастгирӣ намекунад
- Натиҷаҳо исбот намекунанд, ки AFCNNP дар ҳамаи намудҳои тасвир бечунучаро беҳтарин усул аст.
- Таҷрибаҳои асосӣ дар тасвирҳои хокистарранг ва ба андозаи 512×512 овардашуда анҷом дода шудаанд.
- Манбаъ бо усули асосёфта ба transformer муқоисаи мустақими миқдорӣ анҷом надодааст; бинобар фарқиятҳои тарҳ ва доираи омӯзиш ин муқоисаро хориҷ кардааст.
- Азбаски қиматҳои PSNR дар иқтидори максималии ҷойгиркунӣ дар нуқтаҳои гуногуни иқтидори усулҳо чен шудаанд, танҳо бо нигаристан ба сутуни PSNR тартиби мустақими бартариро муайян кардан мумкин нест.
- Байни параметрҳои порча/ҷустуҷӯи NLM дар бахши мураккабии ҳисоббарорӣ ва параметрҳои бахши асосии усул фарқи шарҳнашуда вуҷуд дорад.
- Таҳқиқот барои оянда омӯхтани оилаҳои васеътари пешгӯкунандаҳои CNN, encrypted-domain RDH ва ҳамгироӣ бо пешгӯкунандаҳои асосёфта ба transformer-ро пешниҳод мекунад; инҳо натиҷаҳои тасдиқшудаи ҳамин мақола нестанд.
Ёддошт оид ба Манбаъ ва Усул
Унвони аслӣ: A Texture-Aware CNN Predictor for Reversible Data Hiding
Муаллифон: Mohsin Shah; Chang Choi.
Муаллифи масъул: Chang Choi.
Муассиса: Department of Computer Engineering, Gachon University, Seongnam-si 13120, Gyeonggi-do, Republic of Korea.
Маҷалла: Mathematics.
Ношир: MDPI.
Сабти библиографӣ: Mathematics 2026, 14(9), 1542.
DOI: 10.3390/math14091542
Пайванди расмӣ: https://doi.org/10.3390/math14091542
Ирсол: 1 апрели 2026. Таҳрир: 21 апрели 2026. Қабул: 29 апрели 2026. Нашр: 1 майи 2026.
Навъи манбаъ: Мақолаи таҳқиқотии баррасишуда.
Иҷозатнома: Иҷозатномаи дастрасии кушоди Creative Commons Attribution (CC BY).
Маълумоти маблағгузорӣ дар PDF: Basic Science Research Program through the National Research Foundation of Korea (NRF), Ministry of Education, RS-2025-25434261; инчунин Gachon University Research Fund of 2024, GCU-202404090001.
Огоҳӣ дар бораи сабти расмии ҷорӣ: Саҳифаи ҷории нашри MDPI нишон медиҳад, ки мақола бо ислоҳи хурд дар баёнияи маблағгузорӣ дубора нашр шудааст. Дар сабти ҷории онлайн дастгирии NRF ҳамчун Korea government (MSIT), RS-2025-00559546 нишон дода мешавад. Аз ин рӯ, фарқи маблағгузорӣ байни PDF ва сабти расмии ҷорӣ набояд хомӯшона якҷо карда шавад.
Дастрасии додаҳо: Манбаъ нишон медиҳад, ки додаҳои дар таҳқиқот истифодашуда тавассути UCID.v2 ба таври кушода дастрасанд.
Бархӯрди манфиатҳо: Муаллифон гузориш додаанд, ки бархӯрди манфиатҳо вуҷуд надорад.
Саҳми муаллифон: Mohsin Shah; консептуализатсия, методология, нармафзор, санҷиш, таҳлили формалӣ, таҳқиқот ва тарҳи аввал. Chang Choi; захираҳо, куратсияи додаҳо, баррасӣ/таҳрир, визуализатсия, роҳнамоӣ, идоракунии лоиҳа ва ҷалби маблағгузорӣ. Ҳар ду муаллиф нусхаи нашршударо хонда ва тасдиқ кардаанд.
Ҳудуди тафсири илмӣ: Мақола самаранокии AFCNNP-ро дар таҷрибаҳои гузоришшудаи UCID.v2 ва Kodak нишон медиҳад. Натиҷаҳоро набояд мустақиман ба тақсимотҳои дигари тасвир, андозаҳои аслии тасвирҳои ранга, меъмориҳои дигари RDH ё барномаҳои encrypted-domain умумӣ кард.
Ёддоштҳои гузоришдиҳии дохили манбаъ: Гарчанде ки манбаъ метрикаи дуюми Ҷадвали 2-ро ҳамчун “Mean” тамғагузорӣ мекунад, матни гирду атроф аз муқоисаи MAE, MSE ва дисперсия сухан мегӯяд. Илова бар ин, порчаи 3×3 / равзанаи ҷустуҷӯи 21×21 дар тавсифи усули NLM аз қиматҳои \(P=5\) / \(S=15\) дар таҳлили мураккабӣ фарқ мекунад. Ин фарқиятҳо ба хотири садоқат ба манбаъ хомӯшона ислоҳ нашудаанд.
Шарҳ гузоред
Нишонии почтаи электронии шумо нашр намешавад. Майдонҳои ҳатмӣ бо * нишон дода шудаанд