ROI-aware yorumlanabilir derin öğrenme çerçevesi, RGB görüntülerde önce kivinin bulunduğu ilgi bölgesini (Region of Interest, ROI) ayıran, arka planı bastıran ve daha sonra evrişimli sinir ağlarıyla görünür Botrytis cinerea enfeksiyon şiddetini dört seviyede sınıflandıran görüntü tabanlı bir yöntemdir. Bu çalışma, altın etli ‘Haegeum’ kivilerinde gri küf enfeksiyonunun görünür ilerleyişini sınıflandırmak için standart RGB görüntülerini, ROI tabanlı ön işlemeyi, RGB/LAB renk özelliklerinden hesaplanan lezyon oranını, dokuz derin öğrenme mimarisini ve Grad-CAM açıklanabilirlik analizini bir araya getirmiştir. Görüntü sınıflandırmasının yanında meyve sertliği, solunum hızı ve etilen üretimi ölçülerek görünür enfeksiyon seviyelerine eşlik eden fizyolojik değişimler ayrıca karakterize edilmiştir.

Toplam 240 ‘Haegeum’ kivisi B. cinerea ile inokule edilmiş, 14 günlük inkübasyon sürecinde sekiz zaman noktasında incelenmiş ve her meyve altı açıdan görüntülenmiştir. Bu işlem 1.440 ham RGB görüntüsü üretmiş; görüntü kalite kontrolünden sonra 959 görüntü derin öğrenme analizinde tutulmuştur. Enfeksiyon seviyeleri yalnız dış görünüşe göre belirlenmiştir: Level 1 görünür lezyon yokluğu, Level 2 hafif grimsi renk değişimi, Level 3 lokal beyaz miselyum gelişimi ve Level 4 yaygın miselyum gelişimi ile doku parçalanmasıdır.

Fizyolojik karakterizasyon, görünür hastalık ilerledikçe meyve sertliğinin 4,82 N'dan 2,79 N'a düştüğünü göstermiştir. Solunum hızı Level 1'de 0,05 µmol kg⁻¹ s⁻¹ iken Level 4'te 0,24 µmol kg⁻¹ s⁻¹'ye ulaşmıştır. Etilen Level 1 ve 2'de saptanmamış, Level 3'te 0,001 µmol kg⁻¹ s⁻¹ düzeyinde ortaya çıkmış ve Level 4'te 0,015 µmol kg⁻¹ s⁻¹'ye yükselmiştir. Görüntüden hesaplanan enfeksiyon oranı sayısal olarak %0,13'ten %4,50'ye yükselmiştir.

ROI-aware Pipeline II altında EfficientNet-B0, ResNet-50 ve ShuffleNet-V2 modelleri %90,3 doğruluk; ResNet-18 ise %87,6 doğruluk elde etmiştir. Pipeline II'nin en tutarlı etkisi bütün seçilmiş CNN mimarilerinde Grad-CAM aktivasyonunun meyve dışındaki arka plan alanlarından uzaklaştırılması olmuştur. Bununla birlikte silme-temelli Drop@20% Δ metriği bütün modellerde aynı yönde iyileşmemiştir. Bu nedenle çalışma ROI tabanlı ön işlemenin model dikkatini meyve bölgesine daha iyi sınırladığını desteklemekte, fakat Grad-CAM görüntülerini enfeksiyonun nedensel konumunu kanıtlayan bir açıklama olarak değerlendirmemektedir.

En önemli yorum sınırı, modelin gerçek anlamda gizli veya asemptomatik B. cinerea enfeksiyonunu teşhis ettiğinin gösterilmemiş olmasıdır. Level 1 meyveler de B. cinerea ile inokule edilmiştir; yalnız görüntüleme sırasında görünür lezyon göstermemektedir. Ayrıca bağımsız mock-inokule sağlıklı kontrol grubu bulunmamaktadır. Bu nedenle çalışma esas olarak kontrollü görüntüleme koşullarındaki görünür enfeksiyon ilerlemesinin sınıflandırılması için kanıt sunmaktadır.

Detaylı Açıklama

Çalışmanın araştırma problemi

‘Haegeum’, Actinidia chinensis var. chinensis türüne ait, sarı etli ve Güney Kore'de ticari öneme sahip bir kivi çeşididir. Kivi klimakterik bir meyvedir; olgunlaşma sürecinde etilen üretimi ve solunum aktivitesinde artış görülebilir. Hasat sonrası dönemde meyvenin yumuşaması ve olgunlaşması, mantar kaynaklı bozulmalarla birlikte ilerleyebilir.

Botrytis cinerea, gri küf hastalığına yol açan fitopatojenik bir mantardır. Hasat sırasında latent durumda bulunabilir ve depolama ya da dağıtım sırasında gelişerek meyvede renk değişikliği, miselyum oluşumu, yumuşama ve doku parçalanmasına neden olabilir.

Geleneksel görsel kontrol pratik olmakla birlikte değerlendiren kişinin yorumuna bağlıdır. Laboratuvar tabanlı yöntemler ise daha ayrıntılı ölçüm sağlayabilmesine rağmen hızlı ticari sınıflandırma açısından sınırlı olabilir. Araştırmacılar bu nedenle standart RGB görüntülerinden görülebilen enfeksiyon ilerlemesini otomatik olarak derecelendirebilecek, aynı zamanda modelin hangi görüntü alanlarına dikkat ettiğini incelemeye olanak sağlayacak bir sistem geliştirmeyi amaçlamıştır.

Enfeksiyon Seviyeleri Nasıl Belirlendi?

Çalışmadaki dört enfeksiyon seviyesi yapay zekâ, meyve sertliği, solunum hızı, etilen üretimi veya görüntüden hesaplanan enfeksiyon oranıyla değil, yalnız dışarıdan görülebilen semptomlarla atanmıştır; fizyolojik ölçümler ve enfeksiyon oranı bu görsel sınıflar oluşturulduktan sonra seviyelerin biyolojik ve lezyonla ilişkili özelliklerini karakterize etmek için kullanılmıştır.

Neden Level 1 “sağlıklı meyve” olarak adlandırılmamalıdır?

Çünkü deneyde ayrı bir spor uygulanmamış mock kontrol grubu bulunmamaktadır. Level 1 grubundaki meyveler de B. cinerea spor süspansiyonuyla inokule edilmiş, fakat görüntüleme sırasında dışarıdan görülebilen lezyon geliştirmemiştir. Dolayısıyla Level 1 ile gerçek, hiç inokule edilmemiş sağlıklı meyve aynı bilimsel kategori değildir.

Model Asemptomatik Botrytis cinerea Enfeksiyonunu Tespit Ediyor mu?

Bu çalışma modelin gerçek asemptomatik veya pre-semptomatik Botrytis cinerea enfeksiyonunu güvenilir biçimde tespit ettiğini göstermemektedir; sınıf etiketleri görünür semptomlara dayanır, bağımsız sağlıklı kontrol yoktur ve yazarlar özellikle erken/asemptomatik enfeksiyonun gelecekte doğal ve mock-inokule meyvelerle ayrıca doğrulanması gerektiğini belirtmektedir.

‘Haegeum’ meyveleri nasıl hazırlandı?

‘Haegeum’ kivileri Güney Kore'nin Jeollanam-do eyaletindeki Bosung bölgesinde bulunan ticari bir bahçeden tam çiçeklenmeden 160 gün sonra hasat edilmiştir. Meyveler benzer büyüklükte ve görünür kusur taşımayacak şekilde seçilmiş, sabah elle toplanmış ve doğrudan laboratuvara taşınmıştır.

Başlangıçtaki fizyolojik değişkenliği azaltmak ve ticari uzun süreli soğuk depolamayı taklit etmek amacıyla meyveler inokulasyondan önce 0 °C ve %85–90 bağıl nemde 2,5 ay soğuk depoda tutulmuştur.

Botrytis cinerea inokulasyonu

Çalışmada ‘Haegeum’ kivisinden izole edilmiş B. cinerea BHKA 1-1-1 suşu kullanılmıştır. Mantar, olgun sporlu kültür elde etmek amacıyla potato dextrose agar üzerinde 25 °C'de dört hafta yetiştirilmiştir.

Spor süspansiyonu steril distile su içinde hazırlanmış ve hemositometre kullanılarak 3 × 10⁸ spor L⁻¹ yoğunluğuna ayarlanmıştır. Her meyvenin stylar ucuna yara oluşturulmadan 10 µL damla uygulanmıştır. Kaynağa göre bu damla yaklaşık 3 × 10³ spor içermektedir.

İnokule meyveler 20 °C'de, %80–85 bağıl nem altında, karanlıkta 14 gün inkübe edilmiştir.

Zaman noktaları ve görüntü sayısı

Toplam 240 meyve sekiz örnekleme zamanına dağıtılmıştır: inokulasyondan sonra 0, 2, 4, 6, 8, 10, 12 ve 14. günler. Her zaman noktasında 30 meyve değerlendirilmiştir.

Her meyveden üst, alt ve eşit aralıklı dört yan görünüm olmak üzere altı yüksek çözünürlüklü RGB görüntüsü alınmıştır. Böylece başlangıçta 1.440 ham RGB görüntüsü oluşmuştur. Görüntü kalite taraması sonrasında 959 görüntü model eğitimi ve değerlendirmesinde tutulmuştur.

Bu sınıf dengesizliği nedeniyle araştırmacılar değerlendirmede makro-ortalama precision, recall, F1 ve AUC gibi ölçütleri kullanmıştır. Eğitim sırasında class-weighted loss veya yeniden örnekleme uygulanmamıştır.

Fizyolojik ölçümlerin rolü

Fizyolojik ölçümler modelin sınıf etiketlerini üretmek için kullanılmamıştır. Meyveler önce dış belirtilerine göre Level 1–4 olarak atanmış, daha sonra bu görünür seviyelere eşlik eden biyolojik değişimler sertlik, solunum ve etilen üzerinden karakterize edilmiştir.

Meyve sertliği nasıl ölçüldü?

Sertlik CT-3 texture analyzer cihazında 4 mm düz uçlu prob kullanılarak Newton (N) cinsinden ölçülmüştür. Her meyvenin ekvator bölgesinin karşılıklı iki tarafında, her birinde 4 mm sıkıştırma derinliği ve 1 mm s⁻¹ hız kullanılmıştır.

Her görünür enfeksiyon seviyesi için 15 biyolojik tekrar değerlendirilmiştir ve sonuçlar ortalama ± standart hata (SE) olarak raporlanmıştır.

Solunum hızı ve etilen nasıl ölçüldü?

İki kivi 1 L'lik hava geçirmez plastik kaba yerleştirilmiş ve 25 °C'de iki saat bekletilmiştir. Headspace'den 1 mL gaz alınarak YL 6400 gaz kromatografi sistemine enjekte edilmiştir.

Etilen için flame ionization detector, CO₂ için thermal conductivity detector kullanılmıştır. Sistem Porapak N 80/100 kolon ve 18 mL min⁻¹ akış hızında helyum taşıyıcı gazla çalıştırılmıştır. Enjektör ve fırın 50 °C, thermal conductivity detector 200 °C, flame ionization detector ise 250 °C'de tutulmuştur.

Her enfeksiyon seviyesi için beş biyolojik tekrar vardır. Her tekrar iki meyve içeren bir kap olduğundan gaz ölçümlerinde seviye başına toplam 10 meyve kullanılmıştır.

Kaynakta farklı üst simge harfleri Tukey HSD testinde p<0,05 düzeyinde anlamlı farkı göstermektedir. Sertlikte dört seviyenin tamamı birbirinden ayrılmıştır. Solunum hızında Level 2 ve Level 4 aynı istatistiksel gruptadır; Level 3 bunlardan daha düşük, Level 1 ise en düşük düzeydedir. Etilen Level 1 ve 2'de saptanmamış, Level 3 ve Level 4 birbirinden anlamlı biçimde ayrılmıştır.

Enfeksiyon oranında Level 1, 2 ve 3 aynı istatistiksel harfi taşımaktadır; yani sayısal artış görülmesine rağmen bu üç seviye arasında kaynak tablodaki Tukey karşılaştırmasına göre anlamlı fark gösterilmemiştir. Level 4 ise ilk üç seviyeden anlamlı biçimde ayrılmıştır.

ROI-Aware Pipeline II Neyi Değiştiriyor?

Pipeline II, temel RGB sınıflandırma akışına otomatik meyve ROI segmentasyonu ve arka plan piksellerinin sıfırlanmasını ekleyerek CNN'nin girdi ve Grad-CAM analizini meyve bölgesiyle sınırlar; ayrıca RGB blue ile LAB L* ve a* kanallarından kural tabanlı bir enfeksiyon oranı hesaplar, ancak CNN'nin sınıflandırma girdisi yine RGB görüntüdür ve bu oran sınıf etiketlerini tanımlamak için kullanılmaz.

Pipeline I: temel RGB yaklaşımı

Pipeline I kaynakta baseline RGB pipeline olarak tanımlanmıştır. Ham RGB görüntüler önce 330 × 330 piksele yeniden boyutlandırılmış, daha sonra merkezden 224 × 224 piksele kırpılmış ve ImageNet ortalama ve standart sapması kullanılarak normalize edilmiştir.

Bu yaklaşımda arka plan ayrıca segmentasyonla kaldırılmamıştır. Dolayısıyla tepsi kenarları, gölgeler, yansımalar ve başka görüntü öğeleri CNN'nin görüş alanında kalabilmektedir.

Pipeline II: ROI-aware yaklaşım

Pipeline II'de meyve alanı otomatik segmentasyonla belirlenmiştir. Önce eşik tabanlı foreground separation yapılmış, ardından morfolojik iyileştirme uygulanmış ve en büyük bağlı bileşen meyve ROI'si olarak tanımlanmıştır.

ROI dışındaki pikseller sıfıra maskelenmiştir. Daha sonra aynı yeniden boyutlandırma, center crop ve ImageNet normalizasyon işlemleri uygulanmıştır. Böylece iki pipeline arasındaki sistematik fark, ROI tabanlı arka plan bastırma ve Pipeline II'deki enfeksiyon oranı çıkarımıdır.

RGB ve LAB renk uzayları neden birlikte kullanıldı?

RGB görüntülerde B kanalı blue, yani mavi kanal yoğunluğunu temsil eder. LAB renk uzayındaki L* algısal açıklığı; a* ise kırmızı-yeşil yönündeki renk bileşenini temsil eder. Araştırmacılar görünür lezyonlarda oluşan renk koyulaşması, renk kaybı ve yüzey değişikliklerini daha iyi ayırmak amacıyla RGB B kanalını LAB L* ve a* değerleriyle birleştirmiştir.

Bu eşikler standartlaştırılmış aydınlatma altında temsilî görüntüler üzerinde ampirik olarak belirlenmiş ve daha sonra bütün örnekler için sabit tutulmuştur. Dolayısıyla eşiklerin başka kamera, aydınlatma, hasat sezonu veya meyve popülasyonlarında aynı performansı vereceği bu çalışma tarafından kanıtlanmamıştır.

Piksel sınıflandırma kuralları

Kaynak metin B=130 veya B=170 eşitlik sınırlarını ayrıca açıklamamaktadır; bu nedenle burada kaynakta olmayan sınır kuralı eklenmemiştir.

Denklem 1: görüntüden enfeksiyon oranı

\[ \text{Enfeksiyon oranı (\%)}= \frac{N_{\text{infected pixels}}} {N_{\text{fruit ROI pixels}}}\times100 \]

N_{infected pixels}, ROI içinde kural tabanlı eşiklerle “enfekte” olarak sınıflandırılan piksel sayısıdır. N_{fruit ROI pixels}, segmentasyonla belirlenen meyve ROI'sindeki toplam piksel sayısıdır.

Sonuç yüzde olarak lezyon yükünü temsil eden görüntü-türevli bir tanımlayıcıdır. “Şüpheli” pikseller paya dahil edilen enfekte piksellerle aynı kategori değildir.

En önemli sınır, bu oranın uzman tarafından elle çizilmiş lezyon maskesine karşı doğrulanmış bağımsız bir ground-truth segmentasyon metriği olmamasıdır. Araştırmacılar da gelecekte manuel lezyon anotasyonlarıyla doğrulama yapılması gerektiğini belirtmektedir.

Derin öğrenme mimarileri

İlk taramada dokuz mimari değerlendirilmiştir:

• ResNet-18
• ResNet-50
• EfficientNet-B0
• ShuffleNet-V2
• MobileNet-V2
• MNASNet1_0
• GoogLeNet
• ViT-Base
• ViT-Large

İlk tarama sonrasında performansın daha yüksek ve sınıflar arasında daha dengeli olduğu ResNet-18, ResNet-50, EfficientNet-B0 ve ShuffleNet-V2 sonraki eşleştirilmiş Pipeline I–Pipeline II karşılaştırması için seçilmiştir.

Transfer learning ve eğitim ayarları

Bütün modeller ImageNet üzerinde önceden eğitilmiş ağırlıklarla başlatılmış ve kivi veri setinde fine-tuning uygulanmıştır. Özgün sınıflandırma başlığı kaldırılmış, yerine dört enfeksiyon seviyesini üreten fully connected çıktı katmanı eklenmiştir.

Her split'te validation accuracy'si en yüksek checkpoint nihai test değerlendirmesinde kullanılmıştır.

Veri sızıntısı kontrolü: Aynı meyvenin altı farklı görüntüsü birbirinden bağımsız örnekler gibi farklı train/validation/test kümelerine dağıtılmamıştır. Bir meyveye ait bütün görüntüler aynı subset içinde tutulmuştur. Bu tasarım, aynı fiziksel meyvenin farklı açılarını hem eğitimde hem testte görmenin oluşturacağı yapay performans artışını önlemek açısından önemlidir.

Kaynakta raporlanmayan eğitim ayrıntıları: Makale batch size'ı, kullanılan loss fonksiyonunun tam adını, random seed değerlerini ve eğitim/inference donanımının işlemci/GPU modelini açıkça belirtmemektedir. Bunlar Verianla tarafından tamamlanmamıştır.

Neden augmentation sınırlı tutuldu?

Araştırmacılar sınıflandırmanın hafif grimsi renk değişimi, lokal miselyum, yüzey dokusu ve RGB/LAB renk bilgisindeki küçük değişimlere bağlı olduğunu belirtmektedir. Güçlü geometrik veya renk tabanlı augmentation işlemlerinin bu biyolojik belirtileri yapay biçimde değiştirebileceği düşüncesiyle eğitim artırımı yalnız random horizontal flip ile sınırlandırılmıştır.

Bunun karşılığında, veri çeşitliliğinin sınırlı kalmasının özellikle yeni görüntüleme koşullarında model dayanıklılığını azaltabileceği de çalışma tarafından sınırlılık olarak tartışılmaktadır.

Grad-CAM Bu Çalışmada Neyi Gösteriyor ve Neyi Kanıtlamıyor?

Grad-CAM, CNN kararına hangi görüntü bölgelerinin daha fazla katkı verdiğini renkli saliency dağılımlarıyla görselleştirmek için kullanılmıştır; ROI-aware Pipeline II aktivasyonu meyve bölgesi içinde daha fazla yoğunlaştırmıştır, ancak kaynak açıkça bu uzamsal çakışmanın enfeksiyonun gerçek nedensel konumunu veya model açıklamasının doğruluğunu kesin biçimde kanıtlamadığını belirtmektedir.

Grad-CAM nedir?

Gradient-weighted Class Activation Mapping (Grad-CAM), belirli bir sınıf tahmininde CNN'nin yüksek düzey özellik haritalarının hangi uzamsal bölgelerinin daha etkili olduğunu göstermeye çalışan post hoc açıklanabilirlik tekniğidir. Çalışma Grad-CAM'in temel türetim denklemini yeniden vermemekte; onun ürettiği aktivasyon haritalarının ROI ile uzamsal ilişkisini ayrıca tanımlanan ölçütlerle değerlendirmektedir.

Denklem 2: Accuracy

\[ \mathrm{Accuracy}= \frac{\sum_{c=1}^{C}TP_c}{N} \]

TP_c, c sınıfındaki doğru pozitif tahminlerin sayısı; C sınıf sayısıdır ve bu çalışmada C=4'tür. N, değerlendirilen toplam görüntü sayısıdır.

Accuracy bütün doğru sınıflandırmaların tüm örneklere oranıdır. Ancak sınıflar dengesiz olduğunda tek başına accuracy küçük sınıflardaki performansı yeterince göstermeyebilir.

Denklem 3: Precision

\[ \mathrm{Precision}_c= \frac{TP_c}{TP_c+FP_c} \]

FP_c, aslında başka sınıfa ait olduğu halde c sınıfı olarak tahmin edilen yanlış pozitif örneklerdir. Precision, model “bu görüntü c sınıfıdır” dediğinde bu kararların ne kadarının doğru olduğunu ifade eder.

Denklem 4: Recall

\[ \mathrm{Recall}_c= \frac{TP_c}{TP_c+FN_c} \]

FN_c, gerçekte c sınıfına ait olmasına rağmen modelin başka bir sınıfa gönderdiği yanlış negatif örneklerdir. Recall veya sensitivity, gerçek c sınıfı örneklerinin ne kadarının yakalandığını gösterir.

Denklem 5: F1-score

\[ F1_c= \frac{2\times\mathrm{Precision}_c\times\mathrm{Recall}_c} {\mathrm{Precision}_c+\mathrm{Recall}_c} \]

F1-score precision ile recall'ın harmonik ortalamasıdır. Metrik, iki ölçütten yalnız birinin yüksek olmasını yeterli görmez; dengesiz precision–recall davranışını cezalandırır.

Denklem 6: Makro ortalama

\[ \mathrm{Precision}_{macro}= \frac{1}{C}\sum_{c=1}^{C}\mathrm{Precision}_c \]

\[ \mathrm{Recall}_{macro}= \frac{1}{C}\sum_{c=1}^{C}\mathrm{Recall}_c \]

\[ F1_{macro}= \frac{1}{C}\sum_{c=1}^{C}F1_c \]

Makro ortalamada dört sınıfın her biri aynı ağırlığa sahiptir. Level 2'nin 447 görüntüsü, Level 4'ün 95 görüntüsü bulunmasına rağmen makro metrikte Level 2 sırf daha çok örneğe sahip olduğu için daha fazla ağırlık kazanmaz.

Denklem 7: Macro AUC

\[ AUC_{macro}= \frac{1}{C}\sum_{c=1}^{C}AUC_c \]

Çok sınıflı problemde her sınıf için one-vs-rest ROC eğrisi oluşturulur ve ilgili AUC değerleri eşit ağırlıkla ortalanır. AUC belirli tek bir karar eşiğine bağlı olmadan sınıfların ayrıştırılabilirliğini değerlendirir.

Denklem 8: Outside-ROI ratio

\[ \mathrm{Outside\text{-}ROI\ ratio(\%)}= \frac{\sum_{p\notin ROI}A(p)} {\sum_p A(p)}\times100 \]

A(p), p pikselindeki CAM aktivasyonudur. Pay, meyve ROI'sinin dışında kalan CAM aktivasyonlarının toplamıdır; payda bütün görüntüdeki toplam CAM aktivasyonudur.

Bu oran küçüldüğünde model saliency'sinin daha küçük bir bölümü arka plana taşmaktadır. Pipeline II'de dört seçilmiş CNN'nin tamamında bu değer azalmıştır.

Denklem 9: ROI içi entropy

Önce CAM aktivasyonu ROI içinde normalize edilir:

\[ \widetilde{A}(p)= \frac{A(p)} {\sum_{q\in ROI}A(q)} \]

Ardından:

\[ \mathrm{Entropy}_{ROI} = -\sum_{p\in ROI} \widetilde{A}(p)\log\widetilde{A}(p) \]

Entropy, ROI içindeki aktivasyonun ne kadar yaygın veya yoğunlaşmış olduğunu ölçer. Daha düşük entropy, saliency'nin daha az dağınık ve daha uzamsal olarak yoğunlaşmış olduğu bir yapıyla uyumludur. Kaynak logaritmanın tabanını ayrıca belirtmemektedir.

Denklem 10: CAM area ≥ 0.5

\[ \mathrm{CAM\ area}_{\geq0.5} = \frac{\left|\left\{p\in ROI:A(p)\geq0.5\right\}\right|} {|ROI|} \]

Pay, normalize CAM şiddeti en az 0,5 olan ROI piksellerinin sayısı; payda toplam ROI piksel sayısıdır. Böylece yüksek aktivasyonlu alanın ROI içindeki göreli büyüklüğü hesaplanır.

Kaynak gösterim notu: Denklem bu değeri 0–1 oranı olarak tanımlarken Tablo 3 sütun başlığında “%” işareti kullanılmış ve değerler 0,17–0,77 benzeri ondalık biçimde verilmiştir. Kaynak bu ölçek sunumunu ayrıca açıklamadığından Verianla değerleri sessizce 17 veya 77 gibi yüzdelere çevirmemektedir.

Denklem 11: Drop@20% Δ

\[ P_{drop}(\cdot)= P_{original}-P_{masked} \]

\[ \mathrm{Drop@20\%\ }\Delta= P_{drop}(CAM)-P_{drop}(Random) \]

Her test görüntüsünde ROI içinde Grad-CAM'in en yüksek vurguladığı %20'lik alan maskelenir ve doğru sınıfa ait tahmin olasılığının ne kadar düştüğü ölçülür. Aynı işlem eşit büyüklükte rastgele seçilmiş ROI alanı için tekrarlanır.

Pozitif Drop@20% Δ, CAM tarafından vurgulanan alanın maskelenmesinin rastgele alan maskelenmesine göre model güvenini daha fazla düşürdüğünü gösterir. Bununla birlikte kaynak bu metriği nedensel açıklamanın kesin kanıtı olarak değil, model tahmin duyarlılığı hakkında tamamlayıcı bir gösterge olarak yorumlamaktadır.

Denklem 12: FPS

\[ FPS= \frac{N_{images}} {T_{inference}} \]

N_images, test sırasında sınıflandırılan görüntü sayısı; T_inference ise bu görüntülerin forward-pass süresidir ve saniye cinsindendir.

FPS yükseldikçe model aynı donanım koşullarında saniyede daha çok görüntü işleyebilmektedir. Ancak makale FPS ölçümünün aynı donanım koşullarında yapıldığını belirtmesine rağmen kullanılan işlemci veya GPU modelini raporlamamaktadır. Bu nedenle başka sistemde aynı FPS değerinin alınacağı varsayılamaz.

Çalışmanın Yöntemi ve Bulguları

İstatistiksel analiz

Fizyolojik ölçümler ve görüntüden elde edilen enfeksiyon oranı tamamen rastgele tasarım altında analiz edilmiştir. Sertlik, solunum, etilen ve enfeksiyon oranı için tek yönlü varyans analizi (one-way ANOVA), ardından Tukey honestly significant difference (HSD) çoklu karşılaştırma testi uygulanmıştır.

Anlamlılık sınırı p<0,05'tir. İstatistiksel analiz IBM SPSS Statistics 21 ile gerçekleştirilmiştir.

Fizyolojik sonuçlar ve enfeksiyon oranı ortalama ± standart hata (SE) biçiminde verilmiştir. Üç bağımsız meyve-düzeyli split'ten hesaplanan model performans ve CAM metrikleri ise ortalama ± standart sapma (SD) biçimindedir.

Kaynak, Pipeline I ve Pipeline II model metrikleri arasında ayrıca inferansiyel bir p-değeri testi raporlamamaktadır. Bu nedenle model performansındaki farklar “istatistiksel olarak anlamlı iyileşme” şeklinde yeniden etiketlenmemiştir.

Dokuz mimarinin sınıflandırma sonuçları

Pipeline II altında en yüksek accuracy değerini EfficientNet-B0, ResNet-50 ve ShuffleNet-V2 paylaşmıştır: üç model de %90,3 doğruluk elde etmiştir. Buna rağmen diğer metrikleri aynı değildir. EfficientNet-B0'ın precision değeri %93,7, recall değeri %91,8 ve F1 değeri %92,1 iken ShuffleNet-V2'nin değerleri sırasıyla %92,1, %92,3 ve %92,1'dir.

ResNet-50 daha derin bir ağ olmasına rağmen EfficientNet-B0 ve ShuffleNet-V2'yi accuracy açısından geçmemiştir. Bu sonuç bu veri setinde daha fazla ağ derinliğinin otomatik olarak daha yüksek doğruluk sağlamadığını gösterir; ancak bütün görüntü sınıflandırma görevlerine genellenemez.

MNASNet1_0 Pipeline II'de iyileşmemiş, accuracy %55,9'dan %50,3'e düşmüştür. Bu da ROI-aware işlemenin mimariden bağımsız biçimde her modeli geliştiren evrensel bir yöntem olmadığını açıkça göstermektedir.

CNN ve Vision Transformer sonucu nasıl yorumlandı?

Kaynakta CNN tabanlı modellerin bu veri setinde ViT-Base ve ViT-Large'dan daha güçlü performans gösterdiği raporlanmıştır. Yazarlar bunun görünür lezyonların lokal renk ve doku yapıları içermesi, CNN'lerin güçlü yerel inductive bias'ı ve veri setinin görece küçük olmasıyla ilişkili olabileceğini tartışmaktadır.

Bu açıklama çalışma yazarlarının yorumudur. Çalışma, “CNN her tarımsal görüntü görevinde Vision Transformer'dan üstündür” sonucunu desteklememektedir.

Macro AUC karşılaştırması

Dört seçilmiş CNN'de Pipeline II ile macro AUC yükselmiştir. Kaynağın Tablo 3'te verdiği değerler şöyledir:

Kaynak ROC grafiğinde aynı büyüklükler yaklaşık 0,95, 0,98 gibi 0–1 AUC ölçeğinde gösterilirken Tablo 3 değerleri 94,89 ve 98,13 biçiminde verilmiştir. Bu iki gösterim yüzde/ondalık ölçek dönüşümüyle uyumludur; ancak Tablo 3'ün AUC sütun başlığında açık bir “%” işareti bulunmadığından Verianla tablo değerlerini kaynak biçimiyle korumaktadır.

Grad-CAM nicel sonuçları

En tutarlı sonuç outside-ROI ratio'dadır. Pipeline II'de dört modelin tamamında bu değer düşmüştür. ResNet-18'de 0,77'den 0,59'a; ResNet-50'de 0,78'den 0,48'e; EfficientNet-B0'da 0,71'den 0,32'ye; ShuffleNet-V2'de 0,51'den 0,26'ya gerilemiştir. Bu, model aktivasyonunun arka plandan meyve bölgesine daha fazla sınırlandığını desteklemektedir.

ROI entropy de dört mimarinin tamamında azalmış, yüksek yoğunluklu CAM alanı daha kompakt hale gelmiştir. Ancak Drop@20% Δ aynı yönde değişmemiştir. ShuffleNet-V2 negatiften pozitife geçerken ResNet-50 pozitif kalmış fakat küçülmüş; ResNet-18 daha negatif hale gelmiş ve EfficientNet-B0 pozitiften negatife geçmiştir.

Bu nedenle çalışma, Pipeline II'nin model dikkatinin uzamsal konumunu daha tutarlı hale getirdiğini güçlü biçimde desteklemektedir; fakat açıklanabilirliğin her yönünün ve her mimarideki nedensel önem ölçüsünün eşit biçimde iyileştiğini desteklememektedir.

Inference hızı

ShuffleNet-V2 her iki pipeline'da da en yüksek FPS değerini vermiştir: Pipeline I için 21,48 ± 0,92 FPS, Pipeline II için 21,43 ± 0,30 FPS. ResNet-50 ise sırasıyla 11,44 ± 0,27 ve 12,31 ± 0,06 FPS ile en yavaş modeldir.

Pipeline II ROI segmentasyonu eklemesine rağmen seçilmiş CNN'lerde inference throughput'ta büyük bir ceza oluşturmamıştır. Buna karşılık makale kullanılan donanım modelini raporlamadığından bu FPS değerlerinin başka donanımlarda doğrudan yeniden elde edileceği varsayılamaz.

Neden erken seviyeler daha zor?

Kaynağın sınıf bazlı analizine göre Level 3 ve Level 4 gibi ileri enfeksiyon seviyeleri iyi performans gösteren CNN'ler tarafından daha kolay ayrılmıştır. Bunun nedeni bu seviyelerde miselyum gelişimi, belirgin renk değişikliği ve doku çökmesi gibi güçlü görsel ipuçlarının ortaya çıkmasıdır.

Level 1 ve Level 2 arasındaki fark ise daha zordur. Level 1 görünür lezyonu olmayan inokule meyvelerden, Level 2 ise yalnız hafif grimsi renk değişikliğinden oluşmaktadır. Doğal meyve yüzey rengi, aydınlatma farklılıkları ve çok erken semptomlar bu iki kategorinin görünüşlerinin örtüşmesine yol açabilir.

Yazarlar ayrıca Level 3–4 gibi ileri çürüme seviyelerinin insan tarafından zaten kolay fark edilebilmesi nedeniyle bu ileri sınıfları otomatik ayırmanın pratik değerinin dikkatli yorumlanması gerektiğini belirtmektedir. Çalışmanın daha önemli gelecek hedefi erken ve asemptomatik enfeksiyonun güvenilir biçimde ayrılmasıdır.

Fizyoloji ile yapay zekâ arasındaki ilişki

Görünür enfeksiyon ilerlemesi meyvenin yumuşaması, solunum aktivitesindeki değişim ve geç evrede etilen üretimiyle birlikte görülmüştür. Grad-CAM aktivasyonları da çoğu örnekte görünür renk değişimi, yumuşama veya miselyumla ilişkili alanlarla uzamsal uyum göstermiştir.

Ancak bu ilişki birebir fizyolojik doğrulama değildir. CNN'nin belirli bir görüntü bölgesine dikkat etmesi, o bölgenin belirli bir etilen konsantrasyonuna veya solunum hızına doğrudan karşılık geldiğini göstermez. Fizyolojik ölçümler seviye düzeyinde post hoc karakterizasyon sağlamaktadır.

RGB/LAB yaklaşımının uygulama anlamı

Çalışma, standart dijital RGB görüntülerinin hyperspectral sistemlere göre daha basit ve düşük maliyetli bir görüntüleme yaklaşımı sağlayabileceğini tartışmaktadır. Ancak bu çalışma RGB/LAB sistemi ile hyperspectral sistemi aynı örneklerde doğrudan maliyet veya performans açısından karşılaştıran deney değildir.

Dolayısıyla “RGB yöntemi hyperspectral görüntülemeden üstündür” sonucu çıkarılamaz. Kaynağın desteklediği daha dar sonuç, standartlaştırılmış kontrollü görüntüleme ortamında ROI-aware RGB/LAB yaklaşımının görünür enfeksiyon seviyelerini sınıflandırmada kullanışlı sonuçlar verdiğidir.

Çalışmanın desteklediği sonuçlar

• ‘Haegeum’ kivisinde görünür B. cinerea enfeksiyon ilerlemesine meyve yumuşaması, solunum değişimi ve ileri seviyelerde etilen üretimi eşlik etmiştir.
• ROI-aware ön işleme seçilmiş CNN modellerinde arka plan kaynaklı Grad-CAM aktivasyonunu azaltmıştır.
• EfficientNet-B0, ResNet-50 ve ShuffleNet-V2 Pipeline II'de %90,3 accuracy elde etmiştir.
• ROI-aware yaklaşım bütün mimarilerde eşit performans artışı sağlamamıştır.
• Hafif ve erken görünür seviyelerin ayrımı ileri enfeksiyon seviyelerine göre daha zordur.
• ShuffleNet-V2 yüksek accuracy ile birlikte dört seçilmiş model arasındaki en yüksek inference hızını vermiştir.

Çalışmanın desteklemediği sonuçlar

• Modelin gerçek latent veya asemptomatik enfeksiyonu güvenilir biçimde tespit ettiği gösterilmemiştir.
• Level 1 gerçek inokule edilmemiş sağlıklı kontrol değildir.
• Görüntüden hesaplanan enfeksiyon oranı manuel lezyon ground-truth'u olarak bağımsız biçimde doğrulanmamıştır.
• Grad-CAM'in gösterdiği bölgeler enfeksiyonun nedensel biyolojik odağı olarak doğrulanmamıştır.
• Pipeline II'nin her model ve her açıklanabilirlik metriğini iyileştirdiği gösterilmemiştir.
• Kontrollü laboratuvar performansının farklı bahçelerde, hasat sezonlarında, kameralarla veya ticari paketleme hatlarında aynen korunacağı gösterilmemiştir.
• Bu çalışma hyperspectral görüntülemeye karşı doğrudan üstünlük deneyi değildir.

Başlıca sınırlılıklar

Mock kontrol eksikliği: Ayrı bir inokule edilmemiş sağlıklı grup bulunmamaktadır. Bu nedenle Level 1 yalnız “görünür lezyonsuz inokule meyve” olarak yorumlanmalıdır.

Kontrollü görüntüleme: RGB/LAB eşikleri standartlaştırılmış aydınlatmada geliştirilmiştir. Dış ortam, farklı kamera, farklı hasat sezonu veya ticari tesis koşullarında eşiklerin yeniden doğrulanması gerekir.

Lezyon ground-truth'u: Görüntü-türevli enfeksiyon oranı manuel uzman lezyon anotasyonlarına karşı bağımsız biçimde doğrulanmamıştır.

Veri seti büyüklüğü ve dengesizliği: 959 görüntünün 447'si Level 2 iken yalnız 95'i Level 4'tür. Makro metrikler bu dengesizliğin değerlendirme üzerindeki etkisini azaltmaya yardımcı olsa da daha geniş veri setleri gereklidir.

Sınırlı augmentation: Yalnız horizontal flip kullanılması biyolojik renk ve lezyon özelliklerini korurken görüntü koşulu çeşitliliğini sınırlandırmış olabilir.

Üç split: Grad-CAM ve model karşılaştırma metrikleri yalnız üç bağımsız meyve-düzeyli split üzerinden özetlenmiştir. Yazarlar bu nedenle özellikle saliency ve deletion metriklerini yön gösterici tamamlayıcı göstergeler olarak yorumlamaktadır.

Eksik yeniden üretilebilirlik ayrıntıları: Batch size, loss fonksiyonunun açık adı ve kullanılan inference donanım modeli raporlanmamıştır.

Doğal enfeksiyon doğrulaması: Çalışma yapay inokulasyonla kontrollü koşullarda yürütülmüştür. Doğal olarak enfekte olmuş ticari meyvelerde dış doğrulama yapılmamıştır.

Gelecek çalışma yönleri

Yazarlar yöntemin manuel lezyon anotasyonlarına, farklı hasat sezonlarına, farklı bahçe koşullarına, farklı görüntüleme ortamlarına ve doğal enfekte meyvelere karşı doğrulanmasını önermektedir.

Özellikle mock-inokule sağlıklı meyveler, doğal sağlıklı meyveler ve doğal enfekte meyvelerin aynı veri setinde bulunması; Level 1, Level 2 ve gerçek pre-semptomatik enfeksiyon arasındaki ayrımı değerlendirmek için gereklidir.

Gelecekte semptomları bozmayan augmentation yöntemlerinin, daha geniş veri kümelerinin ve ticari depolama/dağıtım koşullarının kullanılması modelin genellenebilirliğini değerlendirmek açısından önemlidir.

Kaynak ve Yöntem Notu

Özgün başlık: Physiological and image-based characterization of Botrytis cinerea infection progression in postharvest ‘Haegeum’ kiwifruit using interpretable deep learning

Türkçe yayın başlığı: Hasat Sonrası ‘Haegeum’ Kivisinde Botrytis cinerea Enfeksiyon İlerlemesinin Yorumlanabilir Derin Öğrenme Kullanılarak Fizyolojik ve Görüntü Tabanlı Karakterizasyonu

Yazarlar: Joonggon Kim, Sang-Yeon Kim, Kyeonglim Min, Chanyong Jeong, Ghiseok Kim, Eun Jin Lee.

Eş katkı: Joonggon Kim ve Sang-Yeon Kim eşit katkılı yazarlar olarak belirtilmiştir.

Sorumlu yazar: Eun Jin Lee.

Afiliasyon 1: Department of Agriculture, Forestry and Bioresources, College of Agriculture and Life Sciences, Seoul National University, Seoul, Republic of Korea.

Afiliasyon 2: Department of Biosystems Engineering, Seoul National University, Seoul, Republic of Korea.

Afiliasyon 3: Integrated Major in Global Smart Farm, Seoul National University, Seoul, Republic of Korea.

Afiliasyon 4: Research Institute of Agriculture and Life Sciences, Seoul National University, Seoul, Republic of Korea.

Afiliasyon 5: Department of Electrical and Computer Engineering, Seoul National University, Seoul, Republic of Korea.

Dergi: Frontiers in Plant Science.

Bölüm: Technical Advances in Plant Science.

Cilt / makale no: Volume 17, Article 1894572.

DOI: 10.3389/fpls.2026.1894572.

Makale türü: Original Research.

Gönderim tarihi: 29 Mayıs 2026.

Revizyon tarihi: 2 Temmuz 2026.

Kabul tarihi: 6 Temmuz 2026.

Yayın tarihi: 27 Temmuz 2026.

Hakemlik: Hakemli yayındır. Resmî Frontiers kaydında editör Orly Enrique Apolo-Apolo; hakemler Mónica Pineda, Mahmoud Okasha ve Jairo Camilo Quijano Pérez olarak gösterilmektedir.

Lisans: Creative Commons Attribution License (CC BY). Uygun atıf verildiğinde kullanım, dağıtım ve yeniden üretime izin verilmektedir.

Çalışma türü: Kontrollü hasat sonrası meyve inokulasyon deneyi, fizyolojik karakterizasyon ve derin öğrenme tabanlı RGB görüntü sınıflandırmasını birleştiren deneysel çalışma.

Bitkisel materyal: Altın etli ‘Haegeum’ kivi, Actinidia chinensis var. chinensis.

Patojen: Botrytis cinerea, BHKA 1-1-1 suşu.

Deney örneklemi: 240 meyve; sekiz zaman noktası; zaman noktası başına 30 meyve.

İnokulum: 3 × 10⁸ spor L⁻¹; meyve başına 10 µL, yaklaşık 3 × 10³ spor.

İnkübasyon: 20 °C, %80–85 bağıl nem, karanlık, 14 gün.

Görüntüleme: Meyve başına altı RGB görünüm; toplam 1.440 ham görüntü, kalite kontrolü sonrası 959 görüntü.

Model sınıfları: Dört görünür enfeksiyon seviyesi.

Kontrol sınırı: Ayrı mock-inokule sağlıklı meyve grubu yoktur. Level 1 spor uygulanmış fakat görünür lezyon göstermeyen meyvelerden oluşur.

İlk taranan mimariler: ResNet-18, ResNet-50, EfficientNet-B0, ShuffleNet-V2, MobileNet-V2, MNASNet1_0, GoogLeNet, ViT-Base ve ViT-Large.

Eşleştirilmiş ayrıntılı karşılaştırmaya alınan modeller: ResNet-18, ResNet-50, EfficientNet-B0 ve ShuffleNet-V2.

Transfer learning: ImageNet önceden eğitilmiş ağırlıklar.

Optimizer: SGD; başlangıç learning rate 0,05; momentum 0,9; weight decay 1 × 10⁻⁴.

Eğitim: 30 epoch; ilk 5 epoch lineer learning-rate warm-up.

Veri bölümü: Meyve düzeyinde %70 train, %15 validation ve %15 test; üç bağımsız rastgele split.

Augmentation: Random horizontal flipping. Class-weighted loss veya resampling uygulanmamıştır.

Kaynakta açıkça raporlanmayan model ayrıntıları: Batch size, loss fonksiyonunun açık adı, eğitim/inference donanım modeli ve random seed değerleri.

İstatistik: One-way ANOVA + Tukey HSD; p<0,05. IBM SPSS Statistics 21.

Fizyolojik veri sunumu: Ortalama ± SE.

Model/CAM performans sunumu: Üç bağımsız split üzerinden ortalama ± SD.

Fizyolojik örnekleme: Sertlik için seviye başına 15 biyolojik tekrar; solunum ve etilen için beş kaplık biyolojik tekrar, her kapta iki meyve.

Ana model sonucu: Pipeline II'de EfficientNet-B0, ResNet-50 ve ShuffleNet-V2 %90,3 accuracy; ResNet-18 %87,6 accuracy.

Ana açıklanabilirlik sonucu: ROI-aware ön işleme dört seçilmiş CNN'nin tamamında outside-ROI saliency oranını azaltmış ve model aktivasyonunu meyve bölgesi içinde daha fazla sınırlandırmıştır. Drop@20% Δ iyileşmesi ise model bağımlıdır.

Formüller: Kaynak 12 denklem vermektedir: enfeksiyon oranı, accuracy, precision, recall, F1, makro ortalamalar, macro AUC, outside-ROI ratio, ROI entropy, CAM area ≥0,5, Drop@20% Δ ve FPS.

Kaynak içi ölçek gösterimi notu: ROC grafikleri AUC'yi 0–1 aralığında gösterirken Tablo 3 AUCmacro değerlerini 94,89–98,13 benzeri biçimde sunmaktadır. Denklem 10 CAM alanını oran olarak verirken Tablo 3 başlığında yüzde işareti bulunmaktadır. Verianla bu gösterimleri kaynakta olmadığı biçimde sessizce yeniden ölçeklememiştir.

Veri erişilebilirliği: Çalışmanın özgün katkılarının makale ve Supplementary Material içinde olduğu, ek soruların corresponding author'a yöneltilebileceği belirtilmiştir.

Finansman: Korea Institute of Planning and Evaluation for Technology in Food, Agriculture, and Forestry (IPET), Agriculture and Food Convergence Technologies Program for Research Manpower Development; Ministry of Agriculture, Food and Rural Affairs tarafından finanse edilmiştir. Hibe no: RS-2024-00398300.

Çıkar çatışması: Yazarlar çalışmanın potansiyel çıkar çatışması oluşturabilecek ticari veya finansal ilişkiler olmadan yürütüldüğünü beyan etmiştir.

Generatif AI beyanı: Yazarlar makalenin oluşturulmasında generatif yapay zekâ kullanmadıklarını bildirmiştir. Frontiers, şekillerin alternatif metinlerinin AI desteğiyle oluşturulmuş olabileceğini ve mümkün olduğunda yazarlar tarafından gözden geçirildiğini ayrıca belirtmektedir.

Yazar katkıları: Joonggon Kim: Validation, Formal analysis, Methodology, Writing – original draft. Sang-Yeon Kim: Writing – original draft, Formal analysis, Methodology, Validation. Kyeonglim Min: Writing – review & editing, Methodology. Chanyong Jeong: Writing – review & editing, Methodology. Ghiseok Kim: Writing – review & editing, Methodology. Eun Jin Lee: Formal analysis, Writing – review & editing, Supervision, Methodology, Resources, Conceptualization, Funding acquisition, Validation.

Temel yöntemsel sınırlılıklar: Ayrı sağlıklı mock kontrolünün olmaması; sınıfların görünür semptom temelli olması; erken/asemptomatik enfeksiyonun bağımsız doğrulanmaması; RGB/LAB eşiklerinin standart aydınlatmaya dayanması; enfeksiyon oranının manuel lezyon anotasyonuna karşı doğrulanmamış olması; sınırlı ve dengesiz görüntü veri seti; yalnız üç bağımsız split; sınırlı augmentation; doğal enfeksiyon ve dış saha doğrulamasının bulunmaması.

Kaynak görseller: Kaynak Şekil 1 dört gerçek görünür enfeksiyon evresini; Şekil 2 Pipeline I ve Pipeline II yöntem akışını; Şekil 3 çok sınıflı ROC eğrilerini; Şekil 4 aynı meyvelerde Pipeline I ve II Grad-CAM farkını; Şekil 5 dört CNN backbone'daki Grad-CAM dağılımlarını göstermektedir.

Görsel yeniden inşa sınırı: Kaynak meyve fotoğrafları ve Grad-CAM raster haritaları yapay görüntülerle taklit edilmemiştir. Görünür enfeksiyon seviyeleri ve yöntem pipeline'ı ölçeksiz bağımsız SVG şemalarıyla aktarılmıştır. ROC ham koordinatları kaynakta tablo olarak verilmediğinden sahte ROC noktaları oluşturulmamıştır.