Hiperspektral Görüntü Sınıflandırma için Hibrit Evrişimsel Sinir Ağı ve Sıkma- Uyarma Bloğu Yöntemi

Year 2023, , 389 - 402, 28.03.2023

Mehmet Nergiz

https://doi.org/10.35234/fumbd.1241209

Abstract

Yüksek spektral çözünürlüğe sahip bir tür optik uzaktan algılama görüntüsü olarak, hiperspektral görüntüler, zengin spektral özellik bilgisine sahip 3 boyutlu görüntü küpleridir. Şu anda hiperspektral görüntü sınıflandırması, uzaktan algılama alanındaki en aktif araştırma alanlarından biridir. Son yıllarda bu alanda derin öğrenme ve özellikle evrişimsel sinir ağları (ESA) sıklıkla kullanılmaktadır. Bu çalışma kapsamında, hiperspektal görüntü sınıflandırması için yeni bir model geliştirilmiştir. Önerilen model, 3B ESA, Sıkma-uyarma bloğu ve 2B Derinlemesine ayrılabilir evrişimden (DAE) oluşmaktadır. 2B ESA ile spektral özellik bilgileri elde edilemediğinden dolayı, hem spektral hem de uzamsal özellikleri elde etmek için 3B ESA kullanılmıştır. Sadece 3B ESA kullanımı hesaplama karmaşıklığını arttırmaktadır. Hibrit ESA kullanımı bu sorunu çözmektedir. Hibrit ESA’larda daha fazla uzamsal özellik çıkarabilmek için 3B ESA’dan sonra 2B ESA kullanılmaktadır. Ancak bu çalışma kapsamında, 2B ESA yerine 2B DAE kullanımı tercih edilmiştir. Standart 2B ESA yerine 2B DAE kullanımı ile eğitilebilir parametre sayısı ve hesaplama maliyeti azaltılmıştır. Bu, sınıflandırma performansını arttırmıştır. Ayrıca, özellik çıkarma ve hiperspektral görüntü sınıflandırmasındaki performansı arttırmak için Hibirt ESA modeli bir sıkma-uyarma bloğu ile birleştirilmiştir. Önerilen yöntemin sınıflandırma performansını test etmek için HyRank-Loukia ve Houston 2013 verisetleri kullanılmıştır. %10 eğitim örneği alınarak gerçekleştirilen uygulamalar sonucunda sırasıyla %90.86 ve %99.39 genel doğruluk değeri elde edilmiştir. Ayrıca, önerilen yöntem literatürden yedi farklı yöntem ile karşılaştırılmış ve önerilen yöntemin daha iyi sonuç verdiği görülmüştür.

Keywords

Hiperspektral görüntü sınıflandırma, derin öğrenme, evrişimsel sinir ağı, derinlemesine ayrılabilir evrişim, sıkma-uyarma bloğu

References

• Roy SK, Chatterjee S, Bhattacharyya S, Chaudhuri BB, and Platos J. Lightweight Spectral-Spatial Squeeze-and- Excitation Residual Bag-of-Features Learning for Hyperspectral Classification. IEEE Trans. Geosci. Remote Sens. 2020; 58(8): 5277–5290. doi: 10.1109/TGRS.2019.2961681
• Wang A, Liu C, Xue D, Wu H, Zhang Y, and Liu M. Depthwise separable relation network for small sample hyperspectral image classification. Symmetry (Basel) 2021; 13(9):1673. doi: 10.3390/sym13091673.
• Firat H and Hanbay D. Classification of hyperspectral images using 3D CNN based ResNet50. SIU 2021 - 29th IEEE Conf. Signal Process. Commun. Appl. Proc., 2021:6–9. doi: 10.1109/SIU53274.2021.9477899.
• Ahmad M, Mazzara M, and Distefano S. Regularized cnn feature hierarchy for hyperspectral image classification. Remote Sens 2021;13(12):1–11. doi: 10.3390/rs13122275.
• Firat H, Asker ME, and Hanbay D. Classification of hyperspectral remote sensing images using different dimension reduction methods with 3D/2D CNN. Remote Sens. Appl. Soc. Environ 2022:100694. doi: 10.1016/j.rsase.2022.100694.
• Mohan A and Meenakshi Sundaram V. V3O2: hybrid deep learning model for hyperspectral image classification using vanilla-3D and octave-2D convolution. J. Real-Time Image Process 2020:0123456789. doi: 10.1007/s11554-020-00966-z.
• Wang Y, Yu W, and Fang Z. Multiple Kernel-based SVM classification of hyperspectral images by combining spectral, spatial, and semantic information. Remote Sens 2020;12(1). doi: 10.3390/RS12010120.
• Li J, Bioucas-Dias JM, and Plaza A. Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning. IEEE Trans. Geosci. Remote Sens 2010:48(11):4085–4098. doi: 10.1109/TGRS.2010.2060550.
• Ahmad M et al., Spatial prior fuzziness pool-based interactive classification of hyperspectral images. Remote Sens 2019;11(9):1–19. doi: 10.3390/rs11091136.
• Fırat H, Emin M, Mehmet IB, and HanbayD. Hybrid 3D / 2D Complete Inception Module and Convolutional Neural Network for Hyperspectral Remote Sensing Image Classification. Neural Process. Lett 2022:1–44. doi: 10.1007/s11063-022-10929-z.
• Uzen H, Turkoglu M, and Hanbay D. Texture defect classification with multiple pooling and filter ensemble based on deep neural network. Expert Syst. Appl 2021;175:114838. doi: 10.1016/j.eswa.2021.114838.
• Roy SK, Krishna, G Dubey SR, and Chaudhuri BB. HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification. arXiv 2019;17(2):277–281, 2019.
• Ahmad M, Khan A, Mazzara M, Distefano S, Ali M, and Sarfraz MS. A Fast and Compact 3-D CNN for Hyperspectral Image Classification. IEEE Geosci. Remote Sens. Lett 2020:1–5. doi: 10.1109/LGRS.2020.3043710.
• Roy SK, Dubey SR, Chatterjee S, and Chaudhuri BB, FuSENet: Fused squeeze-and-excitation network for spectral-spatial hyperspectral image classification. IET Image Process 2020; 14(8):1653–1661. doi: 10.1049/iet-ipr.2019.1462.
• Iyer P, S. A, and Lal S. Deep learning ensemble method for classification of satellite hyperspectral images. Remote Sens. Appl. Soc. Environ 2021;23:100580. doi: 10.1016/j.rsase.2021.100580.
• Yang X et al. Synergistic 2D/3D convolutional neural network for hyperspectral image classification. Remote Sens 2020; 12(12):1–19. doi: 10.3390/rs12122033.
• Firat H, Asker ME, Bayindir Mİ, and Hanbay D. 3D residual spatial–spectral convolution network for hyperspectral remote sensing image classification. Neural Comput. Appl 2022;8. oi: 10.1007/s00521-022-07933-8.
• Ari A Multipath feature fusion for hyperspectral image classification based on hybrid 3D/2D CNN and squeeze-excitation network. Earth Sci. Informatics 2023: 0123456789. doi: 10.1007/s12145-022-00929-x.
• Ding Y et al. Multi-feature fusion: Graph neural network and CNN combining for hyperspectral image classification. Neurocomputing 2022; 501:246–257. doi: 10.1016/j.neucom.2022.06.031.
• Hong D et al. SpectralFormer: Rethinking Hyperspectral Image Classification with Transformers. IEEE Trans. Geosci. Remote Sens 2022; 60. doi: 10.1109/TGRS.2021.3130716.
• Ge Z, Cao G, Li X, and Fu P. Hyperspectral Image Classification Method Based on 2D-3D CNN and Multibranch Feature Fusion. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens 2020;13:5776–5788. doi: 10.1109/JSTARS.2020.3024841.
• Ghaderizadeh S, Abbasi-Moghadam D, Sharifi A, Zhao N, and Tariq A. Hyperspectral Image Classification Using a Hybrid 3D-2D Convolutional Neural Networks. IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens 2021; 14:7570–7588. doi: 10.1109/JSTARS.2021.3099118.
• Türkoğlu M, Hanbay K, Sivrikaya IS, and Hanbay D. Derin Evrişimsel Sinir Ağı Kullanılarak Kayısı Hastalıklarının Sınıflandırılmas. BEÜ Fen Bilim. Derg 2020;9(1):334–345.
• Üzen H, Turkoglu M, Aslan M, and Hanbay D. Depth-wise Squeeze and Excitation Block-based Efficient-Unet model for surface defect detection. Vis. Comput 2022. doi: 10.1007/s00371-022-02442-0.
• Fırat H, Asker ME, and Hanbay D. Hybrid 3D Convolution and 2D Depthwise Separable Convolution Neural Network for Hyperspectral Image Classification Balk. J. Electr. Comput. Eng 2022;10(1):35–46. doi: 10.17694/bajece.1039029.
• Hu J, Shen L, and Sun G. Squeeze-and-Excitation Networks. Proc. IEEE Comput. Soc. Conf. Comput. Vis. Pattern Recognit 2018; 7132–7141. doi: 10.1109/CVPR.2018.00745.
• Li G, Zhang G, Lei R, Zhang X, Ye Z, and Li X. Hyperspectral remote sensing image classification using three-dimensional-squeeze-and-excitation-DenseNet (3D-SE-DenseNet). Remote Sens. Lett 2020; 11(2):195–203. doi: 10.1080/2150704X.2019.1697001.
• Evaluation Q and Aeronautics N. HyRANK : THE NEW ISPRS HYPERSPECTRAL BENCHMARK. 2018.
• 2013 IEEE GRSS Data Fusion Contest – Fusion of Hyperspectral and LiDAR Data. https://hyperspectral.ee.uh.edu/?page_id=459.
• Ben Hamida A, Benoit A, Lambert P, and Ben Amar C. 3-D deep learning approach for remote sensing image classification. IEEE Trans. Geosci. Remote Sens 2018; 56(8):4420–4434. doi: 10.1109/TGRS.2018.2818945.
• Makantasis K, Karantzalos K, Doulamis A, and Doulamis N. Deep supervised learning for hyperspectral data classification through convolutional neural networks. Int. Geosci. Remote Sens. Symp 2015; 4959–4962. doi: 10.1109/IGARSS.2015.7326945.