Hiperspektral görüntüler kullanılarak 3B ESA tabanlı derin öğrenme mimarilerinin karşılaştırılması

Year 2023, Volume: 38 Issue: 1, 521 - 534, 21.06.2022

Hüseyin Fırat , Davut Hanbay

https://doi.org/10.17341/gazimmfd.977688

Cited By: 4

Abstract

Hiperspektral görüntüler (HG), iki uzamsal ve bir spektral boyuta sahip 3 boyutlu (3B) görüntü küpleridir. Derin öğrenme yöntemlerinin gelişimi, HG sınıflandırmada önemli bir etki oluşturmuştur. Özellikle evrişimsel sinir ağı (ESA) tabanlı yöntemler bu alanda daha fazla ilgi görmektedir. Bu çalışmada, HG sınıflandırma problemi için ESA’nın başarılı örnekleri arasında olan LeNet5, AlexNet, VGG16, GoogleNet ve ResNet50 derin öğrenme mimarilerinden yararlanıyoruz. Bu mimarileri kullanırken 3B ESA tabanlı hibrit bir yaklaşım kullanmaktayız. Çünkü, 3B ESA kullanılarak, spektral-uzamsal özellikler eş zamanlı olarak çıkarılmaktadır. Bu durumda elde edilen spektral-uzamsal tabanlı derin öğrenme mimarisi ile HG’lerin sınıflandırma doğruluğu arttırılmaktadır. Bununla birlikte, önerilen modelde, HG'lerden optimal bant çıkarımı için bir ön işleme tekniği olarak temel bileşen analizi (TBA) kullanılmaktadır. TBA uygulandıktan sonra komşuluk çıkarımı ile 3B küpler elde edilmekte ve derin öğrenme mimarilerinin girişine verilmektedir. 3B ESA tabanlı derin öğrenme mimarilerinin sınıflandırma performanslarını karşılaştırmak için Indian pines, Salinas, Botswana ve HyRANK-Loukia verisetleri kullanılmıştır. Gerçekleştirilen uygulamalar sonucunda, en iyi sınıflandırma doğruluğu Indian pines verisetinde VGG16, Botswana verisetinde ResNet50, HyRANK-Loukia verisetinde VGG16, Salinas verisetinde LeNet5 ve VGG16 mimarileri ile elde edilmiştir.

Keywords

Hiperspektral görüntü sınıflandırma, derin öğrenme, 3B evrişimli sinir ağı, temel bileşen analizi

References

• 1. Z. Meng, L. Li, X. Tang, Z. Feng, L. Jiao, and M. Liang, Multipath residual network for spectral-spatial hyperspectral image classification, Remote Sens., 11(16), 1–19, 2019.
• 2. J. Jia, Y. Wang, J. Chen, R. Guo, R. Shu, and J. Wang, Status and application of advanced airborne hyperspectral imaging technology: A review, Infrared Phys. Technol., 104, 103115, 2020.
• 3. A. Mohan and V. Meenakshi Sundaram, V3O2: hybrid deep learning model for hyperspectral image classification using vanilla-3D and octave-2D convolution, J. Real-Time Image Process., 2020.
• 4. B. Gowtham, I. A. Kumar, T. S. Reddy, J. Harikiran, and B. S. Chandana, Hyperspectral Image Analysis using Principal Component Analysis and Siamese Network, Turkish J. Comput. Math. Educ., 12(7), 1191–1198, 2021.
• 5. A. Mohan and M. Venkatesan, HybridCNN based hyperspectral image classification using multiscale spatiospectral features, Infrared Phys. Technol., 108, 2020.
• 6. J. S. Ham, Y. Chen, M. M. Crawford, and J. Ghosh, Investigation of the random forest framework for classification of hyperspectral data, IEEE Trans. Geosci. Remote Sens., 43(3), 492–501, 2005.
• 7. F. Melgani and L. Bruzzone, Classification of Hyperspectral Remote Sensing Images With Support Vector Machines, IEEE Trans. Geosci. Remote Sens., 42, 1778–1790, 2004.
• 8. J. Li, J. M. Bioucas-Dias, and A. Plaza, Semisupervised hyperspectral image segmentation using multinomial logistic regression with active learning, IEEE Trans. Geosci. Remote Sens., 48(11), 4085–4098, 2010.
• 9. J. A. Palmason, J. A. Benediktsson, and J. R. Sveinsson, Classification of hyperspectral data from urban areas based on extended morphological profiles, IEEE Trans. Geosci. Remote Sens., 43(3), 480–491, 2005.
• 10. G. Camps-Valls and L. Bruzzone, Kernel-based methods for hyperspectral image classification, IEEE Trans. Geosci. Remote Sens., 43(6), 1351–1362, 2005.
• 11. L. Fang, S. Li, W. Duan, J. Ren, and J. A. Benediktsson, Classification of Hyperspectral Images by Exploiting Spectral-Spatial Information of Superpixel via Multiple Kernels, IEEE Trans. Geosci. Remote Sens., 53(12), 6663–6674, 2015.
• 12. L. Fang, S. Li, X. Kang, and J. A. Benediktsson, Spectral-spatial hyperspectral image classification via multiscale adaptive sparse representation, IEEE Trans. Geosci. Remote Sens., 52(12), 7738–7749, 2014.
• 13. M. Fauvel, J. Chanussot, and J. A. Benediktsson, A spatial-spectral kernel-based approach for the classification of remote-sensing images, Pattern Recognit., 45(1), 381–392, 2012.
• 14. X. Yang, Y. Ye, X. Li, R. Y. K. Lau, X. Zhang, and X. Huang, Hyperspectral image classification with deep learning models, IEEE Trans. Geosci. Remote Sens., 56(9), 5408–5423, 2018.
• 15. H. Data et al., Deep Learning-Based Classification of Hyperspectral Data, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 7, 1–14, 2015.
• 16. S. K. Roy, G. Krishna, S. R. Dubey, and B. B. Chaudhuri, HybridSN: Exploring 3D-2D CNN Feature Hierarchy for Hyperspectral Image Classification, arXiv, 17(2), 277–281, 2019.
• 17. H. C. Mingyi He, Bo Li, Multi-scale 3D deep convolutional neural network for hyperspectral image classification, 2017 IEEE International Conference on Image Processing, Beijing-China, 3904–3908, 17-20 September, 2017.
• 18. L. Song, W.; Li, S.; Fang, Hyperspectral Image Classification with Deep Feature Fusion Network, IEEE Trans. Geosci. Remote Sens., 99, 3173–3184, 2018.
• 19. Z. Ge, G. Cao, X. Li, and P. Fu, Hyperspectral Image Classification Method Based on 2D-3D CNN and Multibranch Feature Fusion, IEEE J. Sel. Top. Appl. Earth Obs. Remote Sens., 13, 5776–5788, 2020.
• 20. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, Gradient-based learning applied to document recognition, Proc. IEEE, 86(11), 2278–2323, 1998.
• 21. A. Krizhevsky, I. Sutskever, and G. E. Hinton, ImageNet Classification with Deep Convolutional Neural Networks, in International Conference on Neural Information Processing Systems, 1097–1105, 2012.
• 22. C. Szegedy et al., Going deeper with convolutions, 2015 IEEE Conference on Computer Vision and Pattern Recognition, Boston-USA, 1–9, 7-12 June, 2015.
• 23. K. He, X. Zhang, S. Ren, and J. Sun, Deep residual learning for image recognition, 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas-USA, 770-778, 26 June-01 July, 2016.
• 24. H. Firat, Classification of Hyperspectral Images Using 3D CNN Based ResNet50, 29th Signal Processing and Communications Applications Conference, Istanbul-Turkey, 6–9, 9-11 June, 2021.
• 25. L. H. Shehab, O. M. Fahmy, S. M. Gasser, and M. S. El-Mahallawy, An efficient brain tumor image segmentation based on deep residual networks (ResNets), J. King Saud Univ. - Eng. Sci., 1–9, 2020.
• 26. K. Simonyan and A. Zisserman, Very deep convolutional networks for large-scale image recognition, 3rd International Conference on Learning Representations, San Diego-USA, 1–14, 7-9 May, 2015.
• 27. P. Dou and C. Zeng, Hyperspectral image classification using feature relations map learning, Remote Sens., 12(18), 2020.