Neonatal Hiperspektral Görüntü Sınıflandırması için 3 Boyutlu Evrişimli Sinir Ağları ile Boyut İndirgeme Yöntemlerinin Karşılaştırmalı Analizi

Year 2023, Volume: 7 Issue: 2, 74 - 83, 19.12.2023

Mücahit Cihan , Mahmut Çevik , Nezahat Yılmaz , Murat Konak , Hanifi Soylu , Murat Ceylan

Abstract

Hiperspektral Görüntüleme (HSG) verilerinin yüksek boyutlu olması, sınıflandırma performansını olumsuz etkilemektedir. Bu nedenle, birçok HSG sınıflandırma uygulamasında, yüksek boyutlu verilerle başa çıkmak için boyut indirgeme yöntemlerine başvurulmaktadır. Boyut indirgeme yöntemleri, kullanışlı özelliklerin elde edilmesini hedeflemektedir. Bu sürecin sonucunda veri boyutu azaltılmakta ve işlem maliyeti düşürülmektedir. Bu çalışmada, neonatal HSG sınıflandırma başarısını artırmak için veriler üzerine çeşitli boyut indirgeme yöntemleri uygulanmıştır. Hem uzamsal hem de spektral özelliklere erişebilen özel bir 3 boyutlu evrişimli sinir ağı (3B-ESA) modeli sınıflandırma için kullanılmıştır. Birçok boyut indirgeme yöntemi farklı performans değerlendirme ölçütleri kullanılarak değerlendirilmiş ve Temel Bileşenler Analizi (TBA) ile en iyi sonuca ulaşılmıştır. TBA, genel doğruluk oranı dışında boyut indirgeme süresi bakımından diğer yöntemlere kıyasla oldukça başarılı olmuştur. Bu sayede TBA, anlamlı spektral özelliklerin daha kısa bir sürede elde edilmesini sağlayarak hesaplama maliyetini düşürmüştür. Ayrıca, Negatif Olmayan Matris Ayrışımı (NOMA) ve Yerel Doğrusal Gömme (YDG) yöntemleri de başarılı sonuçlar vermiştir. t-Dağıtılmış Stokastik Komşu Gömme (t-SKG) yöntemi, iyi sonuçlar vermesine rağmen boyut indirme işleminde en fazla süreyi alan yöntem olmuştur. Sonuç olarak, bu çalışma neonatal hiperspektral görüntü sınıflandırmasında çeşitli boyut indirgeme yöntemlerinin başarılı sonuçlar elde edilmesini sağlayabileceğini göstermektedir. Bu tür tekniklerin kullanılması, yüksek boyutlu HSG verilerini daha işlenebilir hale getirerek sınıflandırma performansını artırmaktadır.

Keywords

Hiperspektral Görüntüleme, Boyut İndirgeme, 3 Boyutlu Evrişimli Sinir Ağları, Neonatal, Temel Bileşenler Analizi, Negatif Olmayan Matris Ayrışımı, Yerel Doğrusal Gömme, t-Dağıtılmış Stokastik Komşu Gömme.

Ethical Statement

Bu çalışmanın, özgün bir çalışma olduğunu; çalışmanın hazırlık, veri toplama, analiz ve bilgilerin sunumu olmak üzere tüm aşamalarından bilimsel etik ilke ve kurallarına uygun davrandığımızı; bu çalışma kapsamında elde edilmeyen tüm veri ve bilgiler için kaynak gösterdiğimizi ve bu kaynaklara kaynakçada yer verdiğimizi; proje kapsamında insanları içeren deneyler için 2013 yılında revize edilen Dünya Tıp Birliği Helsinki Bildirgesi'ne ve hayvan deneyleri için 2010/63/EU sayılı AB Direktifine uygun olarak gerçekleştirildiğimizi beyan ederiz.

Supporting Institution

TÜBİTAK

Project Number

122E021

Thanks

Bu çalışma, Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK, proje numarası: 122E021) tarafından desteklenmiştir.

Comparative Analysis of Dimension Reduction Methods with 3 Dimensional Convolutional Neural Networks for Neonatal Hyperspectral Image Classification

Abstract

Research Problem/Questions – Hyperspectral imaging (HSI) data are high-dimensional and complex data containing a large number of spectral bands. Therefore, these images generate large datasets and become challenging to process. The high dimensionality of HSI data often hinders classification performance.

Short Literature Review – Consequently, in many HSI classification applications, dimensionality reduction methods are employed to deal with the challenges posed by high-dimensional data. These methods aim to extract valuable features, reducing data size and computational costs in the process.

Methodology – In this study, various dimensionality reduction techniques were applied to enhance neonatal HSI classification performance. A specialized 3D Convolutional Neural Network (3D-CNN) model, capable of incorporating both spatial and spectral features, was used for classification. Several dimensionality reduction methods were assessed using various performance evaluation criteria.

Results and Conclusions – Principal Component Analysis (PCA) emerged as the top-performing method. Additionally, PCA exhibited remarkable efficiency in dimensionality reduction time when compared to other techniques, significantly reducing computational costs while providing meaningful spectral features. Non-Negative Matrix Factorization (NMF) and Local Linear Embedding (LLE) also delivered strong results. On the other hand, t-Distributed Stochastic Neighbor Embedding (t-SNE), although effective, consumed the most time in dimension reduction. In conclusion, this study underscores the potential of various dimensionality reduction methods in improving neonatal hyperspectral image classification. The application of such techniques enhances classification performance by rendering high-dimensional HSI data more manageable.

Keywords

Hyperspectral Imaging, Dimension Reduction, 3D Convolutional Neural Networks, Neonatal, Principal Component Analysis, Non-Negative Matrix Factorization, Local Linear Embedding, t-Distributed Stochastic Neighbor Embedding.

Project Number

122E021

References

• [1] G. ElMasry and D. W. Sun, “Principles of hyperspectral imaging technology”. In Hyperspectral imaging for food quality analysis and control, Academic Press, pp. 3-43, 2010.
• [2] W. Wu, Z. Zhang, L. Zheng, C. Han, X. Wang, J. Xu, and X. Wang, “Research progress on the early monitoring of pine wilt disease using hyperspectral techniques,” Sensors, vol. 20, p. 3729, 2020.
• [3] Y. Q. Wan, Y. H. Fan, and M. S. Jin, “Application of hyperspectral remote sensing for supplementary investigation of polymetallic deposits in Huaniushan ore region, northwestern China,” Scientific Reports, vol. 11, p. 440, 2021.
• [4] J. Jia, Y. Wang, J. Chen, R. Guo, R. Shu, and J. Wang, “Status and application of advanced airborne hyperspectral imaging technology: A review,” Infrared Physics & Technology, vol. 104, p. 103115, 2020.
• [5] M. Cihan, and M. Ceylan, “KÇ3B-ESA: Hiperspektral Görüntü Sınıflandırması için Yeni 3B Evrişimli Sinir Ağı ve Uzaktan Algılama Uygulaması,” Avrupa Bilim ve Teknoloji Dergisi, Ejosat Special Issue 2020 (ICCEES), pp. 65-71, 2020.
• [6] H., Pu, Q., Wei, and D. W. Sun, “Recent advances in muscle food safety evaluation: Hyperspectral imaging analyses and applications,” Critical Reviews in Food Science and Nutrition, vol. 63, pp. 1297-1313, 2023.
• [7] M. Cihan, M. Ceylan, and A. H. Ornek, “Spectral-spatial classification for non-invasive health status detection of neonates using hyperspectral imaging and deep convolutional neural networks,” Spectroscopy Letters, vol. 55, pp. 336-349, 2022.
• [8] C. Cucci, M. Picollo, L. Chiarantini, G. Uda, L. Fiori, B. De Nigris, and M. Osanna, “Remote-sensing hyperspectral imaging for applications in archaeological areas: Non-invasive investigations on wall paintings and on mural inscriptions in the Pompeii site,” Microchemical Journal, vol. 158, p. 105082, 2020.
• [9] M. Shimoni, R. Haelterman, and C. Perneel, “Hypersectral imaging for military and security applications: Combining myriad processing and sensing techniques,” IEEE Geoscience and Remote Sensing Magazine, vol. 7, pp. 101-117, 2019.
• [10] G. Bonifazi, G. Capobianco, R. Palmieri, and S. Serranti, “Hyperspectral imaging applied to the waste recycling sector,” Spectrosc. Eur, vol. 31, pp. 8-11, 2019.
• [11] M. Niroumand-Jadidi, F. Bovolo, and L. Bruzzone, “Water quality retrieval from PRISMA hyperspectral images: First experience in a turbid lake and comparison with sentinel-2,” Remote Sensing, vol. 12, p. 3984, 2020.
• [12] G. Lu and B. Fei, “Medical hyperspectral imaging: a review,” J Biomed Opt., vol. 19, p. 10901, 2014.
• [13] M. Cihan, “Hiperspektral görüntüleme yöntemi kullanılarak yenidoğan sağlık durumlarının derin öğrenme metotları ile sınıflandırılması,” Master’s Thesis, Konya Teknik Üniversitesi, Konya, Türkiye, 2020.
• [14] M. Tortora, L. Gemini, I. D’Iglio, L. Ugga, G. Spadarella, and R. Cuocolo, “Spectral photon-counting computed tomography: a review on technical principles and clinical applications,” Journal of Imaging, vol. 8, p. 112, 2022.
• [15] M., Cihan, and M. Ceylan, “Hyperspectral imaging-based cutaneous wound classification using neighbourhood extraction 3D convolutional neural network,” Biomedical Engineering/Biomedizinische Technik, vol. 68, pp. 427-435, 2023.
• [16] L. Svoboda, J. Sperrhake, M. Nisser, C. Zhang, G. Notni, and H. “Proquitté. Contactless heart rate measurement in newborn infants using a multimodal 3D camera system,” Front Pediatr., vol. 10, p. 897961, 2022.
• [17] G. Morales, J. W. Sheppard, R. D. Logan, and J. A. Shaw, “Hyperspectral dimensionality reduction based on inter-band redundancy analysis and greedy spectral selection,” Remote Sensing, vol. 13, p. 3649, 2021.
• [18] W. Zhao, and S. Du, “Spectral–spatial feature extraction for hyperspectral image classification: A dimension reduction and deep learning approach,” IEEE Transactions on Geoscience and Remote Sensing, vol. 54, pp. 4544-4554, 2016.
• [19] R. Zebari, A. Abdulazeez, D. Zeebaree, D. Zebari, and J. Saeed, “A comprehensive review of dimensionality reduction techniques for feature selection and feature extraction,” Journal of Applied Science and Technology Trends, vol. 1, pp. 56-70, 2020.
• [20] I. T. Jolliffe, Ed., Principal Component Analysis for Special Types of Data. Springer New York, pp. 338-372, 2002.
• [21] A. Hyvärinen, “Independent component analysis: recent advances,” Philosophical Transactions of the Royal Society A: Mathematical, Physical and Engineering Sciences, vol. 371, p. 20110534, 2013.
• [22] J. W. Boardman, “Inversion of imaging spectrometry data using singular value decomposition,” In 12th Canadian Symposium on Remote Sensing Geoscience and Remote Sensing Symposium, vol. 4, pp. 2069-2072, 1989.
• [23] L. Van der Maaten, and G. Hinton, “Visualizing data using t-SNE,” Journal of machine learning research, vol. 9, 2008.
• [24] S. T. Roweis, and L. K. Saul, “Nonlinear dimensionality reduction by locally linear embedding,” science, vol. 290, pp. 2323-2326, 2000.
• [25] S. Sra, and I. Dhillon, “Generalized nonnegative matrix approximations with Bregman divergences,” Advances in neural information processing systems, vol. 18, 2005.
• [26] U. Von Luxburg, “A tutorial on spectral clustering,” Statistics and computing, vol. 17, pp. 395-416, 2007.
• [27] M. R. Haque, and S. Z. Mishu, “Spectral-spatial feature extraction using PCA and multi-scale deep convolutional neural network for hyperspectral image classification,” In 2019 22nd International Conference on Computer and Information Technology (ICCIT), pp. 1-6, 2019.
• [28] H. Fırat, M. E. Asker, and D. Hanbay, “Classification of hyperspectral remote sensing images using different dimension reduction methods with 3D/2D CNN,” Remote Sensing Applications: Society and Environment, vol. 25, p. 100694, 2022.
• [29] B. M. Devassy, and S. George, “Dimensionality reduction and visualisation of hyperspectral ink data using t-SNE,” Forensic science international, vol. 311, p. 110194, 2020.
• [30] M. Huang, Q. Zhu, B. Wang, and R. Lu, “Analysis of hyperspectral scattering images using locally linear embedding algorithm for apple mealiness classification,” Computers and electronics in agriculture, vol. 89, pp. 175-181, 2012.
• [31] M. M. Hossain, and M. A. Hossain, “Feature reduction and classification of hyperspectral image based on multiple kernel PCA and deep learning,” In 2019 IEEE International Conference on Robotics, Automation, Artificial-intelligence and Internet-of-Things (RAAICON), pp. 141-144, 2019.
• [32] W. Huang, W. He, S. Liao, Z. Xu, & J. Yan, “Efficient SpectralFormer for Hyperspectral Image Classification,” Digital Signal Processing, p. 104237, 2023.
• [33] M. Cıhan and M. Ceylan, "Comparison of Linear Discriminant Analysis, Support Vector Machines and Naive Bayes Methods in the Classification of Neonatal Hyperspectral Signatures," 2021 29th Signal Processing and Communications Applications Conference (SIU), Istanbul, Turkey, pp. 1-4, 2021.
• [34] A. Savitzky, and M. J. Golay, “Smoothing and differentiation of data by simplified least squares procedures,” Analytical chemistry, vol. 36, pp. 1627-1639, 1964.
• [35] M. Cihan, M. Ceylan, H. Soylu, and M. Konak, “Fast evaluation of unhealthy and healthy neonates using hyperspectral features on 700-850 Nm wavelengths, ROI extraction, and 3D-CNN,” IRBM, vol. 43, pp. 362-371, 2022.
• [36] H. C. Kraemer, “Extension of the Kappa Coefficient,” Biometrics, vol. 36, pp. 207–216, 1980.