Detection of Mental Workload with Deep Learning from EEG Signals Using Discrete Wavelet Transform and Welch Method

Year 2024, Issue: 53, 134 - 139, 15.02.2024

Hüseyin Can Ay , Osman Çetin , Şükrü Kitiş

Abstract

Electroencephalogram (EEG) signals are mostly used to measure mental workload for reasons such as portability, practicality of use and ease of signal reception. Extraction and classification of features from EEG signals is an important issue. In this study, the features created by the power spectral density values of the EEG signals are classified by deep learning and machine learning methods. It has been shown that the results obtained with the deep learning algorithm are superior to the classical machine learning algorithms. Firstly, the participants were given arithmetic tasks such as subtracting two different numbers from each other mathematically. The EEG signals of the participants at rest and during the arithmetic task were recorded. Subbands were obtained by applying discrete wavelet transform (DWT) to EEG signals. The power values of the bands were calculated with the Welch method. Feature vectors were created by combining the power values from each band. These feature vectors were classified using different machine learning algorithms such as long short-term memory (LSTM) deep learning algorithm and support vector machine (SVM), linear discriminant analysis (LDA), k-Nearest Neighborhood (k-NN). As a result of the classification, the performance metrics such as accuracy, sensitivity, specificity, F1 score and precision calculated for each channel were averaged and the superioty of the classification algorithms were compared in table.

Keywords

Discrete Wavelet Transform, Mental Workload, Deep Learning, Welch Method

Ayrık Dalgacık Dönüşümü ve Welch Yöntemini Kullanarak EEG Sinyallerinden Zihinsel İş Yükünün Derin Öğrenme ile Tespiti

Abstract

Zihinsel iş yükünü ölçmek için taşınılabilirliliği, kullanım pratikliği ve sinyal alımının kolaylığı gibi sebeplerle çoğunlukla Elektroensefalogram (EEG) sinyalleri kullanılmaktadır. EEG sinyallerinden özellik çıkartmak ve sınıflandırmak önemli bir konudur. Bu çalışmada, EEG sinyallerinin güç spektral yoğunluğu değerleriyle oluşturulan özniteliklerin, derin öğrenme ve makine öğrenmesi yöntemleriyle sınıflandırılması yapılmıştır. Derin öğrenme algoritmasıyla elde edilen sonuçların, klasik makine öğrenmesi algoritmalarına göre üstün olduğu gösterilmiştir. Öncelikle, katılımcılara matematiksel olarak iki farklı sayının birbirinden çıkartılması gibi aritmetik görevler verilmiştir. Katılımcıların dinlenme durumlarındaki ve aritmetik görev verildiği esnasındaki EEG sinyalleri kaydedilmiştir. EEG sinyallerine ayrık dalgacık dönüşümü (DWT) uygulanarak alt bandlar elde edilmiştir. Bandlara ait güç değerleri Welch yöntemiyle hesaplanmıştır. Her bir banddan gelen güç değerleri birleştirilerek öznitelik vektörleri oluşturulmuştur. Bu öznitelik vektörlerinin, uzun kısa dönem hafıza (LSTM) derin öğrenme algoritması ile destek vektör makinesi (SVM), doğrusal diskriminant analizi (LDA), k en Yakın Komşuluk (k-NN) gibi farklı makine öğrenmesi algoritmaları kullanılarak sınıflandırma işlemi yapılmıştır. Sınıflandırma sonucunda, her bir kanal için hesaplanan doğruluk, duyarlılık, özgüllük, F1 skoru ve kesinlik gibi performans metriklerinin ortalaması alınmıştır ve tablo halinde sınıflandırma algoritmalarının üstünlükleri karşılaştırılmıştır.

Keywords

Ayrık Dalgacık Dönüşümü, Zihinsel İş Yükü, Derin Öğrenme, Welch Yöntemi

References

• Charles, R. L., & Nixon, J. (2019). Measuring mental workload using physiological measures: A systematic review. Applied ergonomics, 74, 221-232.
• Di Stasi, L. L., Antolí, A., & Cañas, J. J. (2013). Evaluating mental workload while interacting with computer-generated artificial environments. Entertainment Computing, 4(1), 63-69.
• Aydın, E. A. (2021). EEG sinyalleri kullanılarak zihinsel iş yükü seviyelerinin sınıflandırılması. Politeknik Dergisi, 24(2), 681-689.
• Di Flumeri, G., Borghini, G., Aricò, P., Sciaraffa, N., Lanzi, P., Pozzi, S., ... & Babiloni, F. (2018). EEG-based mental workload neurometric to evaluate the impact of different traffic and road conditions in real driving settings. Frontiers in human neuroscience, 12, 509.
• Siuly, S., Li, Y., Zhang, Y. (2016). Electroencephalogram (EEG) and Its Background. In EEG Signal Analysis and Classification (s. 3-21). Springer, Cham.
• Zyma, I., Tukaev, S., Seleznov, I., Kiyono, K., Popov, A., Chernykh, M., & Shpenkov, O. (2019). Electroencephalograms during mental arithmetic task performance. Data, 4(1), 14.
• Chen, D., Wan, S., Xiang, J., Bao, F. S. (2017). A high-performance seizure detection algorithm based on Discrete Wavelet Transform (DWT) and EEG. PloS one, 12 (3), e0173138.
• Ocak, H. (2009). Automatic detection of epileptic seizures in EEG using discrete wavelet transform and approximate entropy. Expert Systems with Applications, 36 (2), 2027-2036.
• Tosun, M., & Çetin, O. (2021). Ampirik Mod Ayrıştırması ve Welch Yöntemini Kullanarak Dört Sınıflı Motor Hayali EEG Sinyallerinin Derin Öğrenme ile Sınıflandırılması. Avrupa Bilim ve Teknoloji Dergisi, (26), 284-288.
• Alhagry, S., Fahmy, A. A., & El-Khoribi, R. A. (2017). Emotion recognition based on EEG using LSTM recurrent neural network. International Journal of Advanced Computer Science and Applications, 8(10).
• Er, M. B., & İbrahim, I. Ş. I. K. (2021). LSTM tabanlı derin ağlar kullanılarak diyabet hastalığı tahmini. Türk Doğa ve Fen Dergisi, 10(1), 68-74.
• Yin, Y., Zheng, X., Hu, B., Zhang, Y., & Cui, X. (2021). EEG emotion recognition using fusion model of graph convolutional neural networks and LSTM. Applied Soft Computing, 100, 106954.
• Manjusha, M., & Harikumar, R., “Performance analysis of kNN classifier and k-means clustering for robust classification of epilepsy from EEG signals”, International Conference on Wireless Communications, Signal Processing and Networking, IEEE, pp. 2412-2416, 2016.
• Türk, Ö., & Özerdem, M. S., “EEG İşaretlerinin k-NN ile Sınıflandırmasında Dalgacıklara İlişkin Performansların Karşılaştırılması”, Tıp Teknolojileri Ulusal Kongresi, 25-27, 2014.
• Kavzoğlu, T., & Çölkesen, İ. (2010). Destek vektör makineleri ile uydu görüntülerinin sınıflandırılmasında kernel fonksiyonlarının etkilerinin incelenmesi. Harita Dergisi, 144(7), 73-82.
• Çağlıyan, B., & Utku, Köse., “Epilepsi EEG Verilerinin Makine Öğrenmesi Teknikleriyle Sınıflandırılması”, Avrupa Bilim ve Teknoloji Dergisi, (23), 163-172, 2021.
• Lim W. L., Sourina O., Wang L. P., “STEW: Simultaneous Task EEG Workload Data Set”, IEEE Transactıons on Neural Systems and Rehabılıtatıon Engıneerıng, 26 (11): 2106-2114, (2018).
• Chakladar D.D., Dey S., Roy P.P., Dogra D.P., “EEGbased mental workload estimation using deep BLSTMLSTMnetwork and evolutionary algorithm”, Biomedical Signal Processing and Control, 60 101989, (2020).
• Aghajani, H., Garbey, M., & Omurtag, A. (2017). Measuring mental workload with EEG+ fNIRS. Frontiers in human neuroscience, 11, 359.
• Roy, R. N., Bonnet, S., Charbonnier, S., Jallon, P., & Campagne, A. (2015, August). A comparison of ERP spatial filtering methods for optimal mental workload estimation. In 2015 37th annual international conference of the IEEE engineering in medicine and biology society (EMBC) (pp. 7254-7257). IEEE