Generating Synthetic Images from Real MR Images Using Deep Learning Methods

Year 2023, Volume: 9 Issue: 4, 230 - 239, 31.12.2023

Ercüment Güvenç , Gürcan Çetin , Mevlüt Ersoy

Abstract

Different technological methods are utilized today for diagnosing various diseases in tissues and organs within the human body. The most crucial ones among these are Computed Tomography (CT) and Magnetic Resonance (MR) imaging techniques. The process of MR imaging enables the identification of the size and shapes of tumor regions in the body's tissues, facilitating experts in determining the type of tumor as well as whether it is benign or malignant. To aid professionals in this regard, several deep learning-based computer software have been developed to accurately pinpoint tumor areas on the tissue.
Due to the lack of image data used in deep learning studies, a limitation naturally arises in studies in this field. In order to eliminate the lack of image data in these studies, image augmentation can be performed using deep learning methods as well as data augmentation methods using various image processing techniques.
In this study, Generative Adversarial Networks (GAN), a deep learning technique, were employed to duplicate brain MR images and generate synthetic images. After the resulting MR images were made usable by undergoing various pre-processing, similarity rates to real images were calculated using metrics such as Peak Signal-to-Noise Ratio (PSNR), Structural similarity index (SSIM) and Mean Square Error (MSE), and by looking at these rates, realistic images were added to the data set and the data set was expanded.

Keywords

Deep Learning, Generative Adversarial Networks, Image Processing

Derin Öğrenme Yöntemleri Kullanılarak Gerçek MR Görüntülerinden Sentetik Görüntülerin Üretilmesi

Abstract

Günümüzde insan vücudundaki dokularda ve organlarda ortaya çıkan çeşitli hastalıkların teşhisi için farklı teknolojik yöntemler kullanılmaktadır. Bunlardan en önemlileri Bilgisayarlı Tomografi (BT) ve Manyetik Rezonans (MR) görüntüleme teknikleridir. MR görüntüleme işlemi ile insan vücudundaki dokularda yer alan tümörlü bölgelerin büyüklüğü ve şekilleri ortaya çıkartılabilmekte ve uzman yardımıyla tümörün çeşidinin yanında iyi veya kötü huylu olduğu da tespit edilebilmektedir. Bu noktada uzmanlara destek olması amacıyla çeşitli derin öğrenme tabanlı bilgisayar yazılımları geliştirilerek doku üzerindeki tümörlü bölgelerin yüksek doğrulukla işaretlenmesi sağlanmaktadır.
Derin öğrenme ile yapılan çalışmalarda kullanılan MR görüntüsü verilerinin eksikliği bu alandaki çalışmalarda doğal olarak bir kısıt olarak karşımıza çıkmaktadır. Bu çalışmalardaki görüntü verilerinin eksikliğinin giderilmesi için çeşitli görüntü işleme teknikleri kullanılarak veri çoğaltma yöntemlerinin yanında derin öğrenme yöntemleri ile de görüntü çoğaltma işlemleri gerçekleştirilebilmektedir.
Hazırlanan çalışmada derin öğrenme yöntemlerinden Üretken Çekişmeli Ağlar (GAN) kullanılarak beyin MR görüntüleri çoğaltılmış ve sentetik görüntüler ortaya çıkartılmıştır. Ortaya çıkan MR görüntüleri çeşitli ön işlemlerden geçirilerek kullanılır hale getirildikten sonra Tepe Sinyal-Gürültü Oranı (Peak Signal-to-Noise Ratio), Yapısal Benzerlik İndeksi (Structural Similarity Index) ve Ortalama Kare Hatası (Mean Squere Error) gibi metrikler kullanılarak gerçek görüntülere benzerlik oranları çıkartılmış ve bu oranlara bakılarak gerçeğe uygun görüntüler veri setine eklenerek veri setinin genişletilmesi sağlanmıştır.

Keywords

Derin Öğrenme, Üretken Çekişmeli Ağlar, Görüntü İşleme

References

• [1] A.G. Eker and N. Duru, “Medikal görüntü işlemede derin öğrenme uygulamaları,” Acta Infologıca, vol. 5, no. 2, pp. 459-474, 2021. doi:10.26650/acin.927561
• [2] U. Kaya, A. Yılmaz and Y. Dikmen, “Sağlık alanında kullanılan derin öğrenme yöntemleri,” Avrupa Bilim ve Teknoloji Dergisi, vol. 16, pp. 792-808, August 2019. doi:10.31590/ejosat.573248
• [3] H. Chen, Z. Qin, Y. Ding, L. Tian and Z. Qin, “Brain tumor segmentation with deep convolutional symmetric neural network,” Neurocomputing, vol. 392, pp. 305-313, 2020. doi: 10.1016/j.neucom.2019.01.111
• [4] G. Çelik and M. F. Talu, “Çekişmeli üretken ağ modellerinin görüntü üretme performanslarının incelenmesi,” BAUN Fen Bil. Enst. Dergisi, vol. 22, pp. 181-192, 2020. doi: 10.25092/baunfbed.679608
• [5] I. J. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, Aaron Courville and Yoshua Bengio, “Generative adversarial nets,” Proceedings of the 27th International Conference on Neural Information Processing Systems, 2014, Available: NeurIPS Proceedings, https://proceedings.neurips.cc/paper_files/paper/2014/hash/5ca3e9b122f61f8f06494c97b1afccf3-Abstract.html. [Accessed: 20 August. 2023].
• [6] C. Shorten and T. M. Khoshgoftaar, “A survey on ımage data augmentation for deep learning”, J Big Data, vol. 6, pp. 60, 2019. doi: 10.1186/s40537-019-0197-0
• [7] Y. Liu, J. Zhang, T. Zhao and Z. Wang, “Reconstruction of the meso-scale concrete model using a deep convolutional generative adversarial network (DCGAN)”, Construction and Building Materials, vol. 370, 2023. doi:10.1016/j.conbuildmat.2023.130704
• [8] R. Gonzalez and R. Woods, Digital Image Processing, Edition. 3, NJ: Pearson, 2008.
• [9] Z. Wang, A. Bovik, H. Sheikh and E. Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Transactions on Image Processing, vol. 13, no. 4, pp. 600-612. doi:10.1109/TIP.2003.819861.
• [10] M. Raja and S. Vijayachitra, “A hybrid approach to segment and detect brain abnormalities from MRI scan”, Expert Systems with Applications, vol. 16, pp. 1-9, 2023. doi:10.1016/j.eswa.2022.119435
• [11] K. Kazuhiro, R. A. Werner, F. Toriumi, M. S. Javadi, M. G. Pomper, L. B. Solnes, F. Verde, T. Higuchi and S. P. Rowe, “Generative adversarial networks for the creation of realistic artificial brain magnetic resonance images”, Tomography, vol. 4, no. 4, pp. 159–163, 2018. doi:10.18383/j.tom.2018.00042
• [12] C. Han, H. Hayashi, L. Rundo, R. Araki, W. Shimoda, S. Muramatsu, Y. Furukawa, G. Mauri and H. Nakayama, “GAN-based synthetic brain MR image generation,” 2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018), Washington, DC, USA, 2018, pp. 734-738. doi:10.1109/ISBI.2018.8363678.