The Use of Generator Adversarial Networks in Synthetic Cell Nucleus Production

Year 2021, Issue: 23, 781 - 786, 30.04.2021

Sara Altun , Fatih Talu

https://doi.org/10.31590/ejosat.840114

Abstract

Synthetic image production has been an area of research from the past to the present. Synthetic (fake) images are produced with various algorithms. The synthetic image generation methods examined are generative adversarial networks (GANs) based on deep learning.
GANs have two neural networks, a generator and a discriminator. When the generator network generates synthetic images or signals; the discriminator network measures probabilistically the similarity of the synthetic image or signal generated with the original image or signal. Cycle-consistent Generating Adversarial Network (CycleGAN) and Image-to-Image Converting Network (Pix2Pix) methods, which are among the GAN methods, have been determined as suitable methods while producing a cell nucleus because they have the ability to translate from image to image while producing synthetic images. CycleGAN has two network of a generator and a discriminator. When the generator produces fake images; The discriminator tries to distinguish fake images from real images. CycleGAN presents a learning approach that transforms an image from the source field into a target area in the absence of paired samples. This model can be viewed as two "autocoder" training. Learns an autocoder jointly with 𝐹 ∘ 𝐺: 𝑋 → 𝑋 and another autocoder, 𝐺 ∘ 𝐹: 𝑌 → 𝑌. Pix2Pix's input is an image. Pix2Pix trains the conversion from input image to output image. Pix2Pix has one synthetic image generating network and a discriminating network that can distinguish the synthetic image from the real image. In this study, images of 256x256 are used and results of 256x256 are obtained. The efficiency of the two methods was compared in terms of time and similarity indexes and examined. Results are shown in tables and figures. MATLAB 2019b was used for the application. It is observed that GAN methods give efficient results in image-to-image conversion. When producing medical images, the Pix2Pix method can be preferred in terms of achieving the desired result when comparing the CycleGAN method with the Pix2Pix method according to the experimental results.

Keywords

Synthetic Image Generation, Generator Adversarial Networks, CycleGAN, Pix2Pix

Sentetik Pap-Smear Hücre Çekirdeği Üretiminde Üretici Çekişmeli Ağların Kullanılması

Abstract

Sentetik görüntü üretimi geçmişten günümüze kadar araştırma alanı olmuştur. Çeşitli algoritmalar ile sentetik (sahte) görüntü üretimi yapılmaktadır. İncelenen sentetik görüntü üretme yöntemleri derin öğrenmeye dayanan üretici çekişmeli ağlar (GANs)’dır. GAN’lar üretici ve ayrıştırıcı olmak üzere iki sinir ağına sahiptir. Üretici ağ sentetik görüntü ya da sinyal üretirken; ayrıştırıcı ağ orijinal görüntü ya da sinyal ile üretilmiş sentetik görüntünün ya da sinyalin benzerliğini olasılıksal olarak ölçmektedir. GAN yöntemlerinden Döngüsel Üretici Çekişmeli Ağ ( CycleGAN ) ve Görüntüden Görüntüye Çeviren Ağ (Pix2pix) yöntemleri sentetik görüntü üretirken görüntüden görüntüye çeviri yapılabilme yeteneğine sahip olduğundan hücre çekirdeği üretirken uygun yöntemler olarak belirlenmiştir. CycleGAN, bir üretici ve bir ayrıştırıcı ağa sahiptir. Üretici, sahte görüntüleri üretirken; ayrıştırıcı, sahte görüntüler ile gerçek görüntüleri ayırt etmeye çalışır. CycleGAN, bir görüntüyü 𝑋 kaynak alanından eşleştirilmiş örneklerin yokluğunda bir hedef alan 𝑌’ye dönüştüren öğrenme yaklaşımı sunulur. Bu model iki “otokodlayıcı” eğitimi olarak görülebilir. Bir otokodlayıcıyı 𝐹 ∘ 𝐺: 𝑋 → 𝑋 ile bir başka otokodlayıcı olan 𝐺 ∘ 𝐹: 𝑌 → 𝑌 ile ortaklaşa öğrenir. Pix2pix’in girişi bir görüntüdür. Pix2pix, giriş görüntüsünden çıktı görüntüsüne dönüşümü eğitir. Pix2pix, bir tane sentetik görüntü üreten üretici ağa ve bu sentetik görüntü ile gerçek görüntüyü ayırt edebilecek olan ayrıştırıcı ağa sahiptir. Bu çalışmada, 256x256 boyutunda görüntüler kullanılmış olup 256x256 boyutunda sonuçlar elde edilir. İki yöntemin zaman ve benzerlik indeksleri açısından karşılaştırması yapılıp verimliliği incelenmiştir. Sonuçlar tablo ve şekil olarak gösterilmiştir. Uygulama için MATLAB 2019b kullanılmıştır. Görüntüden görüntüye dönüşümde GAN yöntemlerinin verimli sonuçlar verdiği gözlemlenmektedir. Medikal görüntü üretirken deneysel sonuçlara göre CycleGAN yöntemi ile Pix2pix yöntemi kıyaslandığında istenilen sonuca ulaşma bakımından pix2pix yöntemi tercih edilebilir.

Keywords

Sentetik Görüntü Üretimi, Üretici Çekişmeli Ağlar, CycleGAN, Pix2pix

References

• ALTUN, S., & TALU, M. F. (2019, October). Aynı Şartlar Altında Farklı Üretici Çekişmeli Ağların Karşılaştırılması. In 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT) (pp. 1-6). IEEE.
• BARIŞKAN, M. A., Orman, Z., & ŞAMLI, R. Common Generative Adversarial Network Types and Practical Applications. Avrupa Bilim ve Teknoloji Dergisi, 585-590.
• Zhu, J. Y., Park, T., Isola, P., & Efros, A. A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. In Proceedings of the IEEE international conference on computer vision (pp. 2223-2232).
• Isola, P., Zhu, J. Y., Zhou, T., & Efros, A. A. (2017). Image-to-image translation with conditional adversarial networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1125-1134).
• Efros, A. A., & Leung, T. K. (1999, September). Texture synthesis by non-parametric sampling. In Proceedings of the seventh IEEE international conference on computer vision (Vol. 2, pp. 1033-1038). IEEE.
• Hertzmann, A., Jacobs, C. E., Oliver, N., Curless, B., & Salesin, D. H. (2001, August). Image analogies. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques (pp. 327-340).
• Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431-3440).
• Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y. (2014). Generative adversarial nets. In Advances in neural information processing systems (pp. 2672-2680).
• Sangkloy, P., Lu, J., Fang, C., Yu, F., & Hays, J. (2017). Scribbler: Controlling deep image synthesis with sketch and color. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 5400-5409).
• Karacan, L., Akata, Z., Erdem, A., & Erdem, E. (2016). Learning to generate images of outdoor scenes from attributes and semantic layouts. arXiv preprint arXiv:1612.00215.
• Sato, M., Hotta, K., Imanishi, A., Matsuda, M., & Terai, K. (2018, January). Segmentation of Cell Membrane and Nucleus by Improving Pix2pix. In BIOSIGNALS (pp. 216-220).
• Wang, X., Yan, H., Huo, C., Yu, J., & Pant, C. (2018, August). Enhancing Pix2pix for remote sensing image classification. In 2018 24th International Conference on Pattern Recognition (ICPR) (pp. 2332-2336). IEEE.
• Gatys, L. A., Ecker, A. S., & Bethge, M. (2016). Image style transfer using convolutional neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 2414-2423).