Character Recognition Using Convolutional Recurrent Neural Network on Images of Text

Year 2022, Volume: 37 Issue: 1, 17 - 28, 10.11.2021

Ebru Somuncu , Nesrin Aydın Atasoy

https://doi.org/10.17341/gazimmfd.866552

Cited By: 7

Abstract

human behaviors such as artificial intelligence, machine learning and deep learning are preferred to make sense of these data with human power. Deep learning, which is the sub-branch of machine learning, is used in many areas such as face recognition, voice recognition, object recognition, automotive, defense, health, entertainment and marketing sectors and has recently become a solution to many problems. Text recognition studies are also a problem researched in the field of deep learning. Deep learning uses many process steps for feature extraction and transformation. This structure, which is based on learning of its features and their representations, is handled with a hierarchical structure in the learning process. The success of deep learning algorithms for extraction and representation of features in text and character-based operations on text images is also demonstrated by studies. Convolutional Neural Network (CNN), one of the deep learning architectures, is better than a feed forward network in analyzing text images with its features of sharing parameters and dimension reduction. The success of the Recurrent Neural Network (RNN) architecture on time series data shows successful results with the CNN architecture for character detection from text images. Connectionist Temporal Classification (CTC) which a loss function used to train neural networks can create possibilities to tag data without the need for aligned data when input is given. Thus, it ensures correct identification of characters on text images. In this study, the CRNN architecture was created considering the success of CNN's feature detection on the architecture, on the past and future contexts. 90% of the 50.000 image data created using the Synth90k data set were determined as training and 10% as test data set. This character, which has been successfully detected on text images, is aimed to be used in mobile-based routing application with its success in revealing the appropriate text.

Keywords

Character Recongition, Convolutional Neural Network, Deep Learning, Recurrent Neural Network

Evrişimli tekrarlayan sinir ağı ile metin görüntüleri üzerinde karakter tanıma uygulaması gerçekleştirilmesi

Abstract

Her alanda dijitalleşmenin sonucunda veri miktarı gün geçtikçe büyük miktarda artmaktadır. Bu verilerin insan gücüyle anlamlandırılması için yapay zeka, makine öğrenmesi ve derin öğrenme gibi insan davranışlarını taklit eden bilgisayar sistemleri tercih edilmektedir. Makine öğrenmesinin alt dalı olan derin öğrenme yüz tanıma, ses tanıma, nesne tanıma, otomotiv, savunma, sağlık, eğlence ve pazarlama sektörleri gibi çok fazla alanda kullanılmaktadır ve son dönemlerde birçok probleme çözüm niteliği taşımaktadır. Metin tanıma çalışmaları da derin öğrenme alanında ele alınan bir problemdir. Derin öğrenme özellik çıkarımı ve dönüşümü için birçok işlem adımı kullanır. Özelliklerin ve temsillerinin öğrenilmesine dayanan bu yapı, öğrenme işleminde hiyerarşik bir yapı ile ele alınır. Metin görüntüleri üzerinde yazı ve karakter tabanlı yapılan işlemlerde de özelliklerin çıkarımı ve temsili için derin öğrenme algoritmaları başarısı yapılan çalışmalar ile ortaya konulmaktadır. Derin öğrenme mimarilerinden Evrişimli Sinir Ağı, parametrelerin paylaşımı ve boyut azaltması özellikleri ile metin görüntülerinin analiz edilmesinde ileri beslemeli bir ağdan daha iyidir. Tekrarlayan Sinir Ağı mimarisinin zaman serisine bağlı veriler üzerindeki başarısı, metin görüntülerinden karakter tespiti için Evrişimli Sinir Ağı mimarisi ile başarılı sonuçlar ortaya koymaktadır. Sinir ağlarını eğitmek için kullanılan bir kayıp fonksiyonu olan Bağlantıcı Geçici Sınıflandırma, girdi verildiğinde hizalanmış verilere gerek duymadan veri etiketlemek için olasılık oluşturabilmektedir. Böylece, metin görüntüleri üzerinde karakterlerin doğru tespit edilmesini sağlamaktadır. Bu çalışmada, Evrişimli Sinir Ağının görüntü üzerindeki öznitelik tespit başarısı ile bir Tekrarlayan Sinir Ağı mimarisi olan İki Yönlü Uzun-Kısa Süreli Belleğin geçmiş ve gelecek bağlamları göz önüne alarak karakterlerin tespitindeki başarısı, Bağlantıcı Geçici Sınıflandırma ile birleştirilerek Evrişimli Tekrarlayan Sinir Ağı mimarisi oluşturulmuştur. Synth90k veri seti kullanılarak oluşturulan 50.000 görüntü verisinin % 90'ı eğitim, % 10'u test veri seti olarak belirlenmiştir. Evrişimli Tekrarlayan Sinir Ağı kullanılarak tasarlanan ağın karakter tespiti için doğruluk oranı %90 olarak elde edilmiştir. Metin görüntüleri üzerinde başarılı bir şekilde tespit edilen bu karakterin uygun metni ortaya çıkarmadaki başarısı ile mobil tabanlı yönlendirme uygulamasında kullanılması hedeflenmektedir.

Keywords

Derin Öğrenme, Evrişimli Sinir Ağı, Karakter Tanıma, Tekrarlayan Sinir Ağı

References

• 1. Comlek R., Akbas B., Shen J., Sutchiewcharn N., Wen A. Şeker, B. Diri, H. H. Balık, “Derin Öğrenme Yöntemleri ve Uygulamaları Hakkında Bir İnceleme”, Gazi Mühendislik Bilimleri Dergisi 2017, 3(3): 47-64.
• 2. J. Deng, W. Dong, R. Socher, L. Li, Kai Li and Li Fei-Fei, "ImageNet: A large-scale hierarchical image database," 2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, FL, 2009, pp. 248-255, doi: 10.1109/CVPR.2009.5206848.
• 3. E. Grefenstette, P. Blunsom, N. de Freitas, and K. M. Hermann, ―A Deep Architecture for Semantic Parsing, Apr. 2014.
• 4. Y. Kim, “Convolutional Neural Networks for Sentence Classification”, Aug. 2014.
• 5. A. Graves and N. Jaitly, ―Towards End-To-End bluSpeech Recognition with Recurrent Neural Networks., in ICML, 2014, pp. 1764–1772.
• 6. A. Karpathy and L. Fei-Fei, ―Deep VisualSemantic Alignments for Generating Image Descriptions, in CVPR, 2015, pp. 3128–3137.
• 7. Salouhou Aoudou, “El Yazısı Karakter Tanıma ve Resim Sınıflandırmada Derin Öğrenme Yaklaşımları”, Fatih Sultan Mehmet Vakıf Üniversitesi, Lisansüstü Eğitim Enstitüsü, Bilgisayar Mühendisliği Anabilim Dalı, Yayımlanmamış Yüksek Lisans Tezi, 2019.
• 8. Hamad K., Kaya M. A Detailed Analysis of Optical Character Recognition Technology. International Journal of Applied Mathematics Electronics and Computers. 2016; (Special Issue-1): 244-249.
• 9. Koyun A., Afşin E. Derin Öğrenme ile İki Boyutlu Optik Karakter Tanıma. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi. 2017; 10(1): 11-14.
• 10. M. Jaderberg, K. Simonyan, A. Vedaldi, and A. Zisserman. “Reading text in the wild with convolutional neural networks.” International Journal of Computer Vision, 116(1):1–20, Jan 2016.
• 11. Wang, Ruishuang & Li, Zhao & Cao, Jian & Chen, Tong & Wang, Lei. (2019). Convolutional Recurrent Neural Networks for Text Classification. 1-6. 10.1109/IJCNN.2019.8852406.
• 12. Satvik Samb Saxena, G. Saranya, Deeksha Aggarwal. (2020). A Convolutional Recurrent Neural Network (CRNN) Based Approach for Text Recognition and Conversion of Text To Speech in Various Indian Languages. International Journal of Advanced Science and Technology, 29(06), 2770 - 2776.
• 13. T. He, W. Huang, Y. Qiao and J. Yao “Text-Attentional Convolutional Neural Network for Scene Text Detection”, arXiv:1510.03283v2 [cs.CV] 24 Mar 2016.
• 14. Wang, Ruishuang & Li, Zhao & Cao, Jian & Chen, Tong & Wang, Lei. (2019). Convolutional Recurrent Neural Networks for Text Classification. 1-6. 10.1109/IJCNN.2019.8852406.
• 15. H. Li, P. Wang and C. Shen, "Toward End-to-End Car License Plate Detection and Recognition With Deep Neural Networks," in IEEE Transactions on Intelligent Transportation Systems, vol. 20, no. 3, pp. 1126-1136, March 2019, doi: 10.1109/TITS.2018.2847291.
• 16. J. Bai, Z. Chen, B. Feng and B. Xu, "Image character recognition using deep convolutional neural network learned from different languages," 2014 IEEE International Conference on Image Processing (ICIP), Paris, 2014, pp. 2560-2564, doi: 10.1109/ICIP.2014.7025518.
• 17. Yuan, Aiquan & Bai, Gang & Jiao, Lijing & Liu, Yajie. (2012). Offline Handwritten English Character Recognition Based on Convolutional Neural Network. Proceedings - 10th IAPR International Workshop on Document Analysis Systems, DAS 2012. 10.1109/DAS.2012.61.
• 18. C. Wu, W. Fan, Y. He, J. Sun and S. Naoi, "Handwritten Character Recognition by Alternately Trained Relaxation Convolutional Neural Network," 2014 14th International Conference on Frontiers in Handwriting Recognition, Heraklion, 2014, pp. 291-296, doi: 10.1109/ICFHR.2014.56.
• 19. Z. Zhong, L. Jin and Z. Feng, "Multi-font printed Chinese character recognition using multi-pooling convolutional neural network," 2015 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015, pp. 96-100, doi: 10.1109/ICDAR.2015.7333733.
• 20. W. Yang, L. Jin, Z. Xie and Z. Feng, "Improved deep convolutional neural network for online handwritten Chinese character recognition using domain-specific knowledge," 2015 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015, pp. 551-555, doi: 10.1109/ICDAR.2015.7333822.
• 21. M. He, S. Zhang, H. Mao and L. Jin, "Recognition confidence analysis of handwritten Chinese character with CNN," 2015 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015, pp. 61-65, doi: 10.1109/ICDAR.2015.7333726.
• 22. Z. Zhong, L. Jin and Z. Xie, "High performance offline handwritten Chinese character recognition using GoogLeNet and directional feature maps," 2015 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015, pp. 846-850, doi: 10.1109/ICDAR.2015.7333881.
• 23. Elsawy, Ahmed & Loey, Mohamed & El-Bakry, Hazem. (2017). Arabic Handwritten Characters Recognition using Convolutional Neural Network. WSEAS TRANSACTIONS on COMPUTER RESEARCH. 5. 11-19.
• 24. Text Recognition Data-University of Oxford: https://www.robots.ox.ac.uk/~vgg/data/text/#sec-synth.
• 25. P. Wang, J. Xu, B. Xu, C. Liu, H. Zhang, F. Wang, H. Hao, “Semantic Clustering and Convolutional Neural Network for Short Text Categorization”, Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics, 2015, pp. 352–357.
• 26. Hu, Baotian & Lu, Zhengdong & Li, Hang & Chen, Qingcai. (2015). Convolutional Neural Network Architectures for Matching Natural Language Sentences. Advances in Neural Information Processing Systems. 3.
• 27. LeCun, Y., Bengio, Y. & Hinton, G. Deep learning. Nature 521, 436–444 (2015).
• 28. Ming Liang and Xiaolin Hu, "Recurrent convolutional neural network for object recognition," 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 3367-3375, doi: 10.1109/CVPR.2015.7298958.
• 29. A. Graves and J. Schmidhuber, "Framewise phoneme classification with bidirectional LSTM networks," Proceedings. 2005 IEEE International Joint Conference on Neural Networks, 2005., Montreal, Que., 2005, pp. 2047-2052 vol. 4, doi: 10.1109/IJCNN.2005.1556215.
• 30. A. Graves, A. Mohamed and G. Hinton, "Speech recognition with deep recurrent neural networks," 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, Vancouver, BC, 2013, pp. 6645-6649, doi: 10.1109/ICASSP.2013.6638947.
• 31. Fernández, Santiago & Graves, Alex & Schmidhuber, Jürgen. (2007). An Application of Recurrent Neural Networks to Discriminative Keyword Spotting. 4669. 220-229. 10.1007/978-3-540-74695-9_23.
• 32. M. Schuster and K. K. Paliwal, "Bidirectional recurrent neural networks," in IEEE Transactions on Signal Processing, vol. 45, no. 11, pp. 2673-2681, Nov. 1997, doi: 10.1109/78.650093.
• 33. A. Gordo, “Supervised mid-level features for word image representation,” in Proc. IEEE Conf. Comput. Vision Pattern Recog., 2015, pp. 2956–2964. 34. M. Jaderberg, K. Simonyan, A. Vedaldi, and A. Zisserman, “Deep structured output learning for unconstrained text recognition,” in Int. Conf. Learn. Representations, 2015.
• 35. M. Jaderberg, A. Vedaldi, and A. Zisserman, “Deep features for text spotting,” in Proc. Euro. Conf. Comput. Vis., 2014, pp. 512–528.
• 36. A. Bissacco, M. Cummins, Y. Netzer, and H. Neven, “Photoocr: Reading text in uncontrolled conditions,” in Proc. IEEE Conf. Comput. Vis., 2013, pp. 785–792.
• 37. Campos, T. E., Babu, B. R., & Varma, M. (2009). Character Recognation in Natural Images. Character Recognition in Natural Images, (s. 273-280).
• 38. Çetiner, H., Cetişli, B., & Çetiner, İ. (2012). Gerçek Zamanlı T.C. Kimlik Numarası Tanıma. Sakarya Üniversitesi Fen Bilimleri Dergisi, 123-129.
• 39. Ayşe Oğuzlar, Veri Ön İşleme, Erciyes Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, Sayı: 21, Temmuz-Aralık 2003, ss. 67-76.
• 40. Onan Aytuğ, (2020). Evrişimli Sinir Ağı Mimarilerine Dayalı Türkçe Duygu Analizi. European Journal of Science and Technology. 374-380. 10.31590/ejosat.780609.
• 41. B.B.Traorea, B. Kamsu-Foguema, F. Tangarab, Deep convolution neural network for image recognition, Ecological Informatics 48, 257– 268, 2018.
• 42. M. Sarıgül, B.M. Ozyildirim, M. Avci, Differential convolutional neural network., Neural Networks 116, 279–287, 2019.
• 43. Y. LeCun, Y. Bengio, and G. Hinton, “Deep learning,” Nature, Vol. 521, pp. 436–444, 2015.
• 44. Alex Graves, Abdel rahman Mohamed, and Geoffrey E. Hinton. Speech recognition with deep recurrent neural networks. CoRR, abs/1303.5778, 2013.
• 45. Alex Graves, Navdeep Jaitly, and Abdel rahman Mohamed. Hybrid speech recognition with deep bidirectional lstm. In ASRU, pages 273– 278, 2013.
• 46. Babüroğlu, Barış & Tekerek, Adem & Tekerek, Mehmet. (2019). Development of Deep Learning Based Natural Language Processing Model for Turkish.
• 47. T. Bluche, H. Ney, J. Louradour and C. Kermorvant, "Framewise and CTC training of Neural Networks for handwriting recognition," 2015 13th International Conference on Document Analysis and Recognition (ICDAR), Tunis, 2015, pp. 81-85, doi: 10.1109/ICDAR.2015.7333730.