Görme Engelli Bireylerin Günlük Yaşamda Karşılaştıkları Zorluklara Yenilikçi Bir Çözüm: Derin Öğrenme Tabanlı Akıllı Asistan Tasarımı ve Geliştirilmesi

Year 2024, Volume: 15 Issue: 3, 595 - 606, 30.09.2024

Mehmet Ali Yalçınkaya , Murat Işık , Elanur Kaşçıoğlu , Hatice Nur Kaya

https://doi.org/10.24012/dumf.1472285

Abstract

Günümüzde teknolojinin hızla gelişmesiyle birlikte, yapay zekâ (AI) ve görüntü işleme teknolojileri, özellikle görme engelli bireylerin günlük yaşantılarını kolaylaştırmak adına önemli imkanlar sunmaktadır. Bu amaç doğrultusunda bu çalışmada, görme engelli bireyler için geliştirilmiş, yapay zekâ ve görüntü işleme tabanlı bir mobil uygulama sunulmaktadır. Bu bağlamda, sesli komutları algılayabilen ve kullanıcıya yine sesli geri bildirim sağlayan bir mobil uygulama geliştirilmiştir. Geliştirilen uygulamanın en önemli bileşeni nesne tanıma modülüdür. Söz konusu modül kamera görüntüsü üzerinden anlık olarak ortamdaki nesneleri sınıflandırmakta, kullanıcıya göre nesnenin konumunu belirlemekte ve tüm bu bilgileri kullanıcıya sesli olarak iletmektedir. Geliştirilen uygulamada nesne tanıma için MobileNetV2 modeli kullanılmıştır. İlk olarak MobileNet derin öğrenme modelinin iki versiyonu (v1, v2) genişletilmiş Pascal VOC veri seti üzerinde test edilmiş ve MobilNetv2 modelinden %94 başarı oranı elde edilmiştir. Daha sonra söz konusu model, mobil uygulama içerisine nesne tanıma işlevi için entegre edilmiştir. Bu çalışma kapsamında geliştirilen mobil uygulamanın görme engelli bireyler için sunduğu diğer modüller ise, metin okuma, sesli navigasyon ve konum tabanlı hava durumu servisidir. Sonuç olarak bu çalışma ile, yapay zekâ ve görüntü işleme teknolojilerinin sosyal etki yaratma potansiyelini göstermek ve görme engellilere yönelik teknolojik çözümlerin geliştirilmesinde bir katkı sağlamak amaçlanmıştır.

Keywords

Görme Engelli Bireyler, Nesne Tanıma, MobilNetV2, Yapay Zekâ, Derin Öğrenme, Toplumsal Katkı

Ethical Statement

-

Supporting Institution

-

Project Number

-

Thanks

-

References

• [1] World Health Organization. World Report On Vision. https: / / www.who.int / publications / i / item / worldreport-on-vision, January 10, 2024.
• [2] Ouali, I., Ben Halima, M., Masmoudi, N., Ayadi, M., Almuqren, L., & Wali, A. Text recuperated using ontology with stable marriage optimization technique and text visualization using AR. Multimedia Tools and Applications, 1-28. 2024. DUJE (Dicle University Journal of Engineering) 15:3 (2024) Sayfa 595-606 606
• [3] Nasser, N., Ali, A. E., Karim, L., & Al-Helali, A. (2024). Enhancing Mobility for the Visually Impaired with AI and IoT-Enabled Mobile Applications. ScienceOpen Preprints. 2024.
• [4] Medronha, A., Lima, L., Claudio, J., & Kupssinskü, L. LERMO: A Novel Web Game for AI-Enhanced Sign Language Recognition. Proceedings of the AAAI Conference on Artificial Intelligence. 2024.
• [5] Lima, R., Barreto, L., Amaral, A., & Paiva, S. Visually impaired people positioning assistance system using artificial intelligence. IEEE Sensors Journal, 23(7), 7758-7765. 2023.
• [6] Chinchole, S., & Patel, S. . Artificial Intelligence and Sensors Based Assistive System for the Visually Impaired People. Proceedings of the International Conference on Intelligent Sustainable Systems. 2017.
• [7] Naqvi, K., Hazela, B., Mishra, S., & Asthana, P. (2021). Employing real-time object detection for visually impaired people. In Data Analytics and Management: Proceedings of ICDAM (pp. 285-299). Springer Singapore.
• [8] Won, W. C., Yong, Y. L., & Khor, K. C. (2021, September). Object Detection and Recognition for Visually Impaired Users: A Transfer Learning Approach. In 2021 2nd International Conference on Artificial Intelligence and Data Sciences (AiDAS) (pp. 1-6). IEEE.
• [9] Bianco, S., Cadene, R., Celona, L., & Napoletano, P. (2018). Benchmark analysis of representative deep neural network architectures. IEEE access, 6, 64270- 64277.
• [10] Howard, A. G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., ... & Adam, H. MobileNets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861. 2017.
• [11] Liu, Y., & Zhang, W. Design and simulation of precision marketing recommendation system based on the NSSVD++ algorithm. Neural Computing and Applications, 1-14. 2023.
• [12] Rahmat, D. P. (2024). Perbandingan Algoritma Human Detection pada Google Coral Dev Board Mini menggunakan Dataset MS COCO (Doctoral dissertation, Institut Teknologi Sepuluh Nopember).
• [13] Fikri, F. I., Setianingsih, C., Saputra, R. E., Hidayat, F. P., Alfiansyah, L. Y., & Amelia, N. (Aerial Insights: Precision Cattle Monitoring Using UAV Imagery and Single Shot Detection. In 2023 6th International Seminar on Research of Information Technology and Intelligent Systems (ISRITI) (pp. 445-450). IEEE. 2023
• [14] Salim, R., Wulandari, M., & Calvinus, Y. Weapon detection using SSD MobileNet V2 and SSD resnet 50. In AIP Conference Proceedings (Vol. 2680, No. 1). AIP Publishing. 2023.
• [15] Ramos, J. P. M., & Magwili, G. V. Development of a Remotely Operated Underwater Drone for Crown-of-Thorns (COTS) Starfish Detection using Simple Convolutional Neural Network. In 2023 7th International Conference on Electrical, Telecommunication and Computer Engineering (ELTICOM) (pp. 84-88). IEEE. 2023.
• [16] Everingham, M., Eslami, S. M. A., Van Gool, L., Williams, C. K. I., Winn, J., & Zisserman, A. (2015). The Pascal Visual Object Classes Challenge: A Retrospective. International Journal of Computer Vision, 111(1), 98-136. https: / / doi.org / 10.1007 / s11263-014-0733-5
• [17] Google. (2021). Mobile Vision API. Retrieved from https: / / developers.google.com / vision
• [18] Zhang, Y., & Ismail, M. (2019). Real-time text recognition using deep learning for mobile applications. IEEE Transactions on Consumer Electronics, 65(3), 328-335.
• [19] Patel, S., & Jain, R. (2020). Advances in text-tospeech synthesis technology. Journal of Computer Speech & Language, 64, 24-49. https: / / doi.org / 10.1016 / j.csl.2020.101026