Research Article
BibTex RIS Cite

An Example of Humanoid Robot Arm Performing Sign Language Movements

Year 2020, Volume: 8 Issue: 1, 220 - 232, 31.01.2020

Bekir Aksoy , Zakaria Ghazal , Ramazan Şenol , Mevlüt Ersoy

Abstract

People with hearing loss have difficulty learning how to communicate because they can't hear all the sounds around them, and even their own voices. In this study, 25 Turkish sample movements were performed by a humanoid robot arms with sign language movements to the hearing impaired by using speech, Google speech library, voice or by entering information from the keyboard, and detection of sign language by the humanoid robot arm. With the input of information from the keyboard, it was seen that the robotic arm's movement time was 40% faster than the sound-movement time.

Keywords

Robot Arm Sign Language Speech Recognition

References

  • [1] E. Bilgener ve G. Özçelikay, “Geriatrik Yaş Grubu Kadınlarda Akılcı İlaç Kullanımı,” Türkiye Klinikleri Obstetric-Women's Health and Diseases Nursing-Special Topics, c. 5, s. 1, ss. 62-68, 2019.
  • [2] T.C. Sağlık Bakanlığı Türkiye ilaç ve tıbbi cihaz kurumu, Yaşlılarda ilaç kullanımında güncel sorunlar ve çözüm önerileri çalıştayı, 26-27 Mayıs 2015, Ankara.
  • [3] S. Saltık, “Febril nöbetler ve ilişkili epileptik sendromlar,” Türk Pediatri Arşivi, c. 53, s. 4, ss. 203-204, 2018.
  • [4] Anonim (03.09.2007). [Online]. Erişim: https://eksisozluk.com/engelli--483023.
  • [5] S. Pouya, E. Bayramoğlu ve Ö. Demirel, “Doğa ile Uyumlu Fiziksel Engelli Çocuk Oyun Alanları,” Mimarlık Bilimleri ve Uygulamaları Dergisi (MBUD), c. 1, s. 1, ss. 51-60, 2016.
  • [6] A. Küçükali, “Engellilere Uygulanan Sosyal Yardımlar,” Sosyal ve Beşerî Bilimler Araştırmaları Dergisi, c.1 s.35, ss. 96-111, 2015.
  • [7] Z. Yıldız, S. Yıldız ve F. Karaçayır, “Dünyada ve Türkiye’de Engelli Turizmi Pazarının Değerlendirilmesi,” Evaluation of. Journal of Tourism and Gastronomy Studies, c. 5, s. 2, ss. 61-80, 2017.
  • [8] TÜİK, (2011). [Online]. Erişim: http://www.tuik.gov.tr/Kitap.do?metod=KitapDetay&KT_ID=1&KITAP_ID=244
  • [9] World Health Organization, Atlas: country profiles of mental health resources, Geneva, No. WHO/NMH/MSD/MDP/01.3), 2001.
  • [10] A. Besiri, “Yoksulluk ekseninde engellilerin eğitimi,” TBB Dergisi, s. 83, ss. 353-374, 2009.
  • [11] Sağlık Bilimleri Enstitüsü. (2016). DEÜ Sağlık Bilimleri Enstitüsü. Erişim: http://acikerisim.deu.edu.tr:8080/xmlui/bitstream/handle/20.500.12397/10222/193334.pdf?sequence=1
  • [12] M. Yalçın, S. Ilgaz, G. Özkul ve Ş. K. Yıldız, “Turkish sign language alphabet translator,” 26th Signal Processing and Communications Applications Conference’da (SIU) sunuldu, İzmir, 2018.
  • [13] M. Miles, (2009, Temmuz). [Online]. Erişim: http://www.independentliving.org/miles200907.html [14] D. İlkbaşaran ve S. S. Taşçı, “Ideology and language in the early republic: A history of Deaf education in Turkey,”. In Proceedings of the International Symposium on Language and Communication: Research Trends and Challenges’de (ISLC) sunuldu, Erzurum, 2012.
  • [15] U. Zeshan, “Sign language in Turkey: The story of a hidden language. Turkic Languages,” s. 6, ss. 229-274, 2002.
  • [16] Milli Eğitim Bakanlığı, Yetişkinler için işaret dili kılavuzu, Ankara: MEB Özel eğitim Rehberlik ve Danışma Hizmetleri Genel Müdürlüğü Yayınları, 1995.
  • [17] Y. K. Kemaloğlu ve P.Y. Kemaloğlu, “The history of sign language and deaf education in Turkey,” Kulak Burun Boğaz İhtisas Dergisi, c. 22, s. 2, ss. 65-76, 2012.
  • [18] S. Dengler, A. Awad ve F. Dressler, F. “Sensor/actuator networks in smart homes for supporting elderly and handicapped people” In 21st International Conference on Advanced Information Networking and Applications Workshops’da (AINAW'07) sunuldu, Nuremberg , 2007.
  • [19] P. I. Ktistakis ve N. G. Bourbakis, “Assistive intelligent robotic wheelchairs,” 9th International Conference on Rehabilitation Robotics’de sunuldu, California, 2017.
  • [20] A.K. Singh, B.P. John, S. V. Subramanian, A. S. Kumar ve B. B. Nair, “A low-cost wearable Indian sign language interpretation system’de sunuldu,” International Conference on Robotics and Automation for Humanitarian Applications’da sunuldu, Kollam, 2016.
  • [21] D. Homburg, M. S. Thieme, J. Völker ve R. Stock, “RoboTalk-Prototyping a Humanoid Robot as Speech-to-Sign Language Translator,” 52nd Hawaii International Conference on System Sciences’da sunuldu, Hawaii, 2019.
  • [22] H. Jose ve A. Julian, “Tamil Sign Language Translator—An Assistive System for Hearing-and Speech-Impaired People,” In Information and Communication Technology for Intelligent Systems’de sunuldu, Singapore, 2019.
  • [23] N. Tazhigaliyeva, Y. Nurgabulov, G. I. Parisi ve A. Sandygulova, “Slirs: Sign language interpreting system for human-robot interaction,” AAAI Fall Symposium Series’de sunuldu, California, 2016.
  • [24] Meghdari, A., Alemi, M., Zakipour, M., & Kashanian, S. A. (2019). Design and realization of a sign language educational humanoid robot. Journal of Intelligent & Robotic Systems, 95(1), 3-17.
  • [25] Lo, S. Y., & Huang, H. P. (2016). Realization of sign language motion using a dual-arm/hand humanoid robot. Intelligent Service Robotics, 9(4), 333-345.
  • [26] Kose, H., Akalin, N., & Uluer, P. (2014). Socially interactive robotic platforms as sign language tutors. International Journal of Humanoid Robotics, 11(01), 1450003.
  • [27] Scassellati, B., Brawer, J., Tsui, K., Nasihati Gilani, S., Malzkuhn, M., Manini, B., ... & Traum, D. (2018, April). Teaching language to deaf infants with a robot and a virtual human. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (p. 553). ACM.
  • [28] Köse, H., Uluer, P., Akalın, N., Yorgancı, R., Özkul, A., & Ince, G. (2015). The effect of embodiment in sign language tutoring with assistive humanoid robots. International Journal of Social Robotics, 7(4), 537-548.
  • [29] Tazhigaliyeva, N., Nurgabulov, Y., Parisi, G. I., & Sandygulova, A. (2016, September). Slirs: Sign language interpreting system for human-robot interaction. In 2016 AAAI Fall Symposium Series. [30] Gael Langevin (01 Ocak 2012) . [Online]. Erişim: http://inmoov.fr/hand-and-forarm/.
  • [31] ATmega328P. (27.10.2019). [Online]. Erişim: https://www.arduino.cc/
  • [32] T.C Milli Eğitim Bakanlığı ( 26 Haziran 2015 ). [Online]. Erişim: https://orgm.meb.gov.tr, https://turk-isaret-dili-sozlugu-yayimlandi/icerik/541.

Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi

Year 2020, Volume: 8 Issue: 1, 220 - 232, 31.01.2020

Bekir Aksoy , Zakaria Ghazal , Ramazan Şenol , Mevlüt Ersoy

Abstract

İşitme kaybı olan insanlar, nasıl iletişim kuracaklarını öğrenme konusunda güçlük çekerler çünkü çevrelerindeki tüm sesleri ve hatta kendi seslerini duyamazlar. Çalışmada 25 Türkçe örneklem hareket, Google ses kütüphanesi kullanılarak ses yoluyla veya klavyeden bilgi girişi yoluyla işitme engellilere işaret dili hareketleri ile bir insansı robot kolları tarafından gerçekleştirip işaret dilinin algılaması ve hareketin insansı robot kol tarafından gerçekleştirilmesi sağlanmıştır. Klavyeden bilgi girişi ile robot kolun hareketi gerçekleştirme süresinin ses ile hareketi gerçekleştirme süresinden %40 daha hızlı olduğu görülmüştür.

Keywords

Robot Kolu İşaret Dili Ses tanıma

References

  • [1] E. Bilgener ve G. Özçelikay, “Geriatrik Yaş Grubu Kadınlarda Akılcı İlaç Kullanımı,” Türkiye Klinikleri Obstetric-Women's Health and Diseases Nursing-Special Topics, c. 5, s. 1, ss. 62-68, 2019.
  • [2] T.C. Sağlık Bakanlığı Türkiye ilaç ve tıbbi cihaz kurumu, Yaşlılarda ilaç kullanımında güncel sorunlar ve çözüm önerileri çalıştayı, 26-27 Mayıs 2015, Ankara.
  • [3] S. Saltık, “Febril nöbetler ve ilişkili epileptik sendromlar,” Türk Pediatri Arşivi, c. 53, s. 4, ss. 203-204, 2018.
  • [4] Anonim (03.09.2007). [Online]. Erişim: https://eksisozluk.com/engelli--483023.
  • [5] S. Pouya, E. Bayramoğlu ve Ö. Demirel, “Doğa ile Uyumlu Fiziksel Engelli Çocuk Oyun Alanları,” Mimarlık Bilimleri ve Uygulamaları Dergisi (MBUD), c. 1, s. 1, ss. 51-60, 2016.
  • [6] A. Küçükali, “Engellilere Uygulanan Sosyal Yardımlar,” Sosyal ve Beşerî Bilimler Araştırmaları Dergisi, c.1 s.35, ss. 96-111, 2015.
  • [7] Z. Yıldız, S. Yıldız ve F. Karaçayır, “Dünyada ve Türkiye’de Engelli Turizmi Pazarının Değerlendirilmesi,” Evaluation of. Journal of Tourism and Gastronomy Studies, c. 5, s. 2, ss. 61-80, 2017.
  • [8] TÜİK, (2011). [Online]. Erişim: http://www.tuik.gov.tr/Kitap.do?metod=KitapDetay&KT_ID=1&KITAP_ID=244
  • [9] World Health Organization, Atlas: country profiles of mental health resources, Geneva, No. WHO/NMH/MSD/MDP/01.3), 2001.
  • [10] A. Besiri, “Yoksulluk ekseninde engellilerin eğitimi,” TBB Dergisi, s. 83, ss. 353-374, 2009.
  • [11] Sağlık Bilimleri Enstitüsü. (2016). DEÜ Sağlık Bilimleri Enstitüsü. Erişim: http://acikerisim.deu.edu.tr:8080/xmlui/bitstream/handle/20.500.12397/10222/193334.pdf?sequence=1
  • [12] M. Yalçın, S. Ilgaz, G. Özkul ve Ş. K. Yıldız, “Turkish sign language alphabet translator,” 26th Signal Processing and Communications Applications Conference’da (SIU) sunuldu, İzmir, 2018.
  • [13] M. Miles, (2009, Temmuz). [Online]. Erişim: http://www.independentliving.org/miles200907.html [14] D. İlkbaşaran ve S. S. Taşçı, “Ideology and language in the early republic: A history of Deaf education in Turkey,”. In Proceedings of the International Symposium on Language and Communication: Research Trends and Challenges’de (ISLC) sunuldu, Erzurum, 2012.
  • [15] U. Zeshan, “Sign language in Turkey: The story of a hidden language. Turkic Languages,” s. 6, ss. 229-274, 2002.
  • [16] Milli Eğitim Bakanlığı, Yetişkinler için işaret dili kılavuzu, Ankara: MEB Özel eğitim Rehberlik ve Danışma Hizmetleri Genel Müdürlüğü Yayınları, 1995.
  • [17] Y. K. Kemaloğlu ve P.Y. Kemaloğlu, “The history of sign language and deaf education in Turkey,” Kulak Burun Boğaz İhtisas Dergisi, c. 22, s. 2, ss. 65-76, 2012.
  • [18] S. Dengler, A. Awad ve F. Dressler, F. “Sensor/actuator networks in smart homes for supporting elderly and handicapped people” In 21st International Conference on Advanced Information Networking and Applications Workshops’da (AINAW'07) sunuldu, Nuremberg , 2007.
  • [19] P. I. Ktistakis ve N. G. Bourbakis, “Assistive intelligent robotic wheelchairs,” 9th International Conference on Rehabilitation Robotics’de sunuldu, California, 2017.
  • [20] A.K. Singh, B.P. John, S. V. Subramanian, A. S. Kumar ve B. B. Nair, “A low-cost wearable Indian sign language interpretation system’de sunuldu,” International Conference on Robotics and Automation for Humanitarian Applications’da sunuldu, Kollam, 2016.
  • [21] D. Homburg, M. S. Thieme, J. Völker ve R. Stock, “RoboTalk-Prototyping a Humanoid Robot as Speech-to-Sign Language Translator,” 52nd Hawaii International Conference on System Sciences’da sunuldu, Hawaii, 2019.
  • [22] H. Jose ve A. Julian, “Tamil Sign Language Translator—An Assistive System for Hearing-and Speech-Impaired People,” In Information and Communication Technology for Intelligent Systems’de sunuldu, Singapore, 2019.
  • [23] N. Tazhigaliyeva, Y. Nurgabulov, G. I. Parisi ve A. Sandygulova, “Slirs: Sign language interpreting system for human-robot interaction,” AAAI Fall Symposium Series’de sunuldu, California, 2016.
  • [24] Meghdari, A., Alemi, M., Zakipour, M., & Kashanian, S. A. (2019). Design and realization of a sign language educational humanoid robot. Journal of Intelligent & Robotic Systems, 95(1), 3-17.
  • [25] Lo, S. Y., & Huang, H. P. (2016). Realization of sign language motion using a dual-arm/hand humanoid robot. Intelligent Service Robotics, 9(4), 333-345.
  • [26] Kose, H., Akalin, N., & Uluer, P. (2014). Socially interactive robotic platforms as sign language tutors. International Journal of Humanoid Robotics, 11(01), 1450003.
  • [27] Scassellati, B., Brawer, J., Tsui, K., Nasihati Gilani, S., Malzkuhn, M., Manini, B., ... & Traum, D. (2018, April). Teaching language to deaf infants with a robot and a virtual human. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems (p. 553). ACM.
  • [28] Köse, H., Uluer, P., Akalın, N., Yorgancı, R., Özkul, A., & Ince, G. (2015). The effect of embodiment in sign language tutoring with assistive humanoid robots. International Journal of Social Robotics, 7(4), 537-548.
  • [29] Tazhigaliyeva, N., Nurgabulov, Y., Parisi, G. I., & Sandygulova, A. (2016, September). Slirs: Sign language interpreting system for human-robot interaction. In 2016 AAAI Fall Symposium Series. [30] Gael Langevin (01 Ocak 2012) . [Online]. Erişim: http://inmoov.fr/hand-and-forarm/.
  • [31] ATmega328P. (27.10.2019). [Online]. Erişim: https://www.arduino.cc/
  • [32] T.C Milli Eğitim Bakanlığı ( 26 Haziran 2015 ). [Online]. Erişim: https://orgm.meb.gov.tr, https://turk-isaret-dili-sozlugu-yayimlandi/icerik/541.
There are 30 citations in total.

Details

Primary Language Turkish
Subjects Engineering
Journal Section Articles
Authors

Bekir Aksoy 0000-0001-8052-9411

Zakaria Ghazal 0000-0002-5298-1168

Ramazan Şenol 0000-0002-7078-3229

Mevlüt Ersoy This is me 0000-0003-2963-7729

Publication Date January 31, 2020
Published in Issue Year 2020 Volume: 8 Issue: 1

Cite

APA Aksoy, B., Ghazal, Z., Şenol, R., Ersoy, M. (2020). Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi. Duzce University Journal of Science and Technology, 8(1), 220-232.
AMA Aksoy B, Ghazal Z, Şenol R, Ersoy M. Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi. DUBİTED. January 2020;8(1):220-232.
Chicago Aksoy, Bekir, Zakaria Ghazal, Ramazan Şenol, and Mevlüt Ersoy. “Ses Ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi”. Duzce University Journal of Science and Technology 8, no. 1 (January 2020): 220-32.
EndNote Aksoy B, Ghazal Z, Şenol R, Ersoy M (January 1, 2020) Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi. Duzce University Journal of Science and Technology 8 1 220–232.
IEEE B. Aksoy, Z. Ghazal, R. Şenol, and M. Ersoy, “Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi”, DUBİTED, vol. 8, no. 1, pp. 220–232, 2020.
ISNAD Aksoy, Bekir et al. “Ses Ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi”. Duzce University Journal of Science and Technology 8/1 (January 2020), 220-232.
JAMA Aksoy B, Ghazal Z, Şenol R, Ersoy M. Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi. DUBİTED. 2020;8:220–232.
MLA Aksoy, Bekir et al. “Ses Ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi”. Duzce University Journal of Science and Technology, vol. 8, no. 1, 2020, pp. 220-32.
Vancouver Aksoy B, Ghazal Z, Şenol R, Ersoy M. Ses ve Metin Olarak Girilen İşaret Dili Hareketlerinin Robot Kol Tarafından Gerçekleştirilmesi. DUBİTED. 2020;8(1):220-32.