Low Cost Hand Gesture Recognition System Design

Year 2020, Issue: 18, 675 - 682, 15.04.2020

Cihan Yıldırım Veysel Böcekçi

https://doi.org/10.31590/ejosat.687860

Abstract

Today, hand gesture recognition attracts and is used in terms of computer vision, pattern recognition and human computer interaction applications. Popular sensor types used in hand gesture recognition detection are Kinect, Leap motion and time of flights sensors. In this study, a compact system designed to detect hand movements in real time and transform them into commands using ToF based optical sensor, microcontroller and bluetooth module. The sensor unit is particularly important in the recognition of movements. Glove-based motion interfaces typically require the user to plug in a bulky device and carry a cable load that connects the device to a computer. This prevents the ease and naturalness of the user's interaction with the computer. Vision-based systems are less immune to physical effects. In order for the system to work stable, the user must be in the correct position in front of the sensor and must make hand movements under sufficient light. This makes it difficult to use as well as introduces various restrictions. Optical sensor based systems are preferred with their affordable cost, low power consumption and easy-to-apply features. The optical sensor used in our study can measure up to 20cm with 1mm sensitivity. Hand and finger movements are monitored by the optical sensor and sensing can be done without the need for hardware equipment such as instrumented gloves or video cameras. Microcontroller unit is used to define and classify hand movements. Control signals are sent to other devices via the Bluetooth module. The realized system translates four different hand gestures it detects into commands defined as Close/Open, Next, Previous and Click/Select.

Keywords

Gesture recognition, Time of flight sensor, Real time traking

Düşük Maliyetli El Jestleri Tanıma Sistem Tasarımı

Abstract

Günümüzde el jestleri tanıma; bilgisayarlı görü, örüntü tanıma, insan bilgisayar etkileşimi uygulamaları açısından ilgi çekmekte ve kullanılmaktadır. El jestleri algılamada kullanılan popüler sensör tipleri, Kinect, Leap motion and uçuş süresi sensörleridir. Bu çalışmada uçuş süresi temelli çalışan optik sensör, mikrodenetleyici, bluetooth modül kullanılarak el hareketlerini gerçek zamanlı olarak algılayarak komuta dönüştüren kompakt bir sistem tasarlanmıştır. Hareketlerin tanınmasında algılayıcı birim özellikle önem taşımaktadır. Eldiven tabanlı hareket arabirimleri tipik olarak kullanıcının hantal bir aygıt takmasını ve aygıtı bir bilgisayara bağlayan bir kablo yükü taşımasını gerektirir. Bu, kullanıcının bilgisayarla etkileşiminin kolaylığını ve doğallığını engeller. Vizyon tabanlı sistemlerin ise fiziksel etkilere karşı bağışıklığı daha zayıftır. Sistemin kararlı çalışabilmesi için kullanıcının algılayıcı önünde doğru pozisyonda bulunması ve yeterli ışık altında el hareketlerini yapması gerekmektedir. Bu da kullanımı zorlaştırdığı gibi çeşitli kısıtlamalar da getirmektedir. Optik sensör tabanlı sistemler, uygun maliyet, düşük güç tüketimi ve kolay uygulanabilir özellikleri ile tercih edilmektedir. Çalışmamızda kullanılan optik sensör 1 mm hassasiyette, 20cm’ye kadar ölçüm yapabilmektedir. El, parmak hareketleri optik sensör tarafından izlenmekte ve enstrümantal eldiven veya video kamera gibi donanım ekipmanlarına gerek olmaksızın algılama yapılabilmektedir. Mikrodenetleyici birimi el hareketlerini tanımlamada ve sınıflandırmada kullanılmaktadır. Bluetooth modül üzerinden diğer aygıtlara kontrol sinyalleri gönderilmektedir. Gerçekleştirilen sistem algıladığı dört farklı el hareketini Close, Next, Previous ve Click olarak tanımlanan komutlara çevirmektedir.

Keywords

jest tanıma, uçuş süresi sensörü, gerçek zamanlı izleme

References

• Pigou, L., Van Den Oord, A., Dieleman, S., Van Herreweghe, M., & Dambre, J. (2018). Beyond temporal pooling: Recurrence and temporal convolutions for gesture recognition in video. International Journal of Computer Vision, 126(2-4), 430-439.
• Rautaray, S. S., & Agrawal, A. (2015). Vision based hand gesture recognition for human computer interaction: a survey. Artificial intelligence review, 43(1), 1-54.
• Cheng, H., Yang, L., & Liu, Z. (2015). Survey on 3D hand gesture recognition. IEEE transactions on circuits and systems for video technology, 26(9), 1659-1673.
• Mitra, S., & Acharya, T. (2007). Gesture recognition: A survey. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 37(3), 311-324.
• Fang, Y., Wang, K., Cheng, J., & Lu, H. (2007, July). A real-time hand gesture recognition method. In 2007 IEEE International Conference on Multimedia and Expo (pp. 995-998). IEEE.
• Molchanov, P., Gupta, S., Kim, K., & Kautz, J. (2015). Hand gesture recognition with 3D convolutional neural networks. In Proceedings of the IEEE conference on computer vision and pattern recognition workshops (pp. 1-7).
• Lu, W., Tong, Z., & Chu, J. (2016). Dynamic hand gesture recognition with leap motion controller. IEEE Signal Processing Letters, 23(9), 1188-1192.
• Kurakin, A., Zhang, Z., & Liu, Z. (2012, August). A real time system for dynamic hand gesture recognition with a depth sensor. In 2012 Proceedings of the 20th European signal processing conference (EUSIPCO) (pp. 1975-1979). IEEE.