Göz, kaş ve baş hareketlerine dayalı bir insan-bilgisayar etkileşimi sistemi
Muhammed Oğuz Taş, Hasan Serhan YavuzEskişehir Osmangazi Üniversitesi, Elektrik-Elektronik Mühendisliği BölümüManuel kontrol gerektiren bilgisayar gibi cihazların, Multipl Skleroz (MS), Amiyotrofik Lateral Skleroz (ALS), kısmi felç gibi engelli kişiler tarafından kullanılması zordur. Bu kişiler sınırlı hareket kabiliyetine sahip olduklarından çevresiyle iletişimlerinin çoğunu kısıtlı baş ve göz hareketleri ile gerçekleştirebilmektedirler. Engellilerin günlük hayatta kimseye bağımlı olmaması için yardımcı teknolojiler oldukça önemlidir. Bu çalışmada, görsel kamera ile elde edilmiş gerçek zamanlı görüntülerden baş ve göz / kaş hareketlerinin analizine dayalı çalışan bir insan-bilgisayar etkileşimi uygulaması sunulmaktadır. Kullanıcının eylem niyetini tespit etmek ve kaş, göz ve baş hareketlerine göre bilgisayar klavyesi ve fare eylemlerini doğru bir şekilde gerçekleştirmek için Göz ve Kaş Arasındaki Fark (DEEB) özniteliği önerilmiştir. Ayrıca tasarlanan arayüzde, engelli bireylerin sosyal çevreleriyle iletişim kurmasını kolaylaştırdığı düşünülen Instagram, WhatsApp, YouTube vb. sosyal platformlara erişimlerini kolaylaştıran kısayol tuşları da bulunmaktadır. Deneysel çalışmada tasarlanan arayüzde tatmin edici sonuçlar elde edilmiştir.
Anahtar Kelimeler: insan bilgisayar etkileşimi, engelli insan, yüz tanıma, göz ve kaş tanıma, göz ve baş kontrollü bilgisayarA human-computer interaction system based on eye, eyebrow and head movements
Muhammed Oğuz Taş, Hasan Serhan YavuzEskisehir Osmangazi University, Electrical and Electronics Engineering DepartmentDevices like computers that require manual control are difficult to use by disabled people such as having multiple sclerosis (MS), amyotrophic lateral sclerosis (ALS), partial stroke, etc. These people have a very limited movement capability such that they can do most of the interaction with a limited movement of head and the eye. Assistive technologies are very important for people with disabilities not to be dependent on anyone in daily life. In this study, we present a human-computer interaction application that works based on analysis of the head and eye/eyebrow movements from real-time images captured by a visual camera. We propose Difference Between Eye and Eyebrow (DEEB) features to detect the action intention of the user and properly realize the computer keyboard and mouse actions based on eyebrow, eye and head movements. In addition, there are shortcut keys in the designed interface that facilitate access to Instagram, WhatsApp, YouTube etc. which are considered to make it easier for individuals with disabilities to communicate with their social environment. We obtained satisfactory results on the designed interface in the experimental study.
Keywords: human computer interaction, disabled person, face detection, eye and eyebrow detection, eye and head controlled computerMakale Dili: İngilizce