Pamukkale Univ Muh Bilim Derg. 2022; 28(5): 632-642 | DOI: 10.5505/pajes.2022.10280

Göz, kaþ ve baþ hareketlerine dayalý bir insan-bilgisayar etkileþimi sistemi

Muhammed Oðuz Taþ, Hasan Serhan Yavuz
Eskiþehir Osmangazi Üniversitesi, Elektrik-Elektronik Mühendisliði Bölümü

Manuel kontrol gerektiren bilgisayar gibi cihazlarýn, Multipl Skleroz (MS), Amiyotrofik Lateral Skleroz (ALS), kýsmi felç gibi engelli kiþiler tarafýndan kullanýlmasý zordur. Bu kiþiler sýnýrlý hareket kabiliyetine sahip olduklarýndan çevresiyle iletiþimlerinin çoðunu kýsýtlý baþ ve göz hareketleri ile gerçekleþtirebilmektedirler. Engellilerin günlük hayatta kimseye baðýmlý olmamasý için yardýmcý teknolojiler oldukça önemlidir. Bu çalýþmada, görsel kamera ile elde edilmiþ gerçek zamanlý görüntülerden baþ ve göz / kaþ hareketlerinin analizine dayalý çalýþan bir insan-bilgisayar etkileþimi uygulamasý sunulmaktadýr. Kullanýcýnýn eylem niyetini tespit etmek ve kaþ, göz ve baþ hareketlerine göre bilgisayar klavyesi ve fare eylemlerini doðru bir þekilde gerçekleþtirmek için Göz ve Kaþ Arasýndaki Fark (DEEB) özniteliði önerilmiþtir. Ayrýca tasarlanan arayüzde, engelli bireylerin sosyal çevreleriyle iletiþim kurmasýný kolaylaþtýrdýðý düþünülen Instagram, WhatsApp, YouTube vb. sosyal platformlara eriþimlerini kolaylaþtýran kýsayol tuþlarý da bulunmaktadýr. Deneysel çalýþmada tasarlanan arayüzde tatmin edici sonuçlar elde edilmiþtir.

Anahtar Kelimeler: insan bilgisayar etkileþimi, engelli insan, yüz tanýma, göz ve kaþ tanýma, göz ve baþ kontrollü bilgisayar

---

A human-computer interaction system based on eye, eyebrow and head movements

Muhammed Oðuz Taþ, Hasan Serhan Yavuz
Eskisehir Osmangazi University, Electrical and Electronics Engineering Department

Devices like computers that require manual control are difficult to use by disabled people such as having multiple sclerosis (MS), amyotrophic lateral sclerosis (ALS), partial stroke, etc. These people have a very limited movement capability such that they can do most of the interaction with a limited movement of head and the eye. Assistive technologies are very important for people with disabilities not to be dependent on anyone in daily life. In this study, we present a human-computer interaction application that works based on analysis of the head and eye/eyebrow movements from real-time images captured by a visual camera. We propose Difference Between Eye and Eyebrow (DEEB) features to detect the action intention of the user and properly realize the computer keyboard and mouse actions based on eyebrow, eye and head movements. In addition, there are shortcut keys in the designed interface that facilitate access to Instagram, WhatsApp, YouTube etc. which are considered to make it easier for individuals with disabilities to communicate with their social environment. We obtained satisfactory results on the designed interface in the experimental study.

Keywords: human computer interaction, disabled person, face detection, eye and eyebrow detection, eye and head controlled computer

---