Dahili webcam kullanarak göz hareketlerinin takibi ve imleç kontrol yöntemi

Abstract

Çalışmada dizüstü bilgisayar kullanıcılarının dâhili webcam ile alınan görüntüleri işlenerek imleç kontrolü amaçlanmıştır. Bu amaçla çalışma dâhili webcam ile alınan görüntü içinde göz bölgesinin bulunması, göz bölgesine ait özniteliklerin elde edilmesi, özniteliklerin kullanılarak ekranda bakılan nokta koordinatlarının tespiti ve fare kontrolü şeklinde aşamalandırılmıştır. Çalışmada bölge koordinatlarının tespiti önce araştırmacının kendine ait dâhili webcam görüntüleri kullanılarak gerçeklenmiş, daha sonra 11 deneğe ait dâhili webcam görüntüleri kullanılarak tekrarlanmıştır. Göz bölgesinin bulunması aşamasında bir yapay sinir ağı (YSA) geliştirilmiş ve eğitim seti ile birlikte hazırlanan test seti üzerinde %100 başarıya ulaşılmıştır. Sonraki aşamada göz bölgesine ait öznitelikler belirlenmiş ve bu öznitelikler göz bölgesinden elde edilmiştir. Göz bölgesi öznitelikleri olarak iris merkezi, göz köşe noktaları ve göz bölgesine ait piksel değerleri kullanılmıştır. Göz bölgesinin içinde irisin bulunması için Yapay Sinir Ağı (YSA)+Circular Hough Transform (CHT)-Dairesel Hough Transformu, göz köşelerinin bulunması için ise Lowest Valued Pixel (LVP)-En Düşük Değerlikli Piksel (EDDP) kullanılmıştır. Göz bölgesine ait her bir pikselin ifade ettiği renk derinliği değerleri (piksel değerleri) de boyut bazında azaltılarak kullanılmıştır. Ancak otomatik olarak bulunan iris ve göz köşelerinin sonuçlara olumlu katkısının olmadığı gözlemlenmiştir. Manuel olarak iris ve göz köşelerinin bulunmasının ise pratikte her görüntü için uygulanamaması sebebiyle, çalışmanın devamında göz bölgesini ifade etmesi için sadece piksel değerleri kullanılmıştır. Kullanıcının dâhili webcam ile alınan görüntü içinde bulunan göz bölgesine ait pikseller, veri azaltma yöntemleri ile azaltılmış ve vektör matrisi haline getirilen piksellere ait değerler koordinat tespiti için geliştirilen YSA'da giriş verisi olarak kullanılmıştır. Kullanıcıya ait test görüntüleri, koordinat tespiti için geliştirilen YSA ile test edilmiş ve Mutlak Hata Ortalaması (MAE=1.6648 bölge – 1.664824 piksel) bulunmuştur. MAE değerinin küçük olması gerçek bölge koordinatları ile YSA'nın bulduğu bölge koordinatları arasındaki sapmaların az olduğu anlamına gelmektedir. Kullanıcıya ait test görüntülerinden elde edilen sonuçlara bağlı olarak çalışma farklı kullanıcılar için deneklerin dâhili webcam görüntüleri kullanılarak tekrarlanmıştır. Deneklerden elde edilen sonuçların farklılıklar gösterdiği ve elde edilen en düşük mutlak hata ortalamasının araştırmacının elde ettiği değerlere yaklaştığı görülmüştür. Çalışmanın sonucunda önceden belirlenmiş kullanıcıların göz hareketlerine bağlı olarak imlecin istenilen noktalara hareketi ortalama (MAE=5,8382 bölge) sapmayla gerçekleşmesi sağlanmıştır. Ortalama MAE değeri hesaplanırken eğitim ve test görüntülerini yanlış aldığı düşünülen deneklerde ortalamaya dahil edilmiştir.

In this study, it is aimed to control the cursor on the laptop screen with processing of captured images from the domestic webcam. For this aim, the study was divided into four steps; to detect eye in the image, to obtain the attributes of eye region, to determine the point coordinates looked on the screen with using eye region attributes, and to control the cursor. Firstly, the study has been realized with using the researcher images only. Later on, the study has been repeated again for 11 different test subject images. In the second step, an Artificial Neural Network (ANN) has been developed and 100% success has been achieved on the test set. In the next step, the attributes, obtained from the eye region have been determined. The iris center, eye corners and pixels values of eye region have been selected as the attributes of eye region. ANN (Artificial Neural Network) & CHT (Circular Hough Transform) methods have been used to detect the iris and LVP (Lowest Valued Pixel) method has been used to detect the eye corners in eye region. The colour depth values (pixel values), define each pixel belong to eye region have been used by reducing the number of pixels. However, it is observed that, the iris and eye corners, detected automatically have not effected the results positively. Meanwhile, the detection of iris and eye corners couldn't be applied manually for each image. So, in the rest of study, only the pixel values has been used. The number of pixels in eye region within the image of the user has been decreased by data reduction methods. The pixel values, converted into vector matrix have been used as the input data for the ANN, developed for the determination of coordinates. Test images of user have been tested on the ANN and Mean Absolute Error (MAE) has been found as 1,6648 area (1.664824 pixels). This small value of the MAE indicates that, there is less deviation between the actual and obtained coordinates. The study has been repeated for different users. It has been observed that, the results obtained from the test subjects were different. However, the minimum Mean Absolute Error obtained from the test subject was very close to the value obtained from the researcher. As a result of the study, the cursor has been moved to the desired point with the average deviation (MAE=5,8382 area) by depending on eye movements of the predetermined users. The test subjects, which took the training and test images wrong, have been included when the MAE was calculated.