Face Mesh Özelliklerine Dayalı Derin Öğrenme ile Dikkat-Duygu-Yorgunluk Tespiti

Authors : Emre Öz, Ahmet Emir Belkan, Arif Emre Yaman, Kadir Gümüş, Alperen Karabudak, Selma Yılmazyıldız Kayaarma
Pages : 64-73
View : 133 | Download : 130
Publication Date : 2025-07-31
Article Type : Research Paper
Abstract :Bu çalışma, bireylerin anlık dikkat düzeyi, duygu durumu ve yorgunluk seviyesini entegre bir şekilde analiz eden yapay zeka tabanlı bir sistem geliştirmeyi amaçlamaktadır. Python diliyle geliştirilen sistemde, yüz ifadeleri ve göz hareketleri MediaPipe, DeepFace ve OpenCV gibi kütüphanelerle analiz edilerek; yorgunluk, dikkat ve duygu durumuna dair ölçümler elde edilmiştir. Kullanıcı dostu bir arayüz PyQt5 ile tasarlanmış, böylelikle tüm analizlerin arka planda gerçek zamanlı olarak gerçekleştirilmesi sağlanmıştır. Yorgunluk tespiti için EAR(Eye Aspect Ratio), MAR (Mouth Aspect Ratio), MOE (Mouth Opening Extent), PERCLOS (Percentage of Eye Closure) ve Blink Rate (göz kırpma oranı) gibi metrikler, LSTM tabanlı bir modelle analiz edilmiştir. Dikkat seviyesi, dijitalleştirilmiş D2 Dikkat Testi üzerinden göz takibiyle ölçülmüş ve geleneksel testle yüksek korelasyon göstermiştir. Böylelikle literatürde yaygın olarak kullanılan D2 Dikkat Testi\\\'nin göz takip teknolojileriyle dijital ortama aktarılmasının mümkün olduğu gösterilmiştir. Bu yönüyle, dikkat testlerinin dijitalleşmesine öncülük eden ilk uygulamalardan biri olma özelliği taşımaktadır. Duygu analizi ise CNN ve K-Means kümeleme yöntemleriyle gerçekleştirilmiş, ve duygu sınıfının yanında duygu yoğunluğunun da belirlenebilmesi sağlanmıştır. Gerçekleştirilen deneylerde sistemin yorgunluk tespitinde %94, duygu analizinde %88 doğruluk oranı yakaladığı ve dikkat ölçümünde güvenilir sonuçlar verdiği görülmüştür. Çalışma, geleneksel tek yönlü analizlerin ötesine geçerek, entegre ve gerçek zamanlı bir analiz imkanı sunmakta ve dikkat testlerinin otomasyonu konusunda literatüre katkı sağlamaktadır.
Keywords : Yorgunluk Tespiti, Duygu Analizi, Otomatik Dikkat Ölçümü, Python, Derin Öğrenme, Bilgisayarlı Görü

ORIGINAL ARTICLE URL