İşitme ve Konuşma Engelli Bireyler için İşaret Tanıma Sistemi Geliştirme

Authors : Bora OKTEKİN, Nadire ÇAVUŞ

Pages : 575-590

Doi:10.22559/folklor.969

View : 16 | Download : 10

Publication Date : 2019-09-20

Article Type : Research Paper

Abstract :İşaret dili, el hareketlerinin, parmakların, kolların veya vücut hareketinin oryantasyonu ile konuşanın fikirlerini iletmek için yüz ifadeleriyle eş zamanlı olarak yaptıkları hareketlerdir. İşaret dilleri, son yıllarda tüm araştırmacıların gözdesi konumundadır. Yapılan hareketler sensörler yardımı ile tanınabilmektedir. Ancak, hareket verilerinin bilgisayar sistemlerine aktarılması büyük önem taşımaktadır. Alan yazın incelemesi sonucunda bu yönde yapılan çalışmaların yeterli olmadığı belirlenmiştir. Ayrıca, yapılmış çalışmaların daha çok Amerikan İşaret Dili, İngiliz İşaret Dili ve Arap İşaret Dili yönünde olduğu ve Türk İşaret Dili yönünde yapılan çalışmaların yeterli olmadığı tespit edilmiştir. Bu çalışmada, işitme ve konuşma engelli bireylerin diğer bireyler ile iletişimlerini kolaylaştırabilecek akıllı bir sistem geliştirilmiştir. Bu bağlamda yapılan çalışmanın alan yazındaki bu eksikliğin giderilmesine fayda sağlayacağı düşünülmektedir. Çalışma kapsamında geliştirilen akıllı sistemde, Türk İşaret Dili’nde ses bilimi olarak adlandırılan ve işaretlerin de temelini oluşturan 33 tane temel işaret baz alınmıştır. Bu işaretlerin sistem tarafından tanınabilmesi için Microsoft Kinect v2 sensörü kullanılmıştır. Sistemin altyapısında C# programlama dili ile sınıflandırma algoritmalarından Saklı Markov Modeli ve veritabanı olarak da MongoDB kullanılmıştır. Yapılan vaka çalışması sonucunda; 33 temel işaretin %82’inin geliştirilen sistem tarafından doğru bir şekilde tanımlandığı gözlemlenmiştir. Elde edilen doğruluk oranı göz önünde tutularak geliştirilen işaret tanıma sisteminin hem işitme ve konuşma engelli bireylere, hem de diğer bireylere yardımcı olacağı ve aralarındaki iletişim kurma problemini çözeceği düşünülmektedir.
Keywords : işaret tanıma, Türk İşaret Dili, hareket tanıma, gerçek zamanlı çeviri