Türkçe dilinde görüntü altyazısı: veritabanı ve model

Authors : Elena BATTİNİ SONMEZ, Tuğba YILDIZ, Berk Dursun YILMAZ, Ali Emre DEMİR

Pages : 2089-2100

Doi:10.17341/gazimmfd.597089

View : 30 | Download : 15

Publication Date : 2020-07-21

Article Type : Research Paper

Abstract :Otomatik görüntü altyazısı, yapay zekânın hem bilgisayarla görme hem de doğal dil işleme alanlarını kapsayan bir konudur. Makine çevirisi alanındaki gelişmelerden ilham alan ve bu alanda başarılı sonuçlar veren kodlayıcı-kod çözücü tekniği, şu anda İngilizce görüntü altyazısı konusunda kullanılan mevcut yöntemlerden biridir. Bu çalışmada, Türkçe dili için otomatik görüntü altyazısı oluşturan bir model sunulmaktadır. Bu çalışma, verilen görüntülerin özelliklerini çıkarmaktan sorumlu olan bir CNN kodlayıcıyı, altyazı oluşturmaktan sorumlu olan bir RNN kod çözücüsü ile birleştirilerek, Türkçe MS COCO veri tabanını üzerinde Türkçe görüntü altyazısı kodlayıcı-kod çözücü modelini test etmektedir. Üretken modelin performansı yeni oluşturulan veri tabanında hem BLEU, METEOR, ROUGE ve CIDEr gibi en yaygın değerlendirme ölçütleri hem de insan tabanlı yöntemler kullanılarak değerlendirilmiştir. Sonuçlar, önerilen modelin performansının hem niteliksel hem de niceliksel olarak tatmin edici olduğunu göstermektedir. Çalışma sonunda hazırlanan, herkesin kullanımına açık bir Web uygulaması uygulaması [1] sayesinde Türkçe dili için MS COCO görüntülerine ait Türkçe girişlerin yapıldığı bir ortam kullanıcıya sunulmuştur. Tüm görüntüler tamamlandığında, Türkçe’ye özgü ve karşılaştırmalı çalışmaların yapıldığı bir veri kümesi tamamlanmış olacaktır. [1] http://mscococontributor.herokuapp.com/website/
Keywords : Türkçe görüntü altyazısı, Türkçe MS COCO, Bilgisayarlı görme, Doğal dil işleme, CNN, RNN