Creating a Parallel Corpora for Turkish-English Academic Translations

Authors : İlhami SEL, Hüseyin ÜZEN, Davut HANBAY

Pages : 335-340

Doi:10.53070/bbd.990959

View : 18 | Download : 11

Publication Date : 2021-10-20

Article Type : Research Paper

Abstract :Paralel corpora aynı anlama gelen cümlelerin farklı dillerde temsil edilmesiyle oluşturulan veri setleridir. Makine çeviri sistemlerinde kaliteyi belirleyen en önemli öğelerden birisi büyük miktarda ve yüksek kalitede oluşturulmuş paralel corporadır. Türkçe – İngilizce dil çifti için oluşturulan bu tür veriler genellikle yetersizdir. Bu çalışmada Türkçe – İngilizce dilleri arasında akademik çeviriler için kullanılabilecek büyük miktarda paralel corpora oluşturulmuştur. Bu veri seti oluşturulurken lisansüstü tezlerinin özet kısımları kullanılmıştır. Vecalign ve Hunalign gibi cümle hizalama algoritmaları kullanılarak en iyi eşleştirmeler elde edilmiştir. Yapılan çalışmalar sonucunda 1M paralel cümle çifti elde edilmiştir. Ayrıca elde edilen verinin kalitesini ölçebilmek için Bi-LSTM tabanlı çeviri sistemi oluşturulmuştur. Oluşturulan model TEDinsert ignore into journalissuearticles values(Tr-En); test seti üzerinde sıfır vuruş öğrenme insert ignore into journalissuearticles values(zero shot learning); yöntemiyle 15.8 Bleu puanı elde etmiştir.
Keywords : Paralel Corpora, Sinirsel Makine Çevirisi, Cümle Hizalama, Doğal Dil İşleme