Yapay Zekâ Modellerinin Türkçe Dilindeki Yeterliliklerinin Ölçülmesi: Yükseköğretim Kurumları Alan Yeterlilik Sınavı (AYT) Soruları ile Bir Değerlendirme

Authors : Berker Kılıç, Esra Kılıç, Umur Kaan Kaçan

Pages : 24-37

View : 194 | Download : 229

Publication Date : 2025-12-24

Article Type : Review Paper

Abstract :Bu çalışmada, yapay zekâ modellerinin Türkçe dilindeki yeterliliklerini ölçmek için bir yöntem geliştirilmiş ve uygulanmıştır. Yükseköğretim Kurumları, Alan Yeterlilik Sınavı (AYT) kapsamında öğrencilere sorulan 24 Türk Dili ve Edebiyatı sorusu, seçilen yapay zekâ modellerine sorularak bu modellerin Türkçe bağlam anlama, dil bilgisi ve metin yorumlama yetenekleri değerlendirilmiştir. Çalışmada Open AI, Google AI, Anthropic, xAI, Mistral AI, Microsoft, DeepSeek AI, Moonshot AI, MiniMax ve Alibaba Cloud isimli geliştiricilere ait 26 adet güncel model güncel modeler analiz edilmiştir. Bu modeller, doğal dil işleme alanında en büyük ve en gelişmiş dil modelleri arasında yer almakta olup çok dilli görevlerdeki yüksek performanslarıyla tanınan modellerdir. Çalışmada, geniş bir model yelpazesi üzerinde Alan Yeterlilik Sınavı (AYT) gibi yüksek standartlı bir ölçüm aracı kullanılarak, yapay zekâ modellerinin Türkçe dilindeki yeterlilikleri analiz edilmiştir. AYT, öğrencilerin Türkçe dil becerilerini detaylı şekilde ölçen bir sınav olup, yapay zekâ modellerinin performanslarını gerçek dünya standartlarında değerlendirmek için ideal bir araç sunmaktadır. Çalışmada modellerin AYT sınavında gösterdikleri performanslar verdikleri doğru cevap oranı ile hesaplanarak, Türkçe dili açısından yeterlilik ve uygunlukları ölçülmüştür. Doğru cevap sayısının yüksek olduğu modellerin, Türkçe diline daha uygun oldukları ve bağlamı anlama, dil bilgisi ve metin yorumlama kapasiteleri konusunda daha başarılı oldukları tespit edilmiştir. Bu modellerin eğitim verisinin geniş kapsamlı olduğu, özelleştirilebilirlik potansiyellerinin olduğu, model ölçeği ve token kapasitesi ile Türkçe gibi yerel dillerdeki eğitim verisi oranı ile yanıt doğruluğunu etkilediği görülmüş, en yüksek doğru cevap oranları DeepSeek AI modellerinde tespit edilmiştir. Çalışmada, Türkçe dilinde yapay zekâ modellerinin performansları arasında çok belirgin farklılıklar olması itibariyle eğitim veri setlerinde daha fazla Türkçe içerik olması, Türkçe’ nin eklemeli ve serbest söz dizim özelliklerine özgün modeler geliştirilmesi ve bağlam kapasitesinin artırılabilmesi için Türkçe odaklı veri setlerinin geliştirilmesi önerilmiştir.
Keywords : Türkçe yeterlilik, Yapay zeka modelleri, Performans değerlendirme, Doğal dil işleme

ORIGINAL ARTICLE URL