CHATGPT’NİN FARKLI BÜYÜK DİL MODELLERİ PERFORMANSLARININ TÜRKÇEDEKİ EŞ ADLI KELİMELER ÜZERİNDEN İNCELENMESİ

Son zamanların popüler konusu ChatGPT ve gerçekleştirdiği başarılı işler, yapay zekânın ne kadar geliştiğini ve ilerleyen yıllar için vadettiklerini bizlere göstermektedir. ChatGPT’nin hâlihazırda kullanılan Büyük Dil Modelleri arasındaki farklılıklar bu çalışmanın konusunu oluşturmaktadır. ChatGPT-3.5 ve ChatGPT-4’ün performansları Türkçedeki eş adlı kelimeler üzerinden incelenmiştir. Büyük Dil Modelleri oluşturulurken kullanılan Doğal Dil İşleme sistemlerinde aşılması en büyük zorluklardan birisi de bu sistemlerin kelime-anlam belirsizliğini ayırt edebilme becerileridir. Bu belirsizlikleri tespit etmek amacıyla Türkçede en yaygın olarak kullanılan 200 eş adlı kelime örneklem olarak seçilmiştir. Ardından tek bir eş adlı kelimenin, aynı cümle içerisinde iki farklı anlama da gelecek şekilde iki kez kullanılmasıyla cümleler oluşturulmuş ve öncelikle ChatGPT-3.5’den sonra ChatGPT-4’den farklı anlamları tespit etmesi istenmiştir. ChatGPT’ler her iki anlamdan birini bilemediği ve bazen iki anlamı da bilemediği çıktılar üretmiştir. Amaç doğrultusunda ChatGPT-3.5 ve ChatGPT-4 modellerinden alınan çıktılar karşılaştırılmıştır. ChatGPT 3.5’e kıyasla daha fazla parametreye ve veri setine sahip olan ChatGPT-4, beklendiği gibi çok daha iyi bir performans göstermiştir. Başarı oranı dağılım analizi, eş adlı kelimeye göre performans değişikliği, eş adlı kelimenin karakter sayısı ve başarı oranı, istatistiksel testler yapılan diğer analizlerdir.