Türkçe LLM’lerde Nicemleme Dengelemesi: Doğruluk, Hız ve Bellek Kullanımı Üzerine Bir Değerlendirme

Authors : Cengizhan Bayram, Cevdet Ahmet Turan, Ferhat Kürkçüoğlu, Volkan Altıntaş

Pages : 70-80

View : 288 | Download : 432

Publication Date : 2025-12-24

Article Type : Research Paper

Abstract :Bu çalışma, Türkçe bir büyük dil modeline (Trendyol/Trendyol-LLM-7b-chat-dpo-v1.0) uygulanan yalnızca ağırlık nicemlemesi (INT8 ve INT4) yöntemlerinin model doğruluğu, üretim kalitesi ve sistem düzeyi verimlilik üzerindeki etkilerini kapsamlı biçimde incelemektedir. Nicemlenmemiş BFLOAT16 sürümü temel alınarak, aynı modelin INT8 ve INT4 biçimlerinde nicemlenmiş karşılıkları Türkçeye uyarlanmış GLUE-benzeri sınıflandırma görevlerinde ve üretim odaklı özetleme görevlerinde değerlendirilmiştir. Elde edilen bulgular, nicemlemenin görev türüne bağlı olmakla birlikte çoğu durumda sınırlı düzeyde performans kaybına yol açtığını; buna karşılık belirgin bellek tasarrufu ve dağıtım kolaylığı sağladığını göstermektedir. Sonuçlar doğruluk, hız ve bellek kullanımı arasındaki kaçınılmaz dengelemelere (trade-off) dikkat çekmektedir. Özellikle INT4 nicemleme, kaynak kısıtlı ortamlarda bellek verimliliği ile kabul edilebilir doğruluk arasında dengeli bir çözüm sunarken; INT8 nicemleme bazı sınıflandırma görevlerinde yüksek doğruluğu koruyabilmekte, ancak belirli yazılım veya donanım yapılandırmalarında hız açısından dezavantaj oluşturabilmektedir. Genel olarak bulgular, Türkçe büyük dil modellerinin saha koşullarında dağıtımı açısından nicemleme yöntemlerinin uygulanabilir ve etkili bir optimizasyon stratejisi olduğunu ortaya koymaktadır. Bu çalışma, Türkçe LLM ekosisteminde görev-duyarlı nicemleme stratejilerinin geliştirilmesi ve uygulanmasına yönelik somut ilkeler sunarak, gelecekteki model verimliliği çalışmalarına anlamlı bir katkı sağlamaktadır.
Keywords : Nicemleme, Büyük Dil Modelleri, Model Verimliliği, Türkçe Doğal Dil İşleme, Düşük Hassasiyetli Çıkarım

ORIGINAL ARTICLE URL