Türkçe Metin Madenciliği için Çalışan Bellek Bağlantıları Tabanlı Uzun Kısa Süreli Bellek Mimarisi

Authors : Aytuğ ONAN

Pages : 239-246

Doi:10.31590/ejosat.1080239

View : 16 | Download : 11

Publication Date : 2022-03-31

Article Type : Research Paper

Abstract :Metin sınıflandırma, metin belgelerinin önceden belirlenmiş sınıf etiketlerinden birine atanmasına yönelik bir doğal dil işleme alanıdır. Metin sınıflandırma, aralarında duygu analizi, konu etiketleme, soru yanıtlama ve diyalog eylemi sınıflandırmanın da yer aldığı birçok doğal dil işleme probleminde kullanılmaktadır. Metin sınıflandırma, haber metinlerinin filtrelenmesi ve organizasyonu, istenmeyen e-posta içeriklerinin filtrelenmesi gibi birçok uygulama alanına sahiptir. Son yıllarda, metin sınıflandırma alanında, derin sinir ağı tabanlı mimariler ve sinirsel dil modelleri sıklıkla kullanılmaktadır. Uzun kısa süreli bellek tabanlı mimariler (LSTM), uzun süreli bağımlılıkları öğrenirken, geleneksel tekrarlayan sinir ağlarında gözlemlenen patlayan ve kaybolan gradyanları azaltmak için geçit mekanizmalarını kullanır. Bu nedenle, LSTM ve türevi mimariler, birçok dizi modelleme görevinde yaygın kullanıma sahiptir. LSTM tabanlı mimarilerde, bellek hücresi temel bilgileri içermesine karşın, geçit mekanizmasını doğrudan etkilemesine izin verilmez. Bu çalışmada, Türkçe duygu analizi için, tekrarlayan sinir ağı, uzun kısa süreli bellek, geçitli tekrarlayan birim, gözetleme deliği tabanlı uzun kısa süreli bellek mimarisi ve çalışan bellek bağlantıları tabanlı uzun kısa süreli bellek mimarisinin başarımı karşılaştırmalı olarak değerlendirilmektedir. Derlemin temsilinde, word2vec, fastText ve GloVe kelime gömme yöntemleri değerlendirilmiştir. Deneysel analizler, çalışan bellek bağlantıları tabanlı uzun kısa süreli bellek mimarisinin Türkçe metin belgeleri üzerinde duygu analizi için, gözetleme deliği tabanlı uzun kısa süreli bellek mimarisi, uzun kısa süreli bellek ve geçitli tekrarlayan birim mimarisine kıyasla daha yüksek doğru sınıflandırma oranı elde ettiğini göstermektedir.
Keywords : Uzun kısa süreli bellek, Metin madenciliği, Derin öğrenme, Makine öğrenmesi, Çalışan bellek bağlantıları