Yönsel Türev Tabanlı Yakınsama Yaklaşımlarının Karşılaştırmalı Analizi

Authors : Ersan YAZAN, Muhammed Fatih TALU

Pages : 137-146

View : 15 | Download : 13

Publication Date : 2022-04-30

Article Type : Research Paper

Abstract :Yönsel türev tabanlı yakınsama yaklaşımları, doğrusal olmayan bir maliyet fonksiyonunu (J(θ)) minimize veya maksimize etmek için θ parametre vektörünü iteratif olarak güncelleme mantığına dayanmaktadır. Yapay öğrenme alanında sık kullanılan bu yaklaşımlarla güncelleme yapılırken maliyet fonksiyonunun ilgili parametreye göre yönsel türev bilgisi kullanılır. Bu çalışmada, literatürde kabul görmüş türev tabanlı yaklaşımların (Gradient Descent, Momentum, Adadelta, Adagrad, Rms, Adam, Newton ve BFGS) doğrusal olmayan fonksiyonlar üzerindeki yakınsama performansları incelenmiştir. Yaklaşım performanslarını kıyaslayabilmek için optimal noktaya yakınsama hızı ve toplam hesaplama maliyeti kıstasları değerlendirilmiştir.
Keywords : Yönsel türev, Momentum, Adadelta, Adagrad, Adam, Newton