Auxiliary Learning of Non-Monotonic Hyperparameter Scheduling System Via Grid Search

Authors : Alaa Ali HAMEED

Pages : 168-177

Doi:10.38016/jista.1153108

View : 37 | Download : 5

Publication Date : 2022-09-21

Article Type : Research Paper

Abstract :Gelişmiş sinir ağlarındaki son gelişmeler, yeni uyarlanabilir öğrenme stratejilerine yol açmıştır. Geleneksel öğrenme stratejileri, yavaş yakınsama ve sağlamlık eksikliği gibi birçok sorundan muzdariptir. Potansiyelinden tam olarak yararlanmak için bu sorunların çözülmesi gerekir. Her iki konu da adım boyutu ve genellikle sabit olan ve her ağ katmanıyla ilişkili tüm ağırlıklar için tek tip kalan momentum terimi ile ilgilidir. Bu çalışmada, bu sorunların üstesinden gelmek ve sınıflandırma etkinliğini artırmak için yakın zamanda yayınlanan Değişken Uyarlanabilir Momentumlu Geri Yayılım Algoritması insert ignore into journalissuearticles values(BPVAM); algoritması önerilmiştir. Çalışma grid arama yaklaşımına dayalı olarak çeşitli hiperparametreler üzerinde yürütülmüş, daha sonra hiperparametrelerin optimal değerleri bu algoritmaları eğitmiştir. Hiperparametrenin eğitim modelleri üzerindeki etkisini değerlendirmek için hiperparametrenin değişen değerlerine sahip altı durum ele alındı. Modelin yakınsama davranışının, doğruluk için ortalama ve standart sapma ve karesel hatanın toplamı insert ignore into journalissuearticles values(SSE); açısından iyileştirildiği deneysel olarak kanıtlanmıştır. Kapsamlı bir deney seti, BPVAM`nin sağlam ve yüksek verimli bir algoritma olduğunu gösterdi.
Keywords : Uyarlanabilir sinir ağları, Hiperparametre, Kararlı durum hatası, Optimizasyon

ORIGINAL ARTICLE URL