Sequence-to-Sequence Video Captioning with Residual Connected Gated Recurrent Units

Tekrarlayan sinir ağları, son zamanlarda bilgisayarla görme ve görüntü ve video altyazısı gibi dil modelleme görevlerinde kullanışlı bir araç olarak ortaya çıkmıştır. Bu ağların ana sınırlaması, ağ derinleştikçe gradyan akışını korumaktır. Bu sınırlamanın üstesinden gelmek ve bilgileri ek özelliklerle katmanlar arasında aşağıdan yukarıya taşıyarak gradyan akışını sürdürmek için artık bağlantıları kullanan bir video altyazı yaklaşımı öneriyoruz. MSVD veri seti üzerindeki deneysel değerlendirmeler, önerilen yaklaşımın en son teknoloji sonuçlarla karşılaştırıldığında doğru altyazı oluşturmayı başardığını göstermektedir. Ek olarak, önerilen yaklaşım, internet bağlantısı olmadan altyazı oluşturabilen özel olarak tasarlanmış Android uygulamamız WeCapV2 ile entegre edilmiştir.