MR Altyazılama için Çoklu Dikkat Tabanlı Derin Öğrenme Modeli

Authors : Burkay Maraş, Serhat Karatorak, Kevser Özdem Karaca, A. Orkun Gedik, M. Ali Akcayol

Pages : 128-137

Doi:10.18586/msufbd.1532112

View : 106 | Download : 42

Publication Date : 2025-06-30

Article Type : Research Paper

Abstract :Son yıllarda birçok alanda olduğu gibi sağlık alanında da yapay zeka kullanımı oldukça artmaya başlamıştır. Manyetik rezonans (MR) raporlarının manuel olarak tıp hekimleri tarafından oluşturulması oldukça zor, uzun zaman alan ve hatalı olma olasılığı yüksek bir süreçtir. Bu problemleri adreslemek amacıyla, bu çalışmada beyin MR görüntülerinden otomatik rapor üretecek derin öğrenme tabanlı görüntü altyazılama modeli önerilmiştir. Geliştirilen modelde, görüntü işleme, doğal dil işleme ve derin öğrenme yöntemleri birlikte kullanılarak tıbbi görüntüdeki içerik ve tanılara yönelik metin üretilmektedir. Öncelikle MR görüntüleri için, rastgele açılarla döndürme, boyut değiştirme, kırpma, parlaklık ve kontrast değiştirme, gölge ekleme ve aynalama gibi ön işlemler yapılmıştır. Ardından Bootstrapping Language Image Pre-Training (BLIP) modeli ve modelin transformer mimarisinden faydalanılarak rapor üreten bir model geliştirilmiştir. Yapılan deneysel çalışmalarda, geliştirilen modelin farklı metrikler için başarılı sonuçlar verdiği, üretilen raporların orijinal raporlara yüksek oranda benzer olduğu ve tıp alanında yardımcı öneri sistemi olarak kullanılabileceği görülmüştür.
Keywords : MR, BLIP, Derin Öğrenme, Görüntü Altyazılama

ORIGINAL ARTICLE URL