Bilgi Kuramında Shannon Entropisi ve Uygulamaları

Authors : Oğuzhan BAHADIR, Hande TÜRKMENÇALIKOĞLU

Pages : 491-497

Doi:10.31590/ejosat.1039771

View : 19 | Download : 13

Publication Date : 2021-12-31

Article Type : Research Paper

Abstract :21. yüzyılda iletişim ve teknoloji çağında fizikten istatistiğe, mühendislikten sosyal bilimlere kadar pek çok alanda uygulamaları olan entropi, güvenli veri aktarımı, kayıpsız veri sıkıştırma, veri madenciliği, makine öğrenmesi ve sınıflandırma gibi alanlarda bilgi teorisinin bir uygulaması olarak karşımıza çıkmaktadır. Shannon tarafından olasılık hesaplamaları kullanılarak oluşturulan entropi formülü, bilgi teorisinde kullanılan önemli bir ölçüm yöntemidir. Bu çalışmada, Shannon'ın entropi formülünün bilgi teorisindeki bazı kullanımları uygulamalar ile gösterilmektedir. İlk olarak adil ve hileli madeni paralar ile oynanan bir yazı-tura oyununda bilgi ve entropi miktarları hesaplanmış, elde edilen sonuçlar birbiri ile karşılaştırılmıştır. Adil madeni paradan elde edilen entropi değeri, hileli madeni paradan daha yüksek çıkmış ve bu durum entropinin bir sistemdeki belirsizliğin ölçüsü olduğunu kanıtlamıştır. Entropinin bilgi kuramında kullanılmasıyla birlikte etkili iletişim ve minimum bit kullanarak veri depolama gibi işlemlerde büyük gelişme sağlanmıştır. Yapılan ikinci uygulamada bir veri grubundaki karakterler kodlanırken, gereken minimum bit sayısı entropi formülü ile hesaplanmış ve örnek bir kodlama yapılmıştır. Bilgi teorisinde Shannon entropisi, bilgi iletimi ve depolama alanlarının yanı sıra veri madenciliği, makine öğrenmesi ve yapay tahmin mekanizmalarında da kullanılmaktadır. Yapılan son uygulamada yapay öğrenme alanlarından ‘Karar Ağacı’ oluşturulmasında entropi formülünün, ağacın oluşumundaki ‘kök düğüm’ün tespit edilmesinde kullanıldığı gösterilmiştir. Yapılan uygulamalar Shannon entropisinin bilgi teorisindeki işlevselliğini göstermiştir.
Keywords : Entropi, Bilgi kuramı, Bilgi kazancı