Bilgi Kuramında Shannon Entropisi ve Uygulamaları

Year 2021, Issue: 32, 491 - 497, 31.12.2021

Oğuzhan Bahadır , Hande Türkmençalıkoğlu

https://doi.org/10.31590/ejosat.1039771

Cited By: 1

Abstract

21. yüzyılda iletişim ve teknoloji çağında fizikten istatistiğe, mühendislikten sosyal bilimlere kadar pek çok alanda uygulamaları olan
entropi, güvenli veri aktarımı, kayıpsız veri sıkıştırma, veri madenciliği, makine öğrenmesi ve sınıflandırma gibi alanlarda bilgi teorisinin
bir uygulaması olarak karşımıza çıkmaktadır. Shannon tarafından olasılık hesaplamaları kullanılarak oluşturulan entropi formülü, bilgi
teorisinde kullanılan önemli bir ölçüm yöntemidir. Bu çalışmada, Shannon'ın entropi formülünün bilgi teorisindeki bazı kullanımları
uygulamalar ile gösterilmektedir. İlk olarak adil ve hileli madeni paralar ile oynanan bir yazı-tura oyununda bilgi ve entropi miktarları
hesaplanmış, elde edilen sonuçlar birbiri ile karşılaştırılmıştır. Adil madeni paradan elde edilen entropi değeri, hileli madeni paradan daha yüksek çıkmış ve bu durum entropinin bir sistemdeki belirsizliğin ölçüsü olduğunu kanıtlamıştır. Entropinin bilgi kuramında kullanılmasıyla birlikte etkili iletişim ve minimum bit kullanarak veri depolama gibi işlemlerde büyük gelişme sağlanmıştır. Yapılan ikinci uygulamada bir veri grubundaki karakterler kodlanırken, gereken minimum bit sayısı entropi formülü ile hesaplanmış ve örnek bir kodlama yapılmıştır. Bilgi teorisinde Shannon entropisi, bilgi iletimi ve depolama alanlarının yanı sıra veri madenciliği, makine öğrenmesi ve yapay tahmin mekanizmalarında da kullanılmaktadır. Yapılan son uygulamada yapay öğrenme alanlarından ‘Karar Ağacı’ oluşturulmasında entropi formülünün, ağacın oluşumundaki ‘kök düğüm’ün tespit edilmesinde kullanıldığı gösterilmiştir. Yapılan uygulamalar Shannon entropisinin bilgi teorisindeki işlevselliğini göstermiştir.

Keywords

Entropi, Bilgi kuramı, Bilgi kazancı

Shannon Entropy and Its Applications in Information Theory

Abstract

Entropy has applications in many fields from physics to statistics, from engineering to social sciences in the age of communication and technology in the 21st century. It appears as an application of information theory in areas such as secure data transfer, lossless data compression, machine learning and classification. The entropy formula created by Shannon using probability calculations is an important measurement method used in information theory. In this study, some uses of Shannon's entropy formula in information theory are demonstrated with applications. Firstly, in a coin flip game played with fair and fraudulent coins, the amount of information and entropy were calculated, and the results were compared with each other. The entropy value obtained from the fair coin was higher than that of the fraudulent coin, proving that entropy is a measure of uncertainty in a system.With the use of entropy in information theory, great progress has been made in processes such as effective communication and data storage using minimum bits. In the second application, while coding the characters in a data group, the required minimum number of bits was calculated with the entropy formula and an example coding was made. In information theory, Shannon entropy is used in data mining, machine learning and artificial prediction mechanisms as well as information transmission and storage. In the last application, it has been shown that the entropy formula is used to determine the 'root node' in the formation of the tree in the creation of the 'Decision Tree' from artificial learning areas. The applications have shown the functionality of Shannon entropy in information theory.

Keywords

Entropy, Information Theory, Information Gain

References

• Ben-Naim, A. (2008). A Farewell to Entropy: Statistical Thermodynamics Based on Information, World Scientific Publishing, 9-19. ISBN-13 978-981-270-706-2. Bulut, F. (2017). Different Mathematical Models for Entropy in Information Theory. Bilge International Journal of Science and Technology Research, 1(2), 167-174 . Retrieved from https://dergipark.org.tr/tr/pub/bilgesci/issue/32353/335439.
• Calin, O., Udrişte, C. (2014). Geometric Modeling in Probability and Statistics, Publisher: Springer, ISBN 978-3-319-07778-6, 78-106.
• Çetinkaya, O. (2011). Belirsizliğin Ölçülmesi ve Entropi. İstanbul Üniversitesi İktisat Fakültesi Mecmuası, (44), (1-4). https://dergipark.org.tr/tr/pub/iuifm/issue/834/9160.
• Çetinkaya, C. P., Yiğit, S. D. (2019). Su Kalitesi Gözlem Ağlarının Performansının Değerlendirilmesi için Bir Yöntem Önerisi ve Gediz Havzasında Uygulanması . Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi , 21 (62) , 483-497 . DOI: 10.21205/deufmd.2019216214.
• Değirmenci, İ. (2011). Entropi Ölçüleri ve Maksimum Entropi İlkesi, Yüksek lisans tezi, İstatistik Anabilim Dalı, Hacettepe Üniversitesi, 1-3.
• Kale, E. (2021). Meteorological Drought Forecasting Using Decision Three, Dissertation, Dissertation Master’s Program of Electrical and Computer Engineering, Antalya Bilim University.
• Mu, Y., Liu, X., Yang, Z. (2017). A Parallel C4.5 Decision Tree Algoritm Based on MapReduce, Concurrency and Computation: Practice and Experience, 29(8).
• Nyquist, H. (1924). Certain Factors Affecting Telegraph Speed. Transactions of the American Institute of Electrical Engineers, (43), 412-422.
• Ruelle, D. (2014). Rastlantı ve Kaos, Tübitak Popüler Bilim Kitapları, Çevirmen: Deniz Yurtören, 102-107.
• Shannon, C.E. (1948). A Mathematical Theory of Communication, The Bell System Technical Journal, 27(3), 379-423.
• Srinivas, D. S., Kumar, M. A. (2013). Attribute and Information Gain Based Feature Selection Technique for Cluster Ensemble: Hybrid Majority Voting Based Variable Importance Measure, IJITR, 1(6), 607-610.
• Yüksel, E. (2020). Düzensizlik (Entropi), Çapraz Düzensizlik (Cross Entropi) ve KL-Iraksaklığı (KL-Divergence), https://medium.com/kaveai/tagged/entropi