Shannon Entropi Hesaplayıcı

Shannon Entropisi Nedir?

Shannon Entropisi, bilgi teorisinin temel bir kavramıdır ve bir rassal değişkenin sonucundaki belirsizlik veya "sürpriz" miktarını ölçer. Başka bir deyişle, bir olay gerçekleşmeden önce o olayın sonucu hakkında ne kadar az şey bildiğimizi kantitatif olarak ifade eder. Entropi ne kadar yüksekse, belirsizlik o kadar fazladır. Örneğin, hilesiz bir madeni paranın (yazı gelme olasılığı %50, tura gelme olasılığı %50) entropisi, hileli bir paranın (yazı gelme olasılığı %99, tura gelme olasılığı %1) entropisinden daha yüksektir, çünkü sonucu tahmin etmek daha zordur.

Formülü ve Hesaplanması

Shannon Entropisi, H(X), aşağıdaki formülle hesaplanır:

Burada:

• p(x_i): 'i' olayının gerçekleşme olasılığıdır.
• Σ: 1'den n'e kadar olan tüm olası sonuçlar üzerinden toplamı ifade eder.
• log_b: 'b' tabanında logaritmadır. Bu taban, entropinin birimini belirler:
  • b = 2: Sonuç "bit" cinsindendir. Bilgisayar biliminde en yaygın kullanılan birimdir.
  • b = e (doğal logaritma): Sonuç "nat" cinsindendir.
  • b = 10: Sonuç "dit" veya "hartley" cinsindendir.

Kaşifi: Claude E. Shannon

Shannon Entropisi kavramı, Amerikalı bir matematikçi, elektrik mühendisi ve kriptograf olan Claude E. Shannon tarafından 1948 yılında yayımlanan "A Mathematical Theory of Communication" (İletişimin Matematiksel Bir Teorisi) adlı çığır açan makalesinde tanıtılmıştır. Shannon, bu çalışmasıyla bilgi teorisi alanını tek başına kurmuş ve "bilgi çağının babası" olarak anılmıştır.

Shannon'ın amacı, bir iletişim kanalından gönderilen bilginin temel sınırlarını matematiksel olarak modellemekti. "Bilgi" kelimesini ilk kez ölçülebilir ve kantitatif bir değer olarak tanımladı. Geliştirdiği entropi kavramı, bir mesajın içerdiği ortalama bilgi miktarını veya sıkıştırılabilirlik sınırını ifade ediyordu. Bu teori, sadece telekomünikasyon ve bilgisayar bilimlerini değil, aynı zamanda istatistiksel mekanik, dilbilim, sinirbilim ve makine öğrenmesi gibi birçok farklı alanı derinden etkilemiştir.

Literatür ve Kaynakça

Shannon Entropisi ve bilgi teorisi üzerine temel ve açıklayıcı bazı kaynaklar aşağıda listelenmiştir.

• Shannon, C. E. (1948). A Mathematical Theory of Communication. The Bell System Technical Journal, 27(3), 379-423. - (Bilgi teorisini ve entropi kavramını dünyaya tanıtan orijinal ve temel makale.)
• Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience. - (Bilgi teorisi alanındaki en kapsamlı ve standart ders kitaplarından biri.)
• Pierce, J. R. (1980). An Introduction to Information Theory: Symbols, Signals and Noise (2nd ed.). Dover Publications. - (Konuya daha anlaşılır bir giriş sağlayan klasikleşmiş bir kitap.)
• Ben-Naim, A. (2008). A Farewell to Entropy: Statistical Thermodynamics Based on Information. World Scientific. - (Entropi kavramını istatistiksel termodinamik ve bilgi teorisi bağlamında birleştiren ve tartışan bir çalışma.)