Miért ez a definíciója az információs dimenziónak: szumma pi*ln(pi)?
A helyes definíció H = sum pi*log2(1/pi), a neve pedig (Shannon-féle vagy információelméleti) entrópia. Itt log2 a 2-es alapú logaritmus jelöli és pi pedig egy jel (pl. a magyar nyelv egy betűjének) relatív gyakorisága. Intuitíven log2(1/pi) a megfelelő jel információtartalma, tehát H a jelek átlagos információtartalma. Ezt most kifejtem jobban.
Shannon észrevette, hogy egy tipikus nagy N hosszú jelsorozat (pl. egy értelmes magyar szöveg N betűből) relatív gyakorisága kb. 2-N*H, ami azt jelenti intuitívan, hogy minden jel nagyjából H bitnyi információt képvisel (az N hosszú jelsorozatban). Most képzeld el, hogy van egy zajmentes csatornád, amin egységnyi idő alatt átlagosan C bitnyi információt tudsz átküldeni. Ezt a C-t Shannon a csatorna (információátvivő) kapacitásának nevezte el. Ekkor a fentiek fényében az várható, hogy bármilyen ügyesen is kódolod át bitsorozatokká valahogyan a jelsorozatokat (az átkódolás fogalmát precízen definiálva), a fenti csatornán egységnyi idő alatt átlagosan legfeljebb csak C/H jelet tudsz átküldeni. Shannon bizonyította precízen, hogy ez így van, de azt is, hogy a C/H ráta alulról tetszőlegesen megközelíthető, ha ügyesen csináljuk az átkódolást.
Shannon tovább ment és zajos csatornákra is definiálta a kapacitás fogalmát. Nevezetesen a fentiek alapján ha egy zajmentes csatornán egységnyi idő alatt átlagosan egy jelet küldünk át, akkor a bemenőjel H entrópiája mindig legfeljebb C, de a C-t tetszőlegesen meg tudja közelíteni alulról (ha ügyesen kódoljuk a jeleket a csatorna számára). Más szóval az egységnyi idő alatt átküldhető információmennyiség (az összes lehetséges kimenő jel entrópiájának legkisebb felső korlátja) éppen a zajmentes csatorna kapacitása. Zajos csatornára Shannon ezt a definíciót a következőképpen terjeszti ki. Minden lehetséges módon jeleket küldünk át a csatornán és megnézzük, a bemenőjel H entrópiája mennyivel nagyobb a zaj Z entrópiájánál, ahol a zaj a kimenőjel és a bemenőjel különbsége definíció szerint. A két entrópia H-Z különbségének van egy legkisebb felső korlátja, ez a zajos csatorna (információátvivő) kapacitása definíció szerint. Zajmentes csatornán persze Z=0 és visszakapjuk az előbbi definíciót. Vegyük észre, hogy a definíció miatt egy C kapacitású csatornán a zaj Z entrópiája mindig legalább max(0,H-C). Na most Shannon belátja, hogy egy C kapacitású zajos csatorna lényegében egy azonos C kapacitású zajmentes csatornaként használható megfelelő kódolással. Pontosabban ha egy tetszőleges jelet akarunk átküldeni a csatornán, akkor H-val jelölve az átküldendő jel entrópiáját, ügyes kódolással a Z zaj entrópiája tetszőleges közel vihető a max(0,H-C)-hez; ez alá pedig, mint láttuk, sosem vihető.
Itt van egyébként Shannon eredeti cikke, igazi mestermű.
