dbo:abstract
|
- A Shannon-féle entrópiafüggvényt Claude Shannon amerikai matematikus és híradástechnikai szakember vezette be a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére (bár már Shannon előtt is próbálkoztak ezzel, ld. ). Ma e fogalom és tanulmányozása az információelmélet egyik alapja. E függvény definiáláshoz feltételezzük, hogy egy kommunikációs folyamatban veszünk részt, melynek csatornáján az X halmaz jeleiből összetevődő véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni (vagy pedig becsülni) tudjuk azt a p(x) valószínűséget, hogy adott x∈X elem milyen gyakran fordul elő (várhatóan) egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az x jel információtartalma is, amit I(x) jelöljön. Legyen egy üzenet az x = (x1,x2,…,xj)∈ jelek sorozata. Ekkor az üzenet információtartalma Shannon definíciója szerint H(x) = H(x1,x2,…,xj) = = p(x1)I(x1)+p(x2)I(x2)+…+p(xj)I(xj) == p(x1)log2p(x1)-1 + p(x2)log2p(x2)-1 + … + p(xj)log2p(xj)-1 . Tehát az x üzenet információtartalma jelei I(x) := p(x)log2[p(x)-1] „egyedi információtartalmának” várható értéke. (hu)
- A Shannon-féle entrópiafüggvényt Claude Shannon amerikai matematikus és híradástechnikai szakember vezette be a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére (bár már Shannon előtt is próbálkoztak ezzel, ld. ). Ma e fogalom és tanulmányozása az információelmélet egyik alapja. E függvény definiáláshoz feltételezzük, hogy egy kommunikációs folyamatban veszünk részt, melynek csatornáján az X halmaz jeleiből összetevődő véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni (vagy pedig becsülni) tudjuk azt a p(x) valószínűséget, hogy adott x∈X elem milyen gyakran fordul elő (várhatóan) egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az x jel információtartalma is, amit I(x) jelöljön. Legyen egy üzenet az x = (x1,x2,…,xj)∈ jelek sorozata. Ekkor az üzenet információtartalma Shannon definíciója szerint H(x) = H(x1,x2,…,xj) = = p(x1)I(x1)+p(x2)I(x2)+…+p(xj)I(xj) == p(x1)log2p(x1)-1 + p(x2)log2p(x2)-1 + … + p(xj)log2p(xj)-1 . Tehát az x üzenet információtartalma jelei I(x) := p(x)log2[p(x)-1] „egyedi információtartalmának” várható értéke. (hu)
|