Definicja Teoria informacji (Szukaj)

Dział matematykiMatematyka była niegdyś rozumiana jako nauka o liczbach (arytmetyka) i figurach (bryłach) geometrycznych (geometria). Do dziś w popularnych encyklopediach określana jest jako nauka o wielkościach, czyli o stosunkach ilościowych i formach przestrzennych. Z biegiem czasu dodano również do obszaru zainteresowań matematyki wszystko, co wiąże się z pojęciem granicy....
[click for more] na pograniczu statystyki...
[click for more] i informatyki, mający również olbrzymie znaczenie w współczesnej telekomunikacji, dotyczący przetwarzania informacji oraz jej transmisji, kompresji, kryptografiiKryptografia (z gr. kryptós "ukryty", gráphein "pisać") to nauka zajmująca się układaniem szyfrów. Wyróżniane są dwa główne nurty kryptografii: Kryptografia symetryczna Kryptografia asymetryczna ...
[click for more] itd.

Za ojca teorii informacji uważa się Claude'a E. ShannonaClaude Elwood Shannon (urodzony 30 kwietnia 1916 - zmarł 24 lutego 2001 po długotrwałych zmaganiach z chorobą Alzheimera) - amerykański matematyk i inżynier, profesor Massachusetts Institute of Technology (MIT). Jeden z twórców teorii informacji. Jako jeden z pierwszych pojął doniosłość kodu binarnego i już jako młody człowiek proroczo twierdził, że ciągami zer i jedynek da się opisać tekst, obraz i dźwięk....
[click for more], który prawdopodobnie po raz pierwszy użył tego terminu w 1945...
[click for more] roku, w swojej pracy zatytułowanej "A Mathematical Theory of Cryptography". Natomiast w 1948...
[click for more] roku, w kolejnej pracy pt. "A Mathematical Theory of Communication" przedstawił najważniejsze zagadnienia związane z tą dziedziną nauki.

Ważne pojęcia teorii informacji:

• bit: najmniejsza jednostka informacjiInformacja (łac. informatio - wyobrażenie, pojęcie) to pojęcie o wielu definicjach w różnych dziedzinach. W teorii informacji jest nią prawdopodobieństwo zajścia zdarzenia. Zdarzenia mniej prawdopodobne dają więcej informacji. Dokładny wzór to:...
  [click for more] potrzebna do zakodowaniaW teorii informacji kod, to wzajemnie jednoznaczne odwzorowanie, które każdej wiadomości z alfabetu źródła, przyporządkowuje ciąg określonych symboli kodowych. Słowem kodowym nazywamy ciąg symboli kodowych przyporządkowany do konkretnej wiadomości. Przykłady kodów: Kod Morse'a Kod Huffmana, tj. optymalny (najkrótszy) kod prefiksowy otrzymany za pomocą algorytmu Huffmana kod ASCII przypisujący 7 bitowej liczbie (128 kombinacji) znaki pisarskie kod kreskowy kod binarny i kod Graya kod poczto...
  [click for more], które z dwóch możliwych zdarzeń zaszło.

Zobacz wyższe jednostki informacjiJednostki informacji. Najmniejszą jednostką informacji jest bit. Skróconym symbolem bitu jest b. Wyższe jednostki to: oktet (octet) - 8 bitów bajt (byte, symbol: B) - pierwotnie ilość bitów przetwarzana jednocześnie przez komputer. Współcześnie, właściwie już od późnych lat 50-tych, używa się wyłącznie do oznaczenia 8 bitów (czyli oktetu). Do oznaczenia większych ilości bajtów stosuje się przedrostki dziesiętne układu SI, będące wielokrotnościami liczby 10 (103n):...
[click for more].

• entropia: najmniejsza średnia ilość informacji potrzebna do zakodowania, które z zestawu zdarzeń o danych prawdopodobieństwach zaszły.

Wzór na entropię to:

gdzie p(i) to prawdopodobieństwo zajścia zdarzenia i.

Pojęcie entropii w termodynamice jest do pewnego stopnia związane z pojęciem entropii w teorii informacji.

Model statystyczny rzędu N

Jest to modelZobacz też: model Herbranda...
[click for more] rozkładu prawdopodobieństwa, w którym pod uwagę bierze się N poprzednich znaków:

• model rzędu 0 oznacza, że nie bierze się pod uwagę poprzednich znaków
• model rzędu 1 oznacza, że bierze się pod uwagę jeden poprzedni znak
• model rzędu 2 oznacza, że bierze się pod uwagę dwa poprzednie znaki
• model nieskończonego rzędu oznacza, że bierze się pod uwagę wszystkie poprzednie znaki.

Zobacz też: przegląd zagadnień z zakresu matematyki]

Tresc udostepniana na licencji 'GNU Free Documentation License'.

Cache: OK - (Cache Hit) | Exec Czas: 0.097 | INTLinks: 27

Contakt: info AT definicja DOT com
"wzór shannona matematyk"
"teoria shannona"