Informationstheorie

Informationstheorie ist die wissenschaftliche Studie der Quantifizierung, Lagerung, und Kommunikation von Digital Information.^[1] Das Feld wurde grundlegend durch die Werke von festgelegt Harry Nyquist und Ralph Hartleyin den 1920er Jahren und Claude Shannon In den 1940er Jahren.^{[2]: Vii} Das Feld befindet sich an der Kreuzung von Wahrscheinlichkeitstheorie, Statistiken, Informatik, Statistische Mechanik, Informationsingenieurswesen, und Elektrotechnik.

Eine zentrale Maßnahme in der Informationstheorie ist Entropie. Entropie quantifiziert die Menge an Unsicherheit, die am Wert von a beteiligt ist zufällige Variable oder das Ergebnis von a zufälliger Prozess. Zum Beispiel das Ergebnis einer Messe identifizieren Münzwurf (mit zwei gleich wahrscheinlichen Ergebnissen) liefert weniger Informationen (niedrigere Entropie) als das Ergebnis von einer Rolle von a anzugeben sterben (mit sechs gleich wahrscheinlichen Ergebnissen). Einige andere wichtige Maßnahmen in der Informationstheorie sind gegenseitige Information, Kanalkapazität, Fehlerponenten, und relative Entropie. Wichtige Unterfelder der Informationstheorie umfassen Quellcodierung, Algorithmische Komplexitätstheorie, Algorithmische Informationstheorie und Informationstheoretische Sicherheit.

Anwendungen grundlegender Themen der Informationstheorie umfassen Quellcodierung/Datenkompression (z. B. für Zip -Dateien) und Kanalcodierung/Fehlererkennung und Korrektur (z. B. für DSL). Seine Auswirkungen waren entscheidend für den Erfolg der Voyager Missionen zum Deep Space, die Erfindung der Compact DiscDie Machbarkeit von Mobiltelefonen und die Entwicklung des Internets. Die Theorie hat auch Anwendungen in anderen Bereichen gefunden, einschließlich statistische Inferenz,^[3] Kryptographie, Neurobiologie,^[4] Wahrnehmung,^[5] Linguistik, die Entwicklung^[6] und Funktion^[7] von molekularen Codes (Bioinformatik), Wärmephysik,^[8] Molekulare Dynamik,^[9] Quanten-Computing, Schwarze Löcher, Informationsrückgewinnung, Informationsbeschaffung, Erkennung von Plagiaten,^[10] Mustererkennung, Anomalieerkennung^[11] und sogar Kunstkreation.

Überblick

Informationstheorie untersucht die Übertragung, Verarbeitung, Extraktion und Nutzung von Informationen. Abstrakt können Informationen als Lösung der Unsicherheit betrachtet werden. Bei der Kommunikation von Informationen über einen lauten Kanal wurde dieses abstrakte Konzept 1948 von Claude Shannon in einem Papier mit dem Titel " Eine mathematische Kommunikationstheorie, in denen Informationen als eine Reihe möglicher Nachrichten betrachtet werden, und das Ziel ist es, diese Nachrichten über einen lauten Kanal zu senden und den Empfänger die Nachricht trotz des Kanalrauschens mit geringer Fehlerwahrscheinlichkeit zu rekonstruieren. Shannons Hauptergebnis, das Lauter Kanal-Codierungssatz zeigten, dass die Informationsrate, die asymptotisch erreichbar ist, in der Grenze vieler Kanalanwendungen gleich der Kanalkapazität ist, eine Menge, die lediglich von der Statistik des Kanals abhängt, über den die Nachrichten gesendet werden.^[4]

Die Codierungstheorie befasst sich mit der Suche nach expliziten Methoden, genannt Codeszur Erhöhung der Effizienz und zur Verringerung der Fehlerrate der Datenkommunikation über verrauschte Kanäle auf nahe der Kanalkapazität. Diese Codes können grob in die Datenkomprimierung (Quellcodierung) und in die Datenkomprimierung unterteilt werden fehler Korrektur (Kanalcodierung) Techniken. Im letzteren Fall dauerte es viele Jahre, bis festgestellt wurde, dass die Methoden, die Shannons Arbeit als möglich erwiesen hat.

Eine dritte Klasse von Informationstheoriecodes sind kryptografische Algorithmen (beide Codes und Chiffren). Konzepte, Methoden und Ergebnisse aus der Codierungstheorie und Informationstheorie werden in der Kryptographie und in großem Umfang verwendet Kryptanalyse. Siehe den Artikel Verbot (Einheit) für eine historische Anwendung.

Historischer Hintergrund

Das Wahrzeichen Festlegung Die Disziplin der Informationstheorie und das Aufmerksamkeit der weltweiten Aufmerksamkeit war die Veröffentlichung von Claude E. Shannons klassischem Papier "A Mathematical Theory of Communication" in der Glockensystem Technisches Journal Im Juli und Oktober 1948.

Vor diesem Papier wurden begrenzte Informations-theoretische Ideen entwickelt Bell Labsalle implizit annehmen, dass Ereignisse gleicher Wahrscheinlichkeit gleichen. Harry Nyquist1924 Papier, Papier, Bestimmte Faktoren, die die Telegraphengeschwindigkeit beeinflussenenthält einen theoretischen Abschnitt, der "Intelligenz" quantifiziert, und die "Liniengeschwindigkeit", bei der es von einem Kommunikationssystem übertragen werden kann, wobei die Beziehung enthält W = K Protokoll m (Rückruf Boltzmanns Konstante), wo W ist die Geschwindigkeit der Übertragung von Intelligenz, m ist die Anzahl der unterschiedlichen Spannungsstufen zur Auswahl zu jedem Zeitschritt und und K ist eine Konstante. Ralph Hartley1928 Papier, Übertragung von Informationen, verwendet das Wort Information Als messbare Menge reflektiert die Fähigkeit des Empfängers, einen zu unterscheiden Sequenz von Symbolen von irgendeinem anderen, wodurch Informationen als quantifizieren H = log Sⁿ = n Protokoll S, wo S war die Anzahl möglicher Symbole und n Die Anzahl der Symbole in einem Getriebe. Die Informationseinheit war daher die Dezimalstellen, was seitdem manchmal das genannt wurde Hartley Zu seinen Ehren als Einheit oder Skala oder Maß an Informationen. Alan Turing 1940 verwendete ähnliche Ideen im Rahmen der statistischen Analyse des Brechens des deutschen Zweiten Weltkriegs Rätsel Chiffren.

Ein Großteil der Mathematik hinter der Informationstheorie mit Ereignissen unterschiedlicher Wahrscheinlichkeiten wurde für den Bereich von entwickelt Thermodynamik durch Ludwig Boltzmann und J. Willard Gibbs. Verbindungen zwischen informationstheoretischer Entropie und thermodynamischer Entropie, einschließlich der wichtigen Beiträge von Rolf Landauer in den 1960er Jahren werden in erforscht in Entropie in der Thermodynamik und Informationstheorie.

In Shannons revolutionärem und bahnbrechendem Papier, für das die Arbeiten bis Ende 1944 in Bell Labs im Wesentlichen abgeschlossen waren, führte Shannon erstmals das qualitative und quantitative Kommunikationsmodell als statistische Prozess der Informationstheorie ein, die mit der Behauptung geöffnet wurde:

"Das grundlegende Problem der Kommunikation besteht darin, an einem Punkt genau oder ungefähr eine Nachricht zu reproduzieren, die an einem anderen Punkt ausgewählt wurde."

Damit kam die Ideen von

• die Informationsentropie und Redundanz einer Quelle und ihrer Relevanz durch die Quellcodierungssatz;
• die gegenseitigen Informationen und die Kanalkapazität eines lauten Kanals, einschließlich des Versprechens einer perfekten verlustfreien Kommunikation, die der laute Kanal-Codierungssatz gegeben hat;
• das praktische Ergebnis der Shannon -Hartley -Gesetz Für die Kanalkapazität von a Gaußscher Kanal; ebenso gut wie
• das bisschen- Eine neue Art, die grundlegendste Informationseinheit zu sehen.

Informationsmengen

Die Informationstheorie basiert auf Wahrscheinlichkeitstheorie und Statistiken. Die Informationstheorie betrifft sich häufig mit Informationsmaßnahmen der mit zufälligen Variablen verbundenen Verteilungen. Wichtige Informationsmengen sind Entropie, ein Maß für Informationen in einer einzelnen Zufallsvariablen und gegenseitige Informationen, ein Maß für Informationen, die zwischen zwei zufälligen Variablen gemeinsam sind. Die erstere Menge ist eine Eigenschaft der Wahrscheinlichkeitsverteilung einer Zufallsvariablen und ergibt eine Grenze für die Rate, mit der Daten, die durch unabhängige Stichproben mit der angegebenen Verteilung generiert werden, zuverlässig komprimiert werden können. Letzteres ist eine Eigenschaft der gemeinsamen Verteilung von zwei zufälligen Variablen und die maximale Rate der zuverlässigen Kommunikation über eine verrauschte Rate Kanal In der Grenze der langen Blocklängen, wenn die Kanalstatistik durch die Gelenkverteilung bestimmt werden.

Die Wahl der logarithmischen Basis in den folgenden Formeln bestimmt die Einheit der verwendeten Informationsentropie. Eine gemeinsame Informationseinheit ist das Bit, basierend auf dem Binärer Logarithmus. Andere Einheiten sind die nat, was auf dem basiert Natürlicher Logarithmus, und die Dezimalstellen, was auf dem basiert Gemeinsamer Logarithmus.

Im Folgenden ein Ausdruck der Form p Protokoll p wird unter Konvention als gleich Null betrachtet, wann immer p = 0. Dies ist gerechtfertigt, weil ${\ displaystyle \ lim _ {p \ rightarrow 0+} p \ log p = 0}$ Für jede logarithmische Basis.

Entropie einer Informationsquelle

Basierend auf Wahrscheinlichkeitsmassenfunktion von jedem Quellsymbol, das zu kommunizieren ist, das Shannon Entropie H, in Einheiten von Bits (pro Symbol), wird gegeben durch

${\ displayStyle h =-\ sum _ {i} p_ {i} \ log _ {2} (p_ {i})}$

wo p_i ist die Wahrscheinlichkeit des Auftretens der i-Die möglicher Wert des Quellsymbols. Diese Gleichung gibt die Entropie in den Einheiten von "Bits" (pro Symbol) an, da sie einen Logarithmus von Basis 2 verwendet, und dieses Basis-2-Maß für die Entropie wurde manchmal als die genannt Shannon zu seiner Ehre. Entropie wird auch üblicherweise mit dem natürlichen Logarithmus (Basis) berechnet e, wo e ist Eulers Zahl), das eine Messung der Entropie in NATs pro Symbol erzeugt und manchmal die Analyse vereinfacht, indem sie vermeiden, dass zusätzliche Konstanten in die Formeln einbezogen werden. Andere Grundlagen sind ebenfalls möglich, aber weniger häufig verwendet. Zum Beispiel ein Logarithmus der Basis 2⁸ = 256 wird eine Messung in erzeugen Bytes pro Symbol und ein Logarithmus von Basis 10 erzeugt eine Messung in Dezimalstellen (oder Hartleys) pro Symbol.

Intuitiv die Entropie H_X einer diskreten Zufallsvariable X ist ein Maß für die Menge von Unsicherheit im Zusammenhang mit dem Wert von X Wenn nur seine Verteilung bekannt ist.

Die Entropie einer Quelle, die eine Sequenz von emittiert N Symbole, die sind unabhängig und identisch verteilt (iid) ist N ⋅ H Bits (pro Nachricht von N Symbole). Wenn die Quelldatensymbole identisch verteilt, aber nicht unabhängig sind, die Entropie einer Längenachricht N wird weniger sein als N ⋅ H.

Die Entropie von a Bernoulli -Versuch als Funktion der Erfolgwahrscheinlichkeit, oft als die genannt Binäre Entropiefunktion, H_b(p). Die Entropie wird bei 1 Bit pro Versuch maximiert, wenn die beiden möglichen Ergebnisse gleich wahrscheinlich sind, wie bei einem unvoreingenommenen Münzwurf.

Wenn man 1000 Bit (0s und 1s) überträgt und der Wert jeder dieser Bits dem Empfänger (mit Sicherheit einen bestimmten Wert mit Sicherheit hat) vor der Übertragung bekannt, ist klar, dass keine Informationen übertragen werden. Wenn jedoch jedes Bit unabhängig voneinander wahrscheinlich 0 oder 1 ist, wurden 1000 Informationen (häufiger als Bit bezeichnet) übertragen. Zwischen diesen beiden Extremen können Informationen wie folgt quantifiziert werden. Wenn ${\ displaystyle \ mathbb {x}}$ ist der Satz aller Nachrichten {x₁, ..., x_n} das X könnte sein und sein p(x) ist die Wahrscheinlichkeit einiger ${\ displaystyle x \ in \ mathbb {x}}$dann die Entropie, H, von X ist definiert:^[12]

$oder$

(Hier, I(x) ist der Selbstinformation, was der Entropiebeitrag einer einzelnen Nachricht ist, und ${\ displaystyle \ mathbb {e} _ {x}}$ ist der erwarteter Wert.) Eine Eigenschaft der Entropie ist, dass sie maximiert wird, wenn alle Nachrichten im Nachrichtenraum ausgerüstet sind p(x) = 1//n; d.h. am unvorhersehbarsten, in diesem Fall H(X) = log n.

Der Sonderfall der Informationsentropie für eine zufällige Variable mit zwei Ergebnissen ist die binäre Entropiefunktion, die normalerweise in die logarithmische Basis 2 gebracht wurde, wodurch das Shannon (SH) als Einheit ist:

$oder$

Gelenkentropie

Das Gelenkentropie von zwei diskreten Zufallsvariablen X und Y ist nur die Entropie ihrer Paarung: (X, Y). Dies impliziert, dass wenn X und Y sind unabhängigDann ist ihre gemeinsame Entropie die Summe ihrer einzelnen Entropien.

Zum Beispiel wenn (X, Y) repräsentiert die Position eines Schachstücks -X die Reihe und Y Die Spalte, dann die gemeinsame Entropie der Zeile des Stücks und die Säule des Stücks ist die Entropie der Position des Stücks.

$oder P (x, y) \,}$

Trotz ähnlicher Notation sollte die gemeinsame Entropie nicht mit verwechselt werden Kreuzentropie.

Bedingte Entropie (Zweideutigkeit)

Das bedingte Entropie oder bedingte Unsicherheit von X bei der zufälligen Variablen Y (auch als die genannt Zweideutigkeit von X um Y) ist die durchschnittliche bedingte Entropie über Y:^[13]

$oder } p (x | y) \ log p (x | y) =-\ sum _ {x, y} p (x, y) \ log p (x | y).}$

Da Entropie auf eine zufällige Variable oder auf diese zufällige Variable ein bestimmter Wert konditioniert werden kann, sollte darauf geachtet werden, diese beiden Definitionen der bedingten Entropie nicht zu verwirren, von denen erstere häufiger verwendet werden. Eine grundlegende Eigenschaft dieser Form der bedingten Entropie ist:

${\ displayStyle h (x | y) = h (x, y) -h (y). \,}$

Gegenseitige Information (Übertragung)

Gegenseitige Information misst die Menge an Informationen, die durch eine andere Beobachtung von einer zufälligen Variablen erhalten werden können. Es ist wichtig in der Kommunikation, wo es verwendet werden kann, um die Menge an Informationen zwischen gesendeten und empfangenen Signalen zu maximieren. Die gegenseitigen Informationen von X relativ zu Y wird gegeben durch:

$oder p (x, y)} {p (x) \, p (y)}}}$

wo Si (SMutales gegenseitiges InFormation) ist das Punkte gegenseitige Informationen.

Eine grundlegende Eigenschaft der gegenseitigen Informationen ist das

${\ displayStyle i (x; y) = h (x) -h (x | y). \,}$

Das heißt, wissend YWir können durchschnittlich von durchschnittlich sparen I(X; Y) Bits in Codierung X Im Vergleich zum Nicht wissen Y.

Gegenseitige Informationen sind symmetrisch:

${\ displayStyle i (x; y) = i (y; x) = h (x)+h (y) -h (x, y). \,}$

Gegenseitige Informationen können als durchschnittliche Kullback -Reibler -Divergenz (Informationsgewinn) zwischen dem ausgedrückt werden hintere Wahrscheinlichkeitsverteilung von X Angesichts des Wertes von Y und die vorherige Verteilung an X:

$oder$

Mit anderen Worten, dies ist ein Maß dafür, wie viel die Wahrscheinlichkeitsverteilung im Durchschnitt auf X wird sich ändern, wenn wir den Wert von erhalten Y. Dies wird häufig als Divergenz vom Produkt der Grenzverteilungen zur tatsächlichen Gelenkverteilung neu berechnet:

${\ displayStyle i (x; y) = d _ {\ mathhrm {kl}} (p (x, y) \ | p (x) p (y)).$

Gegenseitige Informationen sind eng mit dem verwandt Log-Likelihood-Ratio-Test im Kontext von Notfalltischen und der Multinomiale Verteilung und zu Pearsons χ² Prüfung: Gegenseitige Informationen können als Statistik zur Beurteilung der Unabhängigkeit zwischen zwei Variablen angesehen werden und weist eine gut spezifizierte asymptotische Verteilung auf.

Kullback -Leibler -Divergenz (Informationsgewinn)

Das Kullback -Leibler -Divergenz (oder Informationsdivergenz, Informationsgewinn, oder relative Entropie) ist eine Möglichkeit, zwei Verteilungen zu vergleichen: ein "wahr" Wahrscheinlichkeitsverteilung ${\ displayStyle p (x)}$und eine willkürliche Wahrscheinlichkeitsverteilung ${\ displayStyle q (x)}$. Wenn wir Daten auf eine Weise komprimieren, die annimmt ${\ displayStyle q (x)}$ ist die Verteilung, die einigen Daten zugrunde liegt, wenn in Wirklichkeit, ${\ displayStyle p (x)}$ ist die korrekte Verteilung, die Kullback -Reibler -Divergenz ist die Anzahl der durchschnittlichen zusätzlichen Bits pro Daten, die für die Komprimierung erforderlich sind. Es ist so definiert

$oder \ sum _ {x \ in x} -p (x) \ log {p (x)} = \ sum _ {x \ in x} p (x) \ log {\ frac {p (x)} {q (x)}}.}$

Obwohl es manchmal als "Entfernungsmetrik" verwendet wird, ist KL -Divergenz nicht wahr metrisch Da es nicht symmetrisch ist und das nicht befriedigt Dreiecksungleichung (Machen Sie es halbquasimetrisch).

Eine weitere Interpretation der KL -Divergenz ist die "unnötige Überraschung", die von A Prior aus der Wahrheit eingeführt wird: Angenommen, eine Zahl X steht kurz davor, zufällig aus einem diskreten Satz mit Wahrscheinlichkeitsverteilung gezogen zu werden ${\ displayStyle p (x)}$. Wenn Alice die wahre Verteilung kennt ${\ displayStyle p (x)}$, während Bob glaubt (hat eine frühere) dass die Verteilung ist ${\ displayStyle q (x)}$dann wird Bob mehr sein überrascht als Alice im Durchschnitt, wenn er den Wert von sah X. Die KL -Divergenz ist der (objektive) erwartete Wert von Bobs (subjektivem) überraschiger Abzügung Alice, gemessen in Bits, wenn der Protokoll ist in Basis 2. Auf diese Weise kann das Ausmaß, in dem Bobs Prior "falsch" ist, quantifiziert werden, wie "unnötig überrascht" es ihn macht, ihn zu machen.

Andere Mengen

Andere wichtige Informationen theoretischen Mengen sind Rényi Entropie (eine Verallgemeinerung der Entropie), Differentialentropie (Eine Verallgemeinerung der Informationsmengen auf kontinuierliche Verteilungen) und die bedingte gegenseitige Informationen.

Codierungstheorie

Ein Bild, das Kratzer auf der lesbaren Oberfläche eines CD-R zeigt. Musik- und Daten -CDs werden mithilfe von Fehlerkorrekturcodes codiert und können daher auch dann gelesen werden, auch wenn sie geringfügige Kratzer verwenden Fehlererkennung und Korrektur.

Die Codierungstheorie ist eine der wichtigsten und direktesten Anwendungen der Informationstheorie. Es kann in die Quellcodierungstheorie und die Kanalcodierungstheorie unterteilt werden. Mit einer statistischen Beschreibung für Daten quantifiziert die Informationstheorie die Anzahl der zur Beschreibung der Daten erforderlichen Bits, nämlich die Informationsentropie der Quelle.

• Datenkomprimierung (Quellcodierung): Es gibt zwei Formulierungen für das Komprimierungsproblem:
  • Verlustlose Datenkomprimierung: Die Daten müssen genau rekonstruiert werden;
  • Verlustige Datenkomprimierung: Zuordnen Bits, die zur Rekonstruktion der Daten erforderlich sind, innerhalb eines bestimmten Genauigkeitsniveaus, das durch eine Verzerrungsfunktion gemessen wird. Diese Untergruppe der Informationstheorie wird genannt Rate -Distortion -Theorie.
• Fehlerkorrigierende Codes (Kanalcodierung): Während die Datenkomprimierung so viel Redundanz wie möglich beseitigt, ist ein Fehlerkorrekturcode Fügt genau die richtige Art von Redundanz (d. H. Fehlerkorrektur) hinzu, die erforderlich ist, um die Daten effizient und treu über einen lauten Kanal zu übertragen.

Diese Aufteilung der Codierungstheorie in Komprimierung und Übertragung wird durch die Informationsübertragungsbilder oder die Quell -Channel -Trennungsbilder gerechtfertigt, die die Verwendung von Bits als universelle Währung für Informationen in vielen Kontexten rechtfertigen. Diese Theoreme befinden sich jedoch nur in der Situation, in der man den Benutzer überträgt, um an einen empfangenen Benutzer zu kommunizieren. In Szenarien mit mehr als einem Sender (dem Mehrfachgängerkanal), mehr als einem Empfänger (der Sendungskanal) oder Vermittler "Helfer" (die Staffelkanal) oder allgemeiner NetzwerkeDie Komprimierung, gefolgt von der Übertragung, ist möglicherweise nicht mehr optimal.

Quelltheorie

Jeder Prozess, der aufeinanderfolgende Nachrichten generiert Quelle von Informationen. Eine speicherlose Quelle ist eine, bei der jede Nachricht eine ist unabhängige identisch verteilte Zufallsvariablewährend die Eigenschaften von Ergodizität und Stationarität weniger restriktive Einschränkungen auferlegen. Alle diese Quellen sind stochastisch. Diese Begriffe sind in ihrer eigenen direkten Informationstheorie gut untersucht.

Rate

Information Bewertung ist die durchschnittliche Entropie pro Symbol. Für erinnerungslose Quellen ist dies lediglich die Entropie jedes Symbols, während es im Fall eines stochastischen Prozesss ist, ist dies der Fall

$oder$

Das heißt, die bedingte Entropie eines Symbols, das alle früheren Symbole erzeugt wurde. Für den allgemeineren Fall eines Prozesses, der nicht unbedingt stationär ist, die Durchschnittsrate ist

$oder$

Das heißt, die Grenze der gemeinsamen Entropie pro Symbol. Für stationäre Quellen geben diese beiden Ausdrücke das gleiche Ergebnis.^[14]

Informationsrate wird definiert als

$oder {2}, \ dots y_ {n});}$

In der Informationstheorie ist es üblich, von der "Rate" oder "Entropie" einer Sprache zu sprechen. Dies ist beispielsweise angemessen, wenn die Informationsquelle englischer Prosa ist. Die Rate einer Informationsquelle bezieht sich auf ihre Redundanz und wie gut sie komprimiert werden kann, das Thema von Quellcodierung.

Kanalkapazität

Kommunikation über einen Kanal ist die primäre Motivation der Informationstheorie. Kanäle erzeugen jedoch häufig nicht die genaue Rekonstruktion eines Signals; Rauschen, Perioden der Stille und andere Formen der Signalversorgung beeinträchtigen häufig die Qualität.

Betrachten Sie den Kommunikationsprozess über einen diskreten Kanal. Ein einfaches Modell des Prozesses ist unten gezeigt:

${\ displaystyle {\ xrightarrow [{\ text {message}}] {w}} {\ begin {array} {| c | } \ hline {\ text {Encoder}} \\ f_ {n} \\\ hline \ end {array}} {\ xrightarrow [{\ math mathrm {codiert \ atOP Sequenz}] {x^{n}} {{{{{{{{ \ begin {array} {| c | } \ hline {\ text {kanal}} \\ p (y | x) \\\ hline \ end {array}} {\ xrightarrow [{\ mathhrm {empfangen \ atop Sequenz}} {y^{n}}}}}}} {y^{n}}} } {\ begin {array} {| c | } \ hline {\ text {decoder}} \\ g_ {n} \\\ hline \ end {Array}} {\ xrightarrow [{\ math mathrm {geschätzt \ atoop message}] {\ Hat {W}}}}}}}}$

Hier X repräsentiert den Raum der übertragenen Nachrichten, und Y Der Raum der Nachrichten, die während einer Einheitzeit über unserem Kanal empfangen werden. Lassen p(y|x) sei der bedingte Wahrscheinlichkeit Verteilungsfunktion von Y gegeben X. Wir werden berücksichtigen p(y|x) eine inhärente feste Eigenschaft unseres Kommunikationskanals zu sein (die Art der Art des Lärm unseres Kanals). Dann die gemeinsame Verteilung von X und Y wird vollständig von unserem Kanal und unserer Wahl von bestimmt f(x)Die marginale Verteilung der Nachrichten, die wir über den Kanal senden. Nach diesen Einschränkungen möchten wir die Informationsrate maximieren oder die SignalWir können über den Kanal kommunizieren. Das geeignete Maß dafür sind die gegenseitigen Informationen, und diese maximale gegenseitige Information wird als die genannt Kanalkapazität und wird gegeben durch:

${\ displayStyle c = \ max _ {f} i (x; y). \!}$

Diese Kapazität hat die folgende Eigenschaft im Zusammenhang mit der Kommunikation mit Informationsrate R (wo R ist normalerweise Bits pro Symbol). Für jede Informationsrate R < C und Codierungsfehler ε > 0, für groß genug NEs gibt einen Längencode N und Rate ≥ R und ein Dekodierungsalgorithmus, so dass die maximale Wahrscheinlichkeit eines Blockfehlers ≤ beträgt ε; Das heißt, es ist immer möglich, mit willkürlich kleinem Blockfehler zu übertragen. Darüber hinaus für jeden Preis R > CEs ist unmöglich, mit willkürlich kleinem Blockfehler zu übertragen.

Kanalcodierung befasst sich mit der Suche nach solchen nahezu optimalen Codes, mit denen Daten über einen lauten Kanal mit einem kleinen Codierungsfehler mit einer Rate in der Nähe der Kanalkapazität übertragen werden können.

Kapazität bestimmter Kanalmodelle

• Ein analoge Kommunikationskanal kontinuierlicher Zeit unterliegt dem Vorgang Gaußscher Geräusch-sehen Shannon -Hartley -Theorem.
• A Binärer symmetrischer Kanal (BSC) mit Crossover -Wahrscheinlichkeit p ist ein Binäreingang, binärer Ausgangskanal, der das Eingangsbit mit Wahrscheinlichkeit umdreht p. Der BSC hat eine Kapazität von 1 - H_b(p) Bits pro Kanalgebrauch, wo H_b ist die binäre Entropiefunktion zum Basis-2-Logarithmus:

• A Binärlöschkanal (Bec) mit Löschwahrscheinlichkeit p ist ein binärer Eingang, ternärer Ausgangskanal. Die möglichen Kanalausgänge betragen 0, 1 und ein drittes Symbol 'e' als Löschung. Die Löschung stellt einen vollständigen Informationsverlust über ein Eingabebit dar. Die Kapazität des BEC ist 1 - p Bits pro Kanalgebrauch.

Kanäle mit Speicher und gerichteten Informationen

In der Praxis haben viele Kanäle Speicher. Nämlich zur Zeit ${\ displayStyle i}$ Der Kanal wird durch die bedingte Wahrscheinlichkeit gegeben $oder }, ..., y_ {1}).}$. Es ist oft komfortabler, die Notation zu verwenden ${\ displaystyle x^{i} = (x_ {i}, x_ {i-1}, x_ {i-2}, ..., x_ {1})}$ und der Kanal wird ${\ displayStyle p (y_ {i} | x^{i}, y^{i-1}).}$. In einem solchen Fall wird die Kapazität von der gegeben gegenseitige Information Rate, wenn kein Feedback verfügbar ist und die Gerichtete Informationen Rate für den Fall, dass entweder Feedback vorliegt oder nicht^[15][16] (Wenn es kein Feedback gibt, entspricht der gerichtete InformationJ den gegenseitigen Informationen).

Bewerbungen auf andere Felder

Intelligenz verwendet und Geheimhaltungsanwendungen

Informationstheoretische Konzepte gelten für Kryptographie und Kryptanalyse. Turings Informationseinheit, die, die Verbot, wurde in der verwendet Ultra Projekt, das Deutsche brechen Enigma -Maschine Code und beschleunigen die Ende des Zweiten Weltkriegs in Europa. Shannon selbst definierte ein wichtiges Konzept, das jetzt das genannt wird Einheitliche Entfernung. Basierend auf der Redundanz der Klartextversucht es, eine Mindestmenge von zu geben Geheimtext notwendig, um eine einzigartige Entschlüsselbarkeit zu gewährleisten.

Die Informationstheorie lässt uns glauben, dass es viel schwieriger ist, Geheimnisse zu behalten, als es zuerst erscheinen könnte. EIN Brute -Force -Angriff kann Systeme basierend auf brechen Asymmetrische Schlüsselalgorithmen oder bei am häufigsten verwendeten Methoden von Symmetrische Schlüsselalgorithmen (manchmal als geheime Schlüsselalgorithmen bezeichnet), wie z. Block Chiffren. Die Sicherheit all dieser Methoden kommt derzeit aus der Annahme, dass kein bekanntem Angriff sie in praktischer Zeitspanne brechen kann.

Informationstheoretische Sicherheit bezieht sich auf Methoden wie die einmalige Pad Das ist nicht anfällig für solche brutalen Gewaltangriffe. In solchen Fällen die positiven bedingten gegenseitigen Informationen zwischen Klartext und Chiffretext (konditioniert auf dem Schlüssel) kann eine ordnungsgemäße Übertragung gewährleisten, während die bedingungslose gegenseitige Information zwischen Klartext und Chiffretext Null bleibt, was zu einer absolut sicheren Kommunikation führt. Mit anderen Worten, ein Abhändung wäre nicht in der Lage, seine Vermutung des Klartextes zu verbessern, indem er Kenntnisse über den Chiffretext erlangt, aber nicht vom Schlüssel. Wie in jedem anderen kryptografischen System muss jedoch darauf geordnet werden, dass selbst theoretisch sichere Methoden korrekt angewendet werden. das Venona -Projekt war in der Lage, die einmaligen Pads der Sowjetunion aufgrund ihrer unsachgemäßen Wiederverwendung von Schlüsselmaterial zu knacken.

Pseudorandom -Zahlengenerierung

Pseudorandom -Zahlengeneratoren sind in Computersprachenbibliotheken und Anwendungsprogrammen weit verbreitet. Sie sind fast universell für kryptografische Verwendung nicht geeignet, da sie nicht der deterministischen Natur der modernen Computergeräte und -software entgehen. Eine Klasse verbesserter Zufallszahlengeneratoren wird bezeichnet Kryptografisch sichern Pseudorandom -Zahlengeneratoren, aber selbst sie benötigen zufällige Samen extern zur Software, um wie beabsichtigt zu arbeiten. Diese können über durch Extraktoren, wenn sorgfältig gemacht. Das Maß für ausreichende Zufälligkeit bei Extraktoren ist Min-Entropie, ein Wert im Zusammenhang mit Shannon -Entropie durch Rényi Entropie; Die Rényi -Entropie wird auch zur Bewertung von Zufälligkeit in kryptografischen Systemen verwendet. Obwohl die Unterscheidungen zwischen diesen Maßnahmen miteinander verbunden sind, ist eine zufällige Variable mit hoher Shannon -Entropie nicht unbedingt zufriedenstellend für die Verwendung in einem Extraktor und damit für die Kryptographie.

Seismische Erforschung

Eine frühe kommerzielle Anwendung der Informationstheorie stand im Bereich der seismischen Öluntersuchung. Die Arbeit in diesem Bereich ermöglichte es, das unerwünschte Geräusch vom gewünschten seismischen Signal abzuziehen und zu trennen. Informationstheorie und digitale Signalverarbeitung Bieten Sie eine wesentliche Verbesserung der Auflösung und Bildklarheit gegenüber früheren analogen Methoden.^[17]

Semiotik

Semiotiker Doede nauta und Winfried Nöth beides berücksichtigt Charles Sanders Peirce Als Erschaffenheit einer Informationsentheorie in seinen Werken über Semiotika.^{[18]: 171[19]: 137} Nauta definierte die semiotische Informationstheorie als Untersuchung der "internen Prozesse der Codierung, Filterung und Informationsverarbeitung".^{[18]: 91}

Konzepte aus der Informationstheorie wie Redundanz und Codekontrolle wurden von Semiotstoffen verwendet, wie z. Umberto Eco und Ferruccio Rossi-Landi, um die Ideologie als eine Form der Nachrichtenübertragung zu erklären, bei der eine dominante soziale Klasse ihre Botschaft abgibt, indem sie Zeichen verwenden, die ein hohes Maß an Redundanz aufweisen, so dass nur eine Nachricht unter einer Auswahl konkurrierender entschlüsselt wird.^[20]

Integrierte Prozessorganisation neuronaler Informationen

Quantitative Informationstheoretische Methoden wurden in angewendet Kognitionswissenschaft Analyse der integrierten Prozessorganisation neuronaler Informationen im Kontext der Bindungsproblem in Kognitive Neurowissenschaften.^[21] In diesem Zusammenhang entweder eine Informations-theoretische Maßnahme wie "funktionale Cluster" (G.M. Edelmans und G. Tononis "funktionales Clustering-Modell" und "Dynamic Core Hypothese (DCH)" "^[22]) oder „effektive Informationen“ (G. tononi und O. Sporns „Informationsintegrationstheorie (ITT) des Bewusstseins“^[23][24][25] (siehe auch "Integrierte Informationstheorie")), ist definiert (auf der Grundlage einer Wiedereintrittsprozessorganisation, d. H. Die Synchronisation der neurophysiologischen Aktivität zwischen Gruppen neuronaler Populationen) oder das Maß für die Minimierung der„ freien Energie “auf der Grundlage statistischer Methoden (K.J. Friston's“Prinzip der freien Energie .^{[26][27][28][29][30]}).

Verschiedene Anwendungen

Informationstheorie hat auch Anwendungen in Glücksspiel, Schwarze Löcher, und Bioinformatik.

Siehe auch

Anwendungen

Geschichte

• Hartley, R.V.L.
• Geschichte der Informationstheorie
• Shannon, C.E.
• Zeitleiste der Informationstheorie
• Yockey, H.P.

Theorie

Konzepte

Verweise

Weitere Lektüre

Die klassische Arbeit

Andere Zeitschriftenartikel

Lehrbücher zur Informationstheorie

Andere Bücher

Massiver offener Online -Kurs zur Informationstheorie

• Raymond W. Yeung, "Informationstheorie"(Die chinesische Universität von Hongkong)

Externe Links

• "Information", Enzyklopädie der Mathematik, EMS Press, 2001 [1994]
• Lambert F. L. (1999), ","Mischkarten, unordentliche Schreibtische und ungeordnete Schlafsaalräume - Beispiele für Entropie zunehmen? Unsinn!",", Journal of Chemical Education
• IEEE Informationstheorie Gesellschaft und ITSOC -Monographien, Umfragen und Bewertungen