Bernoulli -Prozess

Im Wahrscheinlichkeit und Statistiken, a Bernoulli -Prozess (benannt nach Jacob Bernoulli) ist eine endliche oder unendliche Sequenz von Binärdatoren zufällige Variablen, also ist es ein Diskreter stochastischer Prozess Das erfordert nur zwei Werte, kanonisch 0 und 1. die Komponente Bernoulli -Variablen X_i sind identisch verteilt und unabhängig. Prosaischerweise ist ein Bernoulli -Prozess wiederholt Münzen umdrehenmöglicherweise mit einer unfairen Münze (aber mit konsequenter Ungerechtigkeit). Jede Variable X_i in der Sequenz ist mit a assoziiert Bernoulli -Versuch oder experimentieren. Sie alle haben das gleiche Bernoulli -Verteilung. Vieles von dem, was über den Bernoulli-Prozess gesagt werden kann, kann auch auf mehr als zwei Ergebnisse verallgemeinert werden (z. B. den Prozess für eine sechsseitige Würfel); Diese Verallgemeinerung ist als die bekannt Bernoulli -Schema.

Das Problem der Bestimmung des Prozesses, bei dem nur eine begrenzte Stichprobe von Bernoulli -Versuchen angegeben ist, kann als Problem von bezeichnet werden Überprüfen Sie, ob eine Münze fair ist.

Definition

A Bernoulli -Prozess ist eine endliche oder unendliche Folge von unabhängig zufällige Variablen X₁AnwesendX₂AnwesendX₃, ..., so dass

• für jeden i, der Wert von X_i ist entweder 0 oder 1;
• für alle Werte von i, Die Wahrscheinlichkeit p das X_i= 1 ist gleich.

Mit anderen Worten, ein Bernoulli -Prozess ist eine Folge von unabhängig identisch verteilt Bernoulli -Versuche.

Die Unabhängigkeit der Versuche impliziert, dass der Prozess ist erinnertlos. Angesichts der Wahrscheinlichkeit p Es ist bekannt, vergangene Ergebnisse liefern keine Informationen über zukünftige Ergebnisse. (Wenn p ist jedoch unbekannt, die Vergangenheit informiert jedoch indirekt durch Schlussfolgerungen über die zukünftigep.))

Wenn der Prozess unendlich ist, stellen die zukünftigen Versuche ab jedem Zeitpunkt einen Bernoulli-Prozess aus, der mit dem gesamten Prozess identisch ist, der Frischstart-Eigenschaft.

Deutung

Die beiden möglichen Werte von jedem X_i werden oft als "Erfolg" und "Misserfolg" bezeichnet. Wenn dies als Nummer 0 oder 1 ausgedrückt wird, kann das Ergebnis die Anzahl der Erfolge auf dem genannt werden iDas "Versuch".

Zwei weitere gemeinsame Interpretationen der Werte sind wahr oder falsch und ja oder nein. Unter jeder Interpretation der beiden Werte die einzelnen Variablen X_i kann genannt werden Bernoulli -Versuche mit Parameter p.

In vielen Anwendungen vergeht die Zeit zwischen Versuchen, wenn der Index I zunimmt. Tatsächlich die Versuche X₁AnwesendX₂, ...X_i, ... passieren an "Punkten in der Zeit" 1, 2, ...,i, .... Dieser Zeitverlauf und die damit verbundenen Vorstellungen von "Vergangenheit" und "Zukunft" sind jedoch nicht notwendig. Am allgemeinsten, alle X_i und X_j Im Prozess sind einfach zwei aus einer Reihe von Zufallsvariablen, die von {1, 2, ..., indiziert sindn}, die endlichen Fälle oder durch {1, 2, 3, ...}, die unendlichen Fälle.

Ein Experiment mit nur zwei möglichen Ergebnissen, die oft als "Erfolg" und "Misserfolg" bezeichnet werden und normalerweise als 1 und 0 codiert werden, kann als modelliert werden Bernoulli -Verteilung.^[1] Mehrere zufällige Variablen und Wahrscheinlichkeitsverteilungen neben dem Bernoullis können aus dem Bernoulli -Prozess abgeleitet werden:

• Die Anzahl der Erfolge in der ersten n Versuche, die a haben binomiale Verteilung B(nAnwesendp)
• Die Anzahl der Fehler, die erforderlich sind, um zu bekommen r Erfolge, die a haben negative binomial distribution NB (rAnwesendp)
• Die Anzahl der Fehler, die erforderlich sind, um einen Erfolg zu erzielen, der a hat Geometrische Verteilung NB (1,p) ein Sonderfall der negativen Binomialverteilung

Die negativen binomialen Variablen können als zufällig interpretiert werden Wartezeiten.

Formale Definition

Der Bernoulli -Prozess kann in der Sprache von formalisiert werden Wahrscheinlichkeitsräume als zufällige Folge unabhängiger Realisierungen einer zufälligen Variablen, die Werte von Köpfen oder Schwänzen erfolgen kann. Der Zustandsraum für einen individuellen Wert wird durch gekennzeichnet durch ${\ displayStyle 2 = \ {h, t \}.}$

Borelalgebra

Bedenke die Zähler Unendlich unendlich direktes Produkt von Kopien von ${\ displayStyle 2 = \ {h, t \}}$. Es ist üblich, entweder den einseitigen Satz zu untersuchen $oder$ oder der zweiseitige Satz ${\ displayStyle \ Omega = 2^{\ mathbb {z}}}$. Es gibt eine natürliche Topologie auf diesem Raum, genannt die Produkttopologie. Die Sets in dieser Topologie sind endliche Sequenzen von Münzflips, dh endliche Länge Saiten von H und T (H steht für Köpfe und T steht für Tails), mit dem Rest der (unendlich langen) Sequenz als "egal". Diese Sätze endlicher Sequenzen werden als bezeichnet Zylindersätze in der Produkttopologie. Die Menge all dieser Saiten bildet a Sigma Algebraspeziell a Borelalgebra. Diese Algebra wird dann üblicherweise als geschrieben als ${\ displayStyle (\ Omega, {\ mathcal {b}})}$ wo die Elemente von ${\ displaystyle {\ mathcal {b}}}$ sind die Finite-Länge-Sequenzen von Münzflips (die Zylindersätze).

Bernoulli Maßnahme

Wenn die Chancen auf Köpfe oder Schwänze durch die Wahrscheinlichkeiten gegeben sind ${\ displayStyle \ {p, 1-p \}}$dann kann man einen natürlichen definieren messen auf dem Produktraum, gegeben von ${\ displaystyle p = \ {p, 1-p \}^{\ mathbb {n}}}$ (oder von ${\ displayStyle p = \ {p, 1-p \}^{\ mathbb {z}}}$ für den zweiseitigen Prozess). Mit einem anderen Wort, wenn a diskrete Zufallsvariable X hat ein Bernoulli -Verteilung mit Parameter p, wo 0 ≤ p ≤ 1 und seine Wahrscheinlichkeitsmassenfunktion wird gegeben von

${\ displayStyle px (1) = p (x = 1) = p}$ und ${\ displayStyle px (0) = p (x = 0) = 1-p}$.

Wir bezeichnen diese Verteilung durch Ber (p).^[1]

Bei einem Zylindersatz, dh einer spezifischen Folge von Münzflip -Ergebnissen ${\ displayStyle [\ Omega _ {1}, \ Omega _ {2}, \ cdots \ Omega _ {n}]}$ manchmal ${\ displayStyle 1,2, \ cdots, n}$Die Wahrscheinlichkeit, diese bestimmte Sequenz zu beobachten, ist gegeben durch

${\ displayStyle p ([\ Omega _ {1}, \ Omega _ {2}, \ cdots, \ Omega _ {n}])$

wo k ist die Häufigkeit, die das ist H erscheint in der Sequenz, und n−k ist die Häufigkeit, die das ist T erscheint in der Sequenz. Es gibt verschiedene Arten von Notationen für das obige; Eine verbreitete ist zu schreiben

$oder {n-k}}$

wo jeweils ${\ displaystyle x_ {i}}$ ist ein binärer Wert zufällige Variable mit ${\ displaystyle x_ {i} = [\ omega _ {i} = h]}$ in Iverson Klammer Notation, Bedeutung auch ${\ displayStyle 1}$ wenn ${\ displayStyle \ Omega _ {i} = h}$ oder ${\ displayStyle 0}$ wenn ${\ displayStyle \ Omega _ {i} = t}$. Diese Wahrscheinlichkeit ${\ displayStyle p}$ wird üblicherweise die genannt Bernoulli Maßnahme.^[2]

Beachten Sie, dass die Wahrscheinlichkeit einer spezifischen, unendlich langen Sequenz von Münzflips genau Null ist; das ist weil ${\ displayStyle \ lim _ {n \ to \ infty} p^{n} = 0}$für jeden ${\ displayStyle 0 \ leq p <1}$. Eine Wahrscheinlichkeit, die gleich 1 ist, impliziert, dass eine bestimmte unendliche Sequenz hat Messen Sie Null. Trotzdem kann man immer noch sagen, dass einige Klassen von unendlichen Sequenzen von Münzflips weitaus wahrscheinlicher sind als andere, dies wird von der gegeben Asymptotische Equipartitionseigenschaft.

Um die formale Definition abzuschließen, wird ein Bernoulli -Prozess dann durch das Wahrscheinlichkeit Triple angegeben ${\ displayStyle (\ Omega, {\ mathcal {b}}, p)}$, wie oben definiert.

Gesetz der großen Anzahl, Binomialverteilung und zentraler Grenzwertsatz

Nehmen wir den kanonischen Prozess mit an ${\ displayStyle H}$ vertreten durch ${\ displayStyle 1}$ und ${\ displayStyle t}$ vertreten durch ${\ displayStyle 0}$. Das Gesetz der großen Anzahl stellt fest, dass im Durchschnitt der Sequenz, d. H., $oder$, wird sich dem nähern erwarteter Wert Das heißt, die Ereignisse, die diese Grenze nicht erfüllen, haben keine Wahrscheinlichkeit. Das Erwartungswert des Flippens Köpfe, angenommen von 1 dargestellt, wird gegeben durch ${\ displayStyle p}$. In der Tat hat man

$oder$

für eine bestimmte zufällige Variable ${\ displaystyle x_ {i}}$ aus der unendlichen Folge von Bernoulli -Versuche das besteht aus dem Bernoulli -Prozess.

Man ist oft daran interessiert zu wissen, wie oft man beobachtet wird H in einer Folge von n Münzflips. Dies wird durch einfaches Zählen gegeben: gegeben n Aufeinanderfolgende Münzflips, dh angesichts des Satzes aller möglichen Saiten von Länge n, die Nummer N(k,n) solcher Saiten, die enthalten k Vorkommen von H wird von der gegeben Binomialkoeffizient

${\ displayStyle n (k, n) = {n \ wählen k} = {\ frac {n!} {k! (n-k)!}}}$

Wenn die Wahrscheinlichkeit, Köpfe umzudrehen pund dann die Gesamtwahrscheinlichkeit, eine Längeschnur zu sehen n mit k Köpfe ist

$oder$

wo ${\ displayStyle s_ {n} = \ sum _ {i = 1}^{n} x_ {i}}$. Die so definierte Wahrscheinlichkeitsmaßnahme ist als die bekannt Binomiale Verteilung.

Wie wir aus der obigen Formel sehen können, dass, wenn n = 1, die Binomiale Verteilung wird in a Bernoulli -Verteilung. So können wir wissen, dass die Bernoulli -Verteilung ist genau ein Sonderfall von Binomiale Verteilung wenn n gleich 1.

Von besonderem Interesse ist die Frage des Wertes von ${\ displayStyle s_ {n}}$ für eine ausreichend lange Sequenzen von Münzflips, dh für die Grenze ${\ displayStyle n \ to \ inty}$. In diesem Fall kann man nutzen Stirlings Annäherung zum Faktor und schreiben

${\ displayStyle n! {n}} \ rechts) \ rechts)}$

Dies in den Ausdruck einfügen für P(k,n), man erhält die Normalverteilung; Dies ist der Inhalt der Zentralgrenze Theoremund dies ist das einfachste Beispiel davon.

Die Kombination des Gesetzes großer Zahlen zusammen mit dem zentralen Grenzwertsatz führt zu einem interessanten und vielleicht überraschenden Ergebnis: die Asymptotische Equipartitionseigenschaft. Wenn man informell feststellt H exakt p Bruchteil der Zeit, und das entspricht genau dem Gipfel des Gaußschen. Die asymptotische Equipartitionseigenschaft besagt im Wesentlichen, dass dieser Peak unendlich scharf ist und auf beiden Seiten unendlich abfällt. Das heißt, angesichts der Menge aller möglichen unendlich langen Saiten von H und T Dieser Satz ist im Bernoulli -Prozess aufgeteilt und wird in zwei aufgeteilt: diejenigen Zeichenfolgen, die mit Wahrscheinlichkeit 1 auftreten, und diejenigen, die mit Wahrscheinlichkeit 0 auftreten. Diese Partitionierung wird als die bezeichnet Kolmogorov 0-1 Gesetz.

Die Größe dieses Satzes ist auch interessant und kann explizit bestimmt werden: Der Logarithmus davon ist genau das Entropie des Bernoulli -Prozesses. Betrachten Sie noch einmal den Satz aller Länge von Längen n. Die Größe dieses Satzes ist ${\ displayStyle 2^{n}}$. Von diesen sind nur eine bestimmte Untergruppe wahrscheinlich; Die Größe dieses Satzes ist ${\ displayStyle 2^{nh}}$ zum ${\ displayStyle H \ Leq 1}$. Durch die Verwendung von Stirlings Annäherung in den Ausdruck für den Ausdruck ein P(k,n), Lösung für den Ort und die Breite des Gipfels und schließlich einnehmen ${\ displayStyle n \ to \ inty}$ Man findet das

${\ displayStyle H = -p \ log _ {2} p- (1-p) \ log _ {2} (1-p)}$

Dieser Wert ist der Wert Bernoulli Entropy eines Bernoulli -Prozesses. Hier, H steht für Entropie; Verwechseln Sie es nicht mit demselben Symbol H steht für Köpfe.

John von Neumann stellte eine merkwürdige Frage zum Bernoulli -Prozess: Ist es jemals möglich, dass ein bestimmter Prozess ist isomorph zu einem anderen, im Sinne der Isomorphismus dynamischer Systeme? Die Frage war langwäbig der Analyse, wurde aber endlich und vollständig mit dem beantwortet Ornstein Isomorphismus Theorem. Dieser Durchbruch führte zu dem Verständnis, dass der Bernoulli -Prozess einzigartig ist und Universal-; In gewissem Sinne ist es der zufälligste Prozess, der möglich ist. Nichts ist zufällig als der Bernoulli -Prozess (obwohl man mit dieser informellen Aussage vorsichtig sein muss; sicherlich Systeme, die es sind Mischen sind in gewissem Sinne "stärker" als der Bernoulli -Prozess, der lediglich ergodisch, aber nicht mischt. Solche Prozesse bestehen jedoch nicht aus unabhängigen Zufallsvariablen: In der Tat können viele rein deterministische, nicht zufällige Systeme mischen).

Dynamische Systeme

Der Bernoulli -Prozess kann auch als a verstanden werden Dynamisches Systemals Beispiel für eine Ergodischer System und speziell a Messung des dynamischen Systemsauf verschiedene Arten. Ein Weg ist als Verschiebungsraumund der andere ist als ein Kilometerzähler. Diese werden unten überprüft.

Bernoulli -Verschiebung

Eine Möglichkeit, ein dynamisches System aus dem Bernoulli -Prozess zu erstellen, ist als a Verschiebungsraum. Es gibt eine natürliche Übersetzungssymmetrie am Produktraum ${\ displayStyle \ Omega = 2^{\ mathbb {n}}}$ gegeben durch die Schichtoperator

${\ displayStyle t (x_ {0}, x_ {1}, x_ {2}, \ cdots) = (x_ {1}, x_ {2}, \ cdots)}$

Die oben definierte Bernoulli-Maßnahme ist Übersetzungsinvariant; Das heißt, angesichts eines beliebigen Zylindersatzes ${\ displayStyle \ sigma \ in {\ mathcal {b}}}$, hat man

${\ displayStyle p (t^{-1} (\ sigma)) = p (\ sigma)}$

und so die Bernoulli Maßnahme ist ein Haar -Maßnahme; es ist ein invariante Maßnahme auf dem Produktraum.

Anstelle der Wahrscheinlichkeitsmaßnahme ${\ displayStyle p: {\ mathcal {b}} \ to \ mathbb {r}}$Betrachten Sie stattdessen eine willkürliche Funktion ${\ displaystyle f: {\ mathcal {b}} \ to \ mathbb {r}}$. Das vorstoßen

${\ displayStyle f \ circ t^{-1}}$

definiert von ${\ displayStyle \ links (f \ circ t^{-1} \ rechts) (\ sigma) = f (t^{-1} (\ sigma))}$ ist wieder eine Funktion ${\ displaystyle {\ mathcal {b}} \ to \ mathbb {r}.}.$ Somit die Karte ${\ displayStyle t}$ induziert eine andere Karte ${\ displaystyle {\ mathcal {l}} _ {t}}$ auf den Raum aller Funktionen ${\ displaystyle {\ mathcal {b}} \ to \ mathbb {r}.}.$ Das heißt, gegeben einige ${\ displaystyle f: {\ mathcal {b}} \ to \ mathbb {r}}$, man definiert

${\ displaystyle {\ mathcal {l}} _ {t} f = f \ circ t^{-1}}$

Die Karte ${\ displaystyle {\ mathcal {l}} _ {t}}$ ist ein linearer Bedienerwie (offensichtlich) hat man hat $oder$ und ${\ displaystyle {\ mathcal {l}} _ {t} (af) = a {\ mathcal {l}} _ {t} (f)}$ für Funktionen ${\ displayStyle f, g}$ und konstant ${\ displayStyle a}$. Dieser lineare Operator wird der genannt Transferbetreiber oder der REELLE -FROBENIUS -PERRON -Operator. Dieser Betreiber hat eine Spektrum, das heißt eine Sammlung von Eigenfunktionen und entsprechende Eigenwerte. Der größte Eigenwert ist der Frobenius -Perron -Eigenwertund in diesem Fall ist es 1. der zugehörige Eigenvektor ist die invariante Maßnahme: In diesem Fall ist es die Bernoulli -Maßnahme. Das ist, ${\ displaystyle {\ mathcal {l}} _ {t} (p) = p.}$

Wenn man einschränkt ${\ displaystyle {\ mathcal {l}} _ {t}}$ auf Polynome zu reagieren, dann sind die Eigenfunktionen (seltsam) die Bernoulli -Polynome!^[3][4] Dieser Zufall der Benennung war Bernoulli vermutlich nicht bekannt.

Die 2x Mod 1 -Karte

Die Karte T: [0,1) → [0,1), ${\ displayStyle x \ MAPSTO 2x {\ bmod {1}}}$ bewahrt die Lebesgue -Maßnahme.

Das obige kann genauer gemacht werden. Bei einer unendlichen Reihe von binären Ziffern ${\ displayStyle b_ {0}, b_ {1}, \ cdots}$ schreiben

$oder$

Das resultierende ${\ displayStyle y}$ ist eine reelle Zahl im Einheitsintervall ${\ displayStyle 0 \ leq y \ leq 1.}$ Die Verschiebung ${\ displayStyle t}$ induziert a Homomorphismus, auch genannt ${\ displayStyle t}$, auf dem Einheitsintervall. Seit ${\ displayStyle t (b_ {0}, b_ {1}, b_ {2}, \ cdots) = (b_ {1}, b_ {2}, \ cdots),}$ Man kann das leicht sehen ${\ displayStyle t (y) = 2y {\ bmod {1}}.}$ Diese Karte heißt die dyadische Transformation; Für die doppelt verwandte Sequenz von Bits ${\ displayStyle \ Omega = 2^{\ mathbb {z}},},}$ Der induzierte Homomorphismus ist der Bäckerkarte.

Betrachten Sie jetzt den Raum der Funktionen in ${\ displayStyle y}$. Einige gegeben ${\ displayStyle f (y)}$ Man kann das leicht finden

$oder rechts)+{\ frac {1} {2}} f \ links ({\ frac {y+1} {2}} \ rechts)}}$

Einschränkung der Wirkung des Bedieners ${\ displaystyle {\ mathcal {l}} _ {t}}$ Für Funktionen, die auf Polynomen sind, stellt man fest, dass es a hat diskretes Spektrum gegeben durch

${\ displaystyle {\ mathcal {l}} _ {t} b_ {n} = 2^{-n} b_ {n}}$

bei dem die ${\ displayStyle b_ {n}}$ sind die Bernoulli -Polynome. In der Tat gehorchen die Bernoulli -Polynome der Identität

$oder ({\ frac {y+1} {2}} \ rechts) = 2^{-n} b_ {n} (y)}$

Der Kantorset

Beachten Sie, dass die Summe

$oder$

gibt die Kantorfunktion, wie konventionell definiert. Dies ist ein Grund, warum der Satz ${\ displaystyle \ {h, t \}^{\ mathbb {n}}}$ wird manchmal das genannt Cantor -Set.

Kilometerzähler

Eine andere Möglichkeit, ein dynamisches System zu erstellen, besteht darin, eine zu definieren Kilometerzähler. Informell klingt es genau so, wie es sich anhört: Fügen Sie einfach einen zur ersten Position hinzu und lassen Sie den Kilometerzähler "überrollen", indem Sie verwenden Teile tragen Wenn der Kilometerzähler umrollt. Dies ist nichts anderes als Basis-zwei-Zugabe auf dem Satz unendlicher Saiten. Da bildet Addition a Gruppe (Mathematik)und der Bernoulli -Prozess erhielt bereits eine Topologie. Dies liefert ein einfaches Beispiel für a Topologische Gruppe.

In diesem Fall die Transformation ${\ displayStyle t}$ wird gegeben von

$oder K+1}, x_ {k+2}, \ dots \ rechts).}$

Es lässt die Bernoulli -Messung nur für den Sonderfall von invarianten ${\ displayStyle p = 1/2}$ (die "schöne Münze"); sonst nicht. Daher, ${\ displayStyle t}$ ist ein Messen Sie das Erhalt des dynamischen Systems In diesem Fall ist es sonst nur ein Konservatives System.

Bernoulli -Sequenz

Der Begriff Bernoulli -Sequenz wird oft informell verwendet, um sich auf a zu beziehen Realisierung eines Bernoulli -Prozesses. Der Begriff hat jedoch eine völlig andere formale Definition wie unten angegeben.

Angenommen, ein Bernoulli -Prozess, der formell als einzelne Zufallsvariable definiert ist (siehe Vorabschnitt). Für jede unendliche Sequenz x von Münzflips gibt es a Reihenfolge von Ganzzahlen

${\ displaystyle \ mathbb {z} ^{x} = \ {n \ in \ mathbb {z}: x_ {n} (x) = 1 \} \,}$

genannt Bernoulli -Sequenz^{[Überprüfung erforderlich]} mit dem Bernoulli -Prozess verbunden. Zum Beispiel wenn x repräsentiert eine Sequenz von Münzflips, dann ist die zugehörige Bernoulli-Sequenz die Liste der natürlichen Zahlen oder Zeitpunkte, für die das Ergebnis der Münze Wurf ist Köpfe.

So definiert, eine Bernoulli -Sequenz ${\ displaystyle \ mathbb {z} ^{x}}$ ist auch eine zufällige Teilmenge des Indexsatzes, die natürlichen Zahlen ${\ displaystyle \ mathbb {n}}$.

Fast alles Bernoulli -Sequenzen ${\ displaystyle \ mathbb {z} ^{x}}$ sind Ergodische Sequenzen.^{[Überprüfung erforderlich]}

Zufälligkeitsextraktion

Aus einem beliebigen Bernoulli -Prozess kann man einen Bernoulli -Prozess mit ableiten p= 1/2 von der Von Neumann -Extraktor, der Frühste Zufälligkeit Extraktor, die tatsächlich einheitliche Zufälligkeit extrahiert.

Basic von Neumann Extraktor

Stellen Sie den beobachteten Prozess als eine Abfolge von Nullen und Einsen oder Bits und Gruppen dar, die Stream in nicht überlappenden Paaren von aufeinanderfolgenden Bits wie (11) (00) (10) ... Dann für jedes Paar,

• Wenn die Bits gleich sind, verwerfen Sie;
• Wenn die Bits nicht gleich sind, geben Sie das erste Bit aus.

Diese Tabelle fasst die Berechnung zusammen.

Zum Beispiel ein Eingangsstrom von acht Bits 10011011 würde sich in Paare gruppieren als (10) (01) (10) (11). Laut der obigen Tabelle werden diese Paare in die Ausgabe des Prozedur übersetzt:(1) (0) (1) () (=101).

Im Ausgabestream 0 und 1 sind gleich wahrscheinlich, da 10 und 01 im Original gleich wahrscheinlich sind und beide Wahrscheinlichkeit haben p(1–p) = (1 -p)p. Diese Extraktion der gleichmäßigen Zufälligkeit erfordert nicht, dass die Eingabeversuche nur unabhängig sind unkorreliert. Allgemeiner funktioniert es für jeden Austauschbare Sequenz von Bits: Alle Sequenzen, die endliche Umlagerungen sind, sind gleich wahrscheinlich.

Der von Neumann -Extraktor verwendet zwei Eingangsbits, um entweder Null- oder einen Ausgangsbits zu erzeugen, sodass der Ausgang kürzer als der Eingang um einen Faktor von mindestens 2 ist p²+(1 -p)² der Eingangspaare (00 und 11), die nahe eins sind, wenn p ist nahe Null oder eins und wird bei 1/4 minimiert, wenn p= 1/2 für den ursprünglichen Prozess (in diesem Fall ist der Ausgangsstrom 1/4 die Länge des Eingangsstroms im Durchschnitt).

Von Neumann (klassischer) Hauptoperation Pseudocode:

if (bit1 ≠ bit2) {output (bit1)}

Iterated von Neumann -Extraktor

Diese Abnahme der Effizienz oder die im Eingangsstrom vorhandene Zufälligkeitsverschwendung kann durch Iterieren des Algorithmus über die Eingabedaten gemindert werden. Auf diese Weise kann die Ausgabe "willkürlich nahe an der Entropie gebunden" sein.^[5]

Die iterierte Version des von Neumann-Algorithmus, auch als Advanced Multi-Level Strategy (AMLS) bekannt, bekannt.^[6] wurde 1992 von Yuval Peres eingeführt.^[5] Es funktioniert rekursiv und recycelt "verschwendete Zufälligkeit" aus zwei Quellen: die Abfolge von Abwurf/Nicht-Diskard und die Werte von weggeworfenen Paaren (0 für 00 und 1 für 11). Intuitiv beruht es auf der Tatsache, dass beide Quellen angesichts der bereits erzeugten Sequenz immer noch austauschbare Sequenzen von Bits sind und somit für eine weitere Extraktionsrunde in Frage kommen. Während eine solche Erzeugung zusätzlicher Sequenzen unendlich iteriert werden kann, um alle verfügbaren Entropie zu extrahieren, ist eine unendliche Menge an Rechenressourcen erforderlich. Daher wird die Anzahl der Iterationen in der Regel auf einen niedrigen Wert festgelegt - dieser Wert entweder im Voraus oder zur Laufzeit berechnet.

In einer Eingangssequenz konkret konkreter, verbraucht der Algorithmus die Eingangsbits paarweise und erzeugt die Ausgabe zusammen mit zwei neuen Sequenzen:

(Wenn die Länge des Eingangs ungerade ist, wird das letzte Bit vollständig verworfen.) Dann wird der Algorithmus rekursiv auf jede der beiden neuen Sequenzen angewendet, bis der Eingang leer ist.

Beispiel: Der Eingangsstrom von oben, 10011011, wird so verarbeitet:

Aus dem Schritt von 1 wird der Eingang zur neuen Sequenz1 des letzten Schritts, um in diesem Prozess weiterzumachen. Der Ausgang ist daher (101) (1) (0) () () () () (=10110), so dass aus den acht Eingangsbits fünf Ausgangsbits erzeugt wurden, im Gegensatz zu drei Bits durch den obigen Grundalgorithmus. Der konstante Ausgang von genau 2 Bit pro Runde (im Vergleich zu einer Variablen von 0 bis 1 Bit im klassischen VN) ermöglicht auch Implementierungen mit konstanter Zeit, die resistent gegen Timing -Angriffe.

Von Neumann -Peres (iteratiert) Hauptbetrieb Pseudocode:

if (bit1 ≠ bit2) {output (1, sequence1) output (bit1)} else {output (0, sequence1) output (bit1, sequence2)}

Ein weiteres Tweak wurde 2016 vorgestellt, basierend auf der Beobachtung, dass der Sequence2 -Kanal nicht viel Durchsatz liefert, und eine Hardware -Implementierung mit einer begrenzten Anzahl von Ebenen kann davon profitieren, sie früher zu verwerfen, wenn sie mehr Sequence1 -Stufen verarbeitet.^[7]

Verweise

Weitere Lektüre

• Carl W. Helstrom, Wahrscheinlichkeit und stochastische Prozesse für Ingenieure, (1984) Macmillan Publishing Company, New York ISBN0-02-353560-1.

Externe Links

• Verwenden eines binären Baumdiagramms zur Beschreibung eines Bernoulli -Prozesses