Wahrscheinlichkeitstheorie

Wahrscheinlichkeitstheorie ist der Zweig von Mathematik besorgt mit Wahrscheinlichkeit. Obwohl es mehrere verschiedene gibt Wahrscheinlichkeitsinterpretationen, Wahrscheinlichkeitstheorie behandelt das Konzept streng mathematisch, indem es es durch einen Satz von ausdrücken Axiome. Typischerweise formalisieren diese Axiome die Wahrscheinlichkeit in Bezug auf a Wahrscheinlichkeitsraum, was a zuweist a messen Werte zwischen 0 und 1 nehmen, als die bezeichnet, die Wahrscheinlichkeitsmaß, zu einer Reihe von Ergebnissen, die die genannt werden Probenraum. Jede angegebene Teilmenge des Probenraums wird als als bezeichnet Veranstaltung. Zentrale Probanden in der Wahrscheinlichkeitstheorie umfassen diskrete und kontinuierliche zufällige Variablen, Wahrscheinlichkeitsverteilungen, und stochastische Prozesse (die mathematische Abstraktionen von liefern nicht deterministisch oder ungewisse Prozesse oder gemessen Mengen Dies kann entweder ein einzelnes Vorkommen sein oder sich im Laufe der Zeit zufällig entwickeln). Obwohl es nicht möglich ist, zufällige Ereignisse perfekt vorherzusagen, kann viel über ihr Verhalten gesagt werden. Zwei wichtige Ergebnisse in der Wahrscheinlichkeitstheorie, die ein solches Verhalten beschreibt, sind die Gesetz der großen Anzahl und die Zentralgrenze Theorem.

Als mathematische Grundlage für Statistiken, Wahrscheinlichkeitstheorie ist für viele menschliche Aktivitäten wesentlich, die eine quantitative Analyse von Daten beinhalten.^[1] Methoden der Wahrscheinlichkeitstheorie gelten auch für Beschreibungen komplexer Systeme, die nur teilweise Kenntnisse ihres Zustands vergeben, wie in Statistische Mechanik oder Sequentielle Schätzung. Eine große Entdeckung des 20. Jahrhunderts Physik war die probabilistische Natur von physikalischen Phänomenen auf atomaren Skalen, beschrieben in Quantenmechanik. ^[2]

Vorgeschichte der Wahrscheinlichkeit

Die moderne mathematische Theorie von Wahrscheinlichkeit hat seine Wurzeln in Versuchen zu analysieren Glücksspiele durch Gerolamo Cardano im sechzehnten Jahrhundert und durch Pierre de Fermat und Blaise Pascal Im 17. Jahrhundert (zum Beispiel das "Punktproblem").^[3] Christiaan Huygens veröffentlichte 1657 ein Buch zu diesem Thema.^[4] Im 19. Jahrhundert, was als die angesehen wird klassische Definition der Wahrscheinlichkeit wurde von Pierre Laplace.^[5]

Anfangs berücksichtigte die Wahrscheinlichkeitstheorie hauptsächlich diskret Ereignisse und seine Methoden waren hauptsächlich Kombinatorisch. Letztlich, analytisch Überlegungen zwangen die Einbeziehung von kontinuierlich Variablen in die Theorie.

Dies gipfelte in der modernen Wahrscheinlichkeitstheorie zu Fundamenten durch, die von gelegt wurden Andrey Nikolaevich Kolmogorov. Kolmogorov kombinierte den Begriff von Probenraum, Vorgestellt von Richard von Mises, und Theorie messen und präsentierte seine Axiom -System für die Wahrscheinlichkeitstheorie im Jahr 1933. Dies wurde zum größten unbestrittenen Axiomatische Basis für die moderne Wahrscheinlichkeitstheorie; Es gibt jedoch Alternativen, wie die Einführung von endlicher als zählbarer Additivität von Bruno de Finetti.^[6]

Behandlung

Die meisten Einführungen in die Wahrscheinlichkeitstheorie behandeln diskrete Wahrscheinlichkeitsverteilungen und kontinuierliche Wahrscheinlichkeitsverteilungen getrennt. Die maßstheoretische Behandlung der Wahrscheinlichkeit deckt den diskreten, kontinuierlichen, eine Mischung aus beiden und mehr ab.

Motivation

Betrachten Sie ein Experiment Das kann eine Reihe von Ergebnissen erzeugen. Der Satz aller Ergebnisse wird als die genannt Probenraum des Experiments. Das Leistungssatz des Stichprobenraums (oder gleichwertig der Ereignisraum) wird unter Berücksichtigung aller verschiedenen Sammlungen möglicher Ergebnisse gebildet. Zum Beispiel führt das Rollen eines ehrlichen Würfels zu einem von sechs möglichen Ergebnissen. Eine Sammlung möglicher Ergebnisse entspricht einer ungeraden Zahl. Somit ist die Teilmenge {1,3,5} ein Element des Leistungssatzes des Probenraums der Würfelrollen. Diese Sammlungen werden genannt Veranstaltungen. In diesem Fall ist {1,3,5} das Ereignis, dass der Diesträger auf eine ungerade Zahl fällt. Wenn die Ergebnisse, die tatsächlich auftreten, in einem bestimmten Ereignis fallen, soll dieses Ereignis aufgetreten sein.

Wahrscheinlichkeit ist a Zuordnungsweise Jedes "Ereignis" ein Wert zwischen Null und eins, mit der Anforderung, dass das Ereignis aus allen möglichen Ergebnissen (in unserem Beispiel das Ereignis {1,2,3,4,5,6}) ein Wert von einem zugewiesen wird . Als qualifizieren als WahrscheinlichkeitsverteilungDie Zuordnung von Werten muss die Anforderung erfüllen, dass, wenn Sie sich eine Sammlung von gegenseitig ausschließlichen Ereignissen ansehen (Ereignisse, die keine gemeinsamen Ergebnisse enthalten, z. B. die Ereignisse {1,6}, {3} und {2,4} sind alle Die Wahrscheinlichkeit, dass eines dieser Ereignisse auftritt, wird durch die Summe der Wahrscheinlichkeiten der Ereignisse angegeben.^[7]

Die Wahrscheinlichkeit, dass eines der Ereignisse {1,6}, {3} oder {2,4} auftritt, beträgt 5/6. Dies ist dasselbe wie die Aussage, dass die Wahrscheinlichkeit des Ereignisses {1,2,3,4,6} 5/6 beträgt. Dieses Ereignis umfasst die Möglichkeit einer beliebigen Zahl, außer dass fünf gerollt werden. Das gegenseitig ausschließliche Ereignis {5} hat eine Wahrscheinlichkeit von 1/6 und das Ereignis {1,2,3,4,5,6} eine Wahrscheinlichkeit von 1, dh absolute Sicherheit.

Bei Berechnungen unter Verwendung der Ergebnisse eines Experiments ist es notwendig, dass alle diese Elementarereignisse eine Nummer zugewiesen haben. Dies geschieht mit a zufällige Variable. Eine zufällige Variable ist eine Funktion, die jedem elementaren Ereignis im Stichprobenraum a zuweist reelle Zahl. Diese Funktion wird normalerweise mit einem Großbuchstaben bezeichnet.^[8] Bei einem Stempel kann die Zuordnung einer Zahl zu bestimmten elementaren Ereignissen mit dem durchgeführt werden Identitätsfunktion. Dies funktioniert nicht immer. Zum Beispiel wenn eine Münze werfen Die beiden möglichen Ergebnisse sind "Köpfe" und "Schwänze". In diesem Beispiel die zufällige Variable X könnte dem Ergebnis zuweisen "Köpfe" die Nummer "0" (${\ displayStyle x (Köpfe) = 0}$) und zum Ergebnis "schwänzt" die Zahl "1" ((${\ displayStyle x (Tails) = 1}$).

Diskrete Wahrscheinlichkeitsverteilungen

Diskrete Wahrscheinlichkeitstheorie befasst sich mit Ereignissen, die in auftreten zählbar Probenräume.

Beispiele: Werfen Würfel, Experimente mit Kartenplätze, zielloser Spaziergangund werfen Münzen

Klassische Definition: Zunächst wurde die Wahrscheinlichkeit eines Ereignisses als die Anzahl der für das Ereignis günstigen Fälle definiert, über die Anzahl der Gesamtergebnisse in einem exitroBable -Stichprobenraum: siehe Klassische Definition der Wahrscheinlichkeit.

Wenn das Ereignis beispielsweise "Auftreten einer gleichmäßigen Zahl, wenn eine Würfel gerollt ist", wird die Wahrscheinlichkeit gegeben ${\ displaystyle {\ tfrac {3} {6}} = {\ tfrac {1} {2}}}$Da 3 Gesichter aus den 6 sogar Zahlen haben und jedes Gesicht die gleiche Wahrscheinlichkeit auftritt.

Moderne Definition: Die moderne Definition beginnt mit a endlich oder zählbarer Set genannt Probenraum, was sich auf den Satz aller bezieht mögliche Resultate im klassischen Sinne, gekennzeichnet durch ${\ displayStyle \ Omega}$. Es wird dann angenommen, dass für jedes Element ${\ displayStyle x \ in \ Omega \,},}$, ein intrinsischer "Wahrscheinlichkeit" Wert ${\ displayStyle f (x) \,}$ ist beigefügt, was die folgenden Eigenschaften erfüllt:

1. ${\ displayStyle f (x) \ in [0,1] {\ mbox {für alle}} x \ in \ Omega \,;}$
2. ${\ displayStyle \ sum _ {x \ in \ Omega} f (x) = 1 \ ,.}$

Das heißt, die Wahrscheinlichkeitsfunktion f(x) liegt zwischen Null und einer für jeden Wert von x im Stichprobenraum Ωund die Summe von f(x) über alle Werte x im Stichprobenraum Ω ist gleich 1. a Veranstaltung ist definiert wie jeder andere Teilmenge ${\ displayStyle e \,}$ des Probenraums ${\ displayStyle \ Omega \,}$. Das Wahrscheinlichkeit der Veranstaltung ${\ displayStyle e \,}$ ist definiert als

${\ displayStyle p (e) = \ sum _ {x \ in e} f (x) \ ,.}$

Die Wahrscheinlichkeit des gesamten Probenraums beträgt also 1 und die Wahrscheinlichkeit des Nullereignisses 0.

Die Funktion ${\ displayStyle f (x) \,}$ Die Zuordnung eines Punktes im Probenraum auf den Wert "Wahrscheinlichkeit" wird als a genannt Wahrscheinlichkeitsmassenfunktion abgekürzt wie PMF. Die moderne Definition versucht nicht zu beantworten, wie Wahrscheinlichkeitsmassenfunktionen erhalten werden. Stattdessen baut es eine Theorie auf, die ihre Existenz annimmt.

Kontinuierliche Wahrscheinlichkeitsverteilungen

Kontinuierliche Wahrscheinlichkeitstheorie befasst sich mit Ereignissen, die in einem kontinuierlichen Stichprobenraum auftreten.

Klassische Definition: Die klassische Definition bricht zusammen, wenn er mit dem kontinuierlichen Fall konfrontiert wird. Sehen Bertrands Paradox.

Moderne Definition: Wenn der Beispielraum einer zufälligen Variablen X ist der Satz von reale Nummern (${\ displaystyle \ mathbb {r}}$) oder eine Teilmenge davon, dann eine Funktion namens die namens die Verteilungsfunktion (oder CDF) ${\ displayStyle f \,}$ existiert, definiert durch ${\ displayStyle f (x) = p (x \ leq x) \,}$. Das ist, F(x) Gibt die Wahrscheinlichkeit zurück, dass X wird weniger als oder gleich sein x.

Die CDF erfüllt notwendigerweise die folgenden Eigenschaften.

1. ${\ displayStyle f \,}$ ist ein monotonisch nicht abgeschreckt, rechtskontinuierlich Funktion;
2. ${\ displayStyle \ lim _ {x \ rightarrow -\ infty} f (x) = 0 \,;}$
3. ${\ displayStyle \ lim _ {x \ rightarrow \ infty} f (x) = 1 \ ,.}$

Wenn ${\ displayStyle f \,}$ ist absolut kontinuierlich, d.h. sein Derivat existiert, und die Integration des Derivats gibt uns die CDF wieder zurück, dann die zufällige Variable X soll eine haben Wahrscheinlichkeitsdichtefunktion oder PDF oder einfach Dichte ${\ displayStyle f (x) = {\ frac {df (x)} {dx}} \ ,.}$

Für einen Satz ${\ displayStyle e \ subseteq \ mathbb {r}}$die Wahrscheinlichkeit der zufälligen Variablen X in ${\ displayStyle e \,}$ ist

${\ displayStyle p (x \ in e) = \ int _ {x \ in e} df (x) \ ,.}$

Falls die Wahrscheinlichkeitsdichtefunktion existiert, kann dies als geschrieben werden

${\ displayStyle p (x \ in e) = \ int _ {x \ in e} f (x) \, dx \ ,.}$

Während die PDF existiert nur für kontinuierliche Zufallsvariablen, die CDF existiert für alle Zufallsvariablen (einschließlich diskreter Zufallsvariablen), die Werte in annehmen ${\ displaystyle \ mathbb {r} \ ,.}$

Diese Konzepte können verallgemeinert werden für mehrdimensional Fälle auf ${\ displaystyle \ mathbb {r} ^{n}}$ und andere kontinuierliche Probenräume.

Mess-theoretische Wahrscheinlichkeitstheorie

Das RAISIC D'être Von der maßstheoretischen Behandlung der Wahrscheinlichkeit ist, dass sie die diskreten und kontinuierlichen Fälle vereint und die Differenz zu einer Frage, welche Maßnahme verwendet wird. Darüber hinaus deckt es Verteilungen ab, die weder diskret noch kontinuierlich noch Gemische der beiden sind.

Ein Beispiel für solche Verteilungen könnte eine Mischung aus diskreten und kontinuierlichen Verteilungen sein - beispielsweise eine zufällige Variable, die 0 mit Wahrscheinlichkeit 1/2 beträgt und einen Zufallswert von einer Normalverteilung mit Wahrscheinlichkeit 1/2 nimmt. Es kann immer noch bis zu einem gewissen Grad untersucht werden ${\ displayStyle (\ delta [x]+\ varphi (x))/2}$, wo ${\ displayStyle \ Delta [x]}$ ist der Dirac Delta -Funktion.

Andere Verteilungen sind beispielsweise möglicherweise nicht einmal eine Mischung Kantorverteilung hat keine positive Wahrscheinlichkeit für einen einzelnen Punkt, und es hat auch keine Dichte. Der moderne Ansatz zur Wahrscheinlichkeitstheorie löst diese Probleme mithilfe Theorie messen um das zu definieren Wahrscheinlichkeitsraum:

Bei jedem Satz ${\ displayStyle \ Omega \,}$ (auch genannt Probenraum) und ein σ-Algebra ${\ displaystyle {\ mathcal {f}} \,}$ darauf, a messen ${\ displayStyle p \,}$ definiert auf ${\ displaystyle {\ mathcal {f}} \,}$ wird als a genannt Wahrscheinlichkeitsmaß wenn ${\ displayStyle p (\ Omega) = 1. \,}$

Wenn ${\ displaystyle {\ mathcal {f}} \,}$ ist der Borel σ-Algebra Auf der Menge der realen Zahlen gibt es dann eine eindeutige Wahrscheinlichkeitsmaßnahme an ${\ displaystyle {\ mathcal {f}} \,}$ für jede CDF und umgekehrt. Die Maßnahme, die einem CDF entspricht induziert von der CDF. Diese Maßnahme fällt mit dem PMF für diskrete Variablen und PDF für kontinuierliche Variablen zusammen, wodurch der maßstheoretische Ansatz frei von Irrtümern ist.

Das Wahrscheinlichkeit eines Satzes ${\ displayStyle e \,}$ in der σ-Algebra ${\ displaystyle {\ mathcal {f}} \,}$ ist definiert als

${\ displayStyle p (e) = \ int _ {\ omega \ in e} \ mu _ {f} (d \ omega) \,}$

wo die Integration in Bezug auf die Maßnahme ist ${\ displaystyle \ mu _ {f} \,}$ verursacht durch ${\ displayStyle f \ ,.}$

Die maßstheoretische Behandlung bietet neben diskreten und kontinuierlichen Wahrscheinlichkeiten auch ein besseres Verständnis und die Vereinheitlichung der Wahrscheinlichkeiten außerhalb der maßstheoretischen Behandlung ${\ displaystyle \ mathbb {r} ^{n}}$wie in der Theorie von stochastische Prozesse. Zum Beispiel zu studieren Brownsche BewegungDie Wahrscheinlichkeit wird auf einem Funktionsraum definiert.

Wenn es bequem ist, mit einer dominierenden Maßnahme zu arbeiten, die Radon-Nikody-Theorem wird verwendet, um eine Dichte als Radon-Nikody-Derivat der Wahrscheinlichkeitsverteilung von Interesse in Bezug auf diese dominierende Maßnahme zu definieren. Diskrete Dichten werden normalerweise als dieses Derivat in Bezug auf a definiert Zählmaßnahme über den Satz aller möglichen Ergebnisse. Dichten für absolut kontinuierlich Verteilungen werden normalerweise als dieses Derivat in Bezug auf die definiert Lebesgue -Maßnahme. Wenn in dieser allgemeinen Umgebung ein Satz nachgewiesen werden kann, gilt es sowohl für diskrete als auch für kontinuierliche Verteilungen sowie für andere. Für diskrete und kontinuierliche Verteilungen sind keine separaten Beweise erforderlich.

Klassische Wahrscheinlichkeitsverteilungen

Bestimmte Zufallsvariablen treten sehr oft in der Wahrscheinlichkeitstheorie auf, da sie viele natürliche oder physikalische Prozesse gut beschreiben. Ihre Verteilungen haben daher gewonnen besondere Bedeutung in der Wahrscheinlichkeitstheorie. Einige grundlegend Diskrete Verteilungen sind die Diskrete Uniform, Bernoulli, Binomial-, negatives Binomial, Poisson und Geometrische Verteilungen. Wichtig kontinuierliche Verteilungen umfassen die kontinuierliche Uniform, normal, exponentiell, Gamma und Beta -Verteilungen.

Konvergenz von Zufallsvariablen

In der Wahrscheinlichkeitstheorie gibt es mehrere Konvergenzvorstellungen für zufällige Variablen. Sie sind nachstehend in der Reihenfolge der Stärke aufgeführt, d. H. Jeglicher nachfolgender Begriff der Konvergenz in der Liste impliziert Konvergenz gemäß allen vorhergehenden Begriffen.

Schwache Konvergenz

Eine Folge von Zufallsvariablen ${\ displaystyle x_ {1}, x_ {2}, \ dots, \,}$ konvergiert schwach zur zufälligen Variablen ${\ displayStyle x \,}$ Wenn ihr jeweiliger kumulativ Verteilungsfunktionen ${\ displayStyle f_ {1}, f_ {2}, \ dots \,}$ Konvergieren in die kumulative Verteilungsfunktion ${\ displayStyle f \,}$ von ${\ displayStyle x \,}$, wo auch immer ${\ displayStyle f \,}$ ist kontinuierlich. Schwache Konvergenz wird auch genannt Konvergenz in der Verteilung.

Die häufigste Kurznotation: ${\ displaystyle \ displaystyle x_ {n} \, {\ xrightarrow {\ mathcal {d}} \, x}$

Konvergenz der Wahrscheinlichkeit

Die Reihenfolge der zufälligen Variablen ${\ displaystyle x_ {1}, x_ {2}, \ dots \,}$ soll in Richtung der Zufallsvariablen konvergieren ${\ displayStyle x \,}$ Wahrscheinlich wenn $oder$ für jedes ε> 0.

Die häufigste Kurznotation: ${\ displaystyle \ displaystyle x_ {n} \, {\ xrightarrow {p}} \, x}$

Starke Konvergenz

Die Reihenfolge der zufälligen Variablen ${\ displaystyle x_ {1}, x_ {2}, \ dots \,}$ soll in Richtung der Zufallsvariablen konvergieren ${\ displayStyle x \,}$ stark wenn ${\ displayStyle p (\ lim _ {n \ rightarrow \ infty} x_ {n} = x) = 1}$. Starke Konvergenz ist auch als bekannt als Fast sicher Konvergenz.

Die häufigste Kurznotation: $oder$

Wie die Namen zeigen, ist eine schwache Konvergenz schwächer als starke Konvergenz. Tatsächlich impliziert eine starke Konvergenz Konvergenz in der Wahrscheinlichkeit und Konvergenz der Wahrscheinlichkeit impliziert eine schwache Konvergenz. Die umgekehrten Aussagen sind nicht immer wahr.

Gesetz der großen Anzahl

Häufige Intuition deutet darauf hin, dass, wenn eine faire Münze mehrmals geworfen wird, dann grob Die Hälfte der Zeit wird es auftauchen Köpfeund die andere Hälfte wird auftauchen Schwänze. Je öfter die Münze geworfen wird, desto wahrscheinlicher ist es, dass das Verhältnis der Anzahl der Anzahl der Köpfe zu der Anzahl der Schwänze wird sich der Einheit nähern. Die moderne Wahrscheinlichkeitstheorie liefert eine formale Version dieser intuitiven Idee, die als die bekannt ist Gesetz der großen Anzahl. Dieses Gesetz ist bemerkenswert, weil es in den Grundlagen der Wahrscheinlichkeitstheorie nicht angenommen wird, sondern aus diesen Fundamenten als Theorem entsteht. Da es theoretisch die Wahrscheinlichkeiten mit ihrer tatsächlichen Häufigkeit des Auftretens in der realen Welt verbindet, wird das Gesetz großer Zahlen als Säule in der Geschichte der statistischen Theorie angesehen und hat einen weit verbreiteten Einfluss.^[9]

Das Gesetz der großen Anzahl (LLN) gibt an, dass die Stichprobe durchschnittlich

$oder$

einer Folge unabhängiger und identisch verteilter Zufallsvariablen ${\ displayStyle x_ {k}}$ konvergiert zu ihrer gemeinsamen Erwartung ${\ displayStyle \ mu}$, vorausgesetzt, die Erwartung von ${\ displayStyle | x_ {k} |}$ ist endlich.

Es ist in den verschiedenen Formen von Konvergenz von Zufallsvariablen das trennt die schwach und die stark Gesetz der großen Anzahl^[10]

Schwaches Gesetz: $oder$ zum ${\ displayStyle n \ to \ inty}$

Starkes Gesetz: $oder$ zum ${\ displayStyle n \ to \ inty.}$

Aus dem LLN folgt, dass wenn ein Wahrscheinlichkeitsereignis p wird während der unabhängigen Experimente wiederholt beobachtet, das Verhältnis der beobachteten Häufigkeit dieses Ereignisse p.

Zum Beispiel wenn ${\ displayStyle y_ {1}, y_ {2}, ... \,}$ sind unabhängig Bernoulli zufällige Variablen Werte 1 mit Wahrscheinlichkeit einnehmen p und 0 mit Wahrscheinlichkeit 1-p, dann ${\ displaystyle {\ textrm {e}} (y_ {i}) = p}$ für alle i, so dass ${\ displayStyle {\ bar {y}} _ {n}}$ konvergiert zu p Fast sicher.

Zentralgrenze Theorem

Der zentrale Grenzwert (CLT) erklärt das allgegenwärtige Auftreten des Normalverteilung In der Natur und dieser Theorem ist laut David Williams "eines der großartigen Ergebnisse der Mathematik".^[11]

Der Satz gibt an, dass die Durchschnitt von vielen unabhängigen und identisch verteilten Zufallsvariablen mit endlicher Varianz tendiert zu einer Normalverteilung Unabhängig der Verteilung gefolgt von den ursprünglichen Zufallsvariablen. Formal, lassen Sie ${\ displaystyle x_ {1}, x_ {2}, \ dots \,}$ unabhängige Zufallsvariablen mit sein bedeuten ${\ displayStyle \ mu}$ und Varianz ${\ displayStyle \ sigma ^{2}> 0. \,}$ Dann die Abfolge von Zufallsvariablen

$oder$

Konvergiert in der Verteilung auf a Standardnormal zufällige Variable.

Für einige Klassen von zufälligen Variablen funktioniert der klassische Zentralgrenze -Theorem ziemlich schnell, wie in der dargestellt Berry -Fessel -Theorem. Zum Beispiel die Verteilungen mit endlicher Erst-, zweiter und dritter Moment aus dem Exponentielle Familie; Andererseits für einige zufällige Variablen der schwerer Schwanz und fettem Schwanz Vielfalt funktioniert sehr langsam oder kann überhaupt nicht funktionieren: In solchen Fällen kann man die verwenden Verallgemeinerter zentraler Grenzwertsatz (GCLT).

Siehe auch

Verweise

Zitate

Quellen