Ausreichende Statistik

Im Statistiken, a Statistik ist reicht aus in Bezug auf a Statistisches Modell und sein assoziiert unbekannt Parameter Wenn "keine andere Statistik, die aus demselben berechnet werden kann Probe Bietet zusätzliche Informationen zum Wert des Parameters.^[1] Insbesondere ist eine Statistik für a ausreichend Familie von Wahrscheinlichkeitsverteilungen Wenn die Stichprobe, aus der sie berechnet wird Stichprobenverteilung.

Ein verwandtes Konzept ist das von linearer Genauigkeit, was schwächer ist als ausreichend kann jedoch in einigen Fällen angewendet werden, in denen es keine ausreichende Statistik gibt, obwohl sie auf lineare Schätzer beschränkt ist.^[2] Das Kolmogorov -Strukturfunktion befasst sich mit individuellen endlichen Daten; Der damit verbundene Begriff ist die algorithmische Statistik.

Das Konzept ist auf Sir Ronald Fisher 1920 stellte Stephen Stigler 1973 fest, dass das Konzept der Genehmigung in Ungnade gefallen war beschreibende Statistik Wegen der starken Abhängigkeit von einer Annahme der Verteilungsform (siehe Pitman -Koopman -Darmois -Theorem unten), blieb aber in theoretischen Arbeit sehr wichtig.^[3]

Hintergrund

Ungefähr ein Satz gegeben ${\ displaystyle \ mathbf {x}}$ von unabhängig identisch verteilt Daten, die auf einem unbekannten Parameter konditioniert sind ${\ displayStyle \ theta}$, eine ausreichende Statistik ist eine Funktion ${\ displayStyle t (\ mathbf {x})}$ deren Wert alle Informationen enthält, die zur Berechnung einer Schätzung des Parameters erforderlich sind (z. B. a Maximale Wahrscheinlichkeit schätzen). Aufgrund des Faktorisierungssatzes (siehe unten) für eine ausreichende Statistik ${\ displayStyle t (\ mathbf {x})}$Die Wahrscheinlichkeitsdichte kann geschrieben werden ${\ displayStyle f _ {\ mathbf {x}} (x) = h (x) \, g (\ theta, t (x))}$. Aus dieser Faktorisierung ist leicht ersichtlich, dass die maximale Wahrscheinlichkeitsschätzung von ${\ displayStyle \ theta}$ wird mit ${\ displaystyle \ mathbf {x}}$ nur durch ${\ displayStyle t (\ mathbf {x})}$. Typischerweise ist die ausreichende Statistik eine einfache Funktion der Daten, z. Die Summe aller Datenpunkte.

Allgemeiner kann der "unbekannte Parameter" a darstellen Vektor von unbekannten Größen oder kann alles an dem Modell darstellen, das unbekannt oder nicht vollständig angegeben ist. In einem solchen Fall kann die ausreichende Statistik eine Reihe von Funktionen sein, die als a genannt werden gemeinsam ausreichende Statistik. Normalerweise gibt es so viele Funktionen wie Parameter. Zum Beispiel für a Gaußsche Verteilung mit unbekannt bedeuten und Varianz, Die gemeinsam ausreichende Statistik, aus der die maximalen Wahrscheinlichkeitsschätzungen beider Parameter geschätzt werden können, besteht aus zwei Funktionen, der Summe aller Datenpunkte und der Summe aller quadratischen Datenpunkte (oder äquivalent die Probenmittelwert und Stichprobenvarianz).

Das Konzept entspricht der Aussage, dass, bedingt Auf dem Wert einer ausreichenden Statistik für einen Parameter die Gelenkwahrscheinlichkeitsverteilung der Daten hängt nicht von diesem Parameter ab. Sowohl die Statistik als auch der zugrunde liegende Parameter können Vektoren sein.

Mathematische Definition

Eine Statistik t=T(X) ist ausreichend für den zugrunde liegenden Parameter θ genau, wenn die Bedingte Wahrscheinlichkeitsverteilung der Daten XAngesichts der Statistik t=T(X), hängt nicht vom Parameter ab θ.^[4]

Alternativ kann man die Statistik sagenT(X) ist ausreichend für θ wenn es gegenseitige Information mit θ entspricht der gegenseitigen Informationen zwischen X und θ.^[5] Mit anderen Worten, die Datenverarbeitung Ungleichheit wird eine Gleichheit:

${\ displayStyle i {\ bigl (} \ theta; t (x) {\ bigr)} = i (\ theta; x)}$

Beispiel

Beispielsweise reicht der Stichprobenmittelwert für den Mittelwert aus (ausreichend (μ) von a Normalverteilung mit bekannter Varianz. Sobald der Stichprobenmittelwert bekannt ist, keine weiteren Informationen darüber μ kann aus der Probe selbst erhalten werden. Andererseits für eine willkürliche Verteilung die Median ist nicht ausreichend für den Mittelwert: Auch wenn der Median der Stichprobe bekannt ist, würde das Wissen, dass die Stichprobe selbst weitere Informationen über den Bevölkerungswert liefern würde. Wenn beispielsweise die Beobachtungen, die weniger als der Median sind, nur geringfügig sind, die Beobachtungen, die den Median überschreiten, ihn jedoch um einen großen Betrag überschreiten, würde dies einen Einfluss auf die Folge des Bevölkerungsmittelwerts haben.

Fisher -Anneyman -Faktorisierungssatz

Fischer Faktorisierungssatz oder Faktorisierungskriterium Bietet einen bequemen Charakterisierung einer ausreichenden Statistik. Wenn die Wahrscheinlichkeitsdichtefunktion ist ƒ_θ(x), dann T ist ausreichend für θ dann und nur dann, wenn Nichtnegative Funktionen g und h kann so gefunden werden, dass

${\ displayStyle f _ {\ theta} (x) = h (x) \, g _ {\ theta} (t (x)),},}$

d.h. die Dichte ƒ kann in ein Produkt berücksichtigt werden, so dass ein Faktor, h, hängt nicht ab von θ und der andere Faktor, der davon abhängt θ, kommt drauf an x nur durch T(x).

Es ist leicht zu erkennen, wenn F(t) ist eine Eins-zu-Eins-Funktion und T ist dann eine ausreichende Statistik F(T) ist eine ausreichende Statistik. Insbesondere können wir eine ausreichende Statistik mit einer Konstante ungleich Null multiplizieren und eine andere ausreichende Statistik erhalten.

Wahrscheinlichkeit Prinzipinterpretation

Eine Implikation des Satzes ist, dass bei Verwendung von Wahrscheinlichkeitsbasis zwei Datensätze für die ausreichende Statistik den gleichen Wert ergeben T(X) liefert immer die gleichen Schlussfolgerungen über θ. Nach dem Faktorisierungskriterium die Abhängigkeit der Wahrscheinlichkeit von der Wahrscheinlichkeit θ ist nur in Verbindung mit T(X). Da dies in beiden Fällen gleich ist, die Abhängigkeit von θ wird ebenfalls gleich sein, was zu identischen Schlussfolgerungen führt.

Nachweisen

Aufgrund von Hogg und Craig.^[6] Lassen ${\ displaystyle x_ {1}, x_ {2}, \ ldots, x_ {n}}$bezeichnen eine Zufallsstichprobe aus einer Verteilung mit der PDF f(xAnwesendθ) zum ι<θ<δ. Lassen Y₁=u₁(X₁AnwesendX₂, ...,X_n) eine Statistik sein, deren PDF ist g₁(y₁;θ). Was wir beweisen wollen, ist das Y₁=u₁(X₁, X₂, ...,X_n) ist eine ausreichende Statistik für θ Wenn und nur wenn, für eine Funktion HAnwesend

$oder , x_ {n}); \ theta \ right] h (x_ {1}, x_ {2}, \ dots, x_ {n}).}$

Nehmen wir zunächst an, das

$oder , x_ {n}); \ theta \ right] h (x_ {1}, x_ {2}, \ dots, x_ {n}).}$

Wir werden die Transformation machen y_i=u_i(x₁Anwesendx₂, ...,x_n), zum i= 1, ...,n, umgekehrte Funktionen haben x_i=w_i(y₁Anwesendy₂, ...,y_n), zum i= 1, ...,n, und Jacobian ${\ displayStyle j = \ links [w_ {i}/y_ {j} \ rechts]}$. Daher,

$oder J | g_ {1} (y_ {1}; \ theta) h \ links [w_ {1} (y_ {1}, y_ {2}, \ dots, y_ {n}), \ dots, w_ {n} (y_ {1}, y_ {2}, \ dots, y_ {n}) \ rechts].}$

Das linke Mitglied ist das gemeinsame PDF g(y₁, y₂, ..., y_n; θ) von Y₁ = u₁(X₁, ..., X_n), ..., Y_n = u_n(X₁, ..., X_n). Im rechten Mitglied, ${\ displayStyle g_ {1} (y_ {1}; \ theta)}$ ist der PDF von ${\ displayStyle y_ {1}}$, so dass ${\ displayStyle h [w_ {1}, \ dots, w_ {n}] | j |}$ ist der Quotient von ${\ displayStyle g (y_ {1}, \ dots, y_ {n}; \ theta)}$ und ${\ displayStyle g_ {1} (y_ {1}; \ theta)}$; Das heißt, es ist die bedingte PDF ${\ displayStyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1}; \ theta)}$ von ${\ displayStyle y_ {2}, \ dots, y_ {n}}$ gegeben ${\ displayStyle y_ {1} = y_ {1}}$.

Aber ${\ displayStyle h (x_ {1}, x_ {2}, \ dots, x_ {n})}$, und somit $oder ]}$, wurde gegeben, um nicht abhängig zu sein ${\ displayStyle \ theta}$. Seit ${\ displayStyle \ theta}$ wurde nicht in der Transformation eingeführt und dementsprechend nicht im Jakobier ${\ displayStyle j}$, es folgt dem ${\ displayStyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1}; \ theta)}$ hängt nicht von abhängig von ${\ displayStyle \ theta}$ und das ${\ displayStyle y_ {1}}$ ist eine ausreichende Statistik für ${\ displayStyle \ theta}$.

Das Gegenteil wird durch Einnahme nachgewiesen:

$oder Mid Y_ {1}),},}$

wo ${\ displayStyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1})}$ hängt nicht von abhängig von ${\ displayStyle \ theta}$ Weil ${\ displayStyle y_ {2} ... y_ {n}}$ abhängig nur von ${\ displayStyle x_ {1} ... x_ {n}}$, die unabhängig sind ${\ displayStyle \ theta}$ wenn konditioniert von ${\ displayStyle y_ {1}}$, eine ausreichende Statistik durch Hypothese. Teilen Sie nun beide Mitglieder durch den absoluten Wert des nicht flüchtigen Jakobiers ${\ displayStyle j}$, und ersetzen ${\ displayStyle y_ {1}, \ dots, y_ {n}}$ durch die Funktionen $oder$ in ${\ displaystyle x_ {1}, \ dots, x_ {n}}$. Dies ergibt

$oder ); \ theta \ right]} {| j^{*} |}} = g_ {1} \ links [u_ {1} (x_ {1}, \ dots, x_ {n}); \ theta \ rechts] oder$

wo ${\ displayStyle j^{*}}$ ist der Jakobier mit ${\ displayStyle y_ {1}, \ dots, y_ {n}}$ ersetzt durch ihren Wert in Begriffen ${\ displaystyle x_ {1}, \ dots, x_ {n}}$. Das linke Mitglied ist notwendigerweise das gemeinsame PDF ${\ displayStyle f (x_ {1}; \ theta) \ cdots f (x_ {n}; \ theta)}$ von ${\ displaystyle x_ {1}, \ dots, x_ {n}}$. Seit ${\ displayStyle h (y_ {2}, \ dots, y_ {n} \ mid y_ {1})}$, und somit ${\ displayStyle h (u_ {2}, \ dots, u_ {n} \ mid U_ {1})}$, hängt nicht ab von ${\ displayStyle \ theta}$, dann

$oder *} |}}}$

ist eine Funktion, die nicht abhängig ist ${\ displayStyle \ theta}$.

Ein weiterer Beweis

Ein einfacherer veranschaulichenderer Beweis ist wie folgt, obwohl er nur im diskreten Fall gilt.

Wir verwenden die Abkürzungsnotation, um die gemeinsame Wahrscheinlichkeitsdichte von zu bezeichnen ${\ displayStyle (x, t (x))}$ durch ${\ displayStyle f _ {\ theta} (x, t)}$. Seit ${\ displayStyle t}$ ist eine Funktion von ${\ displayStyle x}$, wir haben ${\ displayStyle f _ {\ theta} (x, t) = f _ {\ theta} (x)}$, so lange wie ${\ displayStyle t = t (x)}$ und null sonst. Deswegen:

$oder theta} (t) \\ [5pt] & = f (x \ mid t) f _ {\ theta} (t) \ end {ausgerichtet}}}$

mit der letzten Gleichheit, die durch die Definition ausreichender Statistiken wahr ist. Daher ${\ displayStyle f _ {\ theta} (x) = a (x) b _ {\ theta} (t)}$ mit ${\ displayStyle a (x) = f_ {x \ mid t} (x)}$ und ${\ displaystyle b _ {\ theta} (t) = f _ {\ theta} (t)}$.

Umgekehrt, wenn ${\ displayStyle f _ {\ theta} (x) = a (x) b _ {\ theta} (t)}$, wir haben

$oder sum _ {x: t (x) = t} f _ {\ theta} (x) \\ [5pt] & = \ sum _ {x: t (x) = t} a (x) b _ {\ theta} (x) a (x) b {\ theta} (x) = t} a (x) b. t) \\ [5pt] & = \ links (\ sum _ {x: t (x) = t} a (x) \ rechts) b _ {\ theta} (t). \ end {ausgerichtet}}}}$

Mit der ersten Gleichheit durch die Definition von PDF für mehrere Variablen, die zweite nach der obigen Bemerkung, die dritte nach Hypothese und die vierte, weil die Summierung nicht vorbei ist ${\ displayStyle t}$.

Lassen ${\ displayStyle f_ {x \ mid t} (x)}$ bezeichnen die bedingte Wahrscheinlichkeitsdichte von ${\ displayStyle x}$ gegeben ${\ displayStyle t (x)}$. Dann können wir dafür einen expliziten Ausdruck abgeben:

$oder 5pt] & = {\ frac {f _ {\ theta} (x)} {f _ {\ theta} (t)}} \\ [5pt] & = {\ frac {a (x) b _ {\ theta} (t {\ frac {a) )} {\ links (\ sum _ {x: t (x) = t} a (x) \ rechts) b _ {\ theta} (t)}} \\ [5pt] & = {\ frac {a (x) )} {\ sum _ {x: t (x) = t} a (x)}}. \ end {ausgerichtet}}}$

Mit der ersten Gleichheit per Definition der bedingten Wahrscheinlichkeitsdichte, der zweiten nach der obigen Bemerkung, der dritten nach der oben nachgewiesenen Gleichheit und der vierten nach Vereinfachung. Dieser Ausdruck hängt nicht ab davon ${\ displayStyle \ theta}$ und somit ${\ displayStyle t}$ ist eine ausreichende Statistik.^[7]

Minimale Ausreichung

Eine ausreichende Statistik ist minimal ausreichend Wenn es als Funktion einer anderen ausreichenden Statistik dargestellt werden kann. Mit anderen Worten, S(X) ist minimal ausreichend dann und nur dann, wenn^[8]

1. S(X) ist ausreichend und
2. wenn T(X) ist ausreichend, dann gibt es eine Funktion f so dass S(X) = f(T(X)).

Intuitiv eine minimal ausreichende Statistik am effizientesten erfasst alle möglichen Informationen über den Parameter θ.

Eine nützliche Charakterisierung von minimaler Ausreichung ist, dass wenn die Dichte der Dichte f_θ existiert, S(X) ist minimal ausreichend dann und nur dann, wenn

${\ displayStyle {\ frac {f _ {\ theta} (x)} {f _ {\ theta} (y)}}}$ ist unabhängig von θ:${\ displaystyle \ longleftrightarrow}$ S(x) = S(y)

Dies folgt als Folge von Fisher -Faktorisierungssatz wie oben erwähnt.

Ein Fall, in dem Bahadur 1954 keine minimal ausreichende Statistik gibt.^[9] Unter milden Bedingungen gibt es jedoch immer eine minimal ausreichende Statistik. Insbesondere im euklidischen Raum gilt diese Bedingungen immer, wenn die Zufallsvariablen (verbunden mit ${\ displayStyle p _ {\ theta}}$ ) sind alle diskret oder alle kontinuierlich.

Wenn es eine minimal ausreichende Statistik gibt, und dies ist normalerweise der Fall, dann jeder Komplett Eine ausreichende Statistik ist notwendigerweise minimal ausreichend^[10](Beachten Sie, dass diese Aussage keinen pathologischen Fall ausschließt, in dem ein vollständiges ausreichend existiert, während es keine minimal ausreichende Statistik gibt.) Es ist zwar schwierig, Fälle zu finden, in denen eine minimal ausreichende Statistik nicht existiert, aber es ist nicht so schwer, Fälle zu finden, in denen es keine vollständige Statistik gibt.

Die Sammlung von Wahrscheinlichkeitsverhältnissen $oder$ zum ${\ displayStyle i = 1, ..., k}$, ist eine minimal ausreichende Statistik, wenn der Parameterraum diskret ist ${\ displaystyle \ links \ {\ theta _ {0}, ..., \ theta _ {k} \ rechts \}}$.

Beispiele

Bernoulli -Verteilung

Wenn X₁, ....,X_n sind unabhängig Bernoulli-verteilt Zufällige Variablen mit dem erwarteten Wert pdann die Summe T(X) =X₁+...+X_n ist eine ausreichende Statistik für p (Hier entspricht 'Erfolg' X_i= 1 und 'Versagen' an X_i= 0; Also T ist die Gesamtzahl der Erfolge)

Dies wird unter Berücksichtigung der gemeinsamen Wahrscheinlichkeitsverteilung gesehen:

$oder }.}$

Da die Beobachtungen unabhängig sind, kann dies als geschrieben werden

$oder ^{x_ {n}} (1-p)^{1-x_ {n}}}}$

und Kräfte sammeln p und 1 -p, gibt

$oder }$

was das Faktorisierungskriterium erfüllt, mit h(x) = 1 ist nur eine Konstante.

Beachten Sie das entscheidende Merkmal: den unbekannten Parameter p interagiert mit den Daten x Nur über die Statistik T(x) = Σx_i.

Als konkrete Anwendung gibt dies ein Verfahren zur Unterscheidung a Faire Münze aus einer voreingenommenen Münze.

Einheitliche Verteilung

Wenn X₁, ...., X_n sind unabhängig und gleichmäßig verteilt in der Intervall [0,,θ], dann T(X) = max (X₁, ..., X_n) ist für θ ausreichend - die Probe maximal ist eine ausreichende Statistik für die Bevölkerungsmaximum.

Um dies zu sehen, betrachten Sie das Gelenk Wahrscheinlichkeitsdichtefunktion von X(X₁, ...,X_n). Da die Beobachtungen unabhängig sind, kann die PDF als Produkt einzelner Dichten geschrieben werden

$oder 0 \ leq x_ {1} \ leq \ theta \}} \ cdots {\ frac {1} {\ theta}} \ mathbf {1} _ {\ {0 \ leq x_ {n} \ leq \ theta \}}}}}}} \\[5pt]&={\frac {1}{\theta ^{n}}}\mathbf {1} _{\{0\leq \min\{x_{i}\}\}}\mathbf { 1} _ {\ {\ max \ {x_ {i} \} \ leq \ theta \}} \ end {aligned}}}$

wo 1_{...} ist der Indikatorfunktion. Somit nimmt die Dichte an, die die vom Fisher -NEYMAN -Faktorisierungssatz benötigte Form erfordert, wo h(x) =1_{{Mindest{xi} ≥0}}und der Rest des Ausdrucks ist nur eine Funktion von nur von θ und T(x) = Max {x_i}.

In der Tat die Mindestvarianz unvoreingenommener Schätzer (MVUE) für θ ist

${\ displayStyle {\ frac {n+1} {n}} t (x).}$

Dies ist die maximale Stichprobe, die skaliert ist, um für die zu korrigieren Voreingenommenheitund ist mvue von der Lehmann -Scheffé Theorem. Maximal ungekalktes Proben T(X) ist der Maximaler Wahrscheinlichkeitsschätzer zum θ.

Einheitliche Verteilung (mit zwei Parametern)

Wenn ${\ displaystyle x_ {1}, ..., x_ {n}}$ sind unabhängig und gleichmäßig verteilt in der Pause ${\ displayStyle [\ alpha, \ Beta]}$ (wo ${\ displayStyle \ alpha}$ und ${\ displayStyle \ Beta}$ sind unbekannte Parameter), dann $oder }\Rechts)}$ ist eine zweidimensionale ausreichende Statistik für ${\ displayStyle (\ alpha \ ,, \, \ Beta)}$.

Um dies zu sehen, betrachten Sie das Gelenk Wahrscheinlichkeitsdichtefunktion von ${\ displaystyle x_ {1}^{n} = (x_ {1}, \ ldots, x_ {n})}$. Da die Beobachtungen unabhängig sind, kann der PDF als Produkt einzelner Dichten geschrieben werden, d.h.

$oder Over \ Beta -\ Alpha} \ rechts) \ mathbf {1} _ {\ {\ alpha \ leq x_ {i} \ leq \ beta \} \ rechts ({1 \ over \ beta -\ alpha} \ \ \ links ({1 \ über \ beta -\ \ \} \ )^{n} \ mathbf {1} _ {\ {\ alpha \ leq x_ {i} \ leq \ beta, \, \ forall \, i = 1, \ ldots, n \} \\ & = \ links ({1 \ over \ beta -\ alpha} \ right)^{n} \ mathbf {1} _ {\ {\ alpha \, \ leq \, \ min _ {1 \ leq i \ leq n} x_ {i i } \}} \ mathbf {1} _ {\ {\ max _ {1 \ leq i \ leq n} x_ {i} \, \ leq \, \ Beta \}}. \ end {aligned}}}$

Die gemeinsame Dichte der Probe nimmt die vom Fisher -NEYMAN -Faktorisierungssatz benötigte Form durch, indem es zulassen

$oder 1 \ Over \ Beta -\ Alpha} \ rechts)^{n} \ mathbf {1} _ {\ {\ alpha \, \ leq \, \ min _ {1 \ leq i \ leq n} x_ {i} \ \ }} \ mathbf {1} _ {\ {\ max _ {1 \ leq i \ leq n} x_ {i} \, \ leq \, \ beta \}}. \ end {Aligned}}}}}$

Seit ${\ displayStyle h (x_ {1}^{n})}$ hängt nicht vom Parameter ab ${\ displayStyle (\ alpha, \ beta)}}$ und ${\ displaystyle g _ {(\ alpha \ ,, \, \ beta)} (x_ {1}^{n})}$ hängt nur von ${\ displaystyle x_ {1}^{n}}$ durch die Funktion $oder }\Rechts),}$

Das Fisher -NEYMAN -Faktorisierungssatz impliziert $oder }\Rechts)}$ ist eine ausreichende Statistik für ${\ displayStyle (\ alpha \ ,, \, \ Beta)}$.

Poisson-Verteilung

Wenn X₁, ....,X_n sind unabhängig und haben a Poisson-Verteilung mit Parameter λdann die Summe T(X) =X₁+...+X_n ist eine ausreichende Statistik fürλ.

Betrachten Sie dazu die gemeinsame Wahrscheinlichkeitsverteilung:

$oder$

Da die Beobachtungen unabhängig sind, kann dies als geschrieben werden

$oder {2}!} \ Cdots {e ^{-\ lambda} \ lambda ^{x_ {n}} \ Over X_ {n}!}}$

die geschrieben werden kann als

${\ displayStyle e ^{-n \ lambda} \ lambda ^{(x_ {1}+x_ {2}+\ cdots+x_ {n})} \ cdot {1 \ über x_ {1}! x_ {2} ! \ cdots x_ {n}!}}$

was zeigt, dass das Faktorisierungskriterium erfüllt ist, wo h(x) ist der Gegenstand des Produkts der Faktorien. Beachten Sie, dass der Parameter λ nur durch seine Summe mit den Daten interagiert T(X).

Normalverteilung

Wenn ${\ displaystyle x_ {1}, \ ldots, x_ {n}}$ sind unabhängig und normal verteilt mit dem erwarteten Wert ${\ displayStyle \ theta}$ (ein Parameter) und bekannte endliche Varianz ${\ displayStyle \ sigma ^{2},},}$ dann

$oder$

ist eine ausreichende Statistik für ${\ displayStyle \ theta.}$

Um dies zu sehen, betrachten Sie das Gelenk Wahrscheinlichkeitsdichtefunktion von ${\ displaystyle x_ {1}^{n} = (x_ {1}, \ dots, x_ {n})}$. Da die Beobachtungen unabhängig sind, kann der PDF als Produkt einzelner Dichten geschrieben werden, d.h.

$oder oder \ rechts) \\ [6pt] & = (2 \ pi \ sigma^{2})^{-{\ frac {n} {2}} \ exp \ links (-\ sum _ {i = 1}^ oder })^{-{\ frac {n} {2}}} \ exp \ links (-\ sum _ {i = 1}^{n} {\ frac {\ links (\ links \ overline {x}} \ rechts) -\ links (\ theta -{\ overline {x}} \ rechts) \ rechts) ^{2} {2 \ sigma ^{2}} \ rechts) \\ [ 6pt] & = (2 \ pi \ sigma ^{2}) ^{-{\ frac {n} {2}} \ exp \ links (-{1 \ über 2 \ sigma ^{2} \ links (links (links) (links () \ sum _ {i = 1}^{n} (x_ {i} -{\ overline {x}})^{2}+\ sum _ {i = 1}^{n} (\ theta -{\ overline {x}})^{2} -2 \ sum _ {i = 1}^{n} (x_ {i}-{\ overline {x}}) (\ theta-{\ overline {x}) \ rechts) \ rechts) \\ [6pt] & = (2 \ pi \ sigma ^{2}) ^{-{\ frac {n} {2}} \ exp \ links (-{1 \ über 2 \ sigma ^{2}} \ links (\ sum _ {i = 1}^{n} (x_ {i} -{\ overline {x}})^{2}+n (\ theta -{\ overline {x} })^{2} \ rechts) \ rechts) && \ sum _ {i = 1}^{n} (x_ {i} -{\ overline {x}}) (\ theta -{\ overline {x}}} ) = 0 \\ [6pt] & = (2 \ pi \ sigma ^{2 })^{-{\ frac {n} {2}}} \ exp \ links (-{1 \ über 2 \ sigma^{2} \ sum _ {i = 1}^{n} (x_ {i }-{\ overline {x}}) ^{2} \ rechts) \ exp \ links (-{\ frac {n} {2 \ sigma ^{2}} (\ theta-{\ overline {x}}}}} )^{2} \ rechts) \ end {ausgerichtet}}}$

Die gemeinsame Dichte der Probe nimmt die vom Fisher -NEYMAN -Faktorisierungssatz benötigte Form durch, indem es zulassen

$oder links (-{1 \ über 2 \ sigma^{2}} \ sum _ {i = 1}^{n} (x_ {i}-{\ overline {x}})^{2} \ rechts) \\ \\ \\ [6PT] G _ {\ theta} (x_ {1} ^{n}) & = \ exp \ links ( -{\ frac {n} {2 \ sigma ^{2}}} (\ theta -{\ overline {{{{{{{{{{{{{{{{{{{{{{{{{{{{) x}})^{2} \ rechts) \ end {ausgerichtet}}}$

Seit ${\ displayStyle h (x_ {1}^{n})}$ hängt nicht vom Parameter ab ${\ displayStyle \ theta}$ und ${\ displayStyle g _ {\ theta} (x_ {1}^{n})}$ hängt nur von ${\ displaystyle x_ {1}^{n}}$ durch die Funktion

$oder }$

Das Fisher -NEYMAN -Faktorisierungssatz impliziert ${\ displayStyle t (x_ {1}^{n})}$ ist eine ausreichende Statistik für ${\ displayStyle \ theta}$.

Wenn ${\ displayStyle \ sigma ^{2}}$ ist unbekannt und seitdem $oder )^{2}}$Die oben genannte Wahrscheinlichkeit kann als umgeschrieben werden wie

$oder exp \ links (-{\ frac {n-1} {2 \ sigma ^{2}}} s ^{2} \ rechts) \ exp \ links (-{\ frac {n} {2 \ sigma ^{2 }}} (\ theta -{\ overline {x}})^{2} \ rechts). \ end {ausgerichtet}}}$

Der Faktor -Faktorisierungstheorem von Fisher -Nee -Faktor hält immer noch und impliziert das ${\ displayStyle ({\ overline {x}}, s^{2})}$ ist eine gemeinsame Statistik für ${\ displayStyle (\ theta, \ sigma ^{2})}$.

Exponentialverteilung

Wenn ${\ displaystyle x_ {1}, \ dots, x_ {n}}$ sind unabhängig und exponentiell verteilt mit dem erwarteten Wert θ (ein unbekannter realwertiger positiver Parameter), dann ${\ displayStyle t (x_ {1}^{n}) = \ sum _ {i = 1}^{n} x_ {i}}$ ist eine ausreichende Statistik für θ.

Um dies zu sehen, betrachten Sie das Gelenk Wahrscheinlichkeitsdichtefunktion von ${\ displaystyle x_ {1}^{n} = (x_ {1}, \ dots, x_ {n})}$. Da die Beobachtungen unabhängig sind, kann der PDF als Produkt einzelner Dichten geschrieben werden, d.h.

$oder } \. 1}^{n} x_ {i}}. \ End {ausgerichtet}}}$

Die gemeinsame Dichte der Probe nimmt die vom Fisher -NEYMAN -Faktorisierungssatz benötigte Form durch, indem es zulassen

$oder theta^{n}} \, e^{{-1 \ over \ theta} \ sum _ {i = 1}^{n} x_ {i}}. \ end {ausgerichtet}}}$

Seit ${\ displayStyle h (x_ {1}^{n})}$ hängt nicht vom Parameter ab ${\ displayStyle \ theta}$ und ${\ displayStyle g _ {\ theta} (x_ {1}^{n})}$ hängt nur von ${\ displaystyle x_ {1}^{n}}$ durch die Funktion ${\ displayStyle t (x_ {1}^{n}) = \ sum _ {i = 1}^{n} x_ {i}}$

Das Fisher -NEYMAN -Faktorisierungssatz impliziert ${\ displayStyle t (x_ {1}^{n}) = \ sum _ {i = 1}^{n} x_ {i}}$ ist eine ausreichende Statistik für ${\ displayStyle \ theta}$.

Gamma -Verteilung

Wenn ${\ displaystyle x_ {1}, \ dots, x_ {n}}$ sind unabhängig und verteilt als ${\ displayStyle \ gamma (\ alpha \ ,, \, \ Beta)}$, wo ${\ displayStyle \ alpha}$ und ${\ displayStyle \ Beta}$ sind unbekannte Parameter von a Gamma -Verteilung, dann $oder {i} \ rechts)}$ ist eine zweidimensionale ausreichende Statistik für ${\ displayStyle (\ alpha, \ beta)}}$.

Um dies zu sehen, betrachten Sie das Gelenk Wahrscheinlichkeitsdichtefunktion von ${\ displaystyle x_ {1}^{n} = (x_ {1}, \ dots, x_ {n})}$. Da die Beobachtungen unabhängig sind, kann der PDF als Produkt einzelner Dichten geschrieben werden, d.h.

$oder Over \ gamma (\ alpha) \ Beta^{\ alpha}} \ rechts) x_ {i}^{\ alpha -1} e^{( -1/\ beta) x_ {i} \\ [5pt] & & = \ links ({1 \ over \ gamma (\ alpha) \ Beta^{\ alpha}} \ rechts)^{n} \ links (\ prod _ {i = 1}^{n} x_ {i} \ rechts )^{\ alpha -1} e^{{{ -1 \ Over \ Beta} \ sum _ {i = 1}^{n} x_ {i}}. \ end {ausgerichtet}}}$

Die gemeinsame Dichte der Probe nimmt die vom Fisher -NEYMAN -Faktorisierungssatz benötigte Form durch, indem es zulassen

$oder n}) = \ links ({1 \ over \ gamma (\ alpha) \ Beta^{\ alpha}} \ rechts)^{n} \ links (\ prod _ {i = 1}^{n} x_ {i } \ rechts)^{\ alpha -1} e^{{ -1 \ Over \ Beta} \ sum _ {i = 1}^{n} x_ {i}}. \ end {ausgeteich}}}}$

Seit ${\ displayStyle h (x_ {1}^{n})}$ hängt nicht vom Parameter ab ${\ displayStyle (\ alpha \ ,, \, \ Beta)}$ und ${\ displaystyle g _ {(\ alpha \ ,, \, \ beta)} (x_ {1}^{n})}$ hängt nur von ${\ displaystyle x_ {1}^{n}}$ durch die Funktion $oder }\Rechts),}$

Das Fisher -NEYMAN -Faktorisierungssatz impliziert $oder }\Rechts)}$ ist eine ausreichende Statistik für ${\ displayStyle (\ alpha \ ,, \, \ Beta).}$

Rao -Blackwell Theorem

Ausreichend findet eine nützliche Anwendung in der Rao -Blackwell Theoremdas heißt das, wenn g(X) ist jede Art von Schätzer von θ, dann normalerweise die bedingte Erwartung von g(X) gegeben ausreichend Statistik T(X) ist ein besserer (im Sinne von niedrigeren Varianz) Schätzer von θund ist nie schlimmer. Manchmal kann man sehr leicht einen sehr groben Schätzer konstruieren g(X) und bewerten Sie dann diesen bedingten erwarteten Wert, um einen Schätzer zu erhalten, der in verschiedenen Sinnen optimal ist.

Exponentielle Familie

Laut dem Pitman -Koopman -Darmois -Theorem, Unter Familien der Wahrscheinlichkeitsverteilungen, deren Domäne nicht mit dem geschätzten Parameter variiert, nur in Exponentiale Familien Gibt es eine ausreichende Statistik, deren Dimension mit zunehmender Probengröße begrenzt bleibt? Intuitiv besagt dies Nichtparametrische Statistiken Um die Informationen in den Daten vollständig zu erfassen.

Weniger knapp, nehme an ${\ displaystyle x_ {n}, n = 1,2,3, \ dots}$ sind unabhängig identisch verteilt real Zufällige Variablen, deren Verteilung in einer Familie von Wahrscheinlichkeitsverteilungen vorliegt, parametrisiert durch ${\ displayStyle \ theta}$, die bestimmte technische Regelmäßigkeitsbedingungen erfüllen, dann ist diese Familie eine exponentiell Familie, wenn und nur wenn es ein gibt ${\ displaystyle \ mathbb {r} ^{m}}$-Valifiziert ausreichend Statistik ${\ displayStyle t (x_ {1}, \ dots, x_ {n})}$ deren Anzahl von Skalarkomponenten ${\ displayStyle m}$ steigt nicht mit der Stichprobengröße an n steigt.^[11]

Dieser Satz zeigt, dass die Existenz eines endlich-dimensionalen, realvektorgenannten ausreichenden Statistiken die möglichen Formen einer Familie von Verteilungen auf dem echte Linie.

Wenn die Parameter oder die zufälligen Variablen nicht mehr realiert sind, ist die Situation komplexer.^[12]

Andere Arten von Sieben

Bayes'sche Sackgasse

Eine alternative Formulierung der Erkrankung, die eine Statistik ausreicht, die in einem Bayes'schen Kontext festgelegt ist, beinhaltet die hinteren Verteilungen, die durch die Verwendung des vollständigen Datensatzes und mit nur einer Statistik erhalten werden. Somit ist die Anforderung, dass für fast jeden xAnwesend

${\ displayStyle \ pr (\ theta \ mid x = x) = \ pr (\ theta \ mid t (x) = t (x)).}$

Im Allgemeinen können wir ohne die Annahme eines parametrischen Modells sagen, dass die Statistik T ist Vorhersage ausreichend wenn

${\ displayStyle \ pr (x '= x' \ mid x = x) = \ pr (x '= x' \ mid t (x) = t (x)).}$

Es stellt sich heraus, dass diese "Bayes'sche Sugcycycy" eine Folge der obigen Formulierung ist.^[13] Sie sind jedoch im unendlich-dimensionalen Fall nicht direkt äquivalent.^[14] Eine Reihe von theoretischen Ergebnissen für die Genauigkeit in einem Bayes'schen Kontext ist verfügbar.^[15]

Linearer Genauigkeit

Ein Konzept namens "linearer Sieben" kann in einem Bayes'schen Kontext formuliert werden.^[16] und allgemeiner.^[17] Definieren Sie zuerst den besten linearen Prädiktor eines Vektors Y bezogen auf X wie ${\ displayStyle {\ Hat {e}} [y \ mid x]}$. Dann eine lineare Statistik T(x) ist linear ausreichend^[18] wenn

$oder$

Siehe auch

• Vollständigkeit einer Statistik
• Basus Satz Zur Unabhängigkeit vollständiger und Zusatzstatistiks
• Lehmann -Scheffé Theorem: Ein vollständig ausreichender Schätzer ist der beste Schätzer seiner Erwartung
• Rao -Blackwell Theorem
• Chentsovs Satz
• Ausreichende Dimensionsreduzierung
• Zusatzstatistik

Anmerkungen

Verweise

• Kholevo, A.S. (2001) [1994], "Ausreichende Statistik", Enzyklopädie der Mathematik, EMS Press
• Lehmann, E. L.; Casella, G. (1998). Theorie der Punktschätzung (2. Aufl.). Springer. Kapitel 4. ISBN 0-387-98502-6.
• Dodge, Y. (2003) Das Oxford -Wörterbuch über statistische Begriffe, OUP. ISBN0-19-920613-9