Schätztheorie

Schätztheorie ist ein Zweig von Statistiken Das befasst sich mit der Schätzung der Werte von Parameter Basierend auf gemessenen empirischen Daten, die eine zufällige Komponente haben. Die Parameter beschreiben eine zugrunde liegende physische Einstellung so, dass sich ihr Wert auf die Verteilung der gemessenen Daten auswirkt. Ein Schätzer Versuche, die unbekannten Parameter mit den Messungen zu approximieren. In der Schätztheorie werden zwei Ansätze allgemein berücksichtigt: [1]

  • Der probabilistische Ansatz (in diesem Artikel beschrieben) geht davon aus, dass die gemessenen Daten mit zufällig mit Wahrscheinlichkeitsverteilung Abhängig von den Interessensparametern
  • Das SET-Mitgliederansatz Angenommen, der gemessene Datenvektor gehört zu einem Satz, der vom Parametervektor abhängt.

Beispiele

Zum Beispiel ist es erwünscht, den Anteil einer Bevölkerung von Wählern zu schätzen, die für einen bestimmten Kandidaten stimmen werden. Dieser Anteil ist der gesuchte Parameter; Die Schätzung basiert auf einer kleinen Zufallsstichprobe von Wählern. Alternativ ist es erwünscht, die Wahrscheinlichkeit eines Wählers für einen bestimmten Kandidaten zu schätzen, der auf einigen demografischen Merkmalen wie dem Alter basiert.

Oder zum Beispiel in Radar Ziel ist es, den Bereich der Objekte (Flugzeuge, Boote usw.) zu ermitteln, indem der Zwei-Wege-Transitzeitpunkt von empfangenen Echos von übertragenen Impulsen analysiert wird. Da die reflektierten Impulse unvermeidlich in elektrische Rauschen eingebettet sind, sind ihre gemessenen Werte zufällig verteilt, so dass die Transitzeit geschätzt werden muss.

Als ein weiteres Beispiel sind in der Elektrikkommunikationstheorie die Messungen, die Informationen zu den interessierenden Parametern enthalten, häufig mit a verbunden laut Signal.

Grundlagen

Für ein bestimmtes Modell werden mehrere statistische "Zutaten" benötigt, damit der Schätzer implementiert werden kann. Das erste ist a Statistische Probe - eine Reihe von Datenpunkten aus a zufälliger Vektor (RV) der Größe N. In ein eingeben VektorAnwesend

Zweitens gibt es M Parameter

deren Werte zu schätzen werden. Drittens das kontinuierliche Wahrscheinlichkeitsdichtefunktion (PDF) oder sein diskretes Gegenstück, das Wahrscheinlichkeitsmassenfunktion (PMF), der zugrunde liegenden Verteilung, die die Daten generiert haben, müssen auf die Werte der Parameter bedingt sind:

Es ist auch möglich, dass die Parameter selbst eine Wahrscheinlichkeitsverteilung haben (z. B.,, Bayes'sche Statistik). Es ist dann notwendig, die zu definieren Bayesianische Wahrscheinlichkeit

Nachdem das Modell gebildet wurde, ist das Ziel, die Parameter zu schätzen, wobei die Schätzungen üblicherweise bezeichnet werden , wo der "Hut" die Schätzung angibt.

Ein gemeinsamer Schätzer ist der minimaler mittlerer quadratischer Fehler (MMSE) Schätzer, der den Fehler zwischen den geschätzten Parametern und dem tatsächlichen Wert der Parameter verwendet

als Grundlage für Optimalität. Dieser Fehlerbegriff wird dann quadratisch und die erwarteter Wert Von diesem quadratischen Wert wird für den MMSE -Schätzer minimiert.

Schätzer

Zu den häufig verwendeten Schätzern (Schätzmethoden) und Themen gehören:

Beispiele

Unbekannte Konstante im additiven weißen Gaußschen Geräusch

Betrachten Sie eine erhaltene diskretes Signal, , von unabhängig Proben Das besteht aus einer unbekannten Konstante mit Additive weiße Gaußsche Geräusch (AWGN) mit Null bedeuten und bekannt Varianz (d.h., ). Da die Varianz bekannt ist, ist der einzige unbekannte Parameter .

Das Modell für das Signal ist dann

Zwei mögliche (vieler) Schätzer für den Parameter sind:

  • Welches ist das Probenmittelwert

Beide Schätzer haben a bedeuten von , was gezeigt werden kann, indem man das nimmt erwarteter Wert jedes Schätzers

und

Zu diesem Zeitpunkt scheinen diese beiden Schätzer dasselbe zu erbringen. Der Unterschied zwischen ihnen wird jedoch beim Vergleich der Varianzen deutlich.

und

Es scheint, dass der Stichprobenmittelwert ein besserer Schätzer ist, da seine Varianz für jeden niedriger istN> 1.

Maximale Wahrscheinlichkeit

Fortsetzung des Beispiels mit dem Maximale Wahrscheinlichkeit Schätzer, die Wahrscheinlichkeitsdichtefunktion (PDF) des Rauschens für eine Probe ist

und die Wahrscheinlichkeit von wird ( kann an a gedacht werden ))

Durch Unabhängigkeitdie Wahrscheinlichkeit von wird

Das nehmen Natürlicher Logarithmus des PDF

und der maximale Wahrscheinlichkeitsschätzer ist

Den ersten nehmen Derivat der Log-Likelihood-Funktion

und es auf Null setzen

Dies führt zum maximalen Wahrscheinlichkeitsschätzer

Welches ist einfach der Probenmittelwert. Aus diesem Beispiel wurde festgestellt, dass der Stichprobenmittelwert der maximale Wahrscheinlichkeitsschätzer für ist Proben eines festen, unbekannten Parameters durch AWGN.

Cramér -Rao Untergrenze

Um das zu finden Cramér -Rao Untergrenze (CRLB) des Probenschnittsschätzers ist zunächst erforderlich, um das zu finden Fischerinformationen Nummer

und von oben kopieren

Das zweite Derivat nehmen

und das Finden des negativen erwarteten Wertes ist trivial, da er jetzt eine deterministische Konstante ist

Schließlich stellen Sie die Fischerinformationen in die Fischerinformation ein

führt in

Der Vergleich dieser Varianz des Stichprobenmittelwerts (zuvor ermittelt) zeigt, dass der Stichprobenmittelwert ist gleicht Die Cramér -Rao -Untergrenze für alle Werte von und . Mit anderen Worten, der Beispielmittelwert ist das (notwendigerweise einzigartig) effizienter Schätzerund damit auch die Mindestvarianz unvoreingenommener Schätzer (MVUE), zusätzlich zu der Maximale Wahrscheinlichkeit estimator.

Maximum einer gleichmäßigen Verteilung

Eines der einfachsten nicht trivialen Beispiele für die Schätzung ist die Schätzung des Maximums einer gleichmäßigen Verteilung. Es wird als praktische Übung im Klassenzimmer und zur Veranschaulichung der Grundprinzipien der Schätztheorie verwendet. Darüber hinaus zeigt es bei der Schätzung auf der Grundlage einer einzelnen Stichprobe philosophische Probleme und mögliche Missverständnisse bei der Verwendung von Maximale Wahrscheinlichkeit Schätzer und Wahrscheinlichkeitsfunktionen.

Angenommen Diskrete einheitliche Verteilung mit unbekanntem Maximum die Umvu Schätzer für das Maximum ist gegeben durch

wo m ist der Probe maximal und k ist der Stichprobengröße, Probenahme ohne Ersatz.[2][3] Dieses Problem ist allgemein bekannt als das Deutsches Panzerproblemaufgrund der Anwendung der maximalen Schätzung auf Schätzungen der deutschen Panzerproduktion während Zweiter Weltkrieg.

Die Formel kann intuitiv als intuitiv verstanden werden;

"Die Probe maximal plus die durchschnittliche Lücke zwischen Beobachtungen in der Probe", ",

Die Lücke, die hinzugefügt wird, um die negative Verzerrung der Stichprobe maximal als Schätzer für die Bevölkerungsmaximum zu kompensieren.[Anmerkung 1]

Dies hat eine Varianz von[2]

Also eine Standardabweichung von ungefähr , die (Bevölkerung) durchschnittliche Größe einer Lücke zwischen Proben; vergleichen Oben. Dies kann als ein sehr einfacher Fall von gesehen werden Maximale Abstandsschätzung.

Das Probenmaximum ist das Maximale Wahrscheinlichkeit Schätzer für die Bevölkerung maximal, aber wie oben erläutert, ist sie voreingenommen.

Anwendungen

Zahlreiche Felder erfordern die Verwendung der Schätztheorie. Einige dieser Felder umfassen:

Gemessene Daten dürften wahrscheinlich unterliegen Lärm oder Unsicherheit und es ist durch statistisch Wahrscheinlichkeit das optimal Lösungen sollen so viel extrahieren Information aus den Daten wie möglich.

Siehe auch

Anmerkungen

  1. ^ Das Maximum der Stichprobe ist nie mehr als die Bevölkerungsmaximum, kann aber weniger sein, daher ist es a voreingenommener Schätzer: Es wird dazu neigen unterschätzen die Bevölkerung maximal.

Verweise

Zitate

  1. ^ Walter, E.; Pronzato, L. (1997). Identifizierung parametrischer Modelle aus experimentellen Daten. London, England: Springer-Verlag.
  2. ^ a b Johnson, Roger (1994), "Schätzung der Größe einer Bevölkerung", Lehrstatistik, 16 (2 (Sommer)): 50–52, doi:10.1111/j.1467-9639.1994.tb00688.x
  3. ^ Johnson, Roger (2006), "Schätzung der Größe einer Bevölkerung", Das Beste aus dem Unterrichtsstatistik bekommen, archiviert von das Original (PDF) am 20. November 2008

Quellen

  • Theorie der Punktschätzung von E.L. Lehmann und G. Casella. ( ISBN0387985026)
  • Systemkostentechnik Von Dale Shermon. ( ISBN978-0-566-08861-2)
  • Mathematische Statistik und Datenanalyse von John Rice. ( ISBN0-534-209343)
  • Grundlagen der statistischen Signalverarbeitung: Schätztheorie von Steven M. Kay ( ISBN0-13-345711-7)
  • Eine Einführung in die Signalerkennung und -schätzung von H. Vincent Armen ( ISBN0-387-94173-8)
  • Erkennung, Schätzung und Modulationstheorie, Teil 1 von Harry L. van Trees ( ISBN0-471-09517-6; Webseite)
  • Optimale Zustandsschätzung: Kalman, H-Infinity und nichtlineare Ansätze Von Dan Simon Webseite
  • Ali H. Sayed, Adaptive Filter, Wiley, NJ, 2008, ISBN978-0-470-25388-5.
  • Ali H. Sayed, Grundlagen der adaptiven Filterung, Wiley, NJ, 2003, ISBN0-471-46126-1.
  • Thomas Kailath, Ali H. Sayed, und Babak Hassibi, Lineare Schätzung, Prentice-Hall, NJ, 2000, ISBN978-0-13-022464-4.
  • Babak Hassibi, Ali H. Sayed, und Thomas Kailath, Unbestimmte quadratische Schätzung und Kontrolle: Ein einheitlicher Ansatz für H2 und h Theorien, Gesellschaft für industrielle und angewandte Mathematik (Siam), PA, 1999, ISBN978-0-89871-411-1.
  • V.G.Voinov, M.S.Nikulin, "Unvoreingenommene Schätzer und ihre Bewerbungen. Vol.1: Univariate Fall", Kluwer Academic Publishers, 1993,, ISBN0-7923-2382-3.
  • V.G.Voinov, M.S.Nikulin, "Unvoreingenommene Schätzer und ihre Anwendungen. Vol.2: Multivariate Fall", Kluwer Academic Publishers, 1996, ISBN0-7923-3939-8.

Externe Links

  • Medien im Zusammenhang mit der Schätztheorie bei Wikimedia Commons