Maximale Entropiewahrscheinlichkeitsverteilung

Im Statistiken und Informationstheorie, a Maximale Entropiewahrscheinlichkeitsverteilung hat Entropie Das ist mindestens so groß wie die aller anderen Mitglieder einer bestimmten Klasse von Wahrscheinlichkeitsverteilungen. Laut dem Prinzip der maximalen Entropie, Wenn nichts über eine Verteilung bekannt ist, außer dass es zu einer bestimmten Klasse gehört (normalerweise definiert in Bezug auf bestimmte Eigenschaften oder Maßnahmen), sollte die Verteilung mit der größten Entropie als am wenigsten informativer Ausfall ausgewählt werden. Die Motivation ist zweifach: Erstens minimiert die Maximierung der Entropie die Menge an vorherige Information in die Verteilung eingebaut; Zweitens neigen viele physikalische Systeme dazu, sich im Laufe der Zeit zu maximalen Entropiekonfigurationen zu bewegen.

Definition von Entropie und Differentialentropie

Wenn ${\ displayStyle x}$ ist ein diskrete Zufallsvariable mit Verteilung gegeben durch

$oder$

dann die Entropie von ${\ displayStyle x}$ ist definiert als

${\ displayStyle h (x) =-\ sum _ {k \ geq 1} p_ {k} \ log p_ {k}.}$

Wenn ${\ displayStyle x}$ ist ein kontinuierliche Zufallsvariable mit Wahrscheinlichkeitsdichte ${\ displayStyle p (x)}$, dann ist die Differentialentropie von ${\ displayStyle x}$ ist definiert als^[1][2][3]

$oder$

Die Quantität ${\ displayStyle p (x) \ log p (x)}$ wird als Null verstanden, wann immer ${\ displayStyle p (x) = 0}$.

Dies ist ein besonderer Fall von allgemeineren Formen, die in den Artikeln beschrieben werden Entropie (Informationstheorie), Prinzip der maximalen Entropieund differentielle Entropie. In Verbindung mit maximalen Entropieverteilungen ist dies das einzige, das benötigt wird, da Maximierung erforderlich ist ${\ displayStyle h (x)}$ wird auch die allgemeineren Formen maximieren.

Die Basis der Logarithmus ist nicht wichtig, solange das gleiche konsequent verwendet wird: Die Änderung der Basis führt lediglich zu einer Neusautomierung der Entropie. Informationstheoretiker könnten es vorziehen, Base 2 zu verwenden, um die Entropie in auszudrücken Bits; Mathematiker und Physiker bevorzugen oft das Natürlicher Logarithmus, was zu einer Einheit von führt Nats für die Entropie.

Die Wahl der Maßnahme ${\ displayStyle dx}$ ist jedoch entscheidend für die Bestimmung der Entropie und der resultierenden maximalen Entropieverteilung, obwohl der übliche Rückgriff auf die Lebesgue -Maßnahme wird oft als "natürlich" verteidigt.

Verteilungen mit gemessenen Konstanten

Viele statistische Verteilungen von anwendbarem Interesse sind diejenigen, für die die Momente oder andere messbare Größen werden als Konstanten beschränkt. Der folgende Satz von Ludwig Boltzmann gibt die Form der Wahrscheinlichkeitsdichte unter diesen Einschränkungen an.

Kontinuierlicher Fall

Vermuten S ist ein geschlossene Teilmenge des reale Nummern R und wir entscheiden uns für die Angabe n messbare Funktionen f₁, ...,f_n und n Zahlen a₁, ...,a_n. Wir betrachten die Klasse C von allen realwertigen Zufallsvariablen, die auf unterstützt werden S (d. h. deren Dichtefunktion außerhalb von Null ist S) und die das befriedigen n Momentbedingungen:

$oder$

Wenn es ein Mitglied in gibt C deren Dichtefunktion ist überall positiv in Sund wenn es eine maximale Entropieverteilung für existiert Cdann seine Wahrscheinlichkeitsdichte p(x) hat die folgende Form:

$oder } x \ in s}$

wo wir das annehmen ${\ displayStyle f_ {0} (x) = 1}$. Die Konstante ${\ displayStyle \ lambda _ {0}}$ und die n Lagrange -Multiplikatoren ${\ displayStyle {\ Boldsymbol {\ lambda}} = (\ lambda _ {1}, \ ldots, \ lambda _ {n})}$ Lösen Sie das eingeschränkte Optimierungsproblem mit ${\ displayStyle a_ {0} = 1}$ (Dieser Zustand sorgt dafür ${\ displayStyle p}$ integriert in die Einheit):^[4]

$oder \ int \ exp \ links (\ sum _ {j = 0}^{n} \ lambda _ {j} f_ {j} (x) \ rechts) dx \ rechts \} \ quad \ mathrm {subjekt \; to: \; \;} {\ Boldsymbol {\ lambda}} \ geq \ mathbf {0}}$

Verwendung der Karush -Kuhn -Tucker -BedingungenEs kann gezeigt werden, dass das Optimierungsproblem eine eindeutige Lösung hat, da die objektive Funktion in der Optimierung konkav ist ${\ displayStyle {\ Boldsymbol {\ lambda}}}$.

Beachten Sie, dass, wenn die Momentbedingungen Gleichheiten sind (anstelle von Ungleichheiten), das heißt,

$oder$

dann die Einschränkungsbedingung $oder$ wird fallen gelassen und die Optimierung über die Lagrange -Multiplikatoren nicht eingeschränkt.

Diskreter Fall

Vermuten ${\ displayStyle s = \ {x_ {1}, x_ {2}, ... \}}$ ist eine (endliche oder unendliche) diskrete Untergruppe der Realität und wir entscheiden uns dafür, festzulegen ${\ displayStyle n}$ Funktionen f₁, ...,f_n und n Zahlen a₁, ...,a_n. Wir betrachten die Klasse C aller diskreten Zufallsvariablen X die unterstützt werden S und die die befriedigen die n Momentbedingungen

$oder$

Wenn es ein Mitglied von gibt C was allen Mitgliedern eine positive Wahrscheinlichkeit zuweist S und wenn es eine maximale Entropieverteilung für gibt CDann hat diese Verteilung die folgende Form:

$oder \ rechts) \ quad {\ mbox {für}} k = 1,2, \ ldots}$

wo wir das annehmen ${\ displayStyle f_ {0} = 1}$ und die Konstanten $oder$ Lösen Sie das eingeschränkte Optimierungsproblem mit ${\ displayStyle a_ {0} = 1}$:^[5]

$oder \ sum _ {k \ geq 1} \ exp \ links (\ sum _ {j = 0}^{n} \ lambda _ {j} f_ {j} (x_ {k}) \ rechts) \ rechts \} \ Quad \ mathhrm {Subjekt \; TO: \; \;} {\ BOLDSYMBOL {\ Lambda}} \ Geq \ mathbf {0}}$

Wenn die Momentbedingungen Gleichheiten sind (anstelle von Ungleichheiten), dann die Einschränkungsbedingung $oder$ ist nicht in der Optimierung vorhanden.

Beweis bei Gleichstellungsbeschränkungen

Bei Gleichstellungsbeschränkungen wird dieser Satz mit dem bewiesen Variationskalkül und Lagrange -Multiplikatoren. Die Einschränkungen können geschrieben werden

$oder$

Wir betrachten das funktional

$oder Infty}^{\ Infty} p (x) dx-1 \ rechts)-\ sum _ {j = 1}^{n} \ lambda _ {j} \ links (\ int _ {-\ Infy}^{\ tinfty} f_ {j} (x) p (x) dx-a_ {j} \ rechts)}$

wo ${\ displayStyle \ eta _ {0}}$ und ${\ displayStyle \ lambda _ {j}, j \ geq 1}$ sind die Lagrange -Multiplikatoren. Die Nullbeschränkung sorgt dafür Zweites Axiom der Wahrscheinlichkeit. Die anderen Einschränkungen sind, dass die Messungen der Funktion konstants auf Ordnung sind ${\ displayStyle n}$. Die Entropie erreicht ein Extremum, wenn die Funktionsableitung ist gleich Null:

$oder }^{n} \ lambda _ {j} f_ {j} (x) = 0}$

Es ist eine Übung für den Leser, dass dieses Extremum in der Tat maximal ist. Daher muss die maximale Entropiewahrscheinlichkeitsverteilung in diesem Fall von der Form sein ((${\ displaystyle \ lambda _ {0}: = \ eta _ {0} -1}$))

$oder )} = \ exp \ links (\ sum _ {j = 0}^{n} \ lambda _ {j} f_ {j} (x) \ rechts) \ ;.}$

Der Beweis der diskreten Version ist im Wesentlichen gleich.

Einzigartigkeit des Maximums

Vermuten ${\ displayStyle p}$, ${\ displayStyle p '}$ sind Verteilungen, die die Erwartungsabstruktionen erfüllen. Vermeiden ${\ displaystyle \ alpha \ in (0,1)}$ und unter Berücksichtigung der Verteilung ${\ displayStyle q = \ alpha \ cdot p+(1- \ alpha) \ cdot p '}$ Es ist klar, dass diese Verteilung die Erwartungskonstruktionen erfüllt und außerdem die Unterstützung hat $oder$. Aus grundlegenden Fakten über Entropie enthält es das $oder$. Grenzen nehmen ${\ displaystyle \ alpha \ longrightarrow 1}$ und ${\ displaystyle \ alpha \ longrightarrow 0}$ ergibt sich jeweils $oder$.

Daraus folgt, dass eine Verteilung, die die Erwartungskonstruktionen erfüllt und die Entropie maximiert, notwendigerweise volle Unterstützung haben muss- ich. e. Die Verteilung ist fast überall positiv. Daraus folgt, dass die Maximierungsverteilung ein interner Punkt im Raum der Verteilungen sein muss, die die Erwartungskonstruktionen erfüllen, dh es muss ein lokales Extrem sein. Daher reicht es aus, zu zeigen, dass das lokale Extrem einzigartig ist, um zu zeigen, dass die Entropie-Maximierverteilung einzigartig ist (und dies zeigt auch, dass das lokale Extrem das globale Maximum ist).

Vermuten ${\ displayStyle p, p '}$ sind lokale Extreme. Umformulieren die obigen Berechnungen, die durch Parameter gekennzeichnet sind ${\ displaystyle {\ vec {\ lambda}}, {\ vec {\ lambda}} '\ in \ mathbb {r} ^{n}}$ über ${\ displayStyle p (x) = {\ frac {e^{\ Langle {\ vec {\ lambda}}, {\ vec {f}} (x) \ rangle} {c ({\ vec {\ lambda}}}}} })}}}$ und ähnlich für ${\ displayStyle p '}$, wo ${\ displayStyle c ({\ vec {\ lambda}}) = \ int _ {x \ in \ mathbb {r}} e^{\ Langle {\ vec {\ lambda}, {\ vec {f {f}} (} (} ( x) \ rangle} ~ dx}$. Wir bemerken nun eine Reihe von Identitäten: Durch die Zufriedenheit der Erwartungsabbau und die Verwendung von Gradienten/Richtungsderivaten hat man ${\ displayStyle d \ log (c (\ cdot)) \ vert _ {\ vec {\ lambda}} = \ links. {\ frac {dc (\ cdot)} {c (\ cdot)}} \ rechts | _ {\ vec {\ lambda}} = \ mathbb {e} _ {p} [{\ vec {f}} (x)] = {\ vec {a}}}$ und ähnlich für ${\ displayStyle {\ vec {\ lambda} '}$. Vermeiden $oder$ Man erhält:

${\ displayStyle 0 = \ Langle u, {\ vec {a}}-{\ vec {a}} \ rangle = d_ {u} \ log (c (\ cdot)) \ vert _ {{\ vec {\ lambda) }} '}-d_ {u} \ log (c (\ cdot)) \ vert _ {\ vec {\ lambda}} = d_ {u}^{2} \ log (\ cdot)) \ vert _ {\ vec {\ gamma}}}$

wo ${\ displaystyle {\ vec {\ gamma}} = \ theta {\ vec {\ lambda}}+(1- \ theta) {\ vec {\ lambda} '}$ für einige ${\ displayStyle \ theta \ in (0,1)}$. Berechnung weiter hat man hat

${\ displaystyle {\ begin {array} {rcl} 0 & = & d_ {u}^{2} \ log (c (\ cdot)) \ vert _ {\ vec {\ gamma} \\ & = & \ links. D_ {u} \ links ({\ frac {d_ {u} c (\ cdot)} {c (\ cdot)}} \ rechts) \ rechts | _ {\ vec {\ gamma} \\ & \ & \ links. {\ frac {d_ {u}^{2} c (\ cdot)} {c (\ cdot)}} \ rechts | _ {\ vec {\ gamma}}-\ links. {\ frac {(d_ {u} c (\ cdot))^{2}} {c (\ cdot)^{2}}} \ rechts | _ {\ vec {\ gamma}} \\ & = & \ mathbb {e} _ {{{{ q} [(\ Langle u, {\ vec {f}} (x) \ rangle)^{2}]-\ links (\ mathbb {e} _ {q} [\ Langle u, {\ vec {f} } (X) \ rangle] \ rechts)^{2} = \ mathrm {var} _ {q} (\ Langle u, {\ vec {f}} (x) \ Rangle) \\ Ende {Array}} }$

wo ${\ displayStyle q}$ ähnelt der obigen Verteilung, nur parametrisiert durch ${\ displaystyle {\ vec {\ gamma}}}$. Assuming dass keine nicht triviale lineare Kombination der Observablen fast überall (a.e.) konstant ist (was z.B. gilt, wenn die Observablen unabhängig sind und nicht A.E. konstant) das hält das ${\ displayStyle \ Langle u, {\ vec {f}} (x) \ rangle}$ hat Varianz ungleich Null, es sei denn ${\ displayStyle u = 0}$. Nach der obigen Gleichung ist daher klar, dass letzteres der Fall sein muss. Somit ${\ displaystyle {\ vec {\ lambda}} '-{\ vec {\ lambda}} = u = 0}$Also die Parameter, die die lokale Extrema charakterisieren ${\ displayStyle p, p '}$ sind identisch, was bedeutet, dass die Verteilungen selbst identisch sind. Somit ist das lokale Extrem einzigartig und nach der obigen Diskussion ist das Maximum einzigartig - ein lokales Extrem hat tatsächlich existiert.

Vorbehalte

Beachten Sie, dass nicht alle Verteilungsklassen eine maximale Entropieverteilung enthalten. Es ist möglich, dass eine Klasse Verteilungen von willkürlich großer Entropie enthält (z. B. die Klasse aller kontinuierlichen Verteilungen auf R mit Mittelwert 0, aber willkürlicher Standardabweichung) oder dass die Entropien oben begrenzt sind, es gibt jedoch keine Verteilung, die die maximale Entropie erreicht.^[a] Es ist auch möglich, dass die erwarteten Wertbeschränkungen für die Klasse C erzwingen die Wahrscheinlichkeitsverteilung in bestimmten Untergruppen von Null Null S. In diesem Fall gilt unser Satz nicht, aber man kann dies durch Schrumpfen des Sets bearbeiten S.

Beispiele

Jede Wahrscheinlichkeitsverteilung ist trivial eine maximale Wahrscheinlichkeitsverteilung der Entropie unter der Einschränkung, dass die Verteilung eine eigene Entropie hat. Um dies zu sehen, schreiben Sie die Dichte als um ${\ displayStyle p (x) = \ exp {(\ ln {p (x)})}}$ und vergleichen Sie mit dem Ausdruck des oben genannten Satzes. Durch Auswählen ${\ displayStyle \ ln {p (x)} \ rightarrow f (x)}$ die messbare Funktion sein und

${\ displayStyle \ int \ exp {(f (x))} f (x) dx = -h}$

die Konstante sein, ${\ displayStyle p (x)}$ ist die maximale Wahrscheinlichkeitsverteilung der Entropie unter der Einschränkung

${\ displayStyle \ int p (x) f (x) dx = -h}$.

Nichttriviale Beispiele sind Verteilungen, die mehreren Einschränkungen unterliegen, die sich von der Zuordnung der Entropie unterscheiden. Diese werden häufig durch Beginn des gleichen Verfahrens festgestellt ${\ displayStyle \ ln {p (x)} \ rightarrow f (x)}$ und das finden ${\ displayStyle f (x)}$ kann in Teile getrennt werden.

Eine Tabelle mit Beispielen für maximale Entropieverteilungen ist in Lisman (1972) angegeben ^[6] und Park & ​​Bera (2009)^[7]

Einheitliche und stückweise einheitliche Verteilungen

Das einheitliche Verteilung in der Pause [a,b] ist die maximale Entropieverteilung zwischen allen kontinuierlichen Verteilungen, die im Intervall unterstützt werden [a, b], und damit die Wahrscheinlichkeitsdichte ist 0 außerhalb des Intervalls. Diese einheitliche Dichte kann mit Laplace's zusammenhängen Prinzip der Gleichgültigkeit, manchmal als Prinzip der unzureichenden Vernunft bezeichnet. Allgemeiner, wenn wir eine Unterteilung erhalten a=a₀ < a₁ < ... < a_k = b des Intervalls [a,b] und Wahrscheinlichkeiten p₁, ...,p_k das ergibt einen, dann können wir die Klasse aller kontinuierlichen Verteilungen so betrachten, dass

$oder$

Die Dichte der maximalen Entropieverteilung für diese Klasse ist in jedem der Intervalle konstant [a_j-1,a_j). Die einheitliche Verteilung am endlichen Satz {x₁, ...,x_n} (was eine Wahrscheinlichkeit von 1/ zuweistn Für jeden dieser Werte) ist die maximale Entropieverteilung zwischen allen in diesem Satz unterstützten diskreten Verteilungen.

Positiver und spezifizierter Mittelwert: die Exponentialverteilung

Das Exponentialverteilung, für die die Dichtefunktion ist

$oder$

ist die maximale Entropieverteilung zwischen allen in [0, ∞) unterstützten kontinuierlichen Verteilungen, die einen bestimmten Mittelwert von 1/λ haben.

Angegebener Mittelwert und Varianz: Die Normalverteilung

Das Normalverteilung N (μ, σ²), für die die Dichtefunktion ist

${\displaystyle p(x|\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{ 2}} {2 \ sigma ^{2}}}},}$

hat maximale Entropie unter allen real-Valierte Verteilungen, die auf (−∞, ∞) mit einem angegebenen gestützt werden Varianz σ² (ein bestimmtes Moment). Daher führt die Annahme der Normalität die minimale vorherige strukturelle Einschränkung über diesen Moment hinaus. (Siehe Differentialentropie Artikel für eine Ableitung.)

Bei Verteilungen, die auf [0, ∞) gestützt werden, hängt die maximale Entropieverteilung von den Beziehungen zwischen den ersten und zweiten Momenten ab. In bestimmten Fällen kann es die Exponentialverteilung oder eine andere Verteilung sein oder nicht definierbar sein.^[8]

Diskrete Verteilungen mit dem angegebenen Mittelwert

Unter allen diskreten Verteilungen, die am Set unterstützt werden {x₁, ...,x_n} Mit einem angegebenen Mittelwert μ hat die maximale Entropieverteilung die folgende Form:

$oder$

wo die positiven Konstanten C und r kann durch die Anforderungen bestimmt werden, dass die Summe aller Wahrscheinlichkeiten 1 sein muss und der erwartete Wert μ sein muss.

Zum Beispiel, wenn eine große Zahl N von Würfel werden geworfen, und Ihnen wird gesagt, dass die Summe aller gezeigten Zahlen ist S. Was wäre eine vernünftige Annahme für die Anzahl der Würfel, die 1, 2, ..., 6 angemessen sind? Dies ist eine Instanz der oben genannten Situation mit {x₁, ...,x₆} = {1, ..., 6} und μ = S/N.

Schließlich unter allen diskreten Verteilungen, die am unendlichen Satz unterstützt werden ${\ displaystyle \ {x_ {1}, x_ {2}, ... \}}$ Mit mittlerer μ hat die maximale Entropieverteilung die Form:

$oder$

Wo wieder die Konstanten C und r wurden durch die Anforderungen bestimmt, dass die Summe aller Wahrscheinlichkeiten 1 sein muss und der erwartete Wert μ sein muss. Zum Beispiel für den Fall, dass x_k = k, das gibt

$oder$

so dass die jeweilige maximale Entropieverteilung die ist Geometrische Verteilung.

Kreislauf -Zufallsvariablen

Für eine kontinuierliche Zufallsvariable ${\ displaystyle \ theta _ {i}}$ über den Einheitskreis verteilt, die Von Mises Verteilung maximiert die Entropie, wenn die realen und imaginären Teile der ersten zirkulärer Moment sind angegeben^[9] oder gleichwertig die Rundmittelmittel und Kreisvarianz sind angegeben.

Wenn der Mittelwert und die Varianz der Winkel ${\ displaystyle \ theta _ {i}}$ Modulo ${\ displayStyle 2 \ pi}$ sind angegeben, die Verpackte Normalverteilung maximiert die Entropie.^[9]

Maximizer für den angegebenen Mittelwert, Varianz und Verschleierung

Es gibt eine Obergrenze für die Entropie kontinuierlicher Zufallsvariablen an ${\ displaystyle \ mathbb {r}}$ mit einem bestimmten Mittelwert, einer Varianz und einem Schräg. Es gibt jedoch Keine Verteilung, die diese Obergrenze erreicht, Weil $oder$ ist unbegrenzt wann ${\ displayStyle \ lambda _ {3} \ neq 0}$ (Siehe Cover & Thomas (2006: Kapitel 12)).

Die maximale Entropie ist jedoch ε-Abreitbar: Die Entropie einer Verteilung kann willkürlich nahe an der Obergrenze liegen. Beginnen Sie mit einer Normalverteilung des angegebenen Mittelwerts und der angegebenen Varianz. Um einen positiven Versatz vorzustellen, stören Sie die Normalverteilung um einen kleinen Betrag, der zu einem großen Wert viele σ größer als der Mittelwert. Die Schiefe, die proportional zum dritten Moment ist, wird mehr als die Momente niedrigerer Ordnung betroffen sein.

Dies ist ein Sonderfall des allgemeinen Fall x wird unbegrenzt sein ${\ displaystyle \ mathbb {r}}$. Zum Beispiel, ${\ displayStyle ce^{\ lambda x}}$ wird ebenfalls unbegrenzt sein ${\ displaystyle \ mathbb {r}}$, aber wenn die Unterstützung auf ein begrenztes oder halbgebundenes Intervall beschränkt ist, kann die obere Entropiegebundene erreicht werden (z. B. wenn x liegt in dem Intervall [0, ∞] und λ <0, das Exponentialverteilung wird resultieren).

Maximizer für das bestimmte mittlere und Abweichungsrisikomaß

Jede Verteilung mit Protokollkonkav Die Dichte ist eine maximale Entropieverteilung mit dem angegebenen Mittelwert μ und Abweichungsrisikomaß D.^[10]

Insbesondere die maximale Entropieverteilung mit dem angegebenen Mittelwert ${\ displayStyle e (x) = \ mu}$ und Abweichung ${\ displayStyle d (x) = d}$ ist:

• Das Normalverteilung ${\ displayStyle n (m, d^{2})}$, wenn ${\ displayStyle d (x) = {\ sqrt {e [(x- \ mu)^{2}]}}}$ ist der Standardabweichung;
• Das Laplace -Verteilung, wenn ${\ displayStyle d (x) = e (| x- \ mu |)}$ ist der durchschnittliche absolute Abweichung;^[6]
• Die Verteilung mit Dichte der Form ${\ displayStyle f (x) = c \ exp (ax+b {[x- \ mu] _ {-}}^{2})}$ wenn ${\ displayStyle d (x) = {\ sqrt {e [{(x- \ mu) _ {-}}^{2}]}}}$ ist der Standard niedrigere Halbbewertung, wo ${\ displayStyle [x] _ {-}: = \ max \ {0, -x \}}$, und ABC sind Konstanten.^[10]

Andere Beispiele

In der folgenden Tabelle maximiert jede aufgelistete Verteilung die Entropie für einen bestimmten Satz von funktionalen Einschränkungen, die in der dritten Spalte aufgeführt sind, und die Einschränkung, dass X in die Unterstützung der Wahrscheinlichkeitsdichte einbezogen wird, die in der vierten Spalte aufgeführt ist.^[6][7] Mehrere Beispiele (Bernoulli, Geometrische, exponentielle, Laplace, Pareto) sind trivial wahr, da ihre damit verbundenen Einschränkungen der Zuordnung ihrer Entropie entsprechen. Sie sind sowieso enthalten, weil ihre Einschränkung mit einer gemeinsamen oder leicht gemessenen Menge zusammenhängt. Als Referenz, $oder$ ist der Gamma -Funktion, $oder$ ist der Digamma -Funktion, ${\ displaystyle b (p, q) = {\ frac {\ gamma (p) \ gamma (q)} {\ gamma (p+q)}}}$ ist der Beta -Funktion, und γ_E ist der Euler-Mascheroni-Konstante.

Tabelle der Wahrscheinlichkeitsverteilungen und entsprechenden maximalen Entropiebeschränkungen

Verteilungsname	Wahrscheinlichkeitsdichte/Massenfunktion	Maximale Entropiebeschränkung	Die Unterstützung
Einheitlich (diskret)	${\ displayStyle f (k) = {\ frac {1} {b-a+1}}}$	Keiner	${\ displayStyle \ {a, a+1, ..., b-1, b \} \,}$
Einheitlich (kontinuierlich)	${\ displayStyle f (x) = {\ frac {1} {b-a}}}$	Keiner	${\ displayStyle [a, b] \,}$
Bernoulli	${\ displayStyle f (k) = p^{k} (1-p)^{1-k}}$	${\ displayStyle \ operatorname {e} (k) = p \,}$	${\ displayStyle \ {0,1 \} \,}$
Geometrisch	${\ displayStyle f (k) = (1-p)^{k-1} \, p}$	${\ displayStyle \ operatorname {e} (k) = {\ frac {1} {p}} \,}$	${\ displaystyle \ mathbb {n} \ setminus \ links \ {0 \ rechts \} = \ {1,2,3, ... \}}$
Exponentiell	${\ displayStyle f (x) = \ lambda \ exp \ links (-\ lambda x \ rechts)}$	${\ displaystyle \ operatorname {e} (x) = {\ frac {1} {\ lambda}} \,}$	${\ displayStyle [0, \ inty) \,},}$
Laplace	$oder$	${\ displayStyle \ operatorname {e} (| x- \ mu |) = b \,}$	${\ displayStyle (-\ inty, \ inty) \,}$
Asymmetrischer Laplace	${\ displayStyle f (x) = {\ frac {\ lambda \, e ^{-(x-m) \ lambda s \ kappa ^{s}}} {\ kappa +1/\ kappa} \ \, (S \! = \! \ operatorname {sgn} (x \!-\! m))}$	${\ displaystyle \ operatorname {e} ((x-m) s \ kappa ^{s}) = 1/\ lambda \,}$	${\ displayStyle (-\ inty, \ inty) \,}$
Pareto	$oder$	${\ displayStyle \ operatorname {e} (\ ln (x)) = {\ frac {1} {\ alpha}}+\ ln (x_ {m}) \,}$	${\ displayStyle [x_ {m}, \ Inty) \,}$
Normal	$oder } {2 \ sigma ^{2}}} \ rechts)}$	$oder$	${\ displayStyle (-\ inty, \ inty) \,}$
Normal abgeschnitten	(Siehe Artikel)	$oder {2}}$	${\ displayStyle [a, b]}$
von Mises	${\displaystyle f(\theta )={\frac {1}{2\pi I_{0}(\kappa )}}\exp {(\kappa \cos {(\theta -\mu )})}}$	$oder } (\ sin \ theta) = {\ frac {i_ {1} (\ kappa)} {i_ {0} (\ kappa)}} \ sin \ mu}$	${\ displayStyle [0,2 \ pi) \,},}$
Rayleigh	$oder Rechts)}$	$oder })-\ gamma _ {\ mathhrm {e}}} {2}} \,},}$	${\ displayStyle [0, \ inty) \,},}$
Beta	$oder$ zum ${\ displayStyle 0 \ leq x \ leq 1}$	${\ displayStyle \ operatorname {e} (\ ln (x)) = \ psi (\ alpha)-\ psi (\ alpha +\ beta) \,}$ ${\ displaystyle \ operatorname {e} (\ ln (1-x)) = \ psi (\ beta)-\ psi (\ alpha +\ beta) \,}$	${\ displayStyle [0,1] \,}$
Cauchy	${\ displayStyle f (x) = {\ frac {1} {\ pi (1+x^{2})}}}$	${\ displayStyle \ operatorname {e} (\ ln (1+x^{2})) = 2 \ ln 2}$	${\ displayStyle (-\ inty, \ inty) \,}$
Chi	$oder {2}} {2}} \ rechts)}$	$oder ({\ frac {k} {2}} \ rechts) \!+\! \ ln (2) \ rechts]}$	${\ displayStyle [0, \ inty) \,},}$
Chi-Quadrat	$oder } \ exp \ links (-{\ frac {x} {2}} \ rechts)}$	${\ displaystyle \ operatorname {e} (x) = k, \, \ operatorname {e} (\ ln (x)) = \ psi \ links ({\ frac {k} {2} \ rechts)+\ ln)+\ ln (2)}$	${\ displayStyle [0, \ inty) \,},}$
Erlang	$oder$	$oder$	${\ displayStyle [0, \ inty) \,},}$
Gamma	$oder }$	$oder$	${\ displayStyle [0, \ inty) \,},}$
Lognormal	$oder }} {2 \ sigma ^{2}}} \ rechts)}$	$oder$	${\ displayStyle (0, \ inty) \,},}$
Maxwell -Boltzmann	${\ displayStyle f (x) = {\ frac {1} {a^{3}}} {\ sqrt {\ frac {2} {\ pi}} \ \, x^{2} \ exp \ links (-------------------------------------------------------------- {\ frac {x^{2}} {2a^{2}} \ \ rechts)}$	${\ displaystyle \ operatorname {e} (x^{2}) = 3a^{2}, \, \ operatorname {e} (\ ln (x)) \! links ({\ frac {a} {\ sqrt {2}} \ \ rechts) \!-\! {\ frac {\ gamma _ {\ mathrm {e}} {2}}}}}$	${\ displayStyle [0, \ inty) \,},}$
Weibull	$oder {k}}} \ rechts)}$	${\ displaystyle \ operatorname {e} (x ^{k}) = \ lambda ^{k}, \ operatorname {e} (\ ln (x)) = \ ln (\ lambda)-{\ frac {\ gamma _ {\ mathhrm {e}}} {k}} \,}$	${\ displayStyle [0, \ inty) \,},}$
Multivariate normal	${\ displayStyle f_ {x} ({\ vec {x}}) =}$ ${\ displaystyle {\ frac {\ exp \ links (-{\ frac {1} {2}} ({\ vec {x}}-{\ vec {\ mu}}) ^{\ top} \ sigma -1} \ cdot ({\ vec {x}}-{\ vec {\ mu}}) \ rechts)} {(2 \ pi)^{n/2} \ links | \ sigma \ rechts |^{1 /2}}}}$	$oder }}) ({\ vec {x}}-{\ vec {\ mu}})^{t}) = \ sigma \,}$	${\ displaystyle \ mathbb {r} ^{n}}$
Binomial	${\ displayStyle f (k) = {n \ wählen K} p^{k} (1-p)^{n-k}}$	$oder$[11]	${\ displayStyle \ links \ {0, {\ ldots}, n \ rechts \}}$
Poisson	${\ displayStyle f (k) = {\ frac {\ lambda ^{k} \ exp (-\ lambda)} {k!}}}$	$oder$[11]	${\ displayStyle \ mathbb {n} = \ links \ {0,1, {\ ldots} \ rechts \}}$
Logistisch	${\ displayStyle f (x) = {\ frac {e^{-x}} {(1+e^{-x})^{2}}}}$	${\ displayStyle \ operatorname {e} (x) = 0, \ operatorname {e} (\ ln (1+e^{-x})) = 1}$	$oder$

Das maximale Entropieprinzip kann verwendet werden, um die Entropie statistischer Gemische zu begrenzen.^[12]

Siehe auch

• Exponentielle Familie
• Gibbs messen
• Partitionsfunktion (Mathematik)
• Maximaler Entropie -Zufalls Walk - Maximierung der Entropierate für eine Grafik

Anmerkungen

Zitate

Verweise

• Cover, T. M.; Thomas, J. A. (2006). "Kapitel 12, maximale Entropie" (PDF). Elemente der Informationstheorie (2 ed.). Wiley. ISBN 978-0471241959.
• F. Nielsen, R. Nock (2017), Maxent Obergrenzen für die differentielle Entropie der univariaten kontinuierlichen Verteilungen, IEEE-Signalverarbeitungsbuchstaben, 24 (4), 402-406
• I. J. Taneja (2001), Verallgemeinerte Informationsmaßnahmen und ihre Anwendungen. Kapitel 1
• Nader Ebrahimi, Ehsan S. Soofi, Refik Soyer (2008), "Multivariate maximale Entropieidentifikation, Transformation und Abhängigkeit", Journal of Multivariate Analysis 99: 1217–1231, doi:10.1016/j.jmva.2007.08.004