Kreuzvalidierung (Statistik)

Vergleich der Kreuzvalidierungsgenauigkeit und des Prozentsatzes der falsch negativen (Überschätzung) von fünf Klassifizierungsmodellen. Die Größe der Blasen repräsentiert die Standardabweichung der Kreuzvalidationsgenauigkeit (zehnfach).^[1]

Diagramm der k-fachen Kreuzvalidierung.

Kreuzvalidierung,^[2][3][4] manchmal genannt Rotationsschätzung^[5][6][7] oder Tests außerhalb der Stichprobeist eine von verschiedenen ähnlichen ähnlich Modell Bestätigung Techniken zur Bewertung der Ergebnisse von a statistisch Analyse wird verallgemeinern zu einem unabhängigen Datensatz. Kreuzvalidierung ist a Resampling Methode, die verschiedene Teile der Daten verwendet, um ein Modell auf verschiedenen Iterationen zu testen und zu trainieren. Es wird hauptsächlich in Einstellungen verwendet, in denen das Ziel Vorhersage ist, und man möchte schätzen, wie genau a Prädiktivmodell wird in der Praxis auftreten. In einem Vorhersageproblem erhält ein Modell normalerweise ein Datensatz von Bekannte Daten auf welchem ​​Training wird ausgeführt (Trainingsdatensatz) und ein Datensatz von Unbekannte Daten (oder Zum ersten Mal gesehen Daten), gegen die das Modell getestet wird (genannt die Validierungsdatensatz oder Testset).^[8][9] Das Ziel der Kreuzvalidierung ist es, die Fähigkeit des Modells zu testen, neue Daten vorherzusagen, die bei der Schätzung nicht verwendet wurden, um Probleme wie wie Überanpassung oder Auswahlverzerrung^[10] und um einen Einblick zu geben, wie das Modell auf einen unabhängigen Datensatz verallgemeinert wird (d. H. Einem unbekannten Datensatz, beispielsweise aus einem echten Problem).

Eine Runde der Kreuzvalidierung beinhaltet Partitionierung a Probe von Daten hinein komplementär Untergruppen, die die Analyse auf einer Teilmenge durchführen (genannt die Trainingsset) und Validierung der Analyse in der anderen Teilmenge (genannt die Validierungssatz oder Testset). Reduzieren VariabilitätIn den meisten Methoden werden mehrere Runden der Kreuzvalidierung unter Verwendung verschiedener Partitionen durchgeführt, und die Validierungsergebnisse werden über die Runden kombiniert (z. B. gemittelt), um eine Schätzung der Vorhersageleistung des Modells zu ergeben.

Zusammenfassend lässt sich die Quervalidierung (Durchschnittswerte) Maßnahmen von kombinieren Fitness In Vorhersage, eine genauere Schätzung der Modellvorhersageleistung abzuleiten.^[11]

Motivation

Annehmen a Modell mit einem oder mehreren unbekannt Parameterund ein Datensatz, zu dem das Modell angepasst werden kann (der Trainingsdatensatz). Der Anpassungsvorgang optimiert Die Modellparameter, um das Modell so gut wie möglich zu machen. Wenn ein unabhängig Die Probe von Validierungsdaten stammt aus demselben Population Als Trainingsdaten stellt sich im Allgemeinen heraus, dass das Modell nicht den Validierungsdaten entspricht, wie es zu den Trainingsdaten passt. Die Größe dieses Unterschieds ist wahrscheinlich groß, insbesondere wenn die Größe des Trainingsdatensatzes klein ist oder wenn die Anzahl der Parameter im Modell groß ist. Kreuzvalidierung ist eine Möglichkeit, die Größe dieses Effekts abzuschätzen.

In der linearen Regression gibt es real Antwortwerte y₁, ..., y_n, und n p-Dimensional Vektor Kovariaten x₁, ..., x_n. Die Komponenten des Vektors x_i sind bezeichnet x_i1, ..., x_IP. Wenn kleinsten Quadrate wird verwendet, um eine Funktion in Form von a zu passen Hyperebene ŷ = a + β^Tx zu den Daten (x_i, y_i)_{1 ≤i≤n}und dann kann die Passform mit dem bewertet werden mittlere quadratische Fehler (MSE). Die MSE für gegebene geschätzte Parameterwerte a und β auf dem Trainingssatz (x_i, y_i)_{1 ≤i≤n} ist definiert als:

$oder y}} _ {i})^{2} = {\ frac {1} {n}} \ sum _ {i = 1}^{n} (y_ {i} -a-{\ boldsymbol {\ beta} }^{T} \ mathbf {x} _ {i})^{2} \\ & = {\ frac {1} {n}} \ sum _ {i = 1}^{n} (y_ {i} -a-\ beta _ {1} x_ {i1}-\ dots-\ beta _ {p} x_ {ip})^{2} \ end {aligned}}}}}}})$

Wenn das Modell korrekt angegeben ist, kann es unter leichten Annahmen angezeigt werden, dass die erwarteter Wert der MSE für das Trainingssatz ist ((n-p- 1)/(n+p+1) <1 -mal der erwartete Wert der MSE für den Validierungssatz^{[12][irrelevantes Zitat]} (Der erwartete Wert wird die Verteilung der Trainingssätze übernommen). Somit führt ein montiertes Modell und ein berechnetes MSE am Trainingssatz zu einem optimistisch voreingenommen Bewertung, wie gut das Modell zu einem unabhängigen Datensatz passt. Diese voreingenommene Schätzung wird als die genannt In-Stichprobe Schätzung der Anpassung, während die Kreuzvalidierungsschätzung eine ist außerhalb der Stichprobe schätzen.

Da es in der linearen Regression den Faktor direkt berechnet (n-p- 1)/(n+p+1) durch das die Trainings-MSE die Validierungs-MSE unter der Annahme unterschätzt, dass die Modellspezifikation gültig ist, kann eine Kreuzvalidierung verwendet werden übernommenIn diesem Fall wird die MSE im Validierungssatz ihren erwarteten Wert erheblich überschreiten. (Kreuzvalidierung im Kontext der linearen Regression ist auch dadurch nützlich, als sie ein optimales auswählen kann reguliert Kostenfunktion.) In den meisten anderen Regressionsverfahren (z. logistische Regression) Es gibt keine einfache Formel, um die erwartete Anpassung außerhalb der Stichprobe zu berechnen. Die Kreuzvalidierung ist daher eine allgemein anwendbare Möglichkeit, die Leistung eines Modells für nicht verfügbare Daten unter Verwendung der numerischen Berechnung anstelle der theoretischen Analyse vorherzusagen.

Typen

Zwei Arten von Kreuzvalidierung können unterschieden werden: erschöpfende und nicht exexhustive Kreuzvalidierung.

Erschöpfende Kreuzvalidierung

Variante Kreuzvalidationsmethoden sind Kreuzvalidationsmethoden, die auf alle möglichen Möglichkeiten lernen und testen, um die ursprüngliche Stichprobe in ein Training und einen Validierungssatz zu unterteilen.

Quervalidierung von Urlaub

Verlassen-p-Out Kreuzvalidierung (LPO CV) beinhaltet die Verwendung p Beobachtungen als Validierungssatz und die verbleibenden Beobachtungen als Trainingssatz. Dies wird auf allen Möglichkeiten wiederholt, das ursprüngliche Beispiel für einen Validierungssatz von zu schneiden p Beobachtungen und ein Trainingssatz.^[13]

LPO-Kreuzvalidierung erfordern das Training und die Validierung des Modells ${\ displayStyle c_ {p}^{n}}$ mal, wo n ist die Anzahl der Beobachtungen in der ursprünglichen Stichprobe und wo ${\ displayStyle c_ {p}^{n}}$ ist der Binomialkoeffizient. Zum p > 1 und für noch mäßig groß n, LPO CV kann rechnerisch nicht realisierbar werden. Zum Beispiel mit n = 100 und p = 30, ${\ displaystyle c_ {30}^{100} \ ca. 3 \ Times 10^{25}.}$

Eine Variante der LPO-Kreuzvalidierung mit P = 2, die als Quervalidierung von Leave-Pair-out bekannt ist ROC -Kurve von binären Klassifikatoren.^[14]

Urlaubsvalidierung

Illustration von Leave-One-Out Cross-Validation (LOOCV) bei n = 8 Beobachtungen. Insgesamt 8 Modelle werden trainiert und getestet.

Verlassen-eines-Out Kreuzvalidierung (Loocv) ist ein besonderer Fall von Urlaubp-Out Kreuzvalidierung mit p= 1.Der Prozess sieht ähnlich aus wie Klappmesser; Bei der Kreuzvalidierung berechnet man jedoch eine Statistik auf den ausgelassenen Stichproben, während man mit Jackknife eine Statistik nur aus den gehaltenen Proben berechnet.

LOO-Kreuzvalidierung erfordert weniger Berechnungszeit als die LPO-Kreuzvalidierung, da es nur gibt ${\ displayStyle c_ {1}^{n} = n}$ vergeht eher als ${\ displayStyle c_ {p}^{n}}$. Jedoch, ${\ displayStyle n}$ Pässe erfordern möglicherweise immer noch eine große Rechenzeit. In diesem Fall können andere Ansätze wie die k-fache Kreuzvalidierung angemessener sein.^[15]

Pseudo-Code-Algorithmus:

Eingang:

x, {Vektor der Länge n mit x-Werten eingehenden Punkten}

y, {Vektor der Länge n mit Y-Werten des erwarteten Ergebniss}}

Interpolat (x_in, y_in, x_out), {gibt die Schätzung für Punkt X_Out zurück, nachdem das Modell mit x_in-y_in-Paaren trainiert wurde}}

Ausgabe:

Err, {Schätzung für den Vorhersagefehler}

Schritte:

 Err ← 0 für i ← 1, ..., n do // Definieren Sie die Quervalidierungsuntersets x_in ← (x [1], ..., x [i-1], x [i + 1], .. ., x [n]) y_in ← (y [1], ..., y [i - 1], y [i + 1], ..., y [n]) x_out ← x [i] y_out ← Interpolat (x_in, y_in, x_out) err ← err + (y [i] - y_out)^2 Ende für err ← er/n

Nicht-exponierende Kreuzvalidierung

Nicht exexhastive Kreuzvalidierungsmethoden berechnen nicht alle Möglichkeiten, die ursprüngliche Probe aufzuteilen. Diese Methoden sind Annäherungen an Urlaub.p-Out Kreuzvalidierung.

k-Fach Kreuzvalidierung

Illustration der k-fachen Kreuzvalidierung Wenn n = 12 Beobachtungen und k = 3. Nachdem die Daten gemischt sind, werden insgesamt 3 Modelle trainiert und getestet.

Im k-Faches Kreuzvalidieren wird die ursprüngliche Stichprobe zufällig aufgeteilt in k Unterproben gleicher Größe. Des k Teilproben, eine einzelne Teilstichprobe wird als Validierungsdaten für das Testen des Modells und das verbleibende beibehalten k- 1 Teilproben werden als Trainingsdaten verwendet. Der Kreuzvalidierungsprozess wird dann wiederholt k mal mit jedem der k Teilproben, die genau einmal als Validierungsdaten verwendet wurden. Das k Die Ergebnisse können dann gemittelt werden, um eine einzige Schätzung zu erzeugen. Der Vorteil dieser Methode gegenüber der wiederholten zufälligen Unterabtastung (siehe unten) besteht darin, dass alle Beobachtungen sowohl für das Training als auch für die Validierung verwendet werden und jede Beobachtung genau einmal zur Validierung verwendet wird. 10-fache Kreuzvalidierung wird üblicherweise verwendet,^[16] aber im Allgemeinen k bleibt ein nicht fixierter Parameter.

Zum Beispiel Einstellung k=2 führt zu einer 2-fachen Kreuzvalidierung. In der 2-fachen Kreuzvalidierung mischen wir den Datensatz zufällig in zwei Sätze d₀ und d₁so dass beide Sätze gleich groß sind (dies wird normalerweise durch Mischen des Datenarrays implementiert und dann in zwei Teile aufgeteilt). Wir trainieren dann weiter d₀ und validieren d₁, gefolgt von Training auf d₁ und validieren aufd₀.

Wann k=n (die Anzahl der Beobachtungen), k-Falte Kreuzvalidierung entspricht der Quervalidierung von Leave-One-Out.^[17]

Im geschichtet k-Falt Kreuzvalidierung werden die Partitionen ausgewählt, so dass der mittlere Antwortwert in allen Partitionen ungefähr gleich ist. Bei der binären Klassifizierung bedeutet dies, dass jede Partition ungefähr die gleichen Anteile der beiden Arten von Klassenbezeichnungen enthält.

Im wiederholt Kreuzvalidierung Die Daten werden nach dem Zufallsprinzip aufgeteilt in k Partitionen mehrmals. Die Leistung des Modells kann dadurch über mehrere Läufe gemittelt werden, dies ist jedoch in der Praxis selten wünschenswert.^[18]

Holdout -Methode

In der Holdout -Methode weisen wir zwei Sets zufällig Datenpunkte zu d₀ und d₁, normalerweise als Trainingssatz bzw. der Testsatz bezeichnet. Die Größe der einzelnen Sätze ist willkürlich, obwohl der Testsatz typischerweise kleiner als der Trainingssatz ist. Wir trainieren dann (bauen ein Modell) auf d₀ und testen (bewerten seine Leistung) auf d₁.

Bei typischer Kreuzvalidierung werden die Ergebnisse mehrerer Läufe von Modelltests zusammen gemittelt. Im Gegensatz dazu beinhaltet die Holdout -Methode isoliert einen einzelnen Lauf. Es sollte mit Vorsicht verwendet werden, da man ohne eine Durchschnittszahlung mehrerer Läufe sehr irreführende Ergebnisse erzielen kann. Der eigene Indikator für die Vorhersagegenauigkeit (F^*) neigt dazu, instabil zu sein, da es nicht durch mehrere Iterationen geglättet wird (siehe unten). In ähnlicher Weise werden Indikatoren für die spezifische Rolle verschiedener Prädiktorvariablen (z. B. Werte von Regressionskoeffizienten) tendenziell instabil.

Während die Holdout-Methode als "die einfachste Art von Kreuzvalidierung" eingestuft werden kann, kann^[19] Viele Quellen klassifizieren Holdout stattdessen als eine Art einfacher Validierung und nicht als einfache oder degenerierte Form der Kreuzvalidierung.^[6][20]

Wiederholte zufällige Unterabtastung Validierung

Diese Methode, auch bekannt als Monte Carlo Kreuzvalidierung,^[21] Erstellt mehrere zufällige Spaltungen des Datensatzes in Trainings- und Validierungsdaten.^[22] Für jeden solchen Split ist das Modell an die Trainingsdaten geeignet, und die Vorhersagegenauigkeit wird anhand der Validierungsdaten bewertet. Die Ergebnisse werden dann über die Spaltungen gemittelt. Der Vorteil dieser Methode (über k-Fold Cross Validierung) ist, dass der Anteil der Schulungs-/Validierungsaufteilung nicht von der Anzahl der Iterationen abhängt (d. H. Der Anzahl der Partitionen). Der Nachteil dieser Methode besteht darin, dass einige Beobachtungen in der Validierungs -Teilstichprobe niemals ausgewählt werden dürfen, während andere mehr als einmal ausgewählt werden können. Mit anderen Worten, Validierungsuntergruppen können sich überschneiden. Diese Methode zeigt auch Monte Carlo Variation, was bedeutet, dass die Ergebnisse variieren, wenn die Analyse mit unterschiedlichen zufälligen Spaltungen wiederholt wird.

Wenn sich die Anzahl der zufälligen Spaltungen unendlich nähert, nähert sich das Ergebnis einer wiederholten zufälligen Unterabtastung zu der der Quervalidierung des Urlaubs.

In einer geschichteten Variante dieses Ansatzes werden die zufälligen Stichproben so erzeugt, dass der mittlere Antwortwert (d. H. Die abhängige Variable in der Regression) in den Trainings- und Testsätzen gleich ist. Dies ist besonders nützlich, wenn die Antworten sind dichotom mit einer unausgeglichenen Darstellung der beiden Antwortwerte in den Daten.

Eine Methode, die wiederholte zufällige Unterabtastung anwendet, ist Ransac.^[23]

Verschachtelte Kreuzvalidierung

Wenn eine Kreuzvalidierung gleichzeitig zur Auswahl des besten Satzes von verwendet wird Hyperparameter und zur Fehlerschätzung (und Bewertung der Verallgemeinerungskapazität) ist eine verschachtelte Kreuzvalidierung erforderlich. Es gibt viele Varianten. Mindestens zwei Varianten können unterschieden werden:

k*l-fach Kreuzvalidierung

Dies ist eine wirklich verschachtelte Variante, die eine äußere Schleife von enthält k Sets und eine innere Schleife von l Sets. Der Gesamtdatensatz wird in Aufteilte in die Aufteilung k Sets. Einer nach dem anderen wird ein Satz als (äußerer) Testsatz und der ausgewählt k-1 andere Sätze werden in den entsprechenden äußeren Trainingssatz kombiniert. Dies wird für jedes der von jeweils wiederholt k Sets. Jedes äußere Trainingssatz wird weiter unterteilt in l Sets. Einer nach dem anderen wird ein Satz als innerer Test (Validierung) ausgewählt und der l-1 andere Sätze werden in den entsprechenden inneren Trainingssatz kombiniert. Dies wird für jedes der von jeweils wiederholt l Sets. Die inneren Trainingssätze werden verwendet, um Modellparameter anzupassen, während der äußere Testsatz als Validierungssatz verwendet wird, um eine unvoreingenommene Bewertung der Modellanpassung bereitzustellen. In der Regel wird dies für viele verschiedene Hyperparameter (oder sogar verschiedene Modelltypen) wiederholt, und der Validierungssatz wird verwendet, um den besten Hyperparametersatz (und den Modelltyp) für diesen inneren Trainingssatz zu bestimmen. Danach ist ein neues Modell auf das gesamte äußere Trainingssatz geeignet, wobei die besten Hyperparameter aus der inneren Kreuzvalidierung verwendet werden. Die Leistung dieses Modells wird dann unter Verwendung des äußeren Testsatzes bewertet.

k-fach Kreuzvalidierung mit Validierung und Testsatz

Dies ist eine Art von K*l-fach Kreuzvalidierung, wenn l=k-1. Mit beiden wird eine einzelne k-fache Kreuzvalidierung verwendet Validierung und Testsatz. Der Gesamtdatensatz wird in Aufteilte in die Aufteilung k Sets. Ein Set wird nacheinander als Testsatz ausgewählt. Dann wird ein einzelner der verbleibenden Sätze als Validierungssatz und der andere verwendet k-2 Sätze werden als Trainingssätze verwendet, bis alle möglichen Kombinationen bewertet wurden. Ähnlich wie bei der K*l-FALD-Quervalidierung wird der Trainingssatz für die Modellanpassung verwendet und der Validierungssatz für die Modellbewertung für jedes der Hyperparameter-Sets verwendet. Schließlich wird für den ausgewählten Parametersatz der Testsatz verwendet, um das Modell mit dem besten Parametersatz zu bewerten. Hier sind zwei Varianten möglich: Entweder bewerten das Modell, das am Trainingssatz trainiert wurde, oder die Bewertung eines neuen Modells, das in die Kombination des Zuges und des Validierungssatzes geeignet war.

Anpassungsmaßnahmen

Das Ziel der Kreuzvalidierung ist es, die erwartete Anpassung eines Modells eines Modells an einen Datensatz abzuschätzen, der unabhängig von den Daten ist, die zum Training des Modells verwendet wurden. Es kann verwendet werden, um ein quantitatives Maß für die Anpassung abzuschätzen, das für Daten und Modell geeignet ist. Zum Beispiel für Binärklassifizierung Probleme, jeder Fall im Validierungssatz wird entweder korrekt oder falsch vorhergesagt. In dieser Situation kann die Fehlerklassifizierungsfehlerrate verwendet werden, um die Anpassung zusammenzufassen, obwohl andere Maßnahmen wie positiv vorhergesagter Wert könnte auch verwendet werden. Wenn der vorhergesagte Wert kontinuierlich verteilt ist, die mittlere quadratische Fehler, Root Mean Squared Fehler oder mittlere absolute Abweichung könnte verwendet werden, um die Fehler zusammenzufassen.

Verwenden früherer Informationen

Wenn Benutzer eine Kreuzvalidierung anwenden, um eine gute Konfiguration auszuwählen ${\ displayStyle \ lambda}$Dann möchten sie vielleicht die quervalidierte Wahl mit ihrer eigenen Schätzung der Konfiguration ausgleichen. Auf diese Weise können sie versuchen, der Volatilität der Kreuzvalidierung entgegenzuwirken, wenn die Stichprobengröße gering ist, und relevante Informationen aus früheren Untersuchungen einzubeziehen. In einer Prognosekombinationspraxis kann beispielsweise eine Kreuzvalidierung angewendet werden, um die Gewichte zu schätzen, die jeder Prognose zugeordnet sind. Da eine einfache prognostizierte Prognose schwer zu übertreffen ist, kann eine Strafe für Abweichungen von gleichen Gewichten hinzugefügt werden.^[24] Oder wenn eine Kreuzvalidierung angewendet wird, um Beobachtungen einzelne Gewichte zuzuweisen, kann man Abweichungen von gleichen Gewichten bestrafen, um potenziell relevante Informationen zu vermeiden.^[24] Hoornweg (2018) zeigt, wie ein Tuning -Parameter ${\ displayStyle \ gamma}$ kann definiert werden, damit ein Benutzer intuitiv zwischen der Genauigkeit der Kreuzvalidierung und der Einfachheit des Festhaltens an einen Referenzparameter ausgleichen kann ${\ displaystyle \ lambda _ {r}}$ Das wird vom Benutzer definiert.

Wenn ${\ displaystyle \ lambda _ {i}}$ bezeichnet die ${\ displayStyle i^{th}}$ Kandidatenkonfiguration, die möglicherweise ausgewählt werden, dann die verlustfunktion Das ist minimiert zu werden kann definiert werden als

$oder$

Die relative Genauigkeit kann als quantifiziert werden $oder$, damit der mittlere quadratische Fehler eines Kandidaten ${\ displaystyle \ lambda _ {i}}$ wird relativ zu dem eines benutzerdefinierten ${\ displaystyle \ lambda _ {r}}$. Der relative Einfachheitsterm misst den Betrag, den ${\ displaystyle \ lambda _ {i}}$ Abweicht von ${\ displaystyle \ lambda _ {r}}$ relativ zu der maximalen Abweichung von ${\ displaystyle \ lambda _ {r}}$. Dementsprechend kann relative Einfachheit als angegeben werden als ${\ displaystyle {\ frac {(\ lambda _ {i}-\ lambda _ {r})^{2}} {(\ lambda _ {\ max}}}}}}}} {{{r})^{2}}}}}}} }$, wo ${\ displaystyle \ lambda _ {\ max}}$ entspricht dem ${\ displayStyle \ lambda}$ Wert mit der höchsten zulässigen Abweichung von ${\ displaystyle \ lambda _ {r}}$. Mit ${\ displaystyle \ gamma \ in [0,1]}$Der Benutzer bestimmt, wie hoch der Einfluss des Referenzparameters relativ zur Kreuzvalidierung ist.

Man kann relative Einfachheitsterme für mehrere Konfigurationen hinzufügen ${\ displayStyle c = 1,2, ..., c}$ durch Angabe der Verlustfunktion als

$oder 1- \ gamma _ {c}}} {\ mbox {relative Einfachheit}} _ {i, c}.}$

Hoornweg (2018) zeigt, dass eine Verlustfunktion mit einem solchen Kompromiss der Genauigkeits-Gleichmäßigkeit auch verwendet werden kann, um intuitiv zu definieren Schrumpfungsschätzer wie das (adaptive) Lasso und Bayesian / Ridge Regression.^[24] Klick auf das Lasso zum Beispiel.

Statistische Eigenschaften

Angenommen, wir wählen ein Maß an Anpassung Fund verwenden Sie Kreuzvalidierung, um eine Schätzung zu erzeugen F^* der erwarteten Passform EF eines Modells zu einem unabhängigen Datensatz aus derselben Population wie die Trainingsdaten. Wenn wir uns vorstellen, mehrere unabhängige Trainingssätze nach derselben Verteilung zu probieren, die resultierenden Werte für F^* wird variieren. Die statistischen Eigenschaften von F^* Ergebnis aus dieser Variation.

Der Kreuzvalidierungsschätzer F^* ist fast unvoreingenommen für EF.^[25] Der Grund, warum es geringfügig verzerrt ist n- 1, wenn es gibt n Beobachtete Fälle). In fast allen Situationen wird die Auswirkung dieser Verzerrung insofern konservativ sein, als die geschätzte Anpassung in der Richtung leicht verzerrt wird, was auf eine schlechtere Passform hinweist. In der Praxis ist diese Voreingenommenheit selten ein Problem.

Die Varianz von F^* kann groß sein.^[26][27] Wenn aus diesem Grund zwei statistische Verfahren auf der Grundlage der Ergebnisse der Kreuzvalidierung verglichen werden, ist das Verfahren mit der besser geschätzten Leistung möglicherweise nicht das Bessere der beiden Verfahren (d. H. Es hat möglicherweise nicht den besseren Wert von EF). Es wurden einige Fortschritte beim Konstruktion erzielt Vertrauensintervalle rund um Kreuzvalidierungsschätzungen,^[26] Dies wird jedoch als schwieriges Problem angesehen.

Rechenprobleme

Die meisten Formen der Kreuzvalidierung sind unkompliziert, solange eine Implementierung der untersuchten Vorhersagemethode verfügbar ist. Insbesondere die Vorhersagemethode kann eine "schwarze Box" sein - es besteht kein Zugang zu den Interna ihrer Implementierung. Wenn die Vorhersagemethode teuer ist zu trainieren, kann die Kreuzvalidierung sehr langsam sein, da das Training wiederholt durchgeführt werden muss. In einigen Fällen wie z. kleinsten Quadrate und Kernelregression, Kreuzvalidierung kann erheblich beschleunigt werden, indem bestimmte Werte vorbereitet werden, die wiederholt im Training benötigt werden, oder durch die Verwendung schneller "Aktualisierungsregeln" wie die Sherman -Morrison -Formel. Man muss jedoch darauf achten, die "totale Blendung" des Validierungssatzes aus dem Trainingsverfahren zu bewahren, andernfalls kann sich eine Verzerrung ergeben. Ein extremes Beispiel für die Beschleunigung der Kreuzvalidierung tritt in auf lineare Regression, wo die Ergebnisse der Kreuzvalidierung a haben Expression geschlossene Form bekannt als Vorhersage Restfehlersumme der Quadrate (DRÜCKEN SIE).

Einschränkungen und Missbrauch

Die Kreuzvalidierung liefert nur sinnvolle Ergebnisse, wenn der Validierungssatz und das Trainingssatz aus derselben Bevölkerung stammen und nur dann, wenn menschliche Verzerrungen kontrolliert werden.

In vielen Anwendungen der prädiktiven Modellierung entwickelt sich die Struktur des untersuchten Systems im Laufe der Zeit (d. H. Es ist "nicht stationär"). Beide können systematische Unterschiede zwischen den Trainings- und Validierungssätzen führen. Zum Beispiel, wenn ein Modell für Vorhersage von Aktienwerten Es wird für einen bestimmten Zeitraum von fünf Jahren auf Daten geschult, und es ist unrealistisch, den nachfolgenden fünfjährigen Zeitraum als Unentschieden aus derselben Bevölkerung zu behandeln. Angenommen, ein Modell wird entwickelt, um das Seinsrisiko eines Individuums vorherzusagen diagnostiziert mit einer bestimmten Krankheit innerhalb des nächsten Jahres. Wenn das Modell unter Verwendung von Daten aus einer Studie, an der nur eine bestimmte Bevölkerungsgruppe (z. B. junge Menschen oder Männer) beteiligt ist, trainiert wird, dann jedoch auf die allgemeine Bevölkerung angewendet wird, kann sich die Quervalidierung aus dem Trainingssatz stark von der tatsächlichen Vorhersageleistung unterscheiden .

In vielen Anwendungen können Modelle auch fälschlicherweise angegeben und in Abhängigkeit von Modelliererverzerrungen und/oder willkürlichen Auswahlmöglichkeiten variieren. In diesem Fall kann es eine Illusion geben, dass sich das System in externen Proben ändert, während der Grund dafür ist, dass das Modell einen kritischen Prädiktor übersehen hat und/oder einen verwirrten Prädiktor enthält. Neue Beweise sind, dass die Kreuzvalidierung an sich nicht sehr vorhersehbar für die externe Validität ist, während eine Form der experimentellen Validierung, die als Swap-Stichproben bekannt ist, die die Kontrolle über die menschliche Verzerrung bezeichnet, die externe Gültigkeit viel vorhersehbarer sein kann.^[28] Wie durch diese große MAQC-II-Studie in 30.000 Modellen definiert, enthält die Swap-Stichproben eine Kreuzvalidierung in dem Sinne, dass Vorhersagen in unabhängigen Trainings- und Validierungsproben getestet werden. Modelle werden jedoch auch in diesen unabhängigen Proben und von Modellierern entwickelt, die miteinander geblendet sind. Wenn in diesen Modellen, die in diesen ausgetauschten Trainings- und Validierungsproben in diesen Modellen entwickelt wurden, wie häufig vorkommt, zeigt MAQC-II, dass dies für eine schlechte externe Vorhersagevalidität viel vorhersehbarer ist als die herkömmliche Kreuzvalidierung.

Der Grund für den Erfolg der ausgetauschten Probenahme ist eine eingebaute Kontrolle für menschliche Verzerrungen im Modellgebäude. Zusätzlich zu den Vorhersagen, die zwischen Modellierern variieren und aufgrund dieser verwirrenden Modellierereffekte zu einer schlechten externen Gültigkeit führen können, sind dies einige andere Möglichkeiten, wie die Kreuzvalidierung missbraucht werden kann:

• Durch die Durchführung einer ersten Analyse, um die informativste zu identifizieren Merkmale Verwenden des gesamten Datensatzes - Wenn durch den Modellierungsverfahren eine Funktionsauswahl oder Modellabstimmung erforderlich ist, muss dies bei jedem Trainingssatz wiederholt werden. Andernfalls werden Vorhersagen sicherlich voreingenommen.^[29] Wenn eine Kreuzvalidierung verwendet wird, um zu entscheiden, welche Funktionen verwendet werden sollen, und eine innere Kreuzvalidierung Um die Feature -Auswahl an jedem Trainingsset durchzuführen, muss durchgeführt werden.^[30]
• Indem einige der Trainingsdaten auch in den Testsatz aufgenommen werden, kann dies aufgrund der "Zwillingsung" im Datensatz geschehen, wobei im Datensatz einige genau identische oder nahezu identische Stichproben vorhanden sind. In gewissem Maße findet das Twinning auch in perfekt unabhängigen Trainings- und Validierungsproben statt. Dies liegt daran, dass einige der Trainingsprobenbeobachtungen nahezu identische Werte von Prädiktoren als Validierungsstichprobenbeobachtungen aufweisen. Und einige davon werden mit einem Ziel in besserer Richtung und der Validierung mit einem Ziel in die gleiche Richtung korrelieren, wenn sie tatsächlich von verwirrten Prädiktoren mit schlechter externer Gültigkeit angetrieben werden. Wenn ein solches quervalidiertes Modell aus einem ausgewählt wird k-Fach Set, Mensch Bestätigungsverzerrung wird am Werk sein und bestimmen, dass ein solches Modell validiert wurde. Aus diesem Grund muss die traditionelle Kreuzvalidierung durch Kontrollpersonen für menschliche Verzerrungen und verwirrte Modellspezifikation wie Tauschprobenahme und prospektive Studien ergänzt werden.

Kreuzvalidierung für Zeitreihenmodelle

Da die Reihenfolge der Daten wichtig ist, kann die Kreuzvalidierung problematisch sein Zeitfolgen Modelle. Ein angemessenerer Ansatz könnte darin bestehen, die Quervalidierung zu verwenden.^[31]

Wenn jedoch die Leistung von einer einzigen beschrieben wird ZusammenfassungsstatistikEs ist möglich, dass der von Politis und Romano als beschriebene Ansatz als Stationäre Bootstrap^[32] wird funktionieren. Die Statistik des Bootstrap muss ein Intervall der Zeitreihe akzeptieren und die zusammenfassende Statistik zurückgeben. Der Anruf zum stationären Bootstrap muss eine geeignete mittlere Intervalllänge angeben.

Anwendungen

Kreuzvalidierung kann verwendet werden, um die Leistungen verschiedener Vorhersagemodellierungsverfahren zu vergleichen. Angenommen, wir interessieren uns für optische Zeichenerkennungund wir überlegen, ob eines eins zu verwenden ist Vektormaschine unterstützen (SVM) oder k-Nearste Nachbarn (KNN), um den wahren Charakter aus einem Bild eines handgeschriebenen Charakters vorherzusagen. Mit Kreuzvalidierung konnten wir diese beiden Methoden objektiv als ihre jeweiligen Fraktionen falsch klassifizierter Zeichen vergleichen. Wenn wir die Methoden einfach anhand ihrer Fehlerrate in der Stichprobe verglichen haben, scheint eine Methode wahrscheinlich besser zu funktionieren, da sie flexibler und daher anfälliger für anfälliger ist für Überanpassung im Vergleich zur anderen Methode.

Kreuzvalidierung kann auch in verwendet werden Variable Auswahl.^[33] Angenommen, wir verwenden die Ausdruck Niveaus von 20 Proteine vorherzusagen, ob a Krebs Der Patient wird auf a reagieren Arzneimittel. Ein praktisches Ziel wäre zu bestimmen, welche Teilmenge der 20 Merkmale verwendet werden sollten, um das beste Vorhersagemodell zu erstellen. Wenn wir bei den meisten Modellierungsverfahren die Feature-Teilmengen mithilfe der In-Stichproben-Fehlerraten vergleichen, tritt die beste Leistung auf, wenn alle 20 Funktionen verwendet werden. Unter Kreuzvalidierung enthält das Modell mit der besten Anpassung jedoch im Allgemeinen nur eine Untergruppe der Merkmale, die als wirklich informativ erachtet werden.

Eine aktuelle Entwicklung in medizinischen Statistiken ist die Verwendung in der Metaanalyse. Es bildet die Grundlage der Validierungsstatistik, VN, mit der die statistische Validität der Zusammenfassung der Metaanalyse zusammengefasst wird.^[34] Es wurde auch in einem konventionelleren Sinne in der Metaanalyse verwendet, um den wahrscheinlichen Vorhersagefehler der Metaanalyseergebnisse abzuschätzen.^[35]

Siehe auch

Notizen und Referenzen