Tiefes Lernen

Tiefes Lernen (auch bekannt als Tiefes strukturiertes Lernen) ist Teil einer breiteren Familie von Methoden für maschinelles Lernen basierend auf künstliche neurale Netzwerke mit Repräsentationslernen. Lernen kann sein beaufsichtigt, semi-valviertes oder unbeaufsichtigt.^[2]

Tief lernende Architekturen wie z. tiefe neuronale Netze, Tiefe Glaubensnetzwerke, Tiefes Verstärkungslernen, Wiederkehrende neuronale Netze, Faltungsnetzwerke und Transformer wurden auf Felder angewendet, einschließlich Computer Vision, Spracherkennung, Verarbeitung natürlicher Sprache, Maschinenübersetzung, Bioinformatik, Drogendesign, medizinische Bildanalyse, Klimakwissenschaft, materielle Inspektion und Brettspiel Programme, bei denen sie Ergebnisse erzielt haben, die mit und in einigen Fällen vergleichbar sind und die die Leistung des Menschen übertreffen.^[3][4][5]

Künstliche neurale Netzwerke (Anns) wurden von Informationsverarbeitung und verteilten Kommunikationsknoten in inspiriert Biologische Systeme. ANNs haben verschiedene Unterschiede zu biologisch Gehirn. Insbesondere künstliche neuronale Netzwerke sind tendenziell statisch und symbolisch, während das biologische Gehirn der meisten lebenden Organismen dynamisch (plastisch) und analog ist.^[6][7]

Das Adjektiv "tief" im tiefen Lernen bezieht sich auf die Verwendung mehrerer Ebenen im Netzwerk. Frühe Arbeiten zeigten, dass ein linear Perzeptron Kann kein universeller Klassifizierer sein, aber ein Netzwerk mit einer nichtpolynomialen Aktivierungsfunktion mit einer versteckten Schicht unbegrenzter Breite kann. Deep Learning ist eine moderne Variation, die sich mit einer unbegrenzten Anzahl von Schichten begrenzter Größe befasst, was die praktische Anwendung und eine optimierte Umsetzung ermöglicht und gleichzeitig die theoretische Universalität unter milden Bedingungen beibehält. In Deep Learning dürfen die Schichten auch heterogen sein und weitgehend von biologisch informiert abweichen Verbindungswissenschaftler Modelle, um Effizienz, Trainingsfähigkeit und Verständlichkeit willen, woher der "strukturierte" Teil.

Definition

Deep Learning ist eine Klasse von maschinelles Lernen Algorithmen das^{[8]: 199–200} Verwendet mehrere Schichten, um die Merkmale höherer Ebene aus dem Roheingang schrittweise zu extrahieren. Zum Beispiel in Bildverarbeitung, niedrigere Schichten können Kanten identifizieren, während höhere Schichten die für einen Menschen relevanten Konzepte wie Ziffern oder Buchstaben oder Gesichter identifizieren können.

Überblick

Die meisten modernen Deep -Learn -Modelle basieren auf künstliche neurale Netzwerke, speziell Faltungsnetzwerke (CNN) s, obwohl sie auch einschließen können Aussageformeln oder latente Variablen organisierte Schicht, die in Tief organisiert sind Generative Modelle wie die Knoten in Tiefe Glaubensnetzwerke und tief Boltzmann -Maschinen.^[9]

In Deep Learning lernt jede Ebene, ihre Eingabedaten in eine etwas abstraktere und zusammengesetztere Darstellung zu verwandeln. In einer Bilderkennungsanwendung kann die RAW -Eingabe a sein Matrix von Pixeln; Die erste Repräsentationsschicht kann die Pixel abstrahieren und Kanten kodieren. Die zweite Schicht kann Anordnungen von Kanten komponieren und codieren. Die dritte Schicht kann eine Nase und Augen codieren; und die vierte Schicht kann erkennen, dass das Bild ein Gesicht enthält. Wichtig ist, dass ein tiefer Lernprozess lernen kann, welche Funktionen optimal platzieren, auf welcher Ebene von allein. Dies beseitigt nicht die Notwendigkeit von Handabbau. Beispielsweise können unterschiedliche Anzahl von Schichten und Schichtgrößen unterschiedliche Abstraktionsgrade liefern.^[10][11]

Das Wort "tief" in "Deep Learning" bezieht sich auf die Anzahl der Schichten, durch die die Daten transformiert werden. Genauer Kreditzuweisungspfad (Kappe) Tiefe. Die Kappe ist die Transformationskette von Eingabe zu Ausgang. CAPS beschreiben potenziell kausale Verbindungen zwischen Eingang und Ausgang. Für ein Feedforward Neural NetworkDie Tiefe der Kappen ist die des Netzwerks und ist die Anzahl der versteckten Schichten plus eins (da die Ausgangsschicht ebenfalls parametrisiert ist). Zum Wiederkehrende neuronale Netze, in dem sich ein Signal mehr als einmal durch eine Schicht ausbreiten kann, ist die Kappentiefe möglicherweise unbegrenzt.^[12] Keine universell vereinbarte U-up-upon-Schwelle der Tiefe teilt das flache Lernen von Deep Learning auf, aber die meisten Forscher sind sich einig, dass Deep Learning Captiefe höher als 2 beinhaltet .^[13] Darüber hinaus tragen mehr Schichten der Funktionsgenäherungsfähigkeit des Netzwerks bei. Deep -Modelle (CAP> 2) können bessere Merkmale extrahieren als flache Modelle und daher helfen zusätzliche Schichten beim Lernen der Funktionen effektiv.

Deep Learning Architekturen können mit a konstruiert werden gierig Schicht-für-Schicht-Methode.^[14] Deep Learning hilft, diese Abstraktionen zu entwirren und herauszufinden, welche Funktionen die Leistung verbessern.^[10]

Zum überwachtes Lernen Aufgaben, tiefe Lernmethoden eliminieren Feature Engineeringdurch Übersetzung der Daten in kompakte Zwischendarstellungen ähneln wie Hauptkomponentenund leiten geschichtete Strukturen ab, die Redundanz in der Darstellung entfernen.

Deep -Lern -Algorithmen können auf unbeaufsichtigte Lernaufgaben angewendet werden. Dies ist ein wichtiger Vorteil, da nicht markierte Daten häufiger sind als die markierten Daten. Beispiele für tiefe Strukturen, die auf unbeaufsichtigte Weise trainiert werden können, sind Tiefe Glaubensnetzwerke.^[10][15]

Interpretationen

Tiefe neuronale Netze werden im Allgemeinen in Bezug auf die interpretiert Universeller Annäherungssatz^{[16][17][18][19][20]} oder Wahrscheinliche Folgerung.^{[8][10][12][21]}

Der klassische universelle Annäherungssatz betrifft die Kapazität von Feedforward Neural Networks mit einer einzigen versteckten Schicht endlicher Größe, die ungefähr annähern kontinuierliche Funktionen.^{[16][17][18][19]} 1989 wurde der erste Beweis veröffentlicht von George Cybenko zum Sigmoid Aktivierungsfunktionen^[16] und wurde 1991 von Kurt Hornik auf mehrschichtige Architekturen für mehrschichtige Architekturen verallgemeinert.^[17] Die jüngsten Arbeiten zeigten auch, dass die universelle Näherung auch für nicht-bundige Aktivierungsfunktionen wie die korrigierte lineare Einheit gilt.^[22]

Der universelle Näherungssatz für tiefe neuronale Netze betrifft die Kapazität von Netzwerken mit begrenzter Breite, aber die Tiefe darf wachsen. Lu et al.^[20] bewies das, wenn die Breite von a Tiefes neuronales Netzwerk mit Relu Die Aktivierung ist streng größer als die Eingangsdimension, dann kann das Netzwerk alle annähern Lebesgue Integrierbare Funktion; Wenn die Breite kleiner oder gleich der Eingangsdimension ist, dann a Tiefes neuronales Netzwerk ist kein universeller Approxator.

Das probabilistisch Deutung^[21] stammt aus dem Gebiet von maschinelles Lernen. Es verfügt über Schlussfolgerungen,^{[8][9][10][12][15][21]} ebenso wie Optimierung Konzepte von Ausbildung und testen, im Zusammenhang mit Anpassung und Verallgemeinerung, beziehungsweise. Insbesondere berücksichtigt die probabilistische Interpretation die Aktivierung der Nichtlinearität als a Verteilungsfunktion.^[21] Die probabilistische Interpretation führte zur Einführung von aussteigen wie Regularizer in neuronalen Netzwerken. Die probabilistische Interpretation wurde von Forschern eingeführt, einschließlich Hopfield, Wide und Narendra und populär in Umfragen wie dem von Bischof.^[23]

Geschichte

Einige Quellen weisen darauf hin Frank Rosenblatt entwickelte und untersuchte alle grundlegenden Zutaten der Deep -Lern -Systeme von heute.^[24] Er beschrieb es in seinem Buch "Principles of Neurodynamics: Perceptrons und The Theory of Hirnmechanismen", veröffentlicht von Cornell Aeronautical Laboratory, Inc., Universität Cornell, 1962.

Der erste allgemeine, arbeitende Lernalgorithmus für beaufsichtigtes, tiefes, feedforward, mehrschichtiger Wahrnehmung wurde veröffentlicht von Alexey Ivakhnenko und Lapa im Jahr 1967.^[25] Ein Papier von 1971 beschrieb ein tiefes Netzwerk mit acht Schichten, die von der ausgebildet wurden Gruppenmethode der Datenhandhabung.^[26] Andere tiefe Lernarchitekturen, insbesondere diejenigen, für die gebaut wurde Computer Visionbegann mit dem Neocognitron Vorgestellt von Kunihiko Fukushima 1980.^[27]

Der Begriff Tiefes Lernen wurde in die Community für maschinelles Lernen eingeführt von Rina Dechter in 1986,^[28] und zu künstliche neurale Netzwerke von Igor Aizenberg und Kollegen im Jahr 2000 im Kontext von Boolesche Schwellenneuronen.^[29][30]

1989,, Yann Lecun et al. angewendet den Standard Backpropagation Algorithmus, der es als umgekehrter Modus von gab Automatische Differenzierung seit 1970,^{[31][32][33][34]} zu einem tiefen neuronalen Netzwerk mit dem Zweck von Erkennen von handgeschriebenen Postleitzahlen erkennen auf Post. Während des Algorithmus erforderte das Training 3 Tage.^[35]

Im Jahr 1994 veröffentlichte André de Carvalho zusammen mit Mike Fairhurst und David Bisset experimentelle Ergebnisse eines mehrschichtigen booleschen neuronalen Netzwerks, das auch als schwerelose neuronales Netzwerk bekannt ist und aus einem 3-Schicht-Selbstorganisationsextraktionsnetzwerkmodul (Merkmalextraktionsmodul ( Soft) gefolgt von einem mehrschichtigen Klassifizierungsmodul (GSN), das unabhängig geschult wurde. Jede Schicht im Merkmalextraktionsmodul extrahierte Merkmale mit wachsender Komplexität in Bezug auf die vorherige Schicht.^[36]

Im Jahr 1995, Brendan Frey zeigte, dass es möglich war, ein Netzwerk mit sechs vollständig verbundenen Schichten und mehreren hundert Hidden -Einheiten zu trainieren (über zwei Tage), die die sechs vollständig verbunden sind Wake-Sleep-Algorithmus, gemeinsam mit Peter Dayan und Hinton.^[37] Viele Faktoren tragen zur langsamen Geschwindigkeit bei, einschließlich der Verschwandungsgradientenproblem analysiert 1991 von Sepp Hochreiter.^[38][39]

Sven Behnke erweiterte seit 1997 den hierarchischen Fischansatz in der neuronalen Abstraktion Pyramide^[40] durch laterale und rückständige Verbindungen, um den Kontext flexibel in Entscheidungen einzubeziehen und lokale Unklarheiten iterativ zu lösen.

Einfachere Modelle, die aufgabenspezifische handgefertigte Funktionen wie z. Gabor filtert und Support-Vektor-Maschinen (SVMS) waren in den 1990er und 2000er Jahren eine beliebte Wahl künstliche neuronale Netz's (Ann) Berechnungskosten und mangelnder Verständnis dafür, wie das Gehirn seine biologischen Netzwerke enthält.

Sowohl flaches als auch tiefes Lernen (z. B. wiederkehrende Netze) von ANNs werden seit vielen Jahren untersucht.^[41][42][43] Diese Methoden übertrafen nie ungleichmäßige interne Handwerkern-Gaußsche Mischmodell/Verstecktes Markov -Modell (GMM-HMM) -Technologie basierend auf generativen Sprachmodellen, die diskriminativ geschult sind.^[44] Es wurden wichtige Schwierigkeiten analysiert, einschließlich Abbau von Gradienten^[38] und schwache zeitliche Korrelationsstruktur in neuronalen Prädiktivmodellen.^[45][46] Zusätzliche Schwierigkeiten waren der Mangel an Trainingsdaten und begrenzte Rechenleistung.

Die meisten Spracherkennung Die Forscher bewegten sich von neuronalen Netzen, um eine generative Modellierung zu verfolgen. Eine Ausnahme war bei SRI International In den späten 1990er Jahren. Finanziert von den US -Regierung NSA und DARPA, Sri studierte tiefe neuronale Netzwerke in Sprache und Sprechererkennung. Das Rednererkennungsteam angeführt von Larry Heck berichtete über einen signifikanten Erfolg mit tiefen neuronalen Netzwerken in der Sprachverarbeitung im 1998 Nationales Institut für Standards und Technologie Bewertung der Sprechererkennung.^[47] Das SRI Deep Neural Network wurde dann im Nuance -Verifizierer eingesetzt, was die erste große industrielle Anwendung von Deep Learning darstellte.^[48]

Das Prinzip der Erhöhung der "rohen" Merkmale über handgefertigte Optimierung wurde zunächst in der Architektur des Deep Autocoders im "RAW" -Spektrogramm oder der linearen Filterbankfunktionen Ende der neunziger Jahre erfolgreich untersucht.^[48] Zeigt seine Überlegenheit gegenüber den Mel-CEPSTRAL-Merkmalen, die Stadien der festen Transformation aus Spektrogrammen enthalten. Die rohen Sprachmerkmale, Wellenformenspäter erzielte hervorragende Ergebnisse in größerem Maßstab.^[49]

Viele Aspekte der Spracherkennung wurden von einer tiefen Lernmethode genannt langes Kurzzeitgedächtnis (LSTM), ein wiederkehrendes neuronales Netzwerk von Hochreiter und Schmidhuber in 1997.^[50] Lstm Rnns Vermeiden Sie das Problem des Verschwandungsgradienten und können "sehr tiefes Lernen" -Daufsätze lernen^[12] Das erfordern Erinnerungen an Ereignisse, die zuvor Tausende von diskreten Zeitschritten aufgetreten sind, was für die Sprache wichtig ist. Im Jahr 2003 wurde LSTM mit traditionellen Spracherkennern bei bestimmten Aufgaben wettbewerbsfähig.^[51] Später wurde es mit der Connectionist Temporal Classification (CTC) kombiniert.^[52] in Stapeln von LSTM RNNs.^[53] Im Jahr 2015 erlebte die Spracherkennung von Google Berichten zufolge einen dramatischen Leistungssprung von 49% über CTC-ausgebildete LSTM, den sie durch die verfügbaren Durchführung durchführten Google Voice Search.^[54]

Im Jahr 2006 Veröffentlichungen von Geoff Hinton, Ruslan Salakhutdinov, Osindero und Teh^[55][56][57] zeigten, wie ein vielschichtiger Feedforward Neural Network könnte effektiv eine Schicht gleichzeitig vorgeschrieben werden und die jede Schicht wiederum als unbeaufsichtigt behandeln eingeschränkte Boltzmann -Maschine, dann fein abtun es mit beaufsichtigtem Backpropagation.^[58] Die Papiere genannt Lernen zum tiefe Glaubensnetze.

Deep Learning ist Teil hochmoderner Systeme in verschiedenen Disziplinen, insbesondere Computer Vision und Automatische Spracherkennung (ASR). Ergebnisse von häufig verwendeten Bewertungssätzen wie z. Timit (ASR) und MNIST (Bildklassifizierung) sowie eine Reihe von Spracherkennungsaufgaben mit großer Vokabular haben sich stetig verbessert.^[59][60] Faltungsnetzwerke (CNNs) wurden von CTC für ASR abgelöst^[52] zum Lstm.^{[50][54][61][62][63]} sind aber erfolgreicher in Computer Vision.

Die Auswirkungen des tiefen Lernens in der Industrie begannen in den frühen 2000er Jahren, als CNNs laut Yann Lecun bereits schätzungsweise 10% bis 20% aller in den USA geschriebenen Schecks verarbeitete.^[64] Industrielle Anwendungen des tiefen Lernens auf groß angelegte Spracherkennung begannen um 2010.

Der 2009 NIPS-Workshop zum Deep-Lernen für die Spracherkennung wurde durch die Grenzen der tiefen generativen Sprachmodelle motiviert, und die Möglichkeit, dass die fähigeren Hardware- und groß angelegten Datensätze, dass Deep Neural Nets (DNN) praktisch werden könnte. Es wurde angenommen, dass DNNs vor dem Training mit generativen Modellen von tiefen Glaubensnetzen (DBN) die Hauptschwierigkeiten von neuronalen Netzen überwinden würden. Es wurde jedoch festgestellt, dass das Ersetzen vor dem Training durch große Anzahl von Trainingsdaten für einfache Backpropagation Bei der Verwendung von DNNs mit großen, kontextabhängigen Ausgangsschichten wurden Fehlerraten erzeugt, die dramatisch niedriger sind als das damalige Gaußsche Mischmodell (GMM)/HIDDEN Markov (HMM) und auch als advancierteren generativen modellbasierten Systeme .^[59] Die Art der Erkennungsfehler, die von den beiden Systemtypen erzeugt wurden, war charakteristisch unterschiedlich,^[65] Bieten Sie technische Einblicke in die Integration von Deep-Lernen in das vorhandene hocheffiziente, laufende Sprachdecodierungssystem, das von allen wichtigen Spracherkennungssystemen eingesetzt wird.^[8][66][67] Analyse um 2009–2010, im Gegensatz zu den GMM (und anderen generativen Sprachmodellen) im Vergleich zu DNN^[65] schließlich zu allgegenwärtigem und dominantem Gebrauch in dieser Branche führt. Diese Analyse erfolgte mit vergleichbarer Leistung (weniger als 1,5% der Fehlerrate) zwischen diskriminativen DNNs und generativen Modellen.^[59][65][68]

Im Jahr 2010 erweiterten die Forscher das tiefgreifende Lernen vom Zeitpunkt auf große Vokabular-Spracherkennung, indem sie große Ausgangsschichten des DNN auf der Grundlage von kontextabhängigen HMM-Zuständen übernommen haben Entscheidungsbäume.^{[69][70][71][66]}

Fortschritte in der Hardware haben das erneute Interesse an Deep Learning gesteuert. In 2009, Nvidia war an dem sogenannten „Urknall“ des tiefen Lernens beteiligt: ​​„Als tiefgreifende neuronale Netzwerke mit Nvidia ausgebildet wurden Grafikverarbeitungseinheiten (GPUs). “^[72] Dieses Jahr, Andrew Ng stellte fest, dass GPUs die Geschwindigkeit von Tieflernsystemen um etwa das 100-fache erhöhen könnte.^[73] Insbesondere sind GPUs für die Matrix-/Vektorberechnungen, die mit dem maschinellen Lernen verbunden sind, gut geeignet.^[74][75][76] GPUs beschleunigen Trainingsalgorithmen durch Größenordnungen und verkürzen die Laufzeiten von Wochen auf Tage.^[77][78] Darüber hinaus können spezielle Hardware- und Algorithmus -Optimierungen zur effizienten Verarbeitung von Deep -Learning -Modellen verwendet werden.^[79]

Deep Learning Revolution

Im Jahr 2012 gewann ein Team von George E. Dahl die "Merck Molecular Activity Challenge" unter Verwendung von tiefen neuronalen Netzwerken mit mehreren Aufgaben, um die vorherzusagen Biomolekulares Ziel von einer Droge.^[80][81] Im Jahr 2014 verwendete die Hochreiter-Gruppe Deep Learning, um Off-Target- und toxische Auswirkungen von Umweltchemikalien in Nährstoffen, Haushaltsprodukten und Arzneimitteln zu erkennen und die "TOX21-Datenherausforderung" zu erhalten NIH, FDA und NCATs.^[82][83][84]

Von 2011 bis 2012 wurden signifikante zusätzliche Auswirkungen auf die Bild- oder Objekterkennung gefühlt. Obwohl CNNs von trainiert von Backpropagation Es war seit Jahrzehnten da, und die GPU -Implementierungen von NNS seit Jahren, einschließlich CNNs, waren schnelle Implementierungen von CNNs auf GPUs erforderlich, um Fortschritte bei Computer Vision zu erreichen.^{[74][76][35][85][12]} Im Jahr 2011 erreichte dieser Ansatz in einem visuellen Mustererkennungswettbewerb zum ersten Mal übermenschliche Leistung. Ebenfalls im Jahr 2011 gewann es den ICDAR Chinese Handschriftwettbewerb und im Mai 2012 den ISBI -Image -Segmentierungswettbewerb.^[86] Bis 2011 spielte CNNs keine wichtige Rolle bei Computer Vision -Konferenzen, aber im Juni 2012 war ein Papier von Ciresan et al. auf der führenden Konferenz CVPR^[3] zeigten, wie Max-Pooling-CNNs auf GPU viele Sehvermögensakten dramatisch verbessern können. Im Oktober 2012 ein ähnliches System von Krizhevsky et al.^[4] gewann die groß angelegte ImageNet -Wettbewerb mit einem erheblichen Rand über flache Methoden des maschinellen Lernens. Im November 2012 gewann das System von Ciresan et al. Außerdem den ICPR -Wettbewerb zur Analyse großer medizinischer Bilder zur Krebserkennung und im folgenden Jahr auch die Miccai Grand Challenge zum selben Thema.^[87] In den Jahren 2013 und 2014 wurde die Fehlerrate für die ImageNet-Aufgabe mit Deep Learning nach einem ähnlichen Trend in der groß angelegten Spracherkennung weiter reduziert.

Die Bildklassifizierung wurde dann auf die anspruchsvollere Aufgabe von erweitert Beschreibungen erzeugen (Bildunterschriften) für Bilder, oft als Kombination von CNNs und LSTMs.^[88][89][90]

Einige Forscher geben an, dass der Oktober 2012 ImageNet Victory den Beginn einer "Deep Learning Revolution" verankert hat, die die KI -Branche verändert hat.^[91]

Im März 2019, Yoshua Bengio, Geoffrey Hinton und Yann Lecun wurden mit dem ausgezeichnet Turing Award Für konzeptionelle und technische Durchbrüche, die tiefe neuronale Netze zu einem kritischen Komponenten des Computers gemacht haben.

Neuronale Netze

Künstliche neurale Netzwerke

Künstliche neurale Netzwerke (Anns) oder Verbindungswissenschaftler Systeme sind Computersysteme inspiriert von der Biologische neuronale Netze Das bildet Tierhirn. Solche Systeme lernen (schrittweise verbessern ihre Fähigkeiten), um Aufgaben zu erledigen, indem sie Beispiele in Betracht ziehen, allgemein ohne aufgabenspezifische Programmierung. In der Bilderkennung können sie beispielsweise lernen, Bilder zu identifizieren, die Katzen enthalten, indem sie Beispielbilder analysieren, die manuell waren beschriftet als "Katze" oder "keine Katze" und die Verwendung der analytischen Ergebnisse, um Katzen in anderen Bildern zu identifizieren. Sie haben in Anwendungen am häufigsten in Anspruch genommen, mit einem herkömmlichen Computeralgorithmus auszudrücken Regelbasierte Programmierung.

Eine ANN basiert auf einer Sammlung vernetzter Einheiten, die genannt werden künstliche Neuronen, (analog zu biologischen Neuronen in a Biologisches Gehirn). Jede Verbindung (Synapse) zwischen Neuronen können ein Signal an ein anderes Neuron übertragen. Das empfangende (postsynaptische) Neuron kann die Signal (n) und dann nach angezogene Signal -Signal -Neuronen verarbeiten. Neuronen können Zustand haben, der im Allgemeinen durch dargestellt wird durch reale Nummern, normalerweise zwischen 0 und 1. Neuronen und Synapsen können auch ein Gewicht haben, das sich im Verlauf des Lernens variiert, was die Festigkeit des Signals, das es stromabwärts sendet, erhöhen oder verringern kann.

Typischerweise sind Neuronen in Schichten organisiert. Verschiedene Schichten können verschiedene Arten von Transformationen für ihre Eingaben durchführen. Signale wandern von der ersten (Eingabe) bis zur letzten (Ausgabe-) Ebene, möglicherweise nach mehrmaliger Durchführung der Ebenen.

Das ursprüngliche Ziel des neuronalen Netzwerkansatzes war es, Probleme auf die gleiche Weise wie ein menschliches Gehirn zu lösen. Im Laufe der Zeit konzentrierte sich die Aufmerksamkeit auf die Übereinstimmung mit bestimmten mentalen Fähigkeiten, was zu Abweichungen von der Biologie wie z. Backpropagationoder Informationen in umgekehrte Richtung und Anpassung des Netzwerks, um diese Informationen widerzuspiegeln.

Neuronale Netze wurden für eine Vielzahl von Aufgaben verwendet, darunter Computer Vision, Spracherkennung, Maschinenübersetzung, Soziales Netzwerk Filterung, Board- und Videospiele spielen und medizinische Diagnose.

Ab 2017 haben neuronale Netze in der Regel einige tausend bis wenige Millionen Einheiten und Millionen von Verbindungen. Obwohl diese Zahl mehrere Größenordnung weniger als die Anzahl der Neuronen in einem menschlichen Gehirn ist, können diese Netzwerke viele Aufgaben auf einem Niveau ausführen, das über die des Menschen hinausgeht (z. B. Erkennen von Gesichtern, Spielen "Go".^[92] ).

Tiefe neuronale Netze

Ein tiefes neuronales Netzwerk (DNN) ist ein künstliche neuronale Netz (Ann) mit mehreren Schichten zwischen Eingangs- und Ausgangsebenen.^[9][12] Es gibt verschiedene Arten von neuronalen Netzwerken, aber sie bestehen immer aus denselben Komponenten: Neuronen, Synapsen, Gewichte, Verzerrungen und Funktionen.^[93] Diese Komponenten, die dem menschlichen Gehirn ähneln, können wie jeder andere ML -Algorithmus trainiert werden.

Zum Beispiel wird ein DNN, das zum Erkennen von Hunderassen trainiert wird, das angegebene Bild überschreitet und die Wahrscheinlichkeit berechnet, dass der Hund im Bild eine bestimmte Rasse ist. Der Benutzer kann die Ergebnisse überprüfen und auswählen, welche Wahrscheinlichkeiten das Netzwerk angezeigt werden sollte (über einem bestimmten Schwellenwert usw.) und die vorgeschlagene Etikett zurückgeben. Jede mathematische Manipulation als solche wird als Schicht angesehen, und komplexe DNN hat viele Schichten, daher der Name "tiefe" Netzwerke.

DNNs können komplexe nichtlineare Beziehungen modellieren. DNN -Architekturen erzeugen Kompositionsmodelle, bei denen das Objekt als geschichtete Zusammensetzung von ausgedrückt wird Primitive.^[94] Die zusätzlichen Ebenen ermöglichen die Zusammensetzung von Merkmalen aus unteren Schichten, wobei potenziell komplexe Daten mit weniger Einheiten als ein ähnlich durchgeführter flaches Netzwerk modelliert werden.^[9] Zum Beispiel wurde es als spärlich bewiesen multivariate Polynome sind exponentiell einfacher zu approximieren mit DNNs als mit flachen Netzwerken.^[95]

Tiefe Architekturen umfassen viele Varianten einiger grundlegender Ansätze. Jede Architektur hat in bestimmten Bereichen Erfolg gefunden. Es ist nicht immer möglich, die Leistung mehrerer Architekturen zu vergleichen, es sei denn, sie wurden an denselben Datensätzen bewertet.

DNNs sind typischerweise Feedforward -Netzwerke, in denen die Daten von der Eingangsschicht zur Ausgangsschicht ohne Rückschleifen fließen. Zunächst erstellt der DNN eine Karte virtueller Neuronen und weist den Verbindungen zwischen ihnen zufällige numerische Werte oder "Gewichte" zu. Die Gewichte und Eingaben werden multipliziert und geben einen Ausgang zwischen 0 und 1 zurück. Wenn das Netzwerk ein bestimmtes Muster nicht genau erkannt hätte, würde ein Algorithmus die Gewichte anpassen.^[96] Auf diese Weise kann der Algorithmus bestimmte Parameter einflussreicher machen, bis er die korrekte mathematische Manipulation bestimmt, um die Daten vollständig zu verarbeiten.

Wiederkehrende neuronale Netze (RNNs), in denen Daten in jede Richtung fließen können, werden für Anwendungen wie z. Sprachmodellierung.^{[97][98][99][100][101]} Der lange Kurzzeitgedächtnis ist für diese Verwendung besonders effektiv.^[50][102]

Faltungsstufe tiefe neuronale Netze (CNNs) werden in Computer Vision verwendet.^[103] CNNs wurden ebenfalls angewendet auf Akustische Modellierung zur automatischen Spracherkennung (ASR).^[104]

Herausforderungen

Wie bei Anns können viele Probleme mit naiv ausgebildeten DNNs auftreten. Zwei gemeinsame Probleme sind Überanpassung und Berechnungszeit.

DNNs sind aufgrund der zusätzlichen Abstraktionsschichten anfällig für Überanpassung, die es ihnen ermöglichen, seltene Abhängigkeiten in den Trainingsdaten zu modellieren. Regulierung Methoden wie Ivakhnenkos Einheit Beschneiden^[26] oder Gewichtsverfall (${\ displayStyle \ ell _ {2}}$-regularisation) oder Spärlichkeit (${\ displayStyle \ ell _ {1}}$-regularisation) kann während des Trainings zur Bekämpfung der Überanpassung angewendet werden.^[105] Alternativ Ausfallregulierung lässt Einheiten zufällig während des Trainings aus den versteckten Schichten aus. Dies hilft, seltene Abhängigkeiten auszuschließen.^[106] Schließlich können Daten durch Methoden wie Zuschneiden und Drehen erweitert werden, sodass kleinere Trainingssätze erhöht werden können, um die Wahrscheinlichkeit einer Überanpassung zu verringern.^[107]

DNNs müssen viele Trainingsparameter berücksichtigen, z. B. die Größe (Anzahl der Schichten und Anzahl der Einheiten pro Schicht), die Lernrateund anfängliche Gewichte. Durch den Parameterraum durchdringen Für optimale Parameter sind aufgrund der Kosten und der Rechenressourcen möglicherweise nicht möglich. Verschiedene Tricks, wie z. B. Charge (Berechnung des Gradienten an mehreren Trainingsbeispielen gleichzeitig als einzelne Beispiele)^[108] Beschleunigen Sie die Berechnung. Große Verarbeitungsfähigkeiten vieler Kernarchitekturen (wie GPUs oder der Intel Xeon PHI) haben aufgrund der Eignung solcher Verarbeitungsarchitekturen für die Matrix- und Vektorberechnungen erhebliche Beschleunigungen im Training hervorgerufen.^[109][110]

Alternativ können Ingenieure nach anderen Arten von neuronalen Netzwerken mit unkomplizierteren und konvergenten Trainingsalgorithmen suchen. CMAC (Artikulationskontroller des Kleinhirnmodells) ist eine solche Art von neuronalem Netzwerk. Es erfordert keine Lernraten oder randomisierte Anfangsgewichte für CMAC. Der Schulungsprozess kann garantiert in einem Schritt mit einer neuen Datenanlage konvergieren, und die rechnerische Komplexität des Trainingsalgorithmus ist in Bezug auf die Anzahl der beteiligten Neuronen linear.^[111][112]

Hardware

Seit den 2010er Jahren Fortschritte sowohl in Algorithmen für maschinelles Lernen als auch in Computerhardware haben zu effizienteren Methoden für die Schulung von tiefen neuronalen Netzwerken geführt, die viele Schichten nichtlinear versteckter Einheiten und eine sehr große Ausgangsschicht enthalten.^[113] Bis 2019 grafische Verarbeitungseinheiten (GPUS), oft mit KI-spezifischen Verbesserungen, hatte CPUs als dominierende Methode zur Ausbildung von großflächiger kommerzieller Cloud-KI verdrängt.^[114] Openai schätzte die Hardwareberechnung, die bei den größten Deep-Learning-Projekten von Alexnet (2012) bis Alphazero (2017) verwendet wurde, und fand eine 300.000-fache Erhöhung der erforderlichen Berechnung mit einer Verdoppelungszeittrendlinie von 3,4 Monaten.^[115][116]

Speziell elektronische Schaltkreise genannt Deep -Lernprozessoren wurden entwickelt, um tiefe Lernalgorithmen zu beschleunigen. Deep -Lernprozessoren umfassen neuronale Verarbeitungseinheiten (NPUs) in Huawei Handys^[117] und Cloud Computing Server wie Tensor -Verarbeitungseinheiten (TPU) in der Google Cloud -Plattform.^[118] Cerebras -Systeme hat außerdem ein dediziertes System für große Deep-Learning-Modelle aufgebaut, das CS-2, basierend auf dem größten Prozessor der Branche, dem Wafer Scale Engine der zweiten Generation (WSE-2).^[119][120]

Atomisch dünn Halbleiter werden als vielversprechend für energieeffiziente Deep-Learning-Hardware angesehen, bei der die gleiche grundlegende Gerätestruktur sowohl für Logikoperationen als auch für die Datenspeicherung verwendet wird. Im Jahr 2020 haben Marega et al. Veröffentlichte Experimente mit einem großartigen aktiven Kanalmaterial zur Entwicklung von Geräten und Schaltkreisen für Logik-Memorien basierend auf schwebendes Gebiet Feldeffekttransistoren (Fgfets).^[121]

Im Jahr 2021 haben J. Feldmann et al. schlug eine integrierte photonisch Hardware -Beschleuniger Für parallele Faltungsverarbeitung.^[122] Die Autoren identifizieren zwei wichtige Vorteile der integrierten Photonik gegenüber ihren elektronischen Gegenstücken: (1) massiv parallele Datenübertragung durch Wellenlänge Aufteilung Multiplexing in Verbindung mit Frequenzkämmeund (2) extrem hohe Datenmodulationsgeschwindigkeiten.^[122] Ihr System kann Billionen von multiply-akkumulierenden Vorgängen pro Sekunde ausführen, was auf das Potenzial von angibt integriert Photonik In datenlastigen AI-Anwendungen.^[122]

Anwendungen

Automatische Spracherkennung

Große automatische Spracherkennung ist der erste und überzeugendste erfolgreiche Fall von Deep Learning. LSTM -RNNs können "sehr tiefes Lernen" -Tasks lernen^[12] Dies beinhaltet mehr Sekunde Intervalle, die Sprachereignisse enthalten, die durch Tausende von diskreten Zeitschritten getrennt sind, wobei ein Zeitschritt etwa 10 ms entspricht. LSTM mit Vergessen von Toren^[102] ist wettbewerbsfähig mit traditionellen Spracherkennern bei bestimmten Aufgaben.^[51]

Der anfängliche Erfolg bei der Spracherkennung basierte auf kleinen Erkennungsaufgaben, die auf dem Zeitpunkt beruhten. Der Datensatz enthält 630 Redner von acht Dur Dialekte von amerikanisches Englisch, wo jeder Sprecher 10 Sätze liest.^[123] Durch die geringe Größe können viele Konfigurationen ausprobiert werden. Noch wichtiger ist, dass die Timit-Aufgabe die Telefonsequenzerkennung betrifft, die im Gegensatz zur Wortsequenzerkennung ein schwaches Telefon ermöglicht Bigram Sprachmodelle. Dies ermöglicht es, die Stärke der akustischen Modellierungsaspekte der Spracherkennung leichter zu analysieren. Die unten aufgeführten Fehlerraten, einschließlich dieser frühen Ergebnisse und gemessen als prozentuale Telefonfehlerraten (pro), wurden seit 1991 zusammengefasst.

Methode	Prozent Telefon Fehlerrate (per) (%)
Zufällig initialisierte RNN[124]	26.1
Bayesian Triphone GMM-HMM	25.6
Versteckter Trajektorienmodell	24.8
Monophon initialisierte DNN zufällig initial	23.4
Monophon DBN-DNN	22.4
Triphone GMM-HMM mit BMMI-Training	21.7
Monophon DBN-DNN auf FBANK	20.7
Faltungsverkäufer dnn[125]	20.0
Faltungsverkäufer dnn w. Heterogenes Pooling	18.7
Ensemble DNN/CNN/RNN[126]	18.3
Bidirektional LSTM	17.8
Hierarchische Kontepolie Deep Maxout -Netzwerk[127]	16.5

Das Debüt von DNNs für die Anerkennung von Sprechern Ende der neunziger Jahre und die Spracherkennung von 2009 bis 2011 und von LSTM um 2003–2007 beschleunigten die Fortschritte in acht Hauptgebieten:^[8][68][66]

• DNN-Training und -decodieren von Skalierungen/Aussagen und beschleunigt
• Sequenz -Diskriminationsausbildung
• Feature -Verarbeitung durch tiefe Modelle mit solidem Verständnis der zugrunde liegenden Mechanismen
• Anpassung von DNNs und verwandten tiefen Modellen
• Multi-Task und Transferlernen durch DNNs und verwandte tiefe Modelle
• CNNs und wie man sie zum Besten ausnutzt Fachwissen von Sprache
• Rnn und seine reichen LSTM -Varianten
• Andere Arten von tiefen Modellen, einschließlich Tensor-basierter Modelle und integrierter tiefe generative/diskriminative Modelle.

Alle wichtigen kommerziellen Spracherkennungssysteme (z. B. Microsoft Cortana, Xbox, Skype -Übersetzer, Amazon Alexa, Google jetzt, Apple Siri, Baidu und Iflytek Sprachsuche und eine Reihe von Nuance Sprachprodukte usw.) basieren auf tiefem Lernen.^{[8][128][129]}

Bilderkennung

Ein gemeinsamer Bewertungssatz für die Bildklassifizierung ist der MNIST -Datenbankdatensatz. MNIST besteht aus handgeschriebenen Ziffern und umfasst 60.000 Schulungsbeispiele und 10.000 Testbeispiele. Wie bei Timit ermöglicht die kleine Größe den Benutzern mehrere Konfigurationen. Eine umfassende Liste der Ergebnisse in diesem Satz ist verfügbar.^[130]

Deep Learning-basierte Bilderkennung ist zu "übermenschlich" geworden und erzielte genauere Ergebnisse als menschliche Teilnehmer. Dies geschah erst im Jahr 2011 in Anerkennung von Verkehrszeichen und 2014 mit Anerkennung menschlicher Gesichter.^[131][132]

Deep Learning-ausgebildete Fahrzeuge interpretieren jetzt 360 °-Kameraansichten.^[133] Ein weiteres Beispiel ist die Gesichtsdysmorphologie neuartige Analyse (FDNA), mit der Fälle von menschlicher Fehlbildung analysiert werden, die mit einer großen Datenbank genetischer Syndrome verbunden sind.

Verarbeitung visueller Kunst

Ein eng mit den Fortschritten im Zusammenhang mit der Bilderkennung ist die zunehmende Anwendung von Deep -Lern -Techniken auf verschiedene visuelle Kunstaufgaben. DNNs haben sich zum Beispiel in fähig erwiesen

• Identifizierung der Stilperiode eines bestimmten Gemäldes^[134][135]
• Transfer neuronaler Stil- Erfassen Sie den Stil eines bestimmten Kunstwerks und wenden Sie es visuell ansprechend auf ein willkürliches Foto oder Video an^[134][135]
• Erzeugen von auffälligen Bildern basierend auf zufälligen visuellen Eingangsfeldern.^[134][135]

Verarbeitung natürlicher Sprache

Seit Anfang der 2000er Jahre werden neuronale Netze zur Implementierung von Sprachmodellen verwendet.^[97] LSTM half bei der Verbesserung der maschinellen Übersetzung und der Sprachmodellierung.^{[98][99][100]}

Andere Schlüsseltechniken in diesem Bereich sind eine negative Abtastung^[136] und Worteinbettung. Worteinbettung, wie z. Word2Vec, kann als Repräsentationsschicht in einer tiefen Lernarchitektur betrachtet werden, die ein atomisches Wort in eine positionelle Darstellung des Wortes in Bezug auf andere Wörter im Datensatz verwandelt; Die Position wird als Punkt in a dargestellt Vektorraum. Durch die Verwendung von Wörtern als RNN -Eingangsschicht kann das Netzwerk Sätze und Phrasen mithilfe einer effektiven Zusammensetzung Vektorgrammatik analysieren. Eine Kompositions -Vektor -Grammatik kann als angesehen werden probabilistische kontextfreie Grammatik (PCFG) implementiert von einem RNN.^[137] Rekursive automatische Encoder, die auf Worteinbettungen erstellt wurden, können die Satzähnlichkeit bewerten und Paraphrasen erkennen.^[137] Tiefe neuronale Architekturen liefern die besten Ergebnisse für Wahlkreis Parsen,^[138] Stimmungsanalyse,^[139] Informationsrückgewinnung,^[140][141] Verständnis der gesprochenen Sprache,^[142] Maschinenübersetzung,^[98][143] Kontextentität Verknüpfung,^[143] Schreibstilerkennung,^[144] Textklassifizierung und andere.^[145]

Jüngste Entwicklungen verallgemeinern Worteinbettung zu Satzeinbettung.

Google Übersetzer (GT) verwendet ein großes End-to-End langes Kurzzeitgedächtnis (LSTM) Netzwerk.^{[146][147][148][149]} Übersetzung von Google Neural Machine (GNMT) verwendet an Beispielbasierte maschinelle Übersetzung Methode, bei der das System "aus Millionen von Beispielen lernt".^[147] Es übersetzt "ganze Sätze gleichzeitig als Stücke. Google Translate unterstützt über hundert Sprachen.^[147] Das Netzwerk codiert die "Semantik des Satzes, anstatt sich nur die Übersetzungen für die Phrase zu Phrase zu merken".^[147][150] GT verwendet Englisch als Zwischenprodukt zwischen den meisten Sprachpaaren.^[150]

Entdeckung und Toxikologie von Arzneimitteln

Ein großer Prozentsatz der Kandidatenmedikamente erhält nicht die regulatorische Zulassung. Diese Fehler werden durch unzureichende Wirksamkeit (Auswirkung auf Target), unerwünschte Wechselwirkungen (Off-Target-Effekte) oder unerwartete Wechselwirkungen verursacht toxische Wirkungen.^[151][152] Die Forschung hat die Verwendung von Deep -Lernen untersucht, um die vorherzusagen Biomolekulare Ziele,^[80][81] Off-Targets, und toxische Wirkungen von Umweltchemikalien in Nährstoffen, Haushaltsprodukten und Arzneimitteln.^[82][83][84]

Atomnet ist ein tiefes Lernsystem für strukturbasierte strukturbasierte Systeme Rationales Drogendesign.^[153] Atomnet wurde verwendet, um neue Kandidatenbiomoleküle für Krankheitsziele wie die vorherzusagen Ebola Virus^[154] und Multiple Sklerose.^[155][156]

2017 Grafik neuronale Netze wurden zum ersten Mal verwendet, um verschiedene Eigenschaften von Molekülen in einem großen toxikologischen Datensatz vorherzusagen.^[157] Im Jahr 2019 wurden generative neuronale Netze verwendet, um Moleküle zu produzieren, die experimentell bis in Mäuse validiert wurden.^[158][159]

Kundenbeziehungsmanagement

Tiefes Verstärkungslernen wurde verwendet, um den Wert möglich zu machen Direktmarketing Aktionen, definiert in Bezug auf RFM Variablen. Es wurde gezeigt, dass die geschätzte Wertfunktion eine natürliche Interpretation als hat Customer Lifetime Value.^[160]

Empfehlungssysteme

Empfehlungssysteme haben Deep Learning verwendet, um sinnvolle Funktionen für ein latentes Faktormodell für inhaltsbasierte Musik- und Journalempfehlungen zu extrahieren.^[161][162] Multi-View Deep Learning wurde für das Lernen von Benutzerpräferenzen aus mehreren Domänen angewendet.^[163] Das Modell verwendet einen hybriden kollaborativen und inhaltsbasierten Ansatz und verbessert die Empfehlungen in mehreren Aufgaben.

Bioinformatik

Ein Autocoder Ann wurde in verwendet Bioinformatik, zu prognostizieren Gen-Ontologie Anmerkungen und Gen-Funktionsbeziehungen.^[164]

In medizinischen Informatik wurde Deep Learning verwendet, um die Schlafqualität auf der Grundlage von Daten von Wearables vorherzusagen^[165] und Vorhersagen von gesundheitlichen Komplikationen von elektronischer Gesundheitsakten Daten.^[166]

Medizinische Bildanalyse

Es wurde gezeigt, dass Deep Learning Wettbewerbsergebnisse bei medizinischer Anwendung wie Klassifizierung von Krebszellen, Läsionserkennung, Organsegmentierung und Bildverbesserung liefert.^[167][168] Moderne Tools für Deep -Lern -Instrumente demonstrieren die hohe Genauigkeit der Erkennung verschiedener Krankheiten und die Hilfsbereitschaft ihrer Verwendung durch Spezialisten zur Verbesserung der Diagnoseeffizienz.^[169][170]

Mobile Werbung

Finden des entsprechenden mobilen Publikums für mobile Werbung ist immer eine Herausforderung, da viele Datenpunkte berücksichtigt und analysiert werden müssen, bevor ein Zielsegment erstellt und in der Anzeige verwendet werden kann, die von einem AD -Server dient.^[171] Deep Learning wurde verwendet, um große, vielfältige Werbedatensätze zu interpretieren. Viele Datenpunkte werden während der Anforderung/Serve/Serve/Klicken Sie im Internet -Werbezyklus gesammelt. Diese Informationen können die Grundlage für maschinelles Lernen bilden, um die AD -Auswahl zu verbessern.

Bildwiederherstellung

Deep Learning wurde erfolgreich angewendet auf umgekehrte Probleme wie zum Beispiel Denoising, Super-Auflösung, Inpainting, und Filmfarbe.^[172] Diese Anwendungen umfassen Lernmethoden wie "Schrumpfungsfelder für eine effektive Bildwiederherstellung"^[173] welche trainiert auf einem Bilddatensatz und Tiefes Bild vor, die auf dem Bild trainiert, das restauriert werden muss.

Erkennung von Finanzbetrug

Deep Learning wird erfolgreich auf finanzielle angewendet Entdeckung eines Betruges, Steuerhinterziehung, Erkennung,^[174] und Anti-Geldwäsche.^[175] Eine potenziell beeindruckende Demonstration eines unbeaufsichtigten Lernens als Verfolgung von Finanzkriminalität ist erforderlich, um Schulungsdaten zu erstellen.

Bemerkenswerterweise ist zwar das hochmoderne Modell in der Erkennung automatisierter Finanzkriminalität seit geraumer Zeit vorhanden, die hier unter dramatisch genannten Anwendungen für Deep Learning unter viel einfacheren theoretischen Modellen. Ein solches, noch zu implementiertes Modell, die Sensorort -heuristische und einfache menschliche Erkennung für Finanzverbrechen (SLHSAHDFC) ist ein Beispiel.

Das Modell arbeitet mit der einfachen Heuristik, um zu wählen, wo es seine Eingabedaten erhält. Indem die Sensoren durch große Konzentrationen an Wohlstand und Macht frequentiert und dann einfach jeden lebenden Menschen identifiziert werden, stellt sich heraus, dass die automatisierte Erkennung von Finanzkriminalität bei sehr hohen Genauigkeiten und sehr hohen Vertrauensniveaus erreicht wird. Noch besser ist, dass das Modell äußerst effektiv darin ist, nicht nur Kriminalität, sondern ein großes, sehr destruktives und ungeheuerliches Verbrechen zu identifizieren. Aufgrund der Wirksamkeit solcher Modelle ist es sehr wahrscheinlich, dass Anwendungen auf die Erkennung von Finanzkriminalität durch Deep Learning niemals in der Lage sein werden, Wettbewerbe zu konkurrieren.

Militär

Das Verteidigungsministerium der Vereinigten Staaten wandte Deep Learning an, um Roboter in neuen Aufgaben durch Beobachtung auszubilden.^[176]

Partielle Differentialgleichungen

Physik informierte neuronale Netze wurden verwendet, um zu lösen partielle Differentialgleichungen sowohl in Vorwärts- als auch in umgekehrten Problemen auf datengetriebene Weise.^[177] Ein Beispiel ist der rekonstruierende Flüssigkeitsfluss, der von dem bestimmt wird Navier-Stokes-Gleichungen. Die Verwendung von Physik informierten neuronalen Netzwerken erfordert nicht die häufig teure Maschengeneration, die konventionell ist CFD Methoden verlassen sich auf.^[178][179]

Bildrekonstruktion

Die Bildrekonstruktion ist die Rekonstruktion der zugrunde liegenden Bilder aus den bildbezogenen Messungen. Mehrere Arbeit ^[180] und Ultraschallbildgebung.^[181]

Epigenetische Uhr

Weitere Informationen finden Sie unter Epigenetische Uhr.

Ein epigenetische Uhr ist ein Biochemischer Test Das kann verwendet werden, um das Alter zu messen. Galkin et al. tief benutzt Neuronale Netze Um eine epigenetische alternde Uhr mit beispielloser Genauigkeit unter Verwendung von> 6.000 Blutproben zu trainieren. Die Uhr verwendet Informationen von 1000 CPG -Standorten und sagt Menschen mit bestimmten Bedingungen voraus, die älter sind als gesunde Kontrollen: IBD, frontotemporale Demenz, Eierstockkrebs, Fettleibigkeit. Die altern Insilico -Medizin Spinoff Company Deep Longevity.

Beziehung zur menschlichen kognitiven und Gehirnentwicklung

Tiefes Lernen ist eng mit einer Klasse von Theorien von Theorien verbunden Gehirnentwicklung (insbesondere neokortikale Entwicklung) vorgeschlagen von Kognitive Neurowissenschaftler in the early 1990s.^{[182][183][184][185]} Diese Entwicklungstheorien wurden in Rechenmodellen instanziiert, wodurch sie Vorgänger von Deep -Learning -Systemen machten. Diese Entwicklungsmodelle teilen die Eigenschaft, die verschiedene vorgeschlagene Lerndynamik im Gehirn (z. B. eine Welle von Nervenwachstumsfaktor) unterstütz die Selbstorganisation Etwas analog zu den neuronalen Netzwerken, die in Deep Learning -Modellen verwendet werden. Wie Neocortex, neuronale Netze verwenden eine Hierarchie von geschichteten Filtern, in denen jede Schicht Informationen aus einer vorherigen Schicht (oder der Betriebsumgebung) berücksichtigt und dann ihre Ausgabe (und möglicherweise die ursprüngliche Eingabe) an andere Ebenen übergibt. Dieser Prozess liefert einen sich selbst organisierenden Stapel von Wandler, gut abgestimmt in ihre Betriebsumgebung. Eine Beschreibung von 1995 heißt auf, bis das ganze Gehirn reif ist. "^[186]

Eine Vielzahl von Ansätzen wurde verwendet, um die Plausibilität von tiefen Lernmodellen aus neurobiologischer Sicht zu untersuchen. Einerseits mehrere Varianten der Backpropagation Es wurde Algorithmus vorgeschlagen, um seinen Verarbeitungsrealismus zu erhöhen.^[187][188] Andere Forscher haben argumentiert, dass unbeaufsichtigte Formen des tiefen Lernens, wie sie auf hierarchisch basieren Generative Modelle und Tiefe Glaubensnetzwerke, kann der biologischen Realität näher sein.^[189][190] In dieser Hinsicht wurden generative neuronale Netzwerkmodelle mit neurobiologischen Nachweisen über die Probenahmeverarbeitung im Hirnrinde zusammenhängen.^[191]

Obwohl ein systematischer Vergleich zwischen der Organisation des menschlichen Gehirns und der neuronalen Kodierung in tiefen Netzwerken noch nicht festgestellt wurde, wurden über mehrere Analogien berichtet. Zum Beispiel könnten die Berechnungen von Deep -Learning -Einheiten denen der tatsächlichen Neuronen ähnlich sein^[192] und neuronale Populationen.^[193] In ähnlicher Weise ähneln die von Deep Learning -Modellen entwickelten Darstellungen denen, die im Primaten -visuellen System gemessen wurden^[194] beide bei der Einheit^[195] und bei der Bevölkerung^[196] Ebenen.

Handelsaktivität

FacebookDas AI Lab führt Aufgaben aus wie Automatisch hochgeladene Bilder mit dem Markieren von Bildern mit den Namen der Menschen in ihnen.^[197]

Google DeepMind Technologies entwickelte ein System, das in der Lage ist zu lernen, wie man spielt Atari Videospiele verwenden nur Pixel als Dateneingabe. 2015 zeigten sie ihre Alphago System, das das Spiel von gelernt hat gehen Gut genug, um einen professionellen Go -Spieler zu schlagen.^{[198][199][200]} Google Übersetzer Verwendet ein neuronales Netzwerk, um zwischen mehr als 100 Sprachen zu übersetzen.

Im Jahr 2017 wurde Covariant.ai gestartet, was sich auf die Integration von Deep -Lernen in Fabriken konzentriert.^[201]

Ab 2008,^[202] Forscher bei Die Universität von Texas in Austin .^[176] Zuerst als Tamer entwickelt, wurde später 2018 während einer Zusammenarbeit zwischen 2018 ein neuer Algorithmus namens Deep Tamer eingeführt Forschungslabor der US -Armee (ARL) und UT -Forscher. Deep Tamer verwendete Deep Learning, um einem Roboter die Fähigkeit zu bieten, durch Beobachtung neue Aufgaben zu lernen.^[176] Mit Deep Tamer lernte ein Roboter eine Aufgabe mit einem menschlichen Trainer, wobei Videoströme angesehen oder beobachtet, wie ein Mensch eine persönliche Aufgabe ausführt. Der Roboter übte später die Aufgabe mit Hilfe eines Coachings des Trainers, der Feedback wie „gute Arbeit“ und „schlechte Arbeit“ gab.^[203]

Kritik und Kommentar

Deep Learning hat sowohl Kritik als auch Kommentar in einigen Fällen außerhalb des Bereichs der Informatik angezogen.

Theorie

Eine Hauptkritik betrifft den Mangel an Theorie, der einige Methoden umgibt.^[204] Das Lernen in den häufigsten tiefen Architekturen wird mit gut verstandenem Gradientenabstieg implementiert. Die Theorie, die andere Algorithmen wie kontrastive Divergenz umgibt, ist jedoch weniger klar. . Flugschreibermit den meisten Bestätigungen eher empirisch als theoretisch.^[205]

Andere weisen darauf hin, dass Deep Learning als einen Schritt zur Verwirklichung starker KI und nicht als allumfassende Lösung betrachtet werden sollte. Trotz der Kraft von Deep -Learning -Methoden fehlt ihnen immer noch viel von der Funktionalität, die für die vollständige Verwirklichung dieses Ziels erforderlich ist. Der Forschungspsychologe Gary Marcus bemerkte:

"Realistisch gesehen ist tiefes Lernen nur ein Teil der größeren Herausforderung des Aufbaus intelligenter Maschinen. Solche Techniken fehlen Möglichkeiten für die Darstellung kausale Beziehungen (...) keine offensichtlichen Ausführungsweisen haben logische Schlussfolgerungenund sie sind auch noch weit davon entfernt, abstrakte Wissen zu integrieren, z. B. Informationen darüber, was Objekte sind, wofür sie sind und wie sie normalerweise verwendet werden. Der mächtigste A.I. Systeme wie Watson (...) Verwenden Sie Techniken wie Deep Learning als nur ein Element in einem sehr komplizierten Ensemble von Techniken, die von der statistischen Technik von reichen Bayes'sche Inferenz zu deduktive Argumentation. "^[206]

In weiterer Hinweis auf die Idee, dass die künstlerische Sensibilität relativ niedrig geringe Ebenen der kognitiven Hierarchie inhärent sein könnte, einer veröffentlichten Reihe grafischer Darstellungen der internen Zustände von tiefen (20-30 Ebenen) neuronale Netzwerke, die versuchen, in wesentlichen zufälligen Daten die Bilder zu erkennen auf denen sie trainiert wurden^[207] Zeigen Sie eine visuelle Beschwerde: Die ursprüngliche Forschungserklärung erhielt weit über 1.000 Kommentare und war Gegenstand dessen, was für einige Zeiten der am häufigsten zugegriffene Artikel über war Der Wächter's^[208] Webseite.

Fehler

Einige tiefe Lernarchitekturen zeigen problematisches Verhalten,^[209] wie beispielsweise zuversichtlich unkenntlich zu einer vertrauten Kategorie gewöhnlicher Bilder zu klassifizieren (2014)^[210] und falsch klassifizierende winzige Störungen korrekt klassifizierter Bilder (2013).^[211] Goertzel Hypothese, dass diese Verhaltensweisen auf Einschränkungen ihrer internen Repräsentationen zurückzuführen sind und dass diese Einschränkungen die Integration in heterogene Mehrkomponente hemmen würden künstliche allgemeine Intelligenz (AGI) Architekturen.^[209] Diese Probleme können möglicherweise von Deep-Learning-Architekturen behandelt werden, die sich intern für die Bildgrammatik ausstellen.^[212] Zersetzungen beobachteter Entitäten und Ereignisse.^[209] Eine Grammatik lernen (visuell oder sprachlich) aus Trainingsdaten wäre gleichbedeutend mit der Einschränkung des Systems auf Commonsense -Argumentation Das arbeitet auf Konzepte in Bezug auf grammatikalische Weise Produktionsregeln und ist ein grundlegendes Ziel sowohl des Erwerbs menschlicher Sprache^[213] und künstliche Intelligenz (AI).^[214]

Cyber ​​-Bedrohung

Wenn das Deep -Lernen vom Labor in die Welt bewegt, zeigen Forschung und Erfahrung, dass künstliche neuronale Netze anfällig für Hacks und Täuschung sind.^[215] Durch die Identifizierung von Mustern, mit denen diese Systeme funktionieren, können Angreifer Eingaben an ANNs so ändern, dass die Ann eine Übereinstimmung findet, die menschliche Beobachter nicht erkennen würden. Zum Beispiel kann ein Angreifer subtile Änderungen an einem Bild vornehmen, so dass die Ann eine Übereinstimmung findet, obwohl das Bild einem Menschen nichts wie das Suchziel aussieht. Eine solche Manipulation wird als „kontroversem Angriff“ bezeichnet.^[216]

2016 verwendeten Forscher eine Ann an Ann, um Bilder in Versuch und Irrtum zu ärgern, die Schwerpunkte eines anderen zu identifizieren und dadurch Bilder zu generieren, die sie getäuscht haben. Die modifizierten Bilder sahen nicht anders aus als menschliche Augen. Eine andere Gruppe zeigte, dass Ausdrucke von Ärztenbildern dann ein Bildklassifizierungssystem erfolgreich ausgetragen haben.^[217] Eine Verteidigung ist eine umgekehrte Bildsuche, bei der ein mögliches gefälschtes Bild an eine Website wie z. Tineye Das kann dann andere Fälle davon finden. Eine Verfeinerung besteht darin, nur Teile des Bildes zu suchen, um Bilder zu identifizieren, aus denen dieses Stück entnommen wurde.^[218]

Eine andere Gruppe zeigte das sicher psychedelisch Brillen könnten a täuschen Gesichtserkennungssystem Zu denken, dass gewöhnliche Menschen Prominente waren und es einer Person ermöglichten, sich eine andere auszugeben. Im Jahr 2017 fügten Forscher Aufkleber hinzu zu Stopp Schilder und veranlasste eine Ann, sie falsch zu klassifizieren.^[217]

ANNs können jedoch weiter geschult werden, um Täuschungsversuche zu erkennen und möglicherweise Angreifer und Verteidiger in ein Wettrüsten zu führen, das der Art ähnelt, die das bereits definiert hat Malware Rüstungsindustrie. Anns wurde geschult, um Ann-basierte Anti-Malware genetischen Algorithmus bis es das Anti-Malware ausgetrickst, während sie ihre Fähigkeit beibehielt, das Ziel zu beschädigen.^[217]

Im Jahr 2016 zeigte eine andere Gruppe, dass bestimmte Geräusche das machen könnten Google jetzt Das Sprachbefehlssystem öffnet eine bestimmte Webadresse und stellte die Hypothese auf, dass dies "als Sprungbrett für weitere Angriffe dienen könnte (z. B. Öffnen einer Webseite, die Drive-by-Malware hostet).^[217]

Bei der „Datenvergiftung“ werden falsche Daten kontinuierlich in das Trainingssatz eines maschinellen Lernsystems geschmuggelt, um zu verhindern, dass sie die Beherrschung durchführen.^[217]

Vertrauen auf Mensch Mikrowork

Die meisten tiefen Lernsysteme stützen sich auf Schulungs- und Überprüfungsdaten, die von Menschen generiert und/oder kommentiert werden. Es wurde in argumentiert Medienphilosophie das nicht nur niedrig bezahlt Klickwork (z. B. auf Amazon Mechanical Turk) wird regelmäßig zu diesem Zweck eingesetzt, aber auch implizite Formen des Menschen Mikrowork das werden oft nicht als solche anerkannt.^[219] Der Philosoph Rainer Mühlhoff unterscheidet fünf Arten von "Maschinerfassungen" von menschlichem Mikrowork, um Trainingsdaten zu generieren: (1) Gamification (Die Einbettung von Annotations- oder Berechnungsaufgaben in den Fluss eines Spiels), (2) "Fangen und Verfolgung" (z. Captchas Zur Bildkennung oder Klick-Tracking bei Google Suchergebnisse), (3) Ausbeutung sozialer Motivationen (z. Etiketten von Gesichtern an Facebook um markierte Gesichtsbilder zu erhalten), (4) Informationsabbau (z. B. durch Nutzung Quantifiziertes Selbst Geräte wie Aktivitäts -Tracker) und (5) Klickwork.^[219]

Mühlhoff argumentiert, dass in den meisten kommerziellen Endbenutzeranwendungen des Deep-Lernens wie z. Facebooks GesichtserkennungssystemDie Notwendigkeit von Trainingsdaten hört nicht auf, sobald eine Ann trainiert ist. Vielmehr besteht eine anhaltende Nachfrage nach durch Menschen erzeugten Überprüfungsdaten, um die Ann ständig zu kalibrieren und zu aktualisieren. Zu diesem Zweck hat Facebook die Funktion eingeführt, dass ein Benutzer, sobald er in einem Bild automatisch erkannt wird, eine Benachrichtigung erhalten. Sie können wählen, ob sie nicht gerne öffentlich auf dem Bild gekennzeichnet sind, oder Facebook sagen, dass es nicht sie auf dem Bild sind.^[220] Diese Benutzeroberfläche ist ein Mechanismus, um "einen konstanten Strom von Überprüfungsdaten" zu generieren.^[219] Um das Netzwerk weiter in Echtzeit zu trainieren. Wie Müchlhoff argumentiert, ist die Beteiligung menschlicher Nutzer an die Generierung von Schulungs- und Überprüfungsdaten für die meisten kommerziellen Endbenutzeranwendungen des Deep-Lernens so typisch, dass solche Systeme als "menschliche künstliche Intelligenz" bezeichnet werden können.^[219]

Siehe auch

• Anwendungen künstlicher Intelligenz
• Vergleich der Deep -Learning -Software
• Komprimierte Erfindung
• Differenzierbare Programmierung
• Echo State Network
• Liste der Projekte für künstliche Intelligenz
• Flüssige Zustandsmaschine
• Liste der Datensätze für die Forschung für maschinelles Lernen
• Reservoir Computing
• Maßstab Raum und tiefes Lernen skalieren
• Spärliche Codierung

Verweise

Weitere Lektüre