Neurales Netzwerk

Für andere Verwendungen siehe Neural network (disambiguation).
Vereinfachte Ansicht von a Futtermittel künstliche neuronale Netz

A neurales Netzwerk ist ein Netzwerk oder Schaltkreis von biologisch Neuronenoder, im modernen Sinne, und künstliche neuronale Netz, zusammengesetzt aus künstliche Neuronen oder Knoten.[1] Somit ist ein neuronales Netzwerk entweder a Biologisches neuronales Netzwerk, bestehend aus biologischen Neuronen oder einem künstlichen neuronalen Netzwerk, das zum Lösen verwendet wird künstliche Intelligenz (AI) Probleme. Die Verbindungen des biologischen Neurons werden in künstlichen neuronalen Netzwerken als Gewichte zwischen Knoten modelliert. Ein positives Gewicht spiegelt eine exzitatorische Verbindung wider, während negative Werte inhibitorische Verbindungen bedeuten. Alle Eingänge werden durch ein Gewicht geändert und summiert. Diese Aktivität wird als lineare Kombination bezeichnet. Schließlich steuert eine Aktivierungsfunktion die Amplitude der Ausgabe. Beispielsweise liegt ein akzeptabler Ausgangsbereich normalerweise zwischen 0 und 1 oder könnte –1 und 1 betragen.

Diese künstlichen Netzwerke können für verwendet werden Vorhersagemodellierung, adaptive Kontrolle und Anwendungen, bei denen sie über einen Datensatz trainiert werden können. Aus Erfahrung resultierende Selbstlernung kann in Netzwerken auftreten, die Schlussfolgerungen aus komplexen und scheinbar nicht verwandten Informationsmengen abgeben können.[2]

Überblick

A Biologisches neuronales Netzwerk besteht aus einer Gruppe von chemisch verbundenen oder funktionell assoziierten Neuronen. Ein einzelnes Neuron kann mit vielen anderen Neuronen verbunden sein, und die Gesamtzahl der Neuronen und Verbindungen in einem Netzwerk kann umfangreich sein. Verbindungen, genannt Synapsen, werden normalerweise aus gebildet aus Axone zu Dendriten, obwohl Dendrodendritische Synapsen[3] und andere Verbindungen sind möglich. Abgesehen von der elektrischen Signalisierung gibt es andere Signalformen, die entstehen Neurotransmitter Diffusion.

Künstliche Intelligenz, kognitive Modellierung und neuronale Netze sind Paradigmen zur Informationsverarbeitung, die von der Art und Weise inspiriert sind, wie biologische neuronale Systemdaten verarbeitet. Künstliche Intelligenz und Kognitive Modellierung Versuchen Sie, einige Eigenschaften biologischer neuronaler Netzwerke zu simulieren. In dem künstliche Intelligenz Feld, künstliche neuronale Netze wurden erfolgreich angewendet auf Spracherkennung, Bildanalyse und adaptive Kontrolleum zu konstruieren Software -Agenten (in Computer- und Videospiele) oder Autonome Roboter.

Historisch gesehen entwickelten sich digitale Computer aus dem Von Neumann -Modellund über die Ausführung explizite Anweisungen durch Zugriff auf Speicher durch eine Reihe von Prozessoren arbeiten. Andererseits basieren die Ursprünge neuronaler Netze auf Bemühungen zur Modellierung der Informationsverarbeitung in biologischen Systemen. Im Gegensatz zum von Neumann -Modell trennt das Neural Network Computing Speicher und Verarbeitung nicht.

Die neuronale Netzwerktheorie hat dazu dient, besser zu identifizieren, wie die Neuronen in der Gehirnfunktion die Grundlage für Bemühungen zur Schaffung künstlicher Intelligenz bilden.

Geschichte

Die vorläufige theoretische Basis für zeitgenössische neuronale Netze wurde unabhängig voneinander vorgeschlagen von Alexander Bain[4] (1873) und William James[5] (1890). In ihrer Arbeit resultierten sowohl Gedanken als auch Körperaktivität aus Wechselwirkungen zwischen Neuronen im Gehirn.

Computersimulation der Verzweigungsarchitektur der Dendriten von Pyramidenneuronen.[6]

Für Bain,[4] Jede Aktivität führte zum Schießen eines bestimmten Satzes von Neuronen. Bei Wiederholung der Aktivitäten verstärkten sich die Verbindungen zwischen diesen Neuronen. Nach seiner Theorie führte diese Wiederholung zur Bildung des Gedächtnisses. Die damalige allgemeine wissenschaftliche Gemeinschaft war skeptisch gegenüber Bain's[4] Theorie, weil es eine übermäßige Anzahl neuronaler Verbindungen innerhalb des Gehirns erforderte. Es ist jetzt offensichtlich, dass das Gehirn überaus komplex ist und dass das gleiche Gehirn „Verkabelung“ mehrere Probleme und Eingaben bewältigen kann.

James[5] Theorie war ähnlich wie Bains,[4] Er schlug jedoch vor, dass Erinnerungen und Handlungen aus elektrischen Strömen resultierten, die zwischen den Neuronen im Gehirn fließen. Sein Modell, das sich auf den Fluss elektrischer Ströme konzentrierte, erforderte keine individuellen neuronalen Verbindungen für jeden Speicher oder jede Aktion.

C. S. Sherrington[7] (1898) führten Experimente durch, um James 'Theorie zu testen. Er leitete elektrische Ströme über die Rückenmarke der Ratten. Anstatt jedoch einen Anstieg des elektrischen Stroms zu demonstrieren, wie von James projiziert wurde, stellte Sherrington jedoch fest, dass die elektrische Stromstärke im Laufe der Zeit abnahm. Wichtig ist, dass diese Arbeit zur Entdeckung des Konzepts von führte Gewöhnung.

McCulloch und Pitts[8] (1943) erstellten ein Computermodell für neuronale Netzwerke, die auf Mathematik und Algorithmen basieren. Sie nannten diese Modellschwellenlogik. Das Modell ebnete den Weg für die Forschung mit neuronalen Netzwerken, um sich in zwei unterschiedliche Ansätze aufzuteilen. Ein Ansatz konzentrierte sich auf biologische Prozesse im Gehirn und der andere auf die Anwendung neuronaler Netzwerke auf künstliche Intelligenz.

Ende der 1940er Jahre Psychologe Donald Hebb[9] schuf eine Hypothese des Lernens, die auf dem Mechanismus der neuronalen Plastizität basiert, die heute bekannt ist Hebbisch -Lernen. Das Hebbian -Lernen wird als "typisch" angesehen unbeaufsichtigtes Lernen Regel und ihre späteren Varianten waren frühe Modelle für Langzeitpotenzierung. Diese Ideen wurden 1948 auf Computermodelle angewendet Turings B-Typ-Maschinen.

Farley und Clark[10] (1954) verwendeten zuerst Computermaschinen, die dann als Taschenrechner bezeichnet wurden, um ein hebbisches Netzwerk am MIT zu simulieren. Andere Berechnungsmaschinen für neuronale Netze wurden von Rochester, Holland, Gewohnheit und Duda erstellt[11] (1956).

Rosenblatt[12] (1958) schuf die Perzeptron, ein Algorithmus für die Mustererkennung basierend auf einem zweischichtigen Lernkomputernetzwerk unter Verwendung einfacher Addition und Subtraktion. Bei mathematischer Notation beschrieb Rosenblatt auch Schaltkreise nicht im Grundwesen, wie das, wie das Exklusiv oder Schaltung, eine Schaltung, deren mathematische Berechnung erst nach dem verarbeitet werden konnte Backpropagation Der Algorithmus wurde von Werbos erstellt[13] (1975).

Nach der Veröffentlichung der Forschung für maschinelles Lernen stagnierte die Forschung Marvin Minsky und Seymour Paper[14] (1969). Sie entdeckten zwei wichtige Probleme mit den Rechenmaschinen, die neuronale Netze verarbeitet. Das erste Problem war, dass einschichtige neuronale Netze nicht in der Lage waren, die exklusive oder Schaltung zu verarbeiten. Das zweite bedeutende Problem war, dass Computer nicht anspruchsvoll genug waren, um die langfristige Zeit effektiv zu bewältigen, die von großen neuronalen Netzwerken erforderlich waren. Die Forschung der neuronalen Netzwerke verlangsamte sich, bis Computer eine höhere Verarbeitungsleistung erzielten. Auch der Schlüssel für spätere Fortschritte war die Backpropagation Algorithmus, der das exklusive oder das Problem effektiv löste (Werbos 1975).[13]

Das Parallele verteilte Verarbeitung von Mitte der 1980er Jahre wurde unter dem Namen populär Verbindungismus. Der Text von Rumelhart und McClelland[15] (1986) lieferten eine vollständige Darstellung der Verwendung von Connectionism in Computern, um neuronale Prozesse zu simulieren.

Neuronale Netze, wie sie in künstlicher Intelligenz verwendet werden, wurden traditionell als vereinfachte Modelle der neuronalen Verarbeitung im Gehirn angesehen, obwohl die Beziehung zwischen diesem Modell und der biologischen Architektur des Gehirns diskutiert wird, da nicht klar ist, inwieweit künstliche neuronale Netze das Gehirn widerspiegeln Funktion.[16]

Künstliche Intelligenz

Hauptartikel: Künstliche neuronale Netz

A neurales Netzwerk (Nn) im Fall von künstlichen Neuronen genannt künstliche neuronale Netz (Ann) oder simuliertes neuronales Netzwerk (SNN) ist eine miteinander verbundene Gruppe von natürlichen oder künstliche Neuronen das verwendet a mathematisches oder Computermodell zum Informationsverarbeitung based on a verbindlich Herangehensweise an Berechnung. In den meisten Fällen ist eine Ann eine Adaptives System Dies ändert seine Struktur basierend auf externen oder internen Informationen, die durch das Netzwerk fließen.

In praktischerer Hinsicht sind neuronale Netze nichtlinear statistisch Datenmodellierung oder Entscheidung fällen Werkzeug. Sie können verwendet werden, um komplexe Beziehungen zwischen Eingängen und Ausgaben oder bis zu modellieren Muster finden in Daten.

Ein künstliche neuronale Netz beinhaltet ein Netzwerk einfacher Verarbeitungselemente (künstliche Neuronen), die ein komplexes globales Verhalten aufweisen können, bestimmt durch die Verbindungen zwischen den Verarbeitungselementen und den Elementparametern. Künstliche Neuronen wurden erstmals 1943 von vorgeschlagen Warren McCullochein Neurophysiologe und Walter Pitts, ein Logiker, der zum ersten Mal am zusammengearbeitet hat Universität von Chicago.[17]

Eine klassische Art künstlicher neuronaler Netzwerk ist das wiederkehrend Hopfield -Netzwerk.

Das Konzept eines neuronalen Netzwerks scheint zuerst von vorgeschlagen worden zu sein Alan Turing In seiner Zeitung von 1948 Intelligente Maschinen in dem er sie "B-Typ unorganisierte Maschinen" nannte.[18]

Die Nützlichkeit künstlicher neuronaler Netzwerkmodelle liegt in der Tatsache, dass sie verwendet werden können, um eine Funktion aus Beobachtungen zu schließen und sie auch zu verwenden. Unüberwachte neuronale Netze können auch verwendet werden, um Darstellungen der Eingabe zu lernen, die die herausragenden Eigenschaften der Eingangsverteilung erfassen, z. B. siehe das Boltzmann -Maschine (1983) und in jüngerer Zeit, tiefes Lernen Algorithmen, die implizit die Verteilungsfunktion der beobachteten Daten lernen können. Das Lernen in neuronalen Netzwerken ist besonders nützlich in Anwendungen, bei denen die Komplexität der Daten oder Aufgaben die Gestaltung solcher Funktionen von Hand unpraktisch macht.

Anwendungen

Neuronale Netze können in verschiedenen Bereichen verwendet werden. Die Aufgaben, auf die künstliche neuronale Netze angewendet werden, fallen in die folgenden breiten Kategorien:

Anwendungsbereiche von ANNs umfassen Nichtlineare Systemidentifikation[19] und Steuerung (Fahrzeugkontrolle, Prozesskontrolle), Spielspiel und Entscheidungsfindung (Backgammon, Schach, Rennsport), Mustererkennung (Radarsysteme, Gesichtsindentifizierung, Objekterkennung), Sequenzerkennung (Geste, Sprache, handgeschriebene Texterkennung), medizinische Diagnose, Finanzanwendungen, Data Mining (oder Wissenskondeckung in Datenbanken, "KDD"), Visualisierung und E-Mail-Spam Filterung. Zum Beispiel ist es möglich, ein semantisches Profil der Interessen des Benutzers zu erstellen, die aus Bildern entstehen, die für die Objekterkennung geschult sind.[20]

Neurowissenschaften

Theoretisch und Rechenneurowissenschaften befasst sich das Feld mit der Analyse und Computermodellierung biologischer neuronaler Systeme. Da neuronale Systeme eng mit kognitiven Prozessen und Verhalten verbunden sind, steht das Feld eng mit der kognitiven und Verhaltensmodellierung zusammen.

Ziel des Feldes ist es, Modelle biologischer neuronaler Systeme zu erstellen, um zu verstehen, wie biologische Systeme funktionieren. Um dieses Verständnis zu erlangen, bemühen sich Neurowissenschaftler, einen Zusammenhang zwischen beobachteten biologischen Prozessen (Daten), biologisch plausiblen Mechanismen für die neuronale Verarbeitung und Lernen (Daten) herzustellen (Biologisches neuronales Netzwerk Modelle) und Theorie (statistische Lerntheorie und Informationstheorie).

Arten von Modellen

Viele Modelle werden verwendet; definiert auf verschiedenen Abstraktionsniveaus und Modellierung verschiedener Aspekte neuronaler Systeme. Sie reichen von Modellen des kurzfristigen Verhaltens von Einzelne Neuronendurch Modelle der Dynamik der neuronalen Schaltkreise, die sich aus Wechselwirkungen zwischen einzelnen Neuronen ergeben, bis zu Verhaltensmodellen, die sich aus abstrakten neuronalen Modulen ergeben, die vollständige Subsysteme darstellen. Dazu gehören Modelle der langfristigen und kurzfristigen Plastizität neuronaler Systeme und deren Beziehung zu Lernen und Gedächtnis vom einzelnen Neuron bis zur Systemebene.

Konnektivität

Siehe auch: Hirnkonnektivitätsschätzer

Im August 2020 berichteten Wissenschaftler, dass bidirektionale Verbindungen oder hinzugefügte Feedback-Verbindungen die Kommunikation zwischen und in Modular beschleunigen und verbessern können Neuronale Netze des Gehirns Zerebraler Kortex und senken Sie die Schwelle für ihre erfolgreiche Kommunikation. Sie zeigten, dass das Hinzufügen von Rückkopplungsverbindungen zwischen einem Resonanzpaar eine erfolgreiche Ausbreitung eines einzelnen Pulspakets im gesamten Netzwerk unterstützen kann.[21][22]

Kritik

Historisch gesehen war eine häufige Kritik an neuronalen Netzwerken, insbesondere in der Robotik, eine große Vielfalt von Trainingsproben für den realen Betrieb. Dies ist nicht überraschend, da jede Lernmaschine ausreichende repräsentative Beispiele benötigt, um die zugrunde liegende Struktur zu erfassen, die es ihm ermöglicht, neue Fälle zu verallgemeinern. Dean Pomerleau, in seiner Forschung in dem Papier "Wissensbasierte Ausbildung künstlicher neuronaler Netzwerke für autonomes Roboterfahren", verwendet ein neuronales Netz , etc.). Ein großer Teil seiner Forschung ist der Extrapolation mehrerer Trainingsszenarien aus einer einzigen Trainingserfahrung und (2) die Vergangenheit der Trainingsvielfalt, damit das System nicht übertrainiert wird (wenn es beispielsweise beispielsweise eine Serie präsentiert wird von rechts Kurven - es sollte nicht lernen, immer rechts abzubiegen). Diese Probleme sind in neuronalen Netzwerken üblich, die sich aus einer Vielzahl von Antworten entscheiden müssen, können jedoch auf verschiedene Arten behandelt werden, indem sie die Trainingsbeispiele zufällig mischen Ändern der Netzwerkverbindungen nach einem Beispiel oder durch Gruppierung von Beispielen in sogenannten Mini-Stapeln.

A. K. Dewdney, ein ehemaliger Wissenschaftlicher Amerikaner Der Kolumnist schrieb 1997: "Obwohl neuronale Netze einige Spielzeugprobleme lösen, sind ihre Berechnungskräfte so begrenzt, dass ich überrascht bin, dass jemand sie als allgemeines Problem der Problemlösungsmittel ernst nimmt" (Dewdney, S. 82).

Argumente für die Position von Dewdney sind, dass die Implementierung großer und effektiver Software -neuronaler Netzwerke viel Verarbeitungs- und Speicherressourcen begangen werden müssen. Während das Gehirn Hardware hat, die auf die Aufgabe der Verarbeitung von Signalen durch ein Neuronen -Diagramm zugeschnitten ist, kann es einen neuronalen Netzwerk -Designer dazu zwingen, auch eine sehr vereinfachte Form der von Neumann -Technologie zu simulieren Datenbank Zeilen für seine Verbindungen - die große Mengen an Computer konsumieren können Erinnerung und Datenspeicher Kapazität. Darüber hinaus muss der Designer neuronaler Netzwerksysteme häufig die Übertragung von Signalen durch viele dieser Verbindungen und ihre damit verbundenen Neuronen simulieren - was oft mit unglaublichen Mengen übereinstimmt werden muss Zentralprozessor Verarbeitungskraft und Zeit. Während neuronale Netze oft ergeben Wirksam Programme, sie tun dies zu oft auf Kosten von Effizienz (Sie neigen dazu, beträchtliche Zeit und Geld zu konsumieren).

Argumente gegen die Position von Dewdney sind, dass neuronale Netze erfolgreich verwendet wurden, um viele komplexe und vielfältige Aufgaben zu lösen, wie z. B. autonom fliegende Flugzeuge.[23]

Der Technologieautor Roger Bridgman kommentierte die Aussagen von Dewdney über neuronale Netze:

Neuronale Netzwerke zum Beispiel sind nicht nur, weil sie in den hohen Himmel gehandelt wurden (was hat nicht?), Sondern auch, weil Sie ein erfolgreiches Netz schaffen könnten, ohne zu verstehen, wie es funktioniert hat: die Häufigkeit von Zahlen, die seine erfassen Das Verhalten wäre höchstwahrscheinlich "eine undurchsichtige, unlesbare Tabelle ... als wissenschaftliche Ressource wertlos".

Trotz seiner nachdrücklichen Erklärung, dass die Wissenschaft keine Technologie ist, scheint Dewdney hier die nördlichen neuronalen Netze als schlechte Wissenschaft zu sein, wenn die meisten derjenigen, die sie entwickeln, nur versuchen, gute Ingenieure zu sein. Eine unlesbare Tabelle, die eine nützliche Maschine lesen könnte, wäre immer noch wert.[24]

Obwohl es wahr ist, dass die Analyse dessen, was von einem künstlichen neuronalen Netzwerk gelernt wurde, schwierig ist, ist es viel einfacher, dies zu tun, als das zu analysieren, was von einem biologischen neuronalen Netzwerk gelernt wurde. Darüber hinaus hat die jüngste Betonung der Erklärung der KI zur Entwicklung von Methoden beigetragen, insbesondere auf die Aufmerksamkeitsmechanismen, um erlernte neuronale Netze zu visualisieren und zu erklären. Darüber hinaus entdecken Forscher, die an der Erforschung von Lernalgorithmen für neuronale Netze beteiligt sind, allmählich generische Prinzipien auf, die es einer Lernmaschine ermöglichen, erfolgreich zu sein. Zum Beispiel haben Bengio und Lecun (2007) einen Artikel über lokales und nicht lokales Lernen sowie flache und tiefe Architektur geschrieben.[25]

Einige andere Kritikpunkte stammten von Gläubigen von Hybridmodellen (kombiniert neuronale Netze und symbolisch Ansätze). Sie befürworten die Intermix dieser beiden Ansätze und glauben, dass Hybridmodelle die Mechanismen des menschlichen Geistes besser erfassen können (Sun and Bookman, 1990).[Vollständiges Zitat benötigt]

Jüngste Verbesserungen

Während die Forschungen zunächst hauptsächlich mit den elektrischen Eigenschaften von Neuronen befasst waren, war ein besonders wichtiger Teil der Untersuchung in den letzten Jahren die Untersuchung der Rolle von Neuromodulatoren wie zum Beispiel Dopamin, Acetylcholin, und Serotonin über Verhalten und Lernen.

Biophysisch Modelle wie z. BCM -Theorie, waren wichtig, um Mechanismen für zu verstehen synaptische Plastizitätund hatte Anwendungen sowohl in Informatik als auch in Neurowissenschaften. Die Forschung wird im Verständnis der im Gehirn verwendeten Rechenalgorithmen mit einigen neueren biologischen Beweisen für fortgesetzt radiale Basisnetzwerke und neuronale Backpropagation als Mechanismen für die Verarbeitungsdaten.

In CMOs wurden sowohl für die biophysikalische Simulation als auch für die biophysikalische Simulation als auch für biophysikalische Geräte erstellt Neuromorphes Computer. Neuere Bemühungen sind vielversprechend für die Schaffung Nanodevices für sehr große Maßstäbe Hauptkomponenten Analysen und Faltung.[26] Wenn er erfolgreich ist, könnten diese Bemühungen eine neue Ära von einleiten Neural Computing Das ist ein Schritt über das digitale Computer hinaus,[27] Weil es abhängig von Lernen statt Programmierung Und weil es grundlegend ist Analog statt Digital Auch wenn die ersten Instanziationen tatsächlich bei CMOS -digitalen Geräten sein können.

Zwischen 2009 und 2012 die Wiederkehrende neuronale Netze und tief Feedforward Neural Networks entwickelt in der Forschungsgruppe von Jürgen Schmidhuber Bei der Schweizer AI Labor Idsia haben acht internationale Wettbewerbe in gewonnen Mustererkennung und maschinelles Lernen.[28] Zum Beispiel mehrdimensional Langer kurzfristiger Speicher (LSTM)[29][30] gewann drei Wettbewerbe in Connected Handschrifterkennung Auf der Internationalen Konferenz über Dokumentenanalyse und Anerkennung 2009 (ICDAR) ohne Vorkenntnisse über die drei verschiedenen Sprachen.

Varianten der Backpropagation Algorithmus sowie unbeaufsichtigte Methoden von Geoff Hinton und Kollegen am Universität von Toronto kann verwendet werden, um tiefe, nichtlineare neuronale Architekturen zu trainieren,[31] Ähnlich wie die 1980 Neocognitron durch Kunihiko Fukushima,[32] und die "Standardarchitektur der Vision",[33] inspiriert von den einfachen und komplexen Zellen, die durch identifiziert wurden David H. Hubel und Torsten Wiesel in der primären visueller Kortex.

Radiale Basisfunktion und Wavelet -Netzwerke wurden ebenfalls eingeführt. Es kann gezeigt werden, dass es sich um die besten Annäherungseigenschaften anbietet und in angewendet wurde Nichtlineare Systemidentifikation und Klassifizierungsanwendungen.[19]

Tiefes Lernen Feedforward -Netzwerke wechseln sich ab Faltung Schichten und Max-Pooling-Schichten, gekrönt von mehreren reinen Klassifizierungsschichten. Schnell GPU-basierte Implementierungen dieses Ansatz[34] und die ISBI 2012 -Segmentierung von neuronalen Strukturen in Elektronenmikroskopiestapeln Herausforderung.[35] Solche neuronalen Netzwerke waren auch die ersten künstlichen Mustererkenner, die menschlich-wettbewerbsfähige oder sogar übermenschliche Leistung erzielten[36] Auf Benchmarks wie Verkehrszeichenerkennung (IJCNN 2012) oder dem Problem der handgeschriebenen MNIST -Probleme von Yann Lecun und Kollegen bei NYU.

Siehe auch

Verweise

  1. ^ Hopfield, J. J. (1982). "Neuronale Netze und physikalische Systeme mit aufstrebenden kollektiven Rechenfähigkeiten". Proc. Natl. Acad. Sci. VEREINIGTE STAATEN VON AMERIKA. 79 (8): 2554–2558. Bibcode:1982pnas ... 79,2554H. doi:10.1073/pnas.79.8.2554. PMC 346238. PMID 6953413.
  2. ^ "Neurales Netz oder neuronales Netzwerk - Gartner Es Glossar". www.gartner.com.
  3. ^ Arbib, S. 666
  4. ^ a b c d Bain (1873). Geist und Körper: Die Theorien ihrer Beziehung. New York: D. Appleton und Company.
  5. ^ a b James (1890). Die Prinzipien der Psychologie. New York: H. Holt und Company.
  6. ^ Cuntz, Hermann (2010). "PLoS Computational Biology Issue Image | Vol. 6 (8) August 2010". PLoS Computational Biology. 6 (8): ev06.i08. doi:10.1371/image.pcbi.v06.i08.
  7. ^ Sherrington, C. S. (1898). "Experimente zur Untersuchung der peripheren Verteilung der Fasern der hinteren Wurzeln einiger Wirbelsäulennerven". Verfahren der Royal Society of London. 190: 45–186. doi:10.1098/rstb.1898.0002.
  8. ^ McCulloch, Warren; Walter Pitts (1943). "Ein logischer Berechnung von Ideen immanent in nervöser Aktivität". Bulletin der mathematischen Biophysik. 5 (4): 115–133. doi:10.1007/bf02478259.
  9. ^ Hebb, Donald (1949). Die Organisation des Verhaltens. New York: Wiley.
  10. ^ Farley, b.; W. A. ​​Clark (1954). "Simulation von selbstorganisierenden Systemen nach digitalem Computer". IRE -Transaktionen zur Informationstheorie. 4 (4): 76–84. doi:10.1109/tit.1954.1057468.
  11. ^ Rochester, N.; J.H. Holland, L. H. Habit und W.L. Duda (1956). "Tests an einer Zellmontageentheorie der Wirkung des Gehirns unter Verwendung eines großen digitalen Computers". IRE -Transaktionen zur Informationstheorie. 2 (3): 80–93. doi:10.1109/tit.1956.1056810.
  12. ^ Rosenblatt, F. (1958). "Das Perzeptron: Ein probalistisches Modell zur Speicherung und Organisation des Gehirns" für Informationsspeicherung ". Psychologische Überprüfung. 65 (6): 386–408. Citeseerx 10.1.1.588.3775. doi:10.1037/h0042519. PMID 13602029.
  13. ^ a b Werbos, P. J. (1975). Jenseits der Regression: Neue Instrumente für Vorhersage und Analyse in den Verhaltenswissenschaften.
  14. ^ Minsky, M.; S. Papert (1969). Eine Einführung in die Computergeometrie. MIT Press. ISBN 978-0-262-63022-1.
  15. ^ Rumelhart, D.E.; James McClelland (1986). Parallele verteilte Verarbeitung: Erkundungen in der Mikrostruktur der Kognition. Cambridge: MIT Press.
  16. ^ Russell, Ingrid. "Modul für neuronale Netze". Archiviert von das Original am 29. Mai 2014. Abgerufen 2012. {{}}: Überprüfen Sie die Datumswerte in: |access-date= (Hilfe)
  17. ^ McCulloch, Warren; Pitts, Walter (1943). "Ein logischer Berechnung von Ideen immanent in nervöser Aktivität". Bulletin der mathematischen Biophysik. 5 (4): 115–133. doi:10.1007/bf02478259.
  18. ^ Copeland, B. Jack, ed. (2004). Die wesentliche Turing. Oxford University Press. p. 403. ISBN 978-0-19-825080-7.
  19. ^ a b Billings, S. A. (2013). Nichtlineare Systemidentifikation: Narmax-Methoden in den Time, Frequenz- und räumlich-zeitlichen Domänen. Wiley. ISBN 978-1-119-94359-4.
  20. ^ Wieczorek, Szymon; Filipiak, Dominik; Filipowska, Agata (2018). "Semantische bildbasierte Profilierung der Benutzerinteressen mit neuronalen Netzwerken". Studien zum semantischen Web. 36 (Aufstrebende Themen in semantischen Technologien). doi:10.3233/978-1-61499-894-5-179.
  21. ^ "Neurowissenschaftler zeigen, wie die Kommunikation zwischen verschiedenen Regionen des Gehirns verbessert werden kann.". MedicalXpress.com. Abgerufen 6. September, 2020.
  22. ^ Rezaei, Hedyeh; Aertsen, ad; Kumar, Arvind; Valizadeh, Alireza (10. August 2020). "Erleichterung der Ausbreitung der Spikeaktivität in Feedforward -Netzwerken durch Einbeziehung von Feedback". PLoS Computational Biology. 16 (8): E1008033. Bibcode:2020PLSCB..16E8033R. doi:10.1371/journal.pcbi.1008033. ISSN 1553-7358. PMC 7444537. PMID 32776924. S2CID 221100528. CC-BY icon.svg Text und Bilder sind unter einem verfügbar Creative Commons Attribution 4.0 Internationale Lizenz.
  23. ^ Administrator, NASA (5. Juni 2013). "Dryden Flight Research Center - News Room: Nachrichtenveröffentlichungen: NASA Neural Network Project Passes Meilenstein". NASA.
  24. ^ "Roger Bridgmans Verteidigung neuronaler Netzwerke". Archiviert von das Original am 19. März 2012. Abgerufen Der 1. August, 2006.
  25. ^ "Skalierung von Lernalgorithmen in Richtung {ai} - lisa - Publikationen - Aigaion 2.0". www.iro.umontreal.ca.
  26. ^ Yang, J. J.; et al. (2008). "Memristiver Schaltmechanismus für Metalle/Oxid/Metall -Nanodevices". Nat. Nanotechnol. 3 (7): 429–433. doi:10.1038/nnano.2008.160. PMID 18654568.
  27. ^ Strukov, D. B.; et al. (2008). "Der fehlende Memristor hat" gefunden ". Natur. 453 (7191): 80–83. Bibcode:2008Natur.453 ... 80s. doi:10.1038/nature06932. PMID 18451858. S2CID 4367148.
  28. ^ "2012 Kurzweil AI Interview mit Jürgen Schmidhuber über die acht Wettbewerbe seines Deep Learning Team 2009–2012". Archiviert von das Original am 31. August 2018. Abgerufen 10. Dezember, 2012.
  29. ^ Graves, Alex; Schmidhuber, Jürgen (2008). "Offline -Handschrifterkennung mit mehrdimensionalen wiederkehrenden neuronalen Netzwerken". In Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; Culotta, Aron (Hrsg.). Fortschritte in den neuronalen Informationsverarbeitungssystemen 21 (NIPS'21). Vol. 21. Foundation für Neuronale Informationsverarbeitungssysteme (NIPS). S. 545–552.
  30. ^ Graves, a.; Liwicki, M.; Fernandez, S.; Bertolami, R.; Bunke, H.; Schmidhuber, J. (2009). "Ein neuartiges verbindungsorientiertes System für eine verbesserte nicht eingeschränkte Handschrifterkennung". IEEE -Transaktionen zur Musteranalyse und Maschinenintelligenz. 31 (5): 855–868. Citeseerx 10.1.1.139.4502. doi:10.1109/tpami.2008.137. PMID 19299860. S2CID 14635907.
  31. ^ Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "Ein schneller Lernalgorithmus für tiefe Glaubensnetze" (PDF). Neuronale Berechnung. 18 (7): 1527–1554. Citeseerx 10.1.1.76.1541. doi:10.1162/neco.2006.18.7.1527. PMID 16764513. S2CID 2309950.
  32. ^ Fukushima, K. (1980). "Neocognitron: Ein selbstorganisierendes neuronales Netzwerkmodell für einen Mechanismus der Mustererkennung, der durch Verschiebung der Position nicht betroffen ist". Biologische Kybernetik. 36 (4): 93–202. doi:10.1007/bf00344251. PMID 7370364. S2CID 206775608.
  33. ^ Riesenhuber, M.; Poggio, T. (1999). "Hierarchische Modelle der Objekterkennung im Kortex". Nature Neurowissenschaften. 2 (11): 1019–1025. doi:10.1038/14819. PMID 10526343. S2CID 8920227.
  34. ^ D. C. Ciresan, U. Meier, J. Masci, J. Schmidhuber. Multi-Säulen-tiefe neuronale Netzwerk für die Klassifizierung des Verkehrszeichens. Neuronale Netzwerke, 2012.
  35. ^ D. Ciresan, A. Giusti, L. Gambardella, J. Schmidhuber. Tiefe neuronale Netze Segment Neuronale Membranen in Elektronenmikroskopiebildern. In Fortschritten in neuronalen Informationsverarbeitungssystemen (NIPS 2012), Lake Tahoe, 2012.
  36. ^ D. C. Ciresan, U. Meier, J. Schmidhuber. Multi-Säulen tiefe neuronale Netze zur Bildklassifizierung. IEEE Conf. über Computer Vision und Mustererkennung CVPR 2012.

Externe Links