Spärmer verteilter Speicher

Spärmer verteilter Speicher (SDM) ist ein mathematisches Modell des Menschen Langzeitgedächtnis Vorgestellt von Pentti Kanerva 1988, als er bei war NASA Ames Research Center. Es ist verallgemeinert Arbeitsspeicher (RAM) für lange (z. B. 1.000 Bit) binäre Wörter. Diese Wörter dienen als beide Adressen an und Daten für den Speicher. Das Hauptattribut des Gedächtnisses ist die Empfindlichkeit gegenüber Ähnlichkeit, was bedeutet, dass ein Wort nicht nur durch Angeben der ursprünglichen Schreibadresse, sondern auch durch die Angabe eines in der Nähe von der Anzahl der nicht übereinstimmenden Bits (d. H. Das gemessen wird Hamming -Entfernung zwischen Speicheradressen).^[1]

SDM implementiert die Transformation vom logischen Raum in den physischen Raum unter Verwendung einer verteilten Datendarstellung und -speicherin, ähnlich wie Codierung Prozesse im menschlichen Gedächtnis.^[2] Ein Wert, der einer logischen Adresse entspricht, wird in vielen physischen Adressen gespeichert. Diese Aufbewahrung ist robust und nicht deterministisch. Eine Speicherzelle wird nicht direkt angesprochen. Wenn Eingabedaten (logische Adressen) teilweise beschädigt sind, können wir weiterhin korrekte Ausgabedaten erhalten.^[3]

Die Theorie des Gedächtnisses ist mathematisch vollständig^[1] und wurde überprüft von Computersimulation. Es ergab sich aus der Beobachtung, dass die Entfernungen zwischen Punkten von a Hochdimensionaler Raum ähneln den Näherungsbeziehungen zwischen Konzepte im menschlichen Gedächtnis. Die Theorie ist auch praktisch, als Erinnerungen, die darauf beruhen, mit konventionellem Umfang implementiert werden können Arbeitsspeicher Elemente.^[4]

Definition

Das menschliche Gedächtnis neigt dazu Versammlung Erinnerungen Basierend auf Ähnlichkeiten zwischen ihnen (obwohl sie möglicherweise nicht verwandt sind), z. B. "Firetrucks sind rot und Äpfel sind rot".^[5] Das spärliche verteilte Gedächtnis ist eine mathematische Darstellung des menschlichen Gedächtnisses und verwendet Hochdimensionaler Raum Um die großen Mengen an Gedächtnis zu modellieren, die das des menschlichen neuronalen Netzwerks nachahmt.^[6][7] Eine wichtige Eigenschaft solcher hohen dimensionalen Räume ist, dass zwei zufällig ausgewählte Vektoren relativ weit voneinander entfernt sind, was bedeutet, dass sie nicht korreliert sind.^[8] SDM kann als Verwirklichung von angesehen werden Lokalempfindliches Hashing.

Die zugrunde liegende Idee hinter einem SDM ist die Zuordnung eines riesigen binären Gedächtnisses auf einen kleineren Satz physikalischer Stellen, sogenannte harte Orte. Als allgemeine Richtlinie sollten diese harten Standorte im virtuellen Raum einheitlich verteilt werden, um die Existenz des größeren virtuellen Raums so genau wie möglich nachzuahmen. Jedes Datum wird von einer Reihe von harten Standorten gespeichert und durch Mittelung dieser Standorte abgerufen. Der Rückruf ist daher möglicherweise nicht perfekt, die Genauigkeit in Abhängigkeit von der Sättigung des Gedächtnisses.

Der Vorschlag von Kanerva basiert auf vier grundlegenden Ideen:^[9]

• 1. Der Boolesche Raum ${\ displayStyle \ {0,1 \}^{n}}$, oder ${\ displayStyle 2^{n}}$ Punkte in ${\ displayStyle 10^{0} <n <10^{5}}$ Dimensionen zeigen Eigenschaften, die den intuitiven Begriffen des Menschen zwischen den Konzepten ähnlich sind. Dies bedeutet, dass es sinnvoll ist, Daten als Punkte des genannten Raums zu speichern, in dem jedes Speicherelement als N-Bit-Vektor gespeichert wird.
• 2. Neuronen mit N-Eingängen können als Adressdecoder eines Zufallszugriffsspeichers verwendet werden
• 3. Prinzip für das Vereinigung: Daten, die in den Speicher gespeichert sind, können als Adressen für denselben Speicher verwendet werden. Der Abstand zwischen zwei Punkten ist ein Maß für die Ähnlichkeit zwischen zwei Speicherelementen. Je näher die Punkte, desto ähnlicher sind die gespeicherten Vektoren.
• 4. Die Zeit kann im Speicher in Abhängigkeit vom Ort verfolgt werden, wo die Daten gespeichert werden, wenn die Daten als Ereignissequenzen organisiert werden

Der binäre Raum n

Das SDM arbeitet mit n-dimensionalen Vektoren mit binären Komponenten. Abhängig vom Kontext werden die Vektoren als Punkte, Muster, Adressen, Wörter, Speicherelemente, Daten oder Ereignisse bezeichnet. In diesem Abschnitt geht es hauptsächlich um die Eigenschaften des Vektorraums n = ${\ displayStyle \ {0,1 \}^{n}}$. Sei n Anzahl der Dimensionen des Raums. Die Anzahl der Punkte oder mögliche Speicherelemente ist dann ${\ displayStyle 2^{n}}$. Wir werden diese Nummer durch N bezeichnen und n und verwenden n und verwenden ${\ displayStyle 2^{n}}$ auch für den Raum selbst stehen.^[3]

Konzepte im Zusammenhang mit dem Raum N: ${\ displayStyle \ {0,1 \}^{n}}$^[3]

• Herkunft, 0: Der Punkt mit allen Koordinaten 0 wird als Ursprung bezeichnet, 0 = 000 ... 00.
• Ergänzen, 'x: Das Komplement oder das Gegenteil von Punkt X ist das N-Tupel, in dem X Nullen hat und umgekehrt.
• Norm, | x |: Die Norm von Punkt x ist die Anzahl derjenigen in seiner binären Darstellung.
• Unterschied, x-y: Der Unterschied von zwei Punkten x und y ist das N-Tupel, in dem X und Y unterscheiden und woanders nuller werden. Es ist das Bitgewise 'Exklusiv oder': x - y = x ⊕ y. Der Unterschied pendelt: x - y = y - x.
• Distanz, D (x, y) Der Abstand zwischen zwei Punkten x und y ist die Anzahl der Abmessungen, in denen x und y unterscheiden. Es wird als Hamming -Entfernung bezeichnet (seine quadratische Wurzel ist die Euklidische Entfernung) und wird in Bits ausgedrückt. Entfernung ist die Norm der Differenz: D (x, y) = | x - y |
• Zwischenheit, x: y: z: Punkt y liegt zwischen den Punkten x und z, wenn und nur wenn der Abstand von x zu z die Summe der Entfernungen von x zu y und von y zu z ist; Das heißt, x: y: z ⇔ d (x, z) = d (x, y) + d (y, z). Es ist leicht zu erkennen, dass jeder Punkt dazwischen eine Kopie des entsprechenden Stücks eines Endpunkts ist.
• Orthogonalität, x ⊥ y: Punkt x ist orthogonal zum Punkt y, oder die beiden sind senkrecht oder gleichgültig, wenn der Abstand zwischen den beiden die Hälfte der Abmessungen beträgt: x ⊥ y ⇔ d (x, y) = n/ 2. Die Entfernung n/2 wird als Gleichgültigkeit des Raums N bezeichnet. Wenn x orthogonal zu y ist, ist er auch orthogonal zu seinem Komplement 'y (x ist auf halbem Weg zwischen Y und' Y).
• Kreis, O (r, x) Ein Kreis mit Radius R und Mitte X ist der Satz von Punkten, die höchstens r Bit von x: o (r, x) = {y | sind D (x, y) ≤ r}.

Eigenschaften des Raums N: ${\ displayStyle \ {0,1 \}^{n}}$^[1][3]

Der Raum N kann durch die Eckpunkte des Einheitswürfels in n-dimensionalem dargestellt werden Euklidischer Raum. Die Eckpunkte liegen auf der Oberfläche eines n-dimensionalen Bereichs mit (euklidischem) Radius ${\ displayStyle {\ sqrt {n}}/2}$. Dies führt zu dem Kugel Analogie. Wir werden einen Raum sphärisch nennen, wenn

• 1. Jeder Punkt X hat ein einzigartiges entgegengesetztes 'x,
• 2. Der gesamte Raum liegt zwischen jedem Punkt x und seinem entgegengesetzten 'x, und
• 3. Alle Punkte sind "gleich" (dh für zwei Punkte x und y bleibt eine Entfernung erhalten Automorphismus des Raums, der X auf Y kartiert, so dass der Raum aus einem seiner Punkte "gleich aussieht".

Die Oberfläche einer Kugel (im euklidischen 3D-Raum) ist eindeutig kugelförmig. Nach Definition ist N auch kugelförmig, da y ⊕ x ⊕ (…) ein Automorphismus ist, der x bis y kartiert. Weil n kugelförmig ist, ist es hilfreich, es als die Oberfläche einer Kugel mit zu betrachten Umfang 2n. Alle Punkte von N sind gleichermaßen als Herkunftspunkte qualifiziert, und ein Punkt und seine Komplement sind wie zwei Pole in der Entfernung N voneinander, wobei der gesamte Raum dazwischen ist. Die Punkte zwischen den Polen und senkrecht zu ihnen sind wie der Äquator.

Verteilung des Raums n

Die Anzahl der Punkte, die genau D -Bits von einem willkürlichen Punkt X (z. B. aus Punkt 0) sind Binomialkoeffizient:${\ displayStyle {\ binom {n} {d}} = {\ frac {n!} {d! (n-d)!}}}$

Die Verteilung von n ist also die Binomialverteilung mit den Parametern n und p, wobei p = 1/2. Der Mittelwert der binomiale Verteilung ist n/2 und die Varianz ist n/4. Diese Verteilungsfunktion wird mit N (d) bezeichnet. Das Normalverteilung F mit mittlerem n/2 und Standardabweichung ${\ displayStyle {\ sqrt {n}}/2}$ ist eine gute Annäherung daran: n (d) = pr {d (x, y) ≤ d} ≅ f {(d - n / 2) / / ${\ displayStyle {\ sqrt {n/4}}}$}

Tendenz zur Orthogonalität

Eine ausstehende Eigenschaft von N ist, dass das meiste davon in ungefähr der mittleren (Gleichgültigkeits-) Entfernung N/2 von einem Punkt (und seiner Komplement) liegt. Mit anderen Worten, der größte Teil des Raums ist fast orthogonal zu einem bestimmten Punkt, und je größer n ist, desto ausgeprägter ist dieser Effekt.

Als neuronales Netzwerk

Das SDM kann entweder als inhaltsadressible Erweiterung einer Klassiker angesehen werden Arbeitsspeicher (RAM) oder als spezielle Art von drei Ebenen Feedforward Neural Network. Die wichtigsten SDM -Änderungen am RAM sind:^[10]

• Das SDM berechnet Hamming -Entfernungen Zwischen der Referenzadresse und jeder Ortadresse. Für jeden Abstand, der weniger oder gleich dem angegebenen Radius ist, wird die entsprechende Position ausgewählt.
• Der Speicher wird durch Zähler dargestellt (wobei n die Anzahl der Stellen und M die Eingangsdatenlänge anstelle von Einzelbitspeicherelementen ist.
• Das Schreiben in die Erinnerung anstatt zu überschreiben ist wie folgt:
  • Wenn die I-Bit der Eingabedaten 1 beträgt, werden die entsprechenden Zähler (Zähler in den ausgewählten Stellen (Zeilen) und in den I-TH-Spalten) inkrementiert.
  • Wenn die I-Bit der Eingabedaten 0 beträgt, sind die entsprechenden Zähler abgeschlossen.
• Das Lesen (oder Rückruf) aus dem Speicher ist ähnlich:
  • Der Inhalt der ausgewählten Positionen wird kalumnweise summiert.
  • Jede Summe wird geschwmet. Wenn die Summe größer oder gleich dem Schwellenwert ist, wird das entsprechende Ausgangsbit auf 1 gesetzt, im gegenüberliegenden Fall wird es gelöscht. Beachten Sie, dass die Schwellenwerte Null sein können, wenn die Trainingseingangsvektoren für orthogonale geschlossen sind.

Neuronmodell

Eine idealisierte Beschreibung von Neuron ist wie folgt: Ein Neuron hat einen Zellkörper mit zwei Arten von Zweigen: Dendriten und ein Axon. Es empfängt Eingangssignale von anderen Neuronen über Dendriten, integriert (Summen) und erzeugt ein eigenes (elektrisches) Ausgangssignal, das über Axon an externe Neuronen gesendet wird. Die elektrischen Kontaktpunkte zwischen Neuronen werden aufgerufen Synapsen.

Wenn ein Neuron ein Signal erzeugt Brennen und nach dem Schießen muss genesen bevor es wieder feuert. Die relative Bedeutung einer Synapse mit dem Brennen von Neuron wird genannt synaptisches Gewicht (oder Eingangskoeffizient). Es gibt zwei Arten von Synapsen: Aufregung das auslösen Neuron zu Feuer und hemmend Das behindert das Feuer. Das Neuron ist entweder exzitatorisch oder hemmend gemäß den Arten von Synapsen seines Axons.^[11]

Ein Neuron feuert an, wenn die Summe der Eingänge einen spezifischen überschreiten Schwelle. Je höher der Schwellenwert ist, desto wichtiger ist es, dass exzitatorische Synapsen Eingaben haben, während hemmende dies nicht tun.^[12] Ob ein gewonnenes Neuron tatsächlich Brände tatsächlich abhängt, hängt davon ab, ob es einen ausreichenden exzitatorischen Input (jenseits der Schwelle) und nicht zu viel hemmender Input innerhalb eines bestimmten Zeitraums erhalten hat.

Das formale Neuronmodell vereinfacht die Annahmen weiter.^[13] Ein n-Input -Neuron wird durch a modelliert Lineare Schwellenwertfunktion ${\ displaystyle f: \ {0,1 \}^{n}-> \ {0,1 \}}$ folgendermaßen :

Zum ${\ displayStyle i = 0, ..., n-1}$ Wo n die Anzahl der Eingänge ist, lassen Sie es ${\ displayStyle f_ {t}}$ die Ausgabe zum Zeitpunkt sein t: ${\ displayStyle f_ {t} \ in \ {0,1 \}}$, und lass ${\ displayStyle x_ {i, t}}$ sei der i-Th Eingabe zur Zeit t: ${\ displaystyle x_ {i, t} \ in \ {0,1 \}}$. Lassen ${\ displayStyle w_ {i}}$ das Gewicht der i-D -Eingang und lassen ${\ displayStyle c}$ die Schwelle sein.

Das gewichtete Summe der Eingänge zur Zeit t wird definiert von ${\ displayStyle s_ {t} = \ sum _ {i = 0}^{n-1} w_ {i} x_ {i, t}}$

Das Neuronausgang zum Zeitpunkt t wird dann als a definiert Boolesche Funktion:$oder }}}$

Wo f_t= 1 bedeutet, dass das Neuron zum Zeitpunkt feuert t und f_t= 0, dass es nicht tut, d. H. Damit das Neuron die gewichtete Summe abfeuern muss, muss die Schwelle erreichen oder überschreiten. Erregende Eingaben erhöhen die Summe und die Hemmeingaben verringern sie.

Neuron als Adress-Decoder

Kanervas Schlüsselarbeit^[1] ist, dass bestimmte Neuronen ihre Eingangskoeffizienten und Schwellenwerte über das gesamte Leben eines Organismus befestigen und als Adressdecoder verwendet werden n-tupel der Eingangskoeffizienten (das Muster, auf das Neuronen am leichtesten reagieren) bestimmt die n-Bit -Speicheradresse und der Schwellenwert steuert die Größe des Bereichs ähnlicher Adressmuster, auf den das Neuron reagiert.

Dieser Mechanismus ergänzt sich zu einstellbaren Synapsen oder einstellbaren Gewichten in einem neuronalen Netzwerk (Perzeptron Konvergenzlernen), da dieser feste Zugriffsmechanismus dauerhaft wäre Bezugsrahmen was zulässt auswählen Die Synapsen, in denen die Informationen gespeichert werden und von denen sie unter bestimmten Umständen abgerufen werden. Darüber hinaus würde eine Codierung des gegenwärtigen Umstands als Adresse dienen.

Die Adresse a eines Neurons mit Eingangskoeffizienten w wo ${\ displayStyle w_ {0}, .., w_ {n_ {1}}}$ ist definiert als eine n-Biteingangsmuster, das die gewichtete Summe maximiert. Das Maximum tritt auf, wenn die inhibitorischen Eingaben Nullen und die exzitatorischen Eingaben sind. Das i-D -Adresse lautet:

${\ displaystyle \ mathbf {a} _ {i} = {\ begin {cases} 1 & {\ text {if}} w_ {i}> 0, \\ 0 & {\ text {if}} . \ end {cases}}}$ (Angenommen, Gewichte sind ungleich Null)

Das Maximale gewichtete Summe ${\ displayStyle s (w)}$ ist dann die Summe aller positiven Koeffizienten:${\ displayStyle s (w) = \ sum _ {w_ {i}> 0} w_ {i}}$

Und die Minimum gewichtete Summe ${\ displayStyle s (w)}$ würde einem Punkt entsprechen, der der Neuronadresse a`: ${\ displayStyle s (w) = \ sum _ {w_ {i} <0} W_ {i}}$

Wenn der Schwellenwert C in Reichweite liegt ${\ displayStyle s (w) <c <s (w)}}$ Die Ausgabe des Neurons beträgt 0 für einige Adressen (Eingangsmuster) und 1 für andere. Wenn der Schwellenwert über S liegt, ist die Ausgabe immer 0, wenn sie unter s liegt, ist die Ausgabe immer 1. durch eine ordnungsgemäße Wahl des Schwellenwerts ein Neuron nur auf nur eine Adresse. Wenn der Schwellenwert s (das Maximum für die gewichtete Summe) ist, reagiert das Neuron nur auf seine eigene Adresse und wirkt wie ein Adressdecoder eines konventionellen Arbeitsspeicher.

Speicherort

SDM ist so konzipiert, dass sie mit Adressmustern fertig werden, die einen enormen Adressraum (Reihenfolge von ${\ displayStyle 2^{1000}}$). SDM geht davon aus dünn im gesamten Eingaberaum verstreut. Es ist unmöglich, einen separaten physischen Ort zu reservieren, der jeder möglichen Eingabe entspricht. SDM implementiert nur eine begrenzte Anzahl von physischen oder schwer Standorte. Der physische Ort wird als Speicher bezeichnet (oder schwer) Lage.^[4]

Jeder harte Ort hat zwei Elemente in Verbindung gebracht:

• Eine feste harte Adresse, die die N-Bit-Adresse des Standorts ist
• Ein Inhaltsanteil, der m-bit breit ist und mehrere M-Bit-Datenmuster ansammeln können, die in den Ort geschrieben sind. Der Teil des Inhalts ist nicht festgelegt; Es wird durch Datenmuster geändert, die in den Speicher geschrieben wurden.

In SDM kann ein Wort im Speicher gespeichert werden, indem es an einem kostenlosen Speicherort geschrieben und gleichzeitig den Ort mit dem entsprechenden Adressdecoder bereitgestellt wird. Ein Neuron als Adressdecoder würde einen Speicherort ausgewählt, der auf Ähnlichkeit der Adresse des Standorts zum Abruf -Hinweis basiert. Im Gegensatz zu konventionell Turing -Maschinen SDM nutzt die Ausnutzung Parallele Computing durch die Adressdecoder. Das bloße Zugriff auf den Speicher wird als Computer angesehen, von dem die Menge mit der Speichergröße zunimmt.^[1]

Adressmuster

Ein n-Bit-Vektor, der schriftlich und aus dem Gedächtnis gelesen wird. Das Adressmuster ist eine codierte Beschreibung eines Umgebungszustands. (z. B. n = 256.)

Datenmuster

Ein M-Bit-Vektor, der Gegenstand des Schreib- und Lesevorgangs ist. Wie das Adressmuster handelt es sich um eine codierte Beschreibung eines Umgebungszustands. (z. B. M = 256.)

Schreiben

Das Schreiben ist der Betrieb des Speichers eines Datenmusters in den Speicher mit einem bestimmten Adressmuster. Während eines Schreibens besteht die Eingabe zum Speicher aus einem Adressmuster und einem Datenmuster. Das Adressmuster wird zur Auswahl verwendet schwer Speicherorte, deren harte Adressen innerhalb eines bestimmten Grenzwerts vom Adressmuster liegen. Das Datenmuster wird in jeden der ausgewählten Stellen gespeichert.

Lektüre

Das Lesen ist der Betrieb des Abrufen eines Datenmusters aus dem Speicher mit einem bestimmten Adressmuster. Während einer Lektüre wird ein Adressmuster verwendet, um eine bestimmte Anzahl von Anzahl auszuwählen schwer Speicherorte (genau wie während eines Schreibens). Der Inhalt der ausgewählten Stellen wird bitweise summiert und geschwmet, um ein M-Bit-Datenmuster abzuleiten. Dies dient als Ausgabe aus dem Speicher.

Zeigerketten

Alle Elemente sind in einer einzigen Liste (oder Array) von Zeigern an Speicherorte verknüpft und in RAM gespeichert. Jede Adresse in einem Array zeigt auf eine einzelne Zeile im Speicher. Diese Zeile wird dann zurückgegeben, wenn sie anderen Zeilen ähnlich ist. Neuronen werden als Adressdecoder und -Codierer verwendet, ähnlich der Art und Weise, wie Neuronen im Gehirn arbeiten, und geben Elemente aus dem Array zurück, das übereinstimmt oder ähnlich sind.

Kritische Entfernung

Kanervas Gedächtnismodell hat ein Konzept von a kritischer Punkt: Vor diesem Punkt kann ein zuvor gespeicherter Artikel leicht abgerufen werden. Aber über diesen Punkt hinaus kann ein Gegenstand nicht abgerufen werden. Kanerva hat diesen Punkt für einen bestimmten Satz von (festen) Parametern methodisch berechnet. Die entsprechende kritische Entfernung eines spärlichen verteilten Speicher kann ungefähr bewertet werden, um die folgende Gleichung mit der Einschränkung zu minimieren ${\ displayStyle d \ in n}$ und ${\ displayStyle d \ leqslant n}$. Der Beweis kann in, gefunden werden,^[14][15]

${\ displaystyle {\ tilde {f}} (d) = \ links \ {{\ frac {1} {2}} \ cdot \ links [1-n \ links (z <{\ frac {w \ cdot geteilt ( d)} {\ sqrt {\ theta}}} \ rechts)+n \ links (z <{\ frac {-w \ cdot geteilt (d)} {\ sqrt {\ theta}} \ rechts) \ rechts] -{\ frac {d} {n}} \ right \}^{2}}$

Wo:

• ${\ displayStyle d}$: Ist der Abstand zum Ziel;
• ${\ displayStyle n}$: Ist die Anzahl der Dimensionen;
• ${\ displayStyle n}$: Ist die normalisierte Normalverteilung mit mittlerer Null und Varianz eins;
• ${\ displayStyle W}$: Ist die Häufigkeit, mit der das Zielbitstring in Speicher geschrieben wurde;
• ${\ displayStyle \ theta}$: Ist insgesamt die Gesamtzahl der zufälligen Bitstrings ${\ displayStyle H}$ Hartleitungen, die durch einen Lesevorgang aktiviert werden; d.h. die Größe einer Zellanordnung;
• ${\ displayStyle Shared (d)}$: Ist die mittlere Anzahl gemeinsamer Hard-Lokationen, die von zwei Bitstrings aktiviert werden ${\ displayStyle d}$ Stücke voneinander entfernt. In Kanervas Buch, Tabelle 7.1, p. 63 oder die Gleichungen, die in Anhang B, p an SDM berechnet werden sollen. 125 des gleichen Buches.

Probabilistische Interpretation

Ein assoziatives Gedächtnis System mit spärlichen, verteilten Darstellungen können als neu interpretiert werden als Wichtigkeitsabtaster, a Monte Carlo Annäherungsmethode Bayes'sche Inferenz.^[16] Das SDM kann als Monte -Carlo -Näherung an eine mehrdimensionale Annäherung angesehen werden bedingte Wahrscheinlichkeit Integral. Das SDM liefert akzeptable Antworten aus einem Trainingssatz, wenn diese Näherung gültig ist, dh wenn der Trainingssatz ausreichende Daten enthält, um gute Schätzungen der zugrunde liegenden zu liefern gemeinsame Wahrscheinlichkeiten Und es gibt genügend Monte -Carlo -Proben, um eine genaue Schätzung des Integrals zu erhalten.^[17]

Biologische Plausibilität

Spärliche Codierung Kann eine allgemeine Strategie von neuronalen Systemen sein, um die Gedächtniskapazität zu erhöhen. Um sich an ihre Umgebungen anzupassen, müssen Tiere lernen, welche Reize mit Belohnungen oder Strafen verbunden sind, und unterscheiden diese verstärkten Reize von ähnlichen, aber irrelevanten. Eine solche Aufgabe erfordert die Implementierung von Stimulusspezifischen assoziative Erinnerungen in dem nur wenige Neuronen aus a Population Reagieren Sie auf einen bestimmten Stimulus und jedes Neuron reagiert auf nur wenige Stimuli aller möglichen Reize.

Theoretische Arbeiten an SDM von Kanerva haben vorgeschlagen, dass eine spärliche Codierung die Kapazität des assoziativen Gedächtnisses durch Reduzierung der Überlappung zwischen Darstellungen erhöht. Experimentell wurden in vielen Systemen, einschließlich Vision, spärliche Darstellungen von sensorischen Informationen beobachtet.^[18] Vorsprechen,^[19] berühren,^[20] und Geruch.^[21] Trotz der akkumulierenden Beweise für weit verbreitete spärliche Kodierung und theoretische Argumente für seine Bedeutung hat eine Demonstration, dass eine spärliche Codierung die Stimulusspezifität des assoziativen Gedächtnisses bis vor kurzem fehlte.

Einige Fortschritte wurden 2014 von erzielt Gero MiessenböckLabor am Universität von Oxford Analysieren Drosophila Riechsystem.^[22] In Drosophila kodiert spärliche Geruchscodierung durch die Kenyonzellen des Pilzkörper Es wird angenommen, dass es eine große Anzahl genau adressierbarer Standorte für die Speicherung von geruchspezifischen Erinnerungen erzeugt. Lin et al.^[23] zeigte, dass die Spärlichkeit durch einen negativen Rückkopplungskreis zwischen Kenyonzellen und den gesteuert wird Gabaerge Anterior gepaarter lateraler (APL) Neuron. Die systematische Aktivierung und Blockade jedes Beins dieser Rückkopplungsschaltung zeigen, dass Kenyonzellen APL aktivieren und APL Kenyonzellen hemmt. Die Störung der Kenyon-Zell-APL-Rückkopplungsschleife verringert die Spärlichkeit der Geruchsreaktionen von Kenyonzellen, erhöht die Inter-Odor-Korrelationen und verhindert, dass Fliegen lernen, ähnliche, aber nicht unähnliche Gerüche zu unterscheiden. Diese Ergebnisse legen nahe, dass die Rückkopplungshemmung die Kenyonzellaktivität unterdrückt, um die spärliche, dekorrelierte Geruchscodierung und damit die Geruchsspezifität von Erinnerungen aufrechtzuerhalten. Eine 2017er Veröffentlichung in Wissenschaft^[24] zeigten, dass der Fly -Riechkreis eine verbesserte Version von Binärer implementiert Lokalität sensibler Hashing über spärliche, zufällige Projektionen.

Anwendungen

In Anwendungen des Speichers sind die Wörter Merkmalsmuster. Einige Funktionen werden von einem sensorischen System erzeugt, andere steuern ein Motorsystem. Da ist ein Strommuster (von z. B. 1000 Bit), was der aktuelle Inhalt des Systems ist Fokus. Die Sensoren fassen in den Fokus, die Motoren werden aus dem Fokus getrieben, und auf das Gedächtnis wird durch den Fokus zugegriffen.

Was in der Welt vor sich geht - die "subjektive" Erfahrung des Systems - wird intern durch eine Abfolge von Mustern im Fokus dargestellt. Der Speicher speichert diese Sequenz und kann sie später im Fokus neu erstellen, wenn sie mit einem ähnlichen Muster wie in der Vergangenheit angesprochen wird. Somit lernt die Erinnerung zu vorhersagen Was wird passieren. Große Anwendungen des Speichers wären in Systemen, die sich in Echtzeit mit realen Informationen befassen.

Die Anwendungen umfassen Vision- Objekte in einer Szene erkennen und identifizieren und nachfolgende Szenen antizipieren - Robotik, Signalerkennung und -überprüfungund adaptiv Lernen und Kontrolle. Auf der theoretischen Seite kann uns die Arbeit des Gedächtnisses helfen, das Verständnis zu verstehen Erinnerung und Lernen bei Menschen und Tieren.^[4][25]

Die beste Übereinstimmungssuche

SDM kann auf das Problem des Findens der bester Treffer zu einem Testwort in einem Datensatz gespeicherter Wörter.^[1][26] oder mit anderen Worten die Suche nach Nachbarn Problem.

Betrachten Sie einen Gedächtnis mit N -Orten, an denen ${\ displayStyle n = 2^{n}}$. Lassen Sie jeden Standort die Kapazität für einen haben n-Bitwort (z. B. n = 2¹⁰⁰ 100-Bit-Wörter) und lassen Sie die Adressdecodierung durch nadressdecoder-Neuronen erfolgen. Stellen Sie die Schwelle jedes Neurons fest x zu seiner maximal gewichteten Summe ${\ displayStyle | x |}$ und verwenden Sie einen gemeinsamen Parameter d So einstellen Sie alle Schwellenwerte beim Zugriff auf den Speicher. Die effektive Schwelle des Neurons x wird dann sein ${\ displayStyle x- | d |}$ was bedeutet, dass der Ort x ist jedes Mal zugänglich, wenn die Adresse x ist innen d Bits der Adresse, die dem Speicher präsentiert werden (d. H. Die von dem Adressregister gehaltene Adresse). Mit ${\ displayStyle d = 0}$ Wir haben einen konventionellen Arbeitsspeicher. Nehmen Sie weiter an, dass jeder Standort eine besondere hat Standort besetzt Bit auf die gleiche Weise wie die regulären Datum -Bits. Das Schreiben eines Wortes an einen Ort legt dies fest Standort besetzt bisschen. Nehmen wir an, dass nur ein belegter Ort gelesen werden kann.

Um die Daten im Speicher einzureichen, beginnen Sie mit der Einstellung ${\ displayStyle d = n}$ und geben einen Befehl aus, um die zu löschen Standort besetzt bisschen. Dieser einzelne Betrieb markiert den gesamten Speicher, der unabhängig von den Werten des Adressregisters nicht besetzt ist. Dann eingestellt ${\ displayStyle d = 0}$ und schreiben Sie jedes Wort y des Datensatzes mit y selbst als Adresse. Beachten Sie, dass jeder Schreibvorgang nur einen Ort betrifft: den Ort y. Die Anmeldezeit ist somit proportional zur Anzahl der Wörter im Datensatz.

Finden Sie die beste Übereinstimmung für ein Testwort z, beinhaltet das Platzieren z im Adressregister und die geringste Entfernung finden d für das es einen besetzten Ort gibt. Wir können die Suche durch Einstellen starten ${\ displayStyle d = 0}$ und Inkrementierung d nacheinander, bis ein besetzter Standort gefunden wurde. Diese Methode gibt durchschnittliche Suchzeiten, die proportional zur Anzahl der Adressbits oder etwas weniger als sind ${\ displayStyle n/2}$^[1] Weil der nächste besetzte Standort nur knapp unter sein kann ${\ displayStyle n/2}$ Teile von z (mit binäre Suche an d Dies wäre o (log (n)).

Mit 100-Bit-Wörtern 2¹⁰⁰ Standorte wären benötigt, d. H. Ein enorm großes Gedächtnis. Jedoch Wenn wir den Speicher konstruieren, während wir die Wörter des Datensatzes speichern Für jedes Wort des Datensatzes benötigen wir nur einen Ort (und einen Adressdecoder). Keiner der nicht besetzten Standorte muss vorhanden sein. Dies repräsentiert den Aspekt von Kargheit in SDM.

Spracherkennung

SDM kann in angewendet werden Rede transkribieren, mit dem Training, das aus "Hören" auf einen großen Korpus von gesprochenen besteht Sprache. Zwei harte Probleme mit der natürlichen Sprache sind, wie man Wortgrenzen erfasst und sich an verschiedene Sprecher anpasst. Der Speicher sollte in der Lage sein, beides zu handhaben. Zunächst speichert es Sequenzen von Mustern als Zeigerketten. Im Training - beim Hören von Sprache - wird es eine probabilistische Struktur mit der höchsten Inzidenz von Verzweigungen an Wortgrenzen aufbauen. Bei der Transkribenrede werden diese Verzweigungspunkte erkannt und neigen dazu, den Strom in Segmente zu unterteilen, die Worten entsprechen. Zweitens ist die Sensibilität des Gedächtnisses gegenüber Ähnlichkeit sein Mechanismus zur Anpassung an verschiedene Sprecher - und die Variationen der Stimme desselben Sprechers.^[4]

"Vergessen" realisieren "

Verfallfunktionen

Die exponentielle Zerfallsfunktion Die negierte Sigmoidfunktion

An der University of Memphis haben Uma Ramamurthy, Sidney K. D'Mello und Stan Franklin eine modifizierte Version des spärlichen verteilten Speichersystems erstellt, das "Realisierung von Vergessen" darstellt. Es verwendet eine Zerfallgleichung, um die Interferenzen in Daten besser zu zeigen. Das spärliche verteilte Speichersystem verteilt jedes Muster in ungefähr einhundertstel der Standorte.^{[Klarstellung erforderlich]} Daher kann Störungen nachteilige Ergebnisse erzielen.^[27]

Es werden zwei mögliche Beispiele für den Zerfall aus diesem modifizierten spärlichen verteilten Speicher vorgestellt

Exponentieller Verfall Mechanismus: ${\ displayStyle \! f (x) = 1+e^{-ax}}$

Negated-translatierter Sigmoid-Zerfall-Mechanismus: ${\ displayStyle f (x) = 1-[{\ frac {1} {1+e^{-a (x-c)}}}]}$

In der exponentiellen Zerfallsfunktion nähert es sich schneller als Null als x zunimmt und a ist eine Konstante (normalerweise zwischen 3-9) und c ist ein Zähler. Für die negierten-übersetzt SigmoidfunktionDer Zerfall ähnelt der exponentiellen Zerfallsfunktion, wenn a ist größer als 4.^[27]

Wenn sich das Diagramm nähert, wird dargestellt, wie der Speicher unter Verwendung von Zerfallsmechanismen vergessen wird.

Genetischer spärlicher verteilter Gedächtnis

Ashraf Anwar, Stan Franklin und Dipankar Dasgupta an der Universität von Memphis; schlug ein Modell für die SDM -Initialisierung unter Verwendung genetischer Algorithmen und genetischer Programmierung vor (1999).

Genetisches Gedächtnis Verwendet genetischer Algorithmus und ein spärliches verteiltes Gedächtnis als pseudo -künstliches neuronales Netzwerk. Es wurde für die Schaffung künstlicher Leben in Betracht gezogen.^[28]

Statistische Vorhersage

SDM wurde auf statistische Anwendung angewendet VorhersageDie Aufgabe, extrem große Wahrnehmungsstaatenvektoren mit zukünftigen Ereignissen zu verbinden. Unter Bedingungen der nahezu Überkapazität, bei denen das assoziative Gedächtnisverhalten des Modells zusammenbricht, kann die vom Modell durchgeführte Verarbeitung als statistischer Prädiktor interpretiert werden, und jeder Datenzähler in einem SDM kann als unabhängige Schätzung angesehen werden der bedingten Wahrscheinlichkeit einer binären Funktion f ist gleich dem durch den Speicherort des Zählers definierten Aktivierungssatzes.^[29]

Künstliche allgemeine Intelligenz

• Lida Verwendet einen spärlichen verteilten Speicher, um das Modell zu helfen Erkenntnis in biologischen Systemen. Der spärliche verteilte Speicherplatz Platz erinnert oder erkennt das Objekt, das er in Bezug auf andere Objekte hat. Es wurde von Stan Franklin entwickelt, dem Schöpfer des "realisierenden Vergessens" modifiziertes spärliches verteiltes Speichersystem.^[30] Transiente episodische und deklarative Erinnerungen haben Darstellungen in LIDA verteilt (basierend auf einer modifizierten Version von SDM^[31]) Es gibt Hinweise darauf, dass dies auch im Nervensystem der Fall ist.^[32]
• Cmatie ist a 'bewusst' Software -Agent, die zur Verwaltung von Seminarankündigungen in der Abteilung Mathematical Sciences unter der Universität von Memphis. Es basiert auf SDM, die durch die Verwendung von erweitert wurde genetische Algorythmen als an assoziatives Gedächtnis.^[33]
• Hierarchische zeitliche Erinnerung Verwendet SDM zum Speichern von spärlichen verteilten Darstellungen der Daten.

(Siehe auch Kognitive Architektur & Künstliche allgemeine Intelligenz Für eine Liste von SDM -bezogenen Projekten)

Verstärkungslernen

SDMs liefern einen linearen, lokalen Funktionsnäherung Schema, das für die Funktionsweise entwickelt wurde, wenn ein sehr großer/hochdimensionaler Eingangsraum (Adressraum) in einen viel kleineren Kartentag abgebildet werden muss physikalischer Speicher. Im Allgemeinen können lokale Architekturen, einschließlich SDMs, dem unterzogen werden Fluch der DimensionalitätWie einige Zielfunktionen im schlimmsten Fall möglicherweise eine exponentielle Anzahl lokaler Einheiten über den gesamten Eingaberaum angenähert werden müssen. Es wird jedoch allgemein angenommen, dass die meisten Entscheidungssysteme brauchen hohe Genauigkeit nur um niedrigdimensional Verteiler des Zustandsraum, oder wichtige Zustand "Autobahnen".^[34] Die Arbeit in Ratitch et al.^[35] kombinierte das SDM -Speichermodell mit den Ideen von Gedächtnisbasiertes Lernen, der einen Approxator liefert, der seine Struktur und Auflösung dynamisch anpassen kann, um Regionen des Zustandsraums zu lokalisieren, die "interessanter" sind^[36] und zuteilt proportional mehr Speicherressourcen, um sie genau zu modellieren.

Objektindizierung in Computer Vision

Dana H. BallardLabor^[37] zeigte eine allgemeine Objektindexierungstechnik für Computer Vision das kombiniert die Tugenden von Hauptkomponentenanalyse mit den günstigen passenden Eigenschaften hochdimensionaler Räume, um eine hohe Präzisionserkennung zu erzielen. Der Indexierungsalgorithmus verwendet eine Aktive Sicht Das System in Verbindung mit einer modifizierten Form von SDM und bietet eine Plattform zum Erlernen des Zusammenhangs zwischen dem Erscheinungsbild eines Objekts und seiner Identität.

Erweiterungen

Es wurden viele Erweiterungen und Verbesserungen an SDM vorgeschlagen, z.

• Ternärer Speicherraum: Dadurch kann der Speicher als transientes episodisches Speicher (TEM) in verwendet werden Kognitive Software -Agenten. TEM ist ein Speicher mit hoher Spezifität und niedriger Aufbewahrung, die für Ereignisse verwendet wird, die Merkmale einer bestimmten Zeit und eines bestimmten Ortes haben.^[38][39]
• Ganzzahl SDM, das modulare arithmetische Ganzzahlvektoren anstelle von binären Vektoren verwendet. Diese Erweiterung verbessert die Darstellungsfähigkeiten des Speichers und ist gegenüber der Normalisierung robuster. Es kann auch erweitert werden, um das Vergessen und die zuverlässige Sequenzspeicherung zu unterstützen.^[8]
• Verwenden von Wortvektoren mit größerer Größe als Adressvektoren: Diese Erweiterung bewahrt viele der wünschenswerten Eigenschaften des ursprünglichen SDM: automatische Assoziabilität, Inhaltsadressibblinie, verteilte Speicher und Robustheit über verrückte Eingaben. Darüber hinaus fügt es eine neue Funktionalität hinzu und ermöglicht eine effiziente automatisch-assoziative Speicherung von Vektorensequenzen sowie anderer Datenstrukturen wie Bäume.^[40]
• Konstruktion von SDM von Spike -Neuronen: Trotz der biologischen Ähnlichkeit von SDM haben die meisten Arbeiten, die zur Demonstration seiner bisherigen Fähigkeiten durchgeführt wurden Neuronen in dem Gehirn. Jüngste Arbeiten von Steve FurberLabor am Universität von Manchester^[41][42][43] Vorgeschlagene Anpassungen an SDM, z. Durch Einbeziehung von N-of-M-Rangcodes^[44][45] wie Populationen von Neuronen Kann Informationen codieren - die es ermöglichen, eine SDM -Variante aus biologisch plausiblen Komponenten zu erstellen. Diese Arbeit wurde in einbezogen Spinnaker (Architektur des neuronalen Netzwerks) welches als der verwendet wird Neuromorphes Computer Plattform für die Menschliches Gehirnprojekt.^[46]
• Nicht randomische Verteilung von Standorten:^[47][48] Obwohl die Speicherorte ursprünglich zufällig im Binär-N-Adressraum verteilt sind, hängt die endgültige Verteilung der Positionen von den dargestellten Eingangsmustern ab und kann nicht zufällig sein, was eine bessere Flexibilität und eine bessere Flexibilität ermöglicht und dies zulässt. Verallgemeinerung. Das Datenmuster wird zunächst an Stellen gespeichert, die der Eingabedresse am nächsten liegen. Das Signal (d. H. Datenmuster) verbreitet sich dann im gesamten Speicher und ein kleiner Prozentsatz der Signalstärke (z. B. 5%) geht an jedem nachfolgenden Ort verloren. Wenn Sie das Signal auf diese Weise verteilen, wird die Notwendigkeit eines Select -Lese-/Schreibradius erforderlich, eines der problematischen Merkmale des ursprünglichen SDM. Alle in einem Schreibvorgang ausgewählten Standorte erhalten jetzt keine Kopie des ursprünglichen binären Musters mit gleicher Stärke. Stattdessen erhalten sie eine Kopie des Musters, das mit einem realen Wert von 1,0-> 0,05 gewichtet wurde, um in real geschätzten Zählern zu speichern (anstelle von Binärzählern in Kanervas SDM). Dies belohnt die nächsten Orte mit einer größeren Signalstärke und nutzt die natürliche Architektur des SDM, um die Signalstärke abzuschwächen. In ähnlicher Weise wird beim Speicher aus dem Speicher die Ausgabe von den nächsten Stellen ein größeres Gewicht als an weiter entfernten Stellen angegeben. Die neue Signalmethode ermöglicht die Gesamtsignalstärke, die von einem Standort als Maß für die Eignung eines Standorts verwendet werden kann, und ist für die variierenden Eingabe flexibel (da der Verlustfaktor für Eingangsmuster unterschiedlicher Längen nicht geändert werden muss).
• SDMSCUE (spärlich verteiltes Speicher für kleine Hinweise): Ashraf Anwar & Stan Franklin an der Universität von Memphis führte eine Variante von SDM vor, die in der Lage ist, kleine Hinweise zu bearbeiten; nämlich SDMSCUE im Jahr 2002. Die Schlüsselidee besteht darin, mehrere Lesevorgänge/Schreibvorgänge und Raumprojektionen zu verwenden, um einen nacheinander längeren Hinweis zu erreichen.^[49]

Verwandte Patente

• Methode und Geräte für ein spärliches verteiltes Speichersystem US 5113507 a,, Universitäten Raumforschungsvereinigung, 1992^[50]
• Methode und Gerät zum Speichern und Rückruf von Informationen zur Implementierung eines Kanerva -Speichersystems US 5829009 A,, Texas Instrumente, 1998^[51]
• Digitaler Speicher, Furber, Stephen. US 7512572 B2, 2009^[52]

Implementierung

• C Binärvektorsymbole (CBVs): Beinhaltet die SDM -Implementierung in C als Teil der vektorsymbolischen Architektur^[53] entwickelt von Eislab bei Technische Universität Luleå: http://pendicular.net/cbvs.php^[54]
• Commonsense Toolkit (CSTK) für die Realtime -Sensordatenverarbeitung, die am am vorhandenen Daten entwickelt wurde Lancaster University Beinhaltet die Implementierung von SDM in C ++: http://cstk.sourceforge.net/^[55]
• Julia Implementierung durch Brian Hayes: https://github.com/bit-player/sdm-julia ^[56]
• Lernen intelligenter Vertriebsagent (LIDA) entwickelt von Stan FranklinLabor am Universität von Memphis Beinhaltet die Implementierung von SDM in Java: http://ccrg.cs.memphis.edu/framework.html
• Python Implementierung: https://github.com/msbrogli/sdm^[57]
• Python und OpenCL Implementierung: https://github.com/msbrogli/sdm-framework^[57]
• Apl Implementierung^[58]
• LISPELN Implementierung für die Verbindungsmaschine^[59]
• FPGA Implementierung^[60]
• Die ursprüngliche Hardware -Implementierung von entwickelt von NASA^[4]
• Eine Implementierung in C am Forschungsinstitut für fortgeschrittene Informatik der NASA Ames durchgeführt^[61]

Verwandte Modelle

• Ungefähre Suche nach dem nächsten Nachbarn^[62]
• Assoziative neuronale Erinnerungen^[63]
• Autoassoziativgedächtnis
• Binäre Spritzcodes^[64]
• Assoziative Memory-Modelle des Kleinhirns
• Inhaltsadressible Speicher
• Korrelationsmatrix-Erinnerungen^[65]
• Deep Learning § Gedächtnisnetzwerke
• Dynamische Speichernetzwerke^[66]
• Feedforward Neural Network
• Hierarchische zeitliche Erinnerung
• Holographisches assoziatives Gedächtnis
• Holographische reduzierte Darstellung^[67][68]
• Paritäts-Check-Code mit niedriger Dichte
• Lokalempfindliches Hashing
• Speichernetzwerke^[69]
• Speichervorhersage Framework
• Zeigernetzwerke^[70][71]
• Arbeitsspeicher (als Sonderfall von SDM)^[6]
• Zufällige Indizierung^[72]
• Rekursives automatisches Assoziativgedächtnis (RAAM)^[73]
• Selbstorganisierende Karte
• Semantische Faltung^[74]
• Semantisches Hashing^[75]
• Semantisches Gedächtnis
• Semantisches Netzwerk
• Semantische Zeigerarchitektur^[76]
• Sequenzgedächtnis^[77]
• Spärliche Codierung^[78]
• Spärliche verteilte Darstellungen
• Neuronale Turing -Maschine^[79]
• Gestapelt Autoencoder^[80]
• Vektor Symbolische Architektur^[81]
• Vektorraummodell
• Virtueller Speicher

Verweise