Maschinelles Lernen

Maschinelles Lernen (Ml) ist ein Untersuchungsfeld, das dem Verständnis und dem Aufbau von Methoden widmet, die „lernen“, dh Methoden, die Daten nutzen, um die Leistung bei einigen Aufgaben zu verbessern.^[1] Es wird als Teil von gesehen künstliche Intelligenz. Algorithmen für maschinelles Lernen erstellen ein Modell basierend auf Beispieldaten, bekannt als Trainingsdaten, um Vorhersagen oder Entscheidungen zu treffen, ohne ausdrücklich darauf programmiert zu werden.^[2] Algorithmen für maschinelles Lernen werden in einer Vielzahl von Anwendungen verwendet, wie z. B. in der Medizin, E -Mail -Filterung, Spracherkennung, und Computer Vision, wo es schwierig oder unmöglich ist, herkömmliche Algorithmen zu entwickeln, um die erforderlichen Aufgaben auszuführen.^[3]

Eine Untergruppe des maschinellen Lernens ist eng mit dem verwandt mit Computerstatistik, was sich darauf konzentriert, Vorhersagen mit Computern zu treffen, aber nicht das gesamte maschinelle Lernen ist statistisches Lernen. Das Studium der Mathematische Optimierung Liefert Methoden, Theorie- und Anwendungsdomänen an das Gebiet des maschinellen Lernens. Data Mining ist ein verwandtes Studienbereich, der sich auf konzentriert Explorationsdatenanalyse durch unbeaufsichtigtes Lernen.^[5][6] Einige Implementierungen von maschinellem Lernen verwenden Daten und Neuronale Netze auf eine Weise, die die Arbeit eines biologischen Gehirns nachahmt.^[7][8] In seiner Anwendung über Geschäftsprobleme hinweg wird auch maschinelles Lernen auch als bezeichnet Prädiktive Analytics.

Überblick

Lernalgorithmen funktionieren auf der Grundlage, dass Strategien, Algorithmen und Schlussfolgerungen, die in der Vergangenheit gut funktionierten, in Zukunft wahrscheinlich weiterhin gut funktionieren. Diese Schlussfolgerungen können offensichtlich sein, wie "da die Sonne in den letzten 10.000 Tagen jeden Morgen aufstieg, wird sie wahrscheinlich auch morgen früh aufsteigen". Sie können nuanciert sein, wie "x% von" Familien Geografisch Arten mit Farbvarianten getrennt haben, daher besteht eine y% -Chance, die unentdeckt ist Schwarze Schwäne existieren".^[9]

Programme für maschinelles Lernen können Aufgaben ausführen, ohne dies ausdrücklich programmiert zu werden. Es beinhaltet das Lernen von Computern aus Daten, die bestimmte Aufgaben ausführen. Bei einfachen Aufgaben, die Computern zugeordnet sind, können Algorithmen programmiert werden, die der Maschine sagen, wie er alle Schritte ausführt, die erforderlich sind, um das vorliegende Problem zu lösen. Vom Teil des Computers ist kein Lernen erforderlich. Für fortgeschrittenere Aufgaben kann es für einen Menschen eine Herausforderung sein, die erforderlichen Algorithmen manuell zu erstellen. In der Praxis kann es sich herausstellen, dass es effektiver ist, um der Maschine zu helfen, einen eigenen Algorithmus zu entwickeln, anstatt dass menschliche Programmierer jeden erforderlichen Schritt angeben.^[10]

Die Disziplin des maschinellen Lernens verwendet verschiedene Ansätze, um Computer zu lehren, um Aufgaben zu erledigen, bei denen kein vollständig zufriedenstellender Algorithmus verfügbar ist. In Fällen, in denen eine große Anzahl potenzieller Antworten vorhanden ist, besteht ein Ansatz darin, einige der richtigen Antworten als gültig zu kennzeichnen. Dies kann dann als Trainingsdaten für den Computer verwendet werden, um die von ihm verwendeten Algorithmus zu verbessern, um die richtigen Antworten zu ermitteln. Zum Beispiel, um ein System für die Aufgabe der digitalen Charaktererkennung zu trainieren, die MNIST Der Datensatz handgeschriebener Ziffern wurde häufig verwendet.^[10]

Geschichte und Beziehungen zu anderen Feldern

Der Begriff maschinelles Lernen wurde 1959 von geprägt von Arthur Samuel, ein IBM Mitarbeiter und Pionier im Bereich von Computerspiele und künstliche Intelligenz.^[11][12] Auch das Synonym selbstunterrichtende Computer wurden in diesem Zeitraum verwendet.^[13][14]

In den frühen 1960er Jahren eine experimentelle "Lernmaschine" mit Stempelband Das Gedächtnis, Cybertron genannt, wurde von entwickelt von Raytheon Company Analyse von Sonarsignalen, Elektrokardiogrammen und Sprachmustern unter Verwendung von rudimentären Verstärkungslernen. Es wurde von einem menschlichen Bediener/Lehrer wiederholt "trainiert", um Muster zu erkennen und mit einem "ausgestattet zu sein"Goof"Button, damit es falsche Entscheidungen neu bewertet.^[15] Ein repräsentatives Buch über die Erforschung des maschinellen Lernens in den 1960er Jahren war Nilssons Buch über Lernmaschinen, das hauptsächlich mit maschinellem Lernen für die Musterklassifizierung zu tun hat.^[16] Das Interesse im Zusammenhang mit der Mustererkennung wurde bis in die 1970er Jahre fortgesetzt, wie von Duda und Hart 1973 beschrieben.^[17] 1981 wurde ein Bericht über die Verwendung von Lehrstrategien gegeben, damit a neurales Netzwerk lernt, 40 Zeichen (26 Buchstaben, 10 Ziffern und 4 spezielle Symbole) aus einem Computerterminal zu erkennen.^[18]

Tom M. Mitchell bildete eine weit verbreitete, formalere Definition der im Bereich des maschinell gelernten Algorithmen: "Ein Computerprogramm soll aus Erfahrung lernen E In Bezug auf eine Klasse von Aufgaben T und Leistungsmaßnahme P Wenn seine Leistung bei Aufgaben in T, gemessen von P, verbessert sich mit Erfahrung E. "^[19] Diese Definition der Aufgaben, bei denen sich maschinelles Lernen betrifft Arbeitsdefinition anstatt das Feld kognitiv zu definieren. Dies folgt Alan Turing's Vorschlag in seiner Zeitung "Computermaschinen und Intelligenz", in der die Frage" können Maschinen denken? "Ersetzt durch die Frage" Können Maschinen das tun, was wir (als Denkstoffe) tun können? ".^[20]

Das moderne maschinelle Lernen hat zwei Ziele, eines ist es, Daten basierend auf entwickelten Modellen zu klassifizieren. Der andere Zweck besteht darin, Vorhersagen für zukünftige Ergebnisse auf der Grundlage dieser Modelle zu treffen. Ein hypothetischer Algorithmus, der für die Klassifizierung von Daten spezifisch ist, kann eine Computervision von Maulwürfen verwenden, die mit überwachtem Lernen gekoppelt sind, um sie zur Klassifizierung der Krebsmaulwürfe zu trainieren. Ein Algorithmus für maschinelles Lernen für den Aktienhandel kann den Händler über zukünftige potenzielle Vorhersagen informieren.^[21]

Künstliche Intelligenz

Maschinelles Lernen als Unterfeld von KI^[22]

Teil des maschinellen Lernens als Unterfeld der KI oder Teil von AI als Unterfeld des maschinellen Lernens^[23]

Als wissenschaftliches Unterfangen wuchs maschinelles Lernen aus der Suche nach künstlicher Intelligenz heraus. In den frühen Tagen von AI als Akademische DisziplinEinige Forscher waren daran interessiert, Maschinen aus Daten zu lernen. Sie versuchten, das Problem mit verschiedenen symbolischen Methoden sowie dem, was damals bezeichnet wurde, anzugehen. "Neuronale Netze"; diese waren meistens Wahrnehmung und andere Modelle Das wurde später als Neuerfindung der Verallgemeinerte lineare Modelle von Statistiken.^[24] Probabilistisches Denken war auch angestellt, besonders in Automatisierte medizinische Diagnose.^{[25]: 488}

Eine zunehmende Betonung der Logischer, wissensbasierter Ansatz verursachte einen Riss zwischen KI und maschinellem Lernen. Probabilistische Systeme wurden von theoretischen und praktischen Problemen der Datenerfassung und -darstellung geplagt.^{[25]: 488} Bis 1980, Expertensysteme war gekommen, um die KI zu dominieren, und Statistiken waren Unbevölkerungszahl.^[26] Die Arbeit an symbolischem/wissensbasiertem Lernen wurde innerhalb der KI fortgesetzt und führte zu Induktive Logikprogrammierung, aber die statistischere Forschungslinie lag jetzt außerhalb des Feldes der KI, in Mustererkennung und Informationsrückgewinnung.^{[25]: 708–710, 755} Die Forschung neuronaler Netzwerke war von AI und aufgegeben worden Informatik um die selbe Zeit. Auch diese Linie wurde außerhalb des KI/CS -Feldes als "fortgesetzt"Verbindungismus", von Forschern aus anderen Disziplinen, einschließlich Hopfield, Rumelhart und Hinton. Ihr Haupterfolg kam Mitte der 1980er Jahre mit der Neuerfindung von Backpropagation.^{[25]: 25}

Das maschinelle Lernen (ML), das als separates Feld neu organisiert wurde, begann in den neunziger Jahren zu gedeihen. Das Feld veränderte sein Ziel von der Erreichung künstlicher Intelligenz bis hin zur Bewältigung lösbarer Probleme praktischer Natur. Es verlagerte den Fokus von der weg Symbolische Ansätze Es hatte von der KI geerbt und zu Methoden und Modellen aus Statistiken geliehen. Fuzzy Logic, und Wahrscheinlichkeitstheorie.^[26]

Der Unterschied zwischen ML und KI wird häufig missverstanden. ML lernt und prognostiziert basierend auf passiven Beobachtungen, während KI impliziert, dass ein Agent mit der Umgebung interagiert, um Maßnahmen zu lernen und zu ergreifen, die seine Chance maximieren, seine Ziele erfolgreich zu erreichen.^[27]

Ab 2020 behaupten viele Quellen weiterhin, dass ML ein Teilfeld der KI bleibt.^[28][29][26] Andere haben die Ansicht, dass nicht alle ML Teil von AI sind, sondern nur eine „intelligente Untergruppe“ von ML als AI angesehen werden sollte.^[4][30][31]

Data Mining

Maschinelles Lernen und Data Mining Verwenden Sie häufig die gleichen Methoden und überlappen sich erheblich, während sich maschinelles Lernen jedoch auf die Vorhersage konzentriert, basierend auf bekannt Eigenschaften, die aus den Trainingsdaten gelernt wurden, Data Mining konzentriert sich auf das Entdeckung von (zuvor) Unbekannt Eigenschaften in den Daten (dies ist der Analyseschritt von Wissensentdeckung in Datenbanken). Data Mining verwendet viele Methoden für maschinelles Lernen, jedoch mit unterschiedlichen Zielen. Andererseits verwendet maschinelles Lernen auch Data Mining -Methoden als "unbeaufsichtigtes Lernen" oder als Vorverarbeitungsschritt zur Verbesserung der Genauigkeit der Lernenden. Ein Großteil der Verwirrung zwischen diesen beiden Forschungsgemeinschaften (die häufig getrennte Konferenzen und getrennte Zeitschriften haben, ECML PKDD Eine große Ausnahme) stammt aus den grundlegenden Annahmen, mit denen sie arbeiten: Im maschinellen Lernen wird die Leistung normalerweise in Bezug auf die Fähigkeit zu bewerten Reproduzieren bekannt Kenntnis Unbekannt Wissen. Bewertet in Bezug auf bekannte Kenntnisse wird eine nicht informierte (unbeaufsichtigte) Methode leicht durch andere überwachte Methoden übertroffen, während in einer typischen KDD -Aufgabe beaufsichtigte Methoden aufgrund der Nichtverfügbarkeit von Trainingsdaten nicht verwendet werden können.

Optimierung

Maschinelles Lernen hat auch enge Beziehungen zu Optimierung: Viele Lernprobleme werden als Minimierung einiger formuliert verlustfunktion Bei einem Trainingsbild von Beispielen. Verlustfunktionen drücken die Diskrepanz zwischen den Vorhersagen des ausgebildeten Modells und den tatsächlichen Probleminstanzen aus (z. B. in der Klassifizierung möchte man den Instanzen ein Etikett zuweisen, und Modelle werden geschult, um die vorab zugewiesenen Etiketten eines Satzes von korrekt vorherzusagen Beispiele).^[32]

Verallgemeinerung

Der Unterschied zwischen Optimierung und maschinellem Lernen ergibt sich aus dem Ziel der Verallgemeinerung: Während Optimierungsalgorithmen den Verlust an einem Trainingssatz minimieren können, befasst sich maschinelles Lernen mit der Minimierung des Verlusts bei unsichtbaren Proben. Die Charakterisierung der Verallgemeinerung verschiedener Lernalgorithmen ist ein aktives Thema der aktuellen Forschung, insbesondere für tiefes Lernen Algorithmen.

Statistiken

Maschinelles Lernen und Statistiken sind eng verwandte Felder in Bezug auf Methoden, sind jedoch in ihrem Hauptziel unterschiedlich: Statistik zieht die Bevölkerung an Schlussfolgerungen von einem Probe, während maschinelles Lernen verallgemeinerbare prädiktive Muster findet.^[33] Entsprechend Michael I. JordanDie Ideen des maschinellen Lernens von methodischen Prinzipien bis hin zu theoretischen Werkzeugen hatten eine lange Vorgeschichte in Statistiken.^[34] Er schlug auch den Begriff vor Datenwissenschaft als Platzhalter, um das Gesamtfeld anzurufen.^[34]

LEO BREIMAN Unterscheidete zwei statistische Modellierungsparadigmen: Datenmodell und algorithmisches Modell,^[28] wobei das "algorithmische Modell" mehr oder weniger die Algorithmen für maschinelles Lernen bedeutet wie Zufallswald.

Einige Statistiker haben Methoden aus dem maschinellen Lernen angewendet, was zu einem kombinierten Bereich führte, das sie anrufen statistisches Lernen.^[29]

Theorie

Ein zentrales Ziel eines Lernenden ist es, seine Erfahrung zu verallgemeinern.^[4][30] Die Verallgemeinerung in diesem Zusammenhang ist die Fähigkeit einer Lernmaschine, nach dem Erleben eines Lerndatensatzes genau auf neuen, unsichtbaren Beispielen/Aufgaben zu arbeiten. Die Schulungsbeispiele stammen aus einer allgemein unbekannten Wahrscheinlichkeitsverteilung (als repräsentativ für den Raum des Vorkommens), und der Lernende muss ein allgemeines Modell über diesen Raum erstellen, mit dem er in neuen Fällen ausreichend genaue Vorhersagen erzeugen kann.

Die Computeranalyse von Algorithmen für maschinelles Lernen und ihre Leistung ist ein Zweig von Theoretische Informatik bekannt als Computerlerntheorie über die Wahrscheinlich ungefähr korrektes Lernen (PAC) Modell. Da die Schulungssätze endlich sind und die Zukunft ungewiss ist, liefert die Lerntheorie normalerweise keine Garantien für die Leistung von Algorithmen. Stattdessen sind probabilistische Grenzen für die Leistung weit verbreitet. Das Bias -Varianz -Zerlegung ist eine Möglichkeit, die Verallgemeinerung zu quantifizieren Error.

Für die beste Leistung im Kontext der Verallgemeinerung sollte die Komplexität der Hypothese mit der Komplexität der der Daten zugrunde liegenden Funktion übereinstimmen. Wenn die Hypothese weniger komplex ist als die Funktion, hat das Modell unter den Daten angepasst. Wenn die Komplexität des Modells als Reaktion erhöht wird, nimmt der Trainingsfehler ab. Aber wenn die Hypothese zu komplex ist, unterliegt das Modell gegenüber Überanpassung und die Verallgemeinerung wird ärmer.^[31]

Neben den Leistungsgrenzen untersuchen Lerntheoretiker die zeitliche Komplexität und Machbarkeit des Lernens. In der Computer -Lerntheorie wird eine Berechnung als machbar angesehen, wenn sie in erfolgt werden kann Polynomzeit. Es gibt zwei Arten von Zeitkomplexität Ergebnisse: Positive Ergebnisse zeigen, dass eine bestimmte Klasse von Funktionen in der Polynomzeit gelernt werden kann. Negative Ergebnisse zeigen, dass bestimmte Klassen in der Polynomzeit nicht gelernt werden können.

Ansätze

Ansätze für maschinelles Lernen werden traditionell in drei breite Kategorien unterteilt, abhängig von der Art des "Signals" oder "Feedback", der dem Lernsystem zur Verfügung steht:

• Überwachtes Lernen: Der Computer wird mit Beispieleingaben und ihren gewünschten Ausgängen, die von einem "Lehrer" angegeben, präsentiert, und das Ziel ist es, eine allgemeine Regel zu lernen, dass Karten Eingänge zu Ausgängen.
• Unbeaufsichtigtes Lernen: Der Lernalgorithmus werden keine Beschriftungen verabreicht, sodass es von sich aus überlassen, Struktur in seiner Eingabe zu finden. Unbeaufsichtigtes Lernen kann ein Ziel an sich sein (entdecken versteckte Muster in Daten) oder ein Mittel gegen Ende (Feature -Lernen).
• Verstärkungslernen: Ein Computerprogramm interagiert mit einer dynamischen Umgebung, in der es ein bestimmtes Ziel durchführen muss (wie z. Fahren ein Fahrzeug oder ein Spiel gegen einen Gegner spielen). Wenn es seinen Problemraum navigiert, wird das Programm Feedback bereitgestellt, das analog zu Belohnungen ist, die es zu maximieren versucht.^[4]

Überwachtes Lernen

A Support-Vektor-Maschine ist ein überwachtes Lernmodell, das die Daten in Regionen unterteilt, die durch a getrennt sind lineare Grenze. Hier unterteilt die lineare Grenze die schwarzen Kreise aus dem Weiß.

Überwachende Lernalgorithmen erstellen ein mathematisches Modell einer Datenmenge, die sowohl die Eingänge als auch die gewünschten Ausgaben enthält.^[35] Die Daten sind als bekannt als Trainingsdatenund besteht aus einer Reihe von Trainingsbeispielen. Jedes Trainingsbeispiel hat eine oder mehrere Eingänge und die gewünschte Ausgabe, auch als Aufsichtssignal bezeichnet. Im mathematischen Modell wird jedes Trainingsbeispiel durch eine dargestellt Array oder Vektor, manchmal als Merkmalsvektor bezeichnet, und die Trainingsdaten werden durch a dargestellt Matrix. Durch iterative Optimierung von einem Zielfunktion, überwachte Lernalgorithmen lernen eine Funktion, mit der die mit neue Eingaben verbundene Ausgabe vorhergesagt werden kann.^[36] Eine optimale Funktion ermöglicht es dem Algorithmus, die Ausgabe für Eingänge, die nicht Teil der Trainingsdaten waren, korrekt zu bestimmen. Ein Algorithmus, der die Genauigkeit seiner Ergebnisse oder Vorhersagen im Laufe der Zeit verbessert, soll gelernt haben, diese Aufgabe auszuführen.^[19]

Zu den Arten von Algorithmen für beaufsichtigtes Lernen gehören aktives Lernen, Einstufung und Regression.^[27] Klassifizierungsalgorithmen werden verwendet, wenn die Ausgänge auf einen begrenzten Wertesatz beschränkt sind, und Regressionsalgorithmen werden verwendet, wenn die Ausgänge innerhalb eines Bereichs einen numerischen Wert haben können. Beispielsweise wäre für einen Klassifizierungsalgorithmus, der E -Mails filtert, die Eingabe eine eingehende E -Mail, und der Ausgang wäre der Name des Ordners, in dem die E -Mail eingereicht werden soll.

Ähnlichkeitslernen ist ein Bereich des überwachten maschinellen Lernens, der eng mit Regression und Klassifizierung verbunden ist, aber das Ziel ist es, aus Beispielen zu lernen, die eine Ähnlichkeitsfunktion verwenden, die misst, wie ähnlich oder verwandte zwei Objekte sind. Es hat Anwendungen in Rangfolge, Empfehlungssysteme, visuelle Identitätsverfolgung, Gesichtsprüfung und Lautsprecherüberprüfung.

Unbeaufsichtigtes Lernen

Unbewegte Lernalgorithmen nehmen eine Reihe von Daten an, die nur Eingaben enthalten, und finden Struktur in den Daten, z. B. die Gruppierung oder Clusterbildung von Datenpunkten. Die Algorithmen lernen daher aus Testdaten, die nicht bezeichnet, klassifiziert oder kategorisiert wurden. Anstatt auf Feedback zu reagieren, identifizieren unbeaufsichtigte Lernalgorithmen Gemeinsamkeiten in den Daten und reagieren auf der Grundlage des Vorhandenseins oder der Fehlen solcher Gemeinsamkeiten in jedem neuen Daten. Eine zentrale Anwendung des unbeaufsichtigten Lernens befindet sich im Bereich von Dichteschätzung in Statistiken, wie das Finden der Wahrscheinlichkeitsdichtefunktion.^[37] Obwohl unbeaufsichtigtes Lernen andere Domänen umfasst, die Datenfunktionen zusammenfassen und erklären.

Die Clusteranalyse ist die Zuordnung einer Reihe von Beobachtungen in Teilmengen (genannt Cluster) so dass Beobachtungen innerhalb desselben Clusters gemäß einem oder mehreren vorgefertigten Kriterien ähnlich sind, während Beobachtungen aus verschiedenen Clustern unterschiedlich sind. Unterschiedliche Clustering -Techniken treffen unterschiedliche Annahmen über die Struktur der Daten, die häufig von einigen definiert werden Ähnlichkeitsmetrik und bewertet beispielsweise durch interne Kompaktheitoder die Ähnlichkeit zwischen Mitgliedern desselben Clusters und Trennung, der Unterschied zwischen Clustern. Andere Methoden basieren auf geschätzte Dichte und Grafikkonnektivität.

Semi-betriebliches Lernen

Semi-überprüftes Lernen fällt dazwischen unbeaufsichtigtes Lernen (ohne markierte Trainingsdaten) und überwachtes Lernen (mit vollständig beschrifteten Trainingsdaten). Einige der Schulungsbeispiele fehlen Schulungsbezeichnungen, doch viele maschinell-lernende Forscher haben festgestellt, dass unmarkierte Daten, wenn sie in Verbindung mit einer geringen Menge an beschrifteten Daten verwendet werden, eine erhebliche Verbesserung der Lerngenauigkeit führen können.

Im schwach überwachtes Lernen, Die Trainingsetiketten sind laut, begrenzt oder ungenau; Diese Etiketten sind jedoch häufig billiger zu erhalten, was zu größeren effektiven Trainingssätzen führt.^[38]

Verstärkungslernen

Das Verstärkungslernen ist ein Bereich des maschinellen Lernens, der sich darum befasst, wie Software -Agenten sollte nehmen Aktionen in einer Umgebung, um einen Begriff der kumulativen Belohnung zu maximieren. Aufgrund seiner Allgemeinheit wird das Feld in vielen anderen Disziplinen untersucht, wie z. Spieltheorie, Kontrolltheorie, Unternehmensforschung, Informationstheorie, Simulationsbasierte Optimierung, Multi-Agent-Systeme, Schwarmintelligenz, Statistiken und genetische Algorythmen. Im maschinellen Lernen wird die Umgebung normalerweise als dargestellt Markov -Entscheidungsprozess (MDP). Viele Verstärkungslernalgorithmen verwenden Dynamische Programmierung Techniken.^[39] Verstärkungslernalgorithmen nehmen nicht das Wissen über ein exaktes mathematisches Modell des MDP an und werden verwendet, wenn genaue Modelle nicht realisierbar sind. Verstärkungslernalgorithmen werden in autonomen Fahrzeugen oder in Lernen verwendet, ein Spiel gegen einen menschlichen Gegner zu spielen.

Dimensionsreduzierung

Die Reduzierung der Dimensionalität ist ein Prozess zur Reduzierung der Anzahl der betrachteten Zufallsvariablen, indem eine Reihe von Hauptvariablen erhalten werden.^[40] Mit anderen Worten, es ist ein Prozess, die Dimension des Merkmalssatzes zu reduzieren, auch als "Anzahl der Merkmale" bezeichnet. Die meisten Techniken zur Reduzierung der Dimensionalität können entweder als Merkmalsiminierung oder als Extraktion betrachtet werden. Eine der beliebten Methoden zur Reduzierung der Dimensionalität ist Hauptkomponentenanalyse (PCA). PCA beinhaltet die Änderung höherdimensionaler Daten (z. B. 3D) in einen kleineren Raum (z. B. 2D). Dies führt zu einer kleineren Datendimension (2D anstelle von 3D), während alle ursprünglichen Variablen im Modell ohne Änderung der Daten aufbewahrt werden.^[41] Das Vielfache Hypothese schlägt vor, dass hochdimensionale Datensätze entlang niedrigdimensionaler liegen Verteilerund viele Techniken zur Reduzierung von Dimensionalität führen diese Annahme, was zum Bereich von führt vielfältiges Lernen und Verteiler Regularisierung.

Andere Arten

Es wurden andere Ansätze entwickelt, die nicht ordentlich in diese dreifache Kategorisierung passen, und manchmal wird mehr als eins von demselben maschinellen Lernsystem verwendet. Zum Beispiel Themenmodellierung, Metalernen.^[42]

Ab 2020, tiefes Lernen ist zum dominierenden Ansatz für viele laufende Arbeiten im Bereich des maschinellen Lernens geworden.^[10]

Selbstlernen

Das selbstlernende Paradigma als maschinelles Lernen wurde 1982 zusammen mit einem neuronalen Netzwerk eingeführt, das sich selbst lernt, benannt Crossbar Adaptive Array (CAA).^[43] Es ist ein Lernen ohne externe Belohnungen und ohne Rat für externe Lehrer. Der CAA-Selbstlernalgorithmus berechnet in Querlatte sowohl Entscheidungen über Handlungen als auch Emotionen (Gefühle) über Konsequenzsituationen. Das System wird von der Wechselwirkung zwischen Erkenntnis und Emotion angetrieben.^[44] Der selbstlernende Algorithmus aktualisiert eine Speichermatrix w = || w (a, s) || so dass in jeder Iteration die folgende Routine für maschinelles Lernen ausführt:

 In Situation s führen s eine Aktion A durch; Konsequenzsituation erhalten S ’; Berechnen Sie die Emotionen des Seins in Konsequenzsituation V (s ’); Aktualisieren Sie das Crossbar -Speicher w ’(a, s) = w (a, s) + v (s’).

Es ist ein System mit nur einer Eingabe, Situation und nur einer Ausgabe, einer Aktion (oder einem Verhalten) a. Es gibt weder einen separaten Verstärkungseintrag noch einen Ratschlag aus der Umgebung. Der Back -Propag -Wert (sekundäre Verstärkung) ist die Emotion in Richtung der Konsequenzsituation. Die CAA existiert in zwei Umgebungen, eines ist die Verhaltensumgebung, in der sie sich verhält, und das andere ist die genetische Umgebung, in der sie zunächst und nur einmal erste Emotionen über Situationen erhält, die in der Verhaltensumgebung auftreten müssen. Nachdem die CAA den Genomvektor (Spezies) aus der genetischen Umgebung erhalten hat, lernt sie ein Zielsuchverhalten in einer Umgebung, die sowohl wünschenswerte als auch unerwünschte Situationen enthält.^[45]

Feature -Lernen

Mehrere Lernalgorithmen zielen darauf ab, bessere Darstellungen der während des Trainings bereitgestellten Eingaben zu entdecken.^[46] Klassische Beispiele sind Hauptkomponentenanalyse und Clusteranalyse. Feature-Lernalgorithmen, auch als Repräsentations-Lernalgorithmen bezeichnet, versuchen häufig, die Informationen in ihren Eingaben zu erhalten, sondern auch auf eine Weise zu transformieren, die es nützlich macht, häufig als Vorverarbeitungsschritt, bevor Klassifizierung oder Vorhersagen durchgeführt werden. Diese Technik ermöglicht die Rekonstruktion der Eingaben aus der unbekannten Datengenerierungsverteilung, während sie nicht unbedingt den Konfigurationen treu sind, die unter dieser Verteilung unplausibel sind. Dies ersetzt Handbuch Feature Engineeringund ermöglicht es einer Maschine, sowohl die Funktionen zu lernen als auch eine bestimmte Aufgabe auszuführen.

Feature -Lernen kann entweder überwacht oder unbeaufsichtigt werden. In überwachtem Feature -Lernen werden die Funktionen unter Verwendung beschrifteter Eingabedaten gelernt. Beispiele beinhalten künstliche neurale Netzwerke, Mehrschichtige Wahrnehmungund überwacht Wörterbuchlernen. Im unbeaufsichtigten Feature -Lernen werden Merkmale mit nicht beleidigten Eingabedaten gelernt. Beispiele sind Wörterbuchlernen, Unabhängige Komponentenanalyse, Autoencoder, Matrixfaktorisierung^[47] und verschiedene Formen von Clustering.^[48][49][50]

Vielfältiges Lernen Algorithmen versuchen dies unter der Einschränkung, dass die erlernte Darstellung niedrig dimensional ist. Spärliche Codierung Algorithmen versuchen dies unter der Einschränkung, dass die erlernte Darstellung spärlich ist, was bedeutet, dass das mathematische Modell viele Nullen hat. Multilineares Subspace -Lernen Algorithmen zielen darauf ab, niedrigdimensionale Darstellungen direkt von zu lernen Tensor Darstellungen für mehrdimensionale Daten, ohne sie in höherdimensionale Vektoren umzuwandeln.^[51] Tiefes Lernen Algorithmen entdecken mehrere Repräsentationsebenen oder eine Hierarchie von Merkmalen mit höheren, abstrakteren Merkmalen, die in Bezug auf (oder generierende) Merkmale auf niedrigerer Ebene definiert sind. Es wurde argumentiert, dass eine intelligente Maschine eine Darstellung lernt, die die zugrunde liegenden Variationsfaktoren entwirft, die die beobachteten Daten erklären.^[52]

Das Lernen von Merkmalen wird durch die Tatsache motiviert, dass maschinelle Lernaufgaben wie Klassifizierung häufig Eingaben erfordern, die mathematisch und rechnerisch bequem zu verarbeiten sind. In realen Daten wie Bildern, Video- und sensorischen Daten wurden jedoch keine Versuche zur algorithmischen Definition bestimmter Merkmale erzeugt. Eine Alternative besteht darin, solche Merkmale oder Darstellungen durch Untersuchung zu entdecken, ohne sich auf explizite Algorithmen zu verlassen.

Spärliches Wörterbuchlernen

Spartes Wörterbuchlernen ist eine Merkmal -Lernmethode, bei der ein Trainingsbeispiel als lineare Kombination von dargestellt wird Basisfunktionenund wird als a angenommen spärliche Matrix. Die Methode ist stark np-hard und schwer ungefähr zu lösen.^[53] Ein populärer Heuristik Methode zum spärlichen Wörterbuchlernen ist die K-SVD Algorithmus. In mehreren Kontexten wurde ein spärliches Wörterbuch gelernt. In der Klassifizierung besteht das Problem darin, die Klasse zu bestimmen, zu der ein bisher unsichtbares Trainingsbeispiel gehört. Für ein Wörterbuch, in dem bereits jede Klasse gebaut wurde, ist ein neues Trainingsbeispiel mit der Klasse verbunden, die am besten durch das entsprechende Wörterbuch dargestellt wird. Es wurde auch ein spärliches Wörterbuchlernen angewendet in Bild De-Noising. Die Schlüsselidee ist, dass ein sauberer Bild Patch durch ein Bildwörterbuch spärlich dargestellt werden kann, das Rauschen jedoch nicht.^[54]

Anomalieerkennung

Im Data MiningDie Anomalie -Erkennung, auch als Ausreißererkennung bezeichnet, ist die Identifizierung seltener Elemente, Ereignisse oder Beobachtungen, die den Verdacht erhöhen, indem sie sich signifikant von den meisten Daten unterscheiden.^[55] Typischerweise stellen die anomalen Elemente ein Problem dar, wie z. Bankbetrug, ein struktureller Defekt, medizinische Probleme oder Fehler in einem Text. Anomalien werden als bezeichnet Ausreißer, Neuheiten, Rauschen, Abweichungen und Ausnahmen.^[56]

Insbesondere im Kontext von Missbrauch und Netzwerkeindrückererkennung sind die interessanten Objekte oft keine seltenen Objekte, sondern unerwartete Inaktivitätsausbrüche. Dieses Muster hält sich nicht an die gemeinsame statistische Definition eines Ausreißers als seltenes Objekt ein, und viele Ausreißer -Erkennungsmethoden (insbesondere unbeaufsichtigte Algorithmen) sind bei solchen Daten fehlschlagen, es sei denn, es wurde aggregiert. Stattdessen kann ein Clusteranalyse-Algorithmus möglicherweise die durch diese Muster gebildeten Mikrokluster nachweisen.^[57]

Es gibt drei breite Kategorien von Anomalie -Detektionstechniken.^[58] Unüberwachte Anomalie -Detektionstechniken erkennen Anomalien in einem nicht markierten Testdatensatz unter der Annahme, dass die Mehrheit der Fälle im Datensatz normal ist, indem nach Fällen gesucht wird, die am wenigsten zum Rest des Datensatzes passen. Überwachende Anomalie -Detektionstechniken erfordern einen Datensatz, der als "normal" und "abnormal" bezeichnet wurde und einen Klassifikator beinhaltet (der wichtigste Unterschied zu vielen anderen statistischen Klassifizierungsproblemen ist die von Natur aus unausgeglichene Natur der Ausreißererkennung). Halbüberwachende Anomalie-Detektionstechniken konstruieren ein Modell, das ein normales Verhalten aus einem bestimmten normalen Trainingsdatensatz darstellt, und testen dann die Wahrscheinlichkeit einer vom Modell generierten Testinstanz.

Roboterlernen

Roboterlernen ist inspiriert von einer Vielzahl von Methoden für maschinelles Lernen, beginnend mit überwachtem Lernen, Verstärkungslernen,^[59][60] und schlussendlich Meta-Learning (z. B. Maml).

Assoziationsregeln

Assoziationsregel -Lernen ist a Regelbasiertes maschinelles Lernen Methode zum Entdecken von Beziehungen zwischen Variablen in großen Datenbanken. Es ist beabsichtigt, starke Regeln zu identifizieren, die in Datenbanken unter Verwendung eines Maßes für "Interessante" entdeckt wurden.^[61]

Regelbasiertes maschinelles Lernen ist ein allgemeiner Begriff für jede maschinelle Lernmethode, die "Regeln" identifiziert, lernt oder weiterentwickelt, um Wissen zu speichern, zu manipulieren oder anzuwenden. Das definierende Merkmal eines regelbasierten Algorithmus für maschinelles Lernen ist die Identifizierung und Nutzung einer Reihe von relationalen Regeln, die das vom System erfasste Wissen kollektiv darstellen. Dies steht im Gegensatz zu anderen Algorithmen für maschinelles Lernen, die üblicherweise ein singuläres Modell identifizieren, das allgemein auf jede Instanz angewendet werden kann, um eine Vorhersage zu machen.^[62] Zu regelbasierten Ansätzen für maschinelles Lernen gehören Lernklassifikatorsysteme, Assoziationsregel -Lernen und künstliches Immunsystem.

Basierend auf dem Konzept starker Regeln, Rakesh Agrawal, Tomasz Imieliński und Arun Swami führte Assoziationsregeln ein, um Regelmäßigkeiten zwischen Produkten in groß angelegten Transaktionsdaten zu entdecken, die von aufgezeichnet wurden Kasse (POS) Systeme in Supermärkten.^[63] Zum Beispiel die Regel $oder$ In den Verkaufsdaten eines Supermarkts finden Sie darauf, dass ein Kunde, wenn sie zusammen Zwiebeln und Kartoffeln kauft, wahrscheinlich auch Hamburgerfleisch kaufen. Solche Informationen können als Grundlage für Entscheidungen über Marketingaktivitäten wie Werbung verwendet werden Preisgestaltung oder Produktplatzierungen. Zusätzlich zu Marktkorbanalyse, Assoziationsregeln werden heute in Anwendungsbereichen einschließlich der Einhaltung der Anmeldungen eingesetzt Webnutzungsabbau, Intrusionserkennung, kontinuierliche Produktion, und Bioinformatik. Im Gegensatz zu Sequenzabbau, Assoziationsregel -Lernen berücksichtigt in der Regel die Reihenfolge der Elemente entweder innerhalb einer Transaktion oder über Transaktionen hinweg.

Lernklassifikatorsysteme (LCS) sind eine Familie von regelbasierten Algorithmen für maschinelles Lernen, die eine Entdeckungskomponente kombinieren, typischerweise a genetischen Algorithmus, mit einer Lernkomponente, entweder durchführen überwachtes Lernen, Verstärkungslernen, oder unbeaufsichtigtes Lernen. Sie versuchen, eine Reihe von kontextabhängigen Regeln zu identifizieren, die gemeinsam Wissen in a speichern und anwenden stückweise Art, um Vorhersagen zu treffen.^[64]

Die induktive Logikprogrammierung (ILP) ist ein Ansatz zur Regelende mit Verwendung Logikprogrammierung Als einheitliche Darstellung für Input -Beispiele, Hintergrundwissen und Hypothesen. Bei einer Codierung des bekannten Hintergrundwissens und einer Reihe von Beispielen, die als logische Datenbank von Fakten dargestellt werden, leitet ein ILP -System ein hypothetisches Logikprogramm ab, das mit sich bringen Alle positiven und keine negativen Beispiele. Induktive Programmierung ist ein verwandt Funktionsprogramme.

Induktive logische Programmierung ist besonders nützlich in Bioinformatik und Verarbeitung natürlicher Sprache. Gordon Plotkin und Ehud Shapiro legte die anfängliche theoretische Grundlage für induktives maschinelles Lernen in einer logischen Umgebung.^[65][66][67] Shapiro baute 1981 ihre erste Implementierung (Modellinferenzsystem) auf: ein Prolog -Programm, das induktiv Logikprogramme aus positiven und negativen Beispielen abgeleitete.^[68] Der Begriff induktiv Hier bezieht sich auf philosophisch Induktion, die eine Theorie vorschlägt, um beobachtete Tatsachen zu erklären, anstatt mathematische InduktionBeweis für alle Mitglieder eines gut geordneten Sets.

Modelle

Durch das Erstellen von maschinellem Lernen wird ein erstellt Modell, das in einigen Trainingsdaten geschult wird und dann zusätzliche Daten verarbeiten kann, um Vorhersagen zu treffen. Verschiedene Arten von Modellen wurden für maschinelle Lernsysteme verwendet und erforscht.

Künstliche neurale Netzwerke

Ein künstliches neuronales Netzwerk ist eine miteinander verbundene Gruppe von Knoten, ähnlich dem riesigen Netzwerk von Neuronen in einem Gehirn. Hier repräsentiert jeder kreisförmige Knoten eine künstliches Neuron und ein Pfeil stellt eine Verbindung von der Ausgabe eines künstlichen Neurons zum Eingang eines anderen dar.

Künstliche neuronale Netzwerke (Anns) oder Verbindungswissenschaftler Systeme, Computersysteme sind vage von der inspiriert Biologische neuronale Netze Das bildet ein Tier Gehirn. Solche Systeme "lernen", um Aufgaben auszuführen, indem Beispiele in Betracht gezogen werden, ohne mit jeglichen aufgabenspezifischen Regeln programmiert zu werden.

Ein ANN ist ein Modell, das auf einer Sammlung angeschlossener Einheiten oder Knoten basiert, die genannt werden ".künstliche Neuronen", die lose modellieren Neuronen in einem biologischen Gehirn. Jede Verbindung, wie die Synapsen in einem biologischen Gehirn, kann Informationen, ein "Signal", von einem künstlichen Neuron zum anderen übertragen. Ein künstliches Neuron, das ein Signal empfängt, kann es verarbeiten und dann zusätzliche künstliche Neuronen signalisieren, die damit verbunden sind. Bei gemeinsamen Ann -Implementierungen ist das Signal in einem Zusammenhang zwischen künstlichen Neuronen a reelle Zahlund die Ausgabe jedes künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingaben berechnet. Die Verbindungen zwischen künstlichen Neuronen werden als "Kanten" bezeichnet. Künstliche Neuronen und Kanten haben typischerweise a Gewicht Das passt sich an, wenn das Lernen fortgesetzt wird. Das Gewicht nimmt die Festigkeit des Signals bei einer Verbindung zu oder verringert sie. Künstliche Neuronen können einen Schwellenwert haben, so dass das Signal nur gesendet wird, wenn das Aggregatsignal diesen Schwellenwert überschreitet. Typischerweise werden künstliche Neuronen in Schichten aggregiert. Verschiedene Schichten können verschiedene Arten von Transformationen für ihre Eingaben durchführen. Signale wandern von der ersten Ebene (der Eingangsschicht) bis zur letzten Schicht (die Ausgangsschicht), möglicherweise nach mehrmaliger Durchführung der Ebenen.

Das ursprüngliche Ziel des Ann -Ansatzes war es, Probleme auf die gleiche Weise zu lösen, wie a menschliches Gehirn möchten. Im Laufe der Zeit bewegte sich die Aufmerksamkeit jedoch darauf, bestimmte Aufgaben auszuführen, was zu Abweichungen von führte Biologie. Künstliche neuronale Netze wurden für eine Vielzahl von Aufgaben verwendet, einschließlich Computer Vision, Spracherkennung, Maschinenübersetzung, Soziales Netzwerk Filterung, Board- und Videospiele spielen und medizinische Diagnose.

Tiefes Lernen besteht aus mehreren versteckten Schichten in einem künstlichen neuronalen Netzwerk. Dieser Ansatz versucht, die Art und Weise zu modellieren, wie das menschliche Gehirn Licht und Klang in Seh- und Hören verarbeitet. Einige erfolgreiche Anwendungen von Deep Learning sind Computer Vision und Spracherkennung.^[69]

Entscheidungsbäume

Entscheidungsbaumlernen verwendet a Entscheidungsbaum Als ein Prädiktivmodell von Beobachtungen über einen Gegenstand (in den Zweigen vertreten) zu Schlussfolgerungen über den Zielwert des Elements (in den Blättern dargestellt). Es ist einer der prädiktiven Modellierungsansätze, die in Statistik, Data Mining und maschinellem Lernen verwendet werden. Baummodelle, bei denen die Zielvariable einen diskreten Satz von Werten annehmen kann, werden als Klassifizierungsbäume bezeichnet. In diesen Baumstrukturen, Laub darstellen Klassenbezeichnungen und Zweige repräsentieren Konjunktionen von Funktionen, die zu diesen Klassenetiketten führen. Entscheidungsbäume, bei denen die Zielvariable kontinuierliche Werte annehmen kann (normalerweise reale Nummern) werden Regressionsbäume genannt. In der Entscheidungsanalyse kann ein Entscheidungsbaum verwendet werden, um Entscheidungen visuell und explizit darzustellen und Entscheidung fällen. Im Data Mining beschreibt ein Entscheidungsbaum Daten, aber der resultierende Klassifizierungsbaum kann ein Eingabe für die Entscheidungsfindung sein.

Support-Vektor-Maschinen

Support-Vektor-Maschinen (SVMs), auch als Support-Vektor-Netzwerke bekannt, sind eine Reihe von verwandten überwachtes Lernen Methoden zur Klassifizierung und Regression. Angesichts einer Reihe von Trainingsbeispielen, die jeweils als zu einer von zwei Kategorien gehörend markiert sind, baut ein SVM -Trainingsalgorithmus ein Modell auf, das vorhersagt, ob ein neues Beispiel in die eine oder andere Kategorie fällt.^[70] Ein SVM-Trainingsalgorithmus ist ein Nichtsprobabilistisch, binär, linearer Klassifikator, obwohl Methoden wie z. Platt Skaling existieren, um SVM in einer probabilistischen Klassifizierungsumgebung zu verwenden. Neben der linearen Klassifizierung kann SVMs eine nichtlineare Klassifizierung mit dem sogenannten so genannten so genannten so effizient durchführen Kerneltrickimplizit ihre Eingaben in hochdimensionale Merkmalsräume abbilden.

Illustration der linearen Regression auf einem Datensatz

Regressionsanalyse

Die Regressionsanalyse umfasst eine Vielzahl statistischer Methoden, um die Beziehung zwischen Eingabevariablen und ihren zugehörigen Merkmalen abzuschätzen. Seine häufigste Form ist lineare Regression, wo eine einzelne Linie gezeichnet wird, um die angegebenen Daten nach einem mathematischen Kriterium wie am besten zu passen, z. Gewöhnliche kleinste Quadrate. Letzteres wird oft von erweitert von Regulierung Methoden zur Minderung von Überanpassung und Voreingenommenheit wie in Ridge Regression. Beim Umgang mit nichtlinearen Problemen enthalten Modelle die Anlaufstelle Polynomregression (Zum Beispiel für Trendlinienanpassung in Microsoft Excel verwendet^[71]), logistische Regression (oft verwendet in Statistische Klassifizierung) oder auch Kernelregression, was Nichtlinearität einführt, indem sie die ausnutzen Kerneltrick Um Eingabevariablen implizit in den höherdimensionalen Raum zuzuordnen.

Bayes'sche Netzwerke

Ein einfaches Bayes'sche Netzwerk. Regen beeinflusst, ob der Sprinkler aktiviert ist, und sowohl Regen als auch der Sprinkler beeinflussen, ob das Gras nass ist.

Ein Bayes'sche Netzwerk, ein Glaubensnetzwerk oder ein gerichtetes acyclisches grafisches Modell ist ein probabilistisch Grafisches Modell das stellt einen Satz von dar zufällige Variablen und ihre bedingte Unabhängigkeit mit einer Regie acyclische Graphen (DAG). Zum Beispiel könnte ein Bayes'sche Netzwerk die probabilistischen Beziehungen zwischen Krankheiten und Symptomen darstellen. Bei den Symptomen kann das Netzwerk verwendet werden, um die Wahrscheinlichkeiten des Vorhandenseins verschiedener Krankheiten zu berechnen. Es gibt effiziente Algorithmen, die durchführen Inferenz und lernen. Bayesische Netzwerke, die Sequenzen von Variablen modellieren, wie Sprachsignale oder Proteinsequenzen, werden genannt Dynamische Bayes'sche Netzwerke. Verallgemeinerungen von Bayes'schen Netzwerken, die Entscheidungsprobleme unter Unsicherheit darstellen und lösen können Einfluss von Diagrammen.

Genetische Algorythmen

Ein genetischer Algorithmus (GA) ist a Suchalgorithmus und Heuristik Technik, die den Prozess von nachahmt natürliche Auslesemit Methoden wie z. Mutation und Crossover Neue generieren Genotypen in der Hoffnung, gute Lösungen für ein bestimmtes Problem zu finden. Im maschinellen Lernen wurden genetische Algorithmen in den 1980er und 1990er Jahren verwendet.^[72][73] Umgekehrt wurden Techniken für maschinelles Lernen verwendet, um die Leistung von Genetik und zu verbessern und Evolutionsalgorithmen.^[74]

Trainingsmodelle

Typischerweise erfordern maschinelle Lernmodelle eine hohe Menge zuverlässiger Daten, damit die Modelle genaue Vorhersagen durchführen können. Beim Training eines maschinellen Lernmodells müssen maschinelle Lerningenieure ein großes und repräsentatives Datenprobe abzielen und sammeln. Daten aus dem Trainingssatz können so unterschiedlich sein wie ein Textkorpus, eine Sammlung von Bildern, Sensordaten und Daten, die von einzelnen Benutzern eines Dienstes gesammelt wurden. Überanpassung ist etwas, auf das man beim Training eines maschinellen Lernmodells achten muss. Geschulte Modelle, die aus verzerrten oder nicht bewerteten Daten abgeleitet wurden, können zu verzerrten oder unerwünschten Vorhersagen führen. Bias -Modelle können zu nachteiligen Ergebnissen führen, wodurch die negativen Auswirkungen auf die Gesellschaft oder die Ziele fördern. Algorithmische Voreingenommenheit ist ein potenzielles Ergebnis von Daten, die nicht vollständig für das Training vorbereitet sind. Die Ethik des maschinellen Lernens wird zu einem Studienbereich und wird insbesondere in Teams für maschinelles Lernen integriert.

Föderierte Lernen

Federated Learning ist eine angepasste Form von verteilte künstliche Intelligenz Um maschinelles Lernmodelle zu trainieren, die den Trainingsprozess dezentralisieren, sodass die Privatsphäre der Benutzer beibehalten werden kann, indem sie ihre Daten nicht an einen zentralisierten Server senden müssen. Dies erhöht auch die Effizienz durch die Dezentralisierung des Schulungsprozesses auf viele Geräte. Zum Beispiel, Gboard Verwendet das föderierte maschinelle Lernen, um Suchabfrage -Vorhersagemodelle auf den Mobiltelefonen der Benutzer zu trainieren, ohne die individuelle Suchvorgänge zurück zu senden zu müssen Google.^[75]

Anwendungen

Es gibt viele Anwendungen für maschinelles Lernen, einschließlich:

Im Jahr 2006 der Anbieter von Mediendiensten Netflix hielt die erste "Netflix -Preis"Wettbewerb um ein Programm zur besseren Vorhersage der Benutzerpräferenzen und zur Verbesserung der Genauigkeit seines bestehenden Cinematch -Filmempfehlungalgorithmus um mindestens 10%. Ein gemeinsames Team, das sich aus Forschern zusammensetzt AT & T Labs-Forschen in Zusammenarbeit mit den Teams Big Chaos und pragmatische Theorie bauten eine Ensemble -Modell Um den Hauptpreis 2009 für 1 Million US -Dollar zu gewinnen.^[77] Kurz nachdem der Preis vergeben worden war, stellte Netflix fest, dass die Bewertungen der Zuschauer nicht die besten Indikatoren für ihre Betrachtungsmuster waren ("Alles ist eine Empfehlung") und sie änderten ihre Empfehlungsmotor entsprechend.^[78] Im Jahr 2010 schrieb das Wall Street Journal über die Firma Rebellion Research und ihre Verwendung von maschinellem Lernen, um die Finanzkrise vorherzusagen.^[79] 2012 Mitbegründer von Sun Microsystems, Vinod Khosla, prognostizierte, dass in den nächsten zwei Jahrzehnten 80% der Arbeitsplätze von Ärzten verloren gehen würden, um maschinelles medizinisches Diagnosesoftware für maschinelles Lernen zu erhalten.^[80] Im Jahr 2014 wurde berichtet, dass im Bereich der Kunstgeschichte ein Algorithmus für maschinelles Lernen angewendet worden war, um bildende Kunstgemälde zu studieren, und dass er möglicherweise zuvor nicht erkannte Einflüsse unter den Künstlern offenbart hat.^[81] 2019 Springer Natur veröffentlichte das erste Forschungsbuch, das mit maschinellem Lernen erstellt wurde.^[82] Im Jahr 2020 wurde die Technologie für maschinelles Lernen verwendet, um Diagnosen zu erstellen und Forschern bei der Entwicklung eines Heilmittels für Covid-19 zu unterstützen.^[83] Maschinelles Lernen wird kürzlich angewendet, um das grüne Verhalten des Menschen zu vorherzusagen.^[84] In jüngster Zeit wird auch die Technologie für maschinelles Lernen angewendet, um die Leistung und das thermische Verhalten des Smartphones basierend auf der Interaktion des Benutzers mit dem Telefon zu optimieren.^[85][86][87]

Einschränkungen

Obwohl maschinelles Lernen in einigen Bereichen transformativ war, liefern maschinelle Lernprogramme häufig nicht erwartete Ergebnisse.^[88][89][90] Gründe dafür sind zahlreich: Mangel an (geeigneten) Daten, mangelnder Zugriff auf die Daten, Datenverzerrungen, Datenschutzprobleme, schlecht ausgewählte Aufgaben und Algorithmen, falsche Tools und Personen, mangelnde Ressourcen und Bewertungsprobleme.^[91]

Im Jahr 2018 ein selbstfahrendes Auto von Uber versäumte es, einen Fußgänger zu entdecken, der nach einer Kollision getötet wurde.^[92] Versuche, maschinelles Lernen im Gesundheitswesen mit dem zu verwenden IBM Watson Das System lieferte auch nach jahrelanger Zeit und Milliarden von Dollar investiert.^[93][94]

Maschinelles Lernen wurde als Strategie zur Aktualisierung der Beweise im Zusammenhang mit einer systematischen Überprüfung und einer erhöhten Belastung von Rezensenten im Zusammenhang mit dem Wachstum der biomedizinischen Literatur verwendet. Während es sich mit Trainingssätzen verbessert hat, hat es sich noch nicht ausreichend entwickelt, um die Arbeitsbelastung zu verringern, ohne die erforderliche Sensibilität für die Erforschung selbst zu begrenzen.^[95]

Voreingenommenheit

Insbesondere maschinelle Lernansätze können unter unterschiedlichen Datenverzerrungen leiden. Ein maschinelles Lernsystem, das speziell für aktuelle Kunden geschult ist, kann die Anforderungen neuer Kundengruppen möglicherweise nicht vorhersagen, die in den Trainingsdaten nicht vertreten sind. Wenn man auf künstliche Daten ausgebildet ist, wird das maschinelle Lernen wahrscheinlich die konstitutionellen und unbewussten Vorurteile aufnehmen, die bereits in der Gesellschaft vorhanden sind.^[96] Es wurde gezeigt, dass Sprachmodelle, die aus Daten gelernt wurden, menschliche Vorurteile enthalten.^[97][98] Es wurde festgestellt, dass maschinelle Lernsysteme für die Bewertung des kriminellen Risikos gegen Schwarze voreingenommen sind.^[99][100] Im Jahr 2015 markierten Google Fotos häufig Schwarze als Gorillas,^[101] Und im Jahr 2018 war dies immer noch nicht gut gelöst, aber Google benutzte Berichten zufolge noch die Problemumgehung, um alle Gorillas aus den Trainingsdaten zu entfernen, und konnte daher echte Gorillas überhaupt nicht erkennen.^[102] Ähnliche Probleme bei der Erkennung von nicht-weißen Menschen wurden in vielen anderen Systemen gefunden.^[103] Im Jahr 2016 testete Microsoft a Chatbot Das lernte von Twitter und nahm schnell rassistische und sexistische Sprache auf.^[104] Aufgrund solcher Herausforderungen kann der effektive Gebrauch des maschinellen Lernens länger dauern, bis sie in anderen Bereichen angenommen werden können.^[105] Sorge um Gerechtigkeit In maschinellem Lernen, dh eine Verringerung der Verzerrung im maschinellen Lernen und das Antrieb der Verwendung für das Gute für das Menschen, wird zunehmend von Wissenschaftlern künstlicher Intelligenz ausgedrückt, einschließlich Fei-Fei li, der Ingenieure daran erinnert, dass "KI nichts Künstliches hat ... es ist von Menschen inspiriert, es wird von Menschen geschaffen, und - vor allem - es wirkt sich aus Menschen aus. Es ist ein mächtiges Werkzeug, das wir gerade erst verstehen, und das ist ein tiefgreifende Verantwortung. “^[106]

Überanpassung

Die blaue Linie könnte ein Beispiel für die Überanpassung einer linearen Funktion aufgrund zufälliger Rauschen sein.

Das Einsetzen einer schlechten, übermäßig komplexen Theorie, die auf alle früheren Trainingsdaten passt, wird als Überanpassung bezeichnet. Viele Systeme versuchen, die Überanpassung zu reduzieren, indem sie eine Theorie belohnen, in Übereinstimmung mit der Art und Weise, wie gut sie zu den Daten passt, aber die Theorie gemäß der Komplexe der Theorie bestraft.^[9]

Andere Einschränkungen und Schwachstellen

Lernende können auch enttäuschen, indem sie "die falsche Lektion lernen". Ein Spielzeugbeispiel ist, dass ein Bildklassifikator, das nur auf Bildern von braunen Pferden und schwarzen Katzen trainiert wird, zu dem Schluss kommen könnte, dass alle braunen Flecken wahrscheinlich Pferde sind.^[107] Ein Beispiel in der realen Welt ist, dass aktuelle Bildklassifizierer im Gegensatz zu Menschen oft nicht vor allem Urteile aus der räumlichen Beziehung zwischen den Komponenten des Bildes fällen, und sie lernen Beziehungen zwischen Pixel, die Menschen nicht ahnungslos sind, aber die immer noch mit Bildern von korrelieren Bestimmte Arten von realen Objekten. Das Ändern dieser Muster auf einem legitimen Bild kann zu "widersprüchlichen" Bildern führen, die das System falsch klassifiziert.^[108][109]

Gegentliche Schwachstellen können auch zu nichtlinearen Systemen oder zu Nicht-Muster-Störungen führen. Einige Systeme sind so spröde, dass das Ändern eines einzelnen kontroversen Pixels vorhersehbar eine Fehlklassifizierung induziert. Modelle für maschinelles Lernen sind oft anfällig für Manipulation und/oder Ausweichen durch Konverselles maschinelles Lernen.^[110]

Forscher haben gezeigt, wie Hintertüren kann unzuwerts in die Klassifizierung (z. B. für Kategorien "Spam" und gut sichtbares "Nicht-Spam" von Posts) maschinelles Lernmodellen eingesetzt werden, die häufig von Dritten entwickelt und/oder trainiert werden. Parteien können die Klassifizierung jeglicher Eingabe ändern, auch in Fällen, für die eine Art von Art von Daten-/Software -Transparenz wird zur Verfügung gestellt, möglicherweise einschließlich White-Box-Zugriff.^{[111][112][113]}

Modellbewertungen

Die Klassifizierung von Modellen für maschinelles Lernen kann durch Genauigkeitsschätzungstechniken wie die validiert werden aushalten Methode, die die Daten in einem Trainings- und Testsatz aufteilt (herkömmlich 2/3 Trainingssatz und 1/3 Testsatzbezeichnung) und die Leistung des Trainingsmodells im Testsatz bewertet. Im Vergleich dazu die k-fold-cross-validation Die Methode partitioniert die Daten zufällig in k-Teilmengen, und dann werden jeweils K-Experimente unter Berücksichtigung einer 1-Untergruppe zur Bewertung und den verbleibenden K-1-Teilmengen für das Training des Modells durchgeführt. Zusätzlich zu den Holdout- und Kreuzvalidierungsmethoden,, Bootstrap, mit welchen Beispielen n Instanzen mit Ersatz aus dem Datensatz, können zur Bewertung der Modellgenauigkeit verwendet werden.^[114]

Zusätzlich zur Gesamtgenauigkeit berichten die Forscher häufig Empfindlichkeit und Spezifität bedeutet echte positive Rate (TPR) bzw. echte negative Rate (TNR). In ähnlicher Weise berichten die Ermittler manchmal die Falsche positive Rate (FPR) sowie die Falsche negative Rate (FNR). Diese Raten sind jedoch Verhältnisse, die ihre Zahlen und Nenner nicht offenbaren. Das Gesamtbetriebsmerkmal (TOC) ist eine effektive Methode, um die diagnostische Fähigkeit eines Modells auszudrücken. TOC zeigt die Zähler und Nenner der zuvor genannten Raten, daher liefert TOC mehr Informationen als die häufig verwendeten Empfängerbetriebsmerkmal (ROC) und ROCs zugehöriger Bereich unter der Kurve (AUC).^[115]

Ethik

Maschinelles Lernen zeigt eine Vielzahl von Ethische Fragen. Systeme, die auf Datensätzen geschult werden, die mit Verzerrungen gesammelt wurden, können diese Verzerrungen bei der Verwendung aufweisen ((Algorithmische Voreingenommenheit), so digitalisieren kulturelle Vorurteile.^[116] Zum Beispiel stellte die britische Kommission für Rassengleichheit 1988 fest, dass die medizinische Fakultät von St. George ein Computerprogramm verwendet hatte, das aus Daten des früheren Zulassungsmitarbeiter geschult wurde, und dieses Programm hatte fast 60 Kandidaten bestritten, die entweder Frauen waren oder nicht hatten -Europäisch klingende Namen.^[96] Die Verwendung von Dateneinstellungsdaten von einem Unternehmen mit rassistischen Einstellungsrichtlinien kann zu einem maschinellen Lernsystem führen, das die Verzerrung dupliziert, indem Bewerber bei Bewerbern durch Ähnlichkeit mit früheren erfolgreichen Bewerbern bewertet werden.^[117][118] Verantwortlich Datensammlung und Dokumentation von algorithmischen Regeln, die von einem System verwendet werden, ist daher ein kritischer Bestandteil des maschinellen Lernens.

KI kann gut ausgestattet sein, um Entscheidungen in technischen Bereichen zu treffen, die stark auf Daten und historische Informationen beruhen. Diese Entscheidungen beruhen auf Objektivität und logischem Denken.^[119] Weil menschliche Sprachen Vorurteile enthalten, Maschinen, die auf Sprache trainiert wurden Korpora wird notwendigerweise auch diese Vorurteile lernen.^[120][121]

Andere Formen ethischer Herausforderungen, die nicht mit persönlichen Vorurteilen zusammenhängen, sind im Gesundheitswesen zu sehen. Es gibt Bedenken bei den Angehörigen der Gesundheitsberufe, dass diese Systeme möglicherweise nicht im Interesse der Öffentlichkeit konzipiert werden, sondern als einkommensschaffende Maschinen.^[122] Dies gilt insbesondere in den Vereinigten Staaten, in denen ein seit langem bestehendes ethisches Dilemma der Verbesserung der Gesundheitsversorgung vorhanden ist, aber auch die Gewinne erhöht. Zum Beispiel könnten die Algorithmen so konzipiert werden, dass sie Patienten unnötige Tests oder Medikamente liefern, bei denen die Eigentümer des Algorithmus Beteiligungen besitzen. Es besteht das Potenzial für maschinelles Lernen in der Gesundheitsversorgung, Fachleuten ein zusätzliches Instrument zur Diagnose, Medikat- und Planungspfade für Patienten zu bieten. Dies erfordert jedoch, dass diese Verzerrungen gemildert werden müssen.^[123]

Hardware

Seit den 2010er Jahren haben Fortschritte sowohl in Algorithmen für maschinelles Lernen als auch in Computerhardware zu effizienteren Methoden für das Training geführt tiefe neuronale Netze (Eine bestimmte schmale Subdomäne des maschinellen Lernens), die viele Schichten nichtlinear versteckter Einheiten enthalten.^[124] Bis 2019 grafische Verarbeitungseinheiten (GPUS), oft mit KI-spezifischen Verbesserungen, hatte CPUs als dominierende Methode zur Ausbildung von großflächiger kommerzieller Cloud-KI verdrängt.^[125] Openai schätzte das Hardware-Computing, das bei den größten Deep-Learning-Projekten von Alexnet (2012) bis Alphazero (2017) verwendet wurde, und fand eine 300.000-fache Erhöhung der erforderlichen Berechnung mit einer Verdoppelungszeit-Trendlinie von 3,4 Monaten.^[126][127]

Neuromorphe/physikalische Neuralnetzwerke

A physisches neuronales Netzwerk oder Neuromorpher Computer ist eine Art von Art von künstliche neuronale Netz in dem ein elektrisch einstellbares Material verwendet wird, um die Funktion von a zu emulieren neuronale Synapse. "Physisches" neuronales Netzwerk wird verwendet, um die Abhängigkeit von physischer Hardware zu betonen, die zum Nachahmung verwendet wird Neuronen im Gegensatz zu Software-basierten Ansätzen. Allgemeiner gilt der Begriff für andere künstliche neuronale Netze, in denen a Memristor oder anderes elektrisch einstellbares Widerstandsmaterial wird verwendet, um eine neuronale Synapse zu emulieren.^[128][129]

Eingebettetes maschinelles Lernen

Eingebettetes maschinelles Lernen ist ein Unterfeld des maschinellen Lernens, auf dem das maschinelle Lernmodell ausgeführt wird eingebettete Systeme mit begrenzten Rechenressourcen wie z. Tragbare Computer, Kantengeräte und Mikrocontroller.^{[130][131][132]} Durch das Ausführen von maschinellem Lernmodell in eingebetteten Geräten wird die Notwendigkeit des Übertragens und Speicherns von Daten auf Cloud -Servern zur weiteren Verarbeitung, fortan die Verringerung von Datenverletzungen und Datenschutzlecks aufgrund der Übertragung von Daten beseitigt und minimiert auch Diebstahl von intellektuellen Eigenschaften, personenbezogenen Daten und Geschäftsgeheimnisse. Eingebettete maschinelles Lernen könnte durch verschiedene Techniken angewendet werden, einschließlich Hardware-Beschleunigung,^[133][134] Verwendung ungefähres Computer,^[135] Optimierung von Modellen für maschinelles Lernen und vieles mehr.^[136][137]

Software

Software -Suiten enthalten eine Vielzahl von Algorithmen für maschinelles Lernen: Folgendes:

Kostenlose und Open-Source-Software

Proprietäre Software mit kostenlosen und Open-Source-Editionen

• Knime
• RapidMiner

Proprietäre Software

Zeitschriften

• Journal of Machine Learning Research
• Maschinelles Lernen
• Nature Machine Intelligence
• Neuronale Berechnung

Konferenzen

• AAAI -Konferenz über künstliche Intelligenz
• Assoziation für rechnerische Linguistik (ACL)
• Europäische Konferenz über maschinelles Lernen und Prinzipien und Praxis der Erkennung von Wissen in Datenbanken (ECML PKDD)
• Internationale Konferenz über Computer -Intelligenzmethoden für Bioinformatik und Biostatistik (CIBB)
• Internationale Konferenz über maschinelles Lernen (ICML)
• Internationale Konferenz über Lernrepräsentationen (ICLR)
• Internationale Konferenz über intelligente Roboter und Systeme (Iros)
• Konferenz über Wissenserkennung und Data Mining (KDD)
• Konferenz über neuronale Informationsverarbeitungssysteme (Neurips)

Siehe auch

• Automatisiertes maschinelles Lernen- Prozess der Automatisierung der Anwendung des maschinellen Lernens
• Große Daten- Informationsvermögen, die durch hohe Volumen, Geschwindigkeit und Vielfalt gekennzeichnet sind
• Differenzierbare Programmierung- Programmierparadigma
• Liste wichtiger Veröffentlichungen im maschinellen Lernen
• Liste der Datensätze für die maschinelle Lernforschung

Verweise

Quellen

• Domingos, Pedro (22. September 2015). Der Master -Algorithmus: Wie die Suche nach der ultimativen Lernmaschine unsere Welt neu gestalten wird. Grundbücher. ISBN 978-0465065707.
• Nilsson, Nils (1998). Künstliche Intelligenz: Eine neue Synthese. Morgan Kaufmann. ISBN 978-1-55860-467-4. Archiviert Aus dem Original am 26. Juli 2020. Abgerufen 18. November 2019.
• Russell, Stuart J.; Norvig, Peter (2003), Künstliche Intelligenz: ein moderner Ansatz (2. Aufl.), Upper Saddle River, New Jersey: Prentice Hall, ISBN 0-13-790395-2.
• Poole, David; Mackworth, Alan; Goebel, Randy (1998). Computational Intelligence: Ein logischer Ansatz. New York: Oxford University Press. ISBN 978-0-19-510270-3. Archiviert Aus dem Original am 26. Juli 2020. Abgerufen 22. August 2020.

Weitere Lektüre

Externe Links

• Zitate im Zusammenhang mit maschinellem Lernen bei Wikiquote
• Internationale Gesellschaft für maschinelles Lernen
• Mloss ist eine akademische Datenbank mit Open-Source-Software für maschinelles Lernen.