Empfehlungssystem

A Empfehlungssystem, oder ein Empfehlungssystem (Manchmal ersetzen Sie das 'System' durch ein Synonym wie Plattform oder Engine) ist eine Unterklasse von Informationsfiltersystem Dadurch sind Vorschläge für Elemente enthalten, die für einen bestimmten Benutzer am relevantesten sind.[1][2] In der Regel beziehen sich die Vorschläge auf verschiedene Entscheidungsprozesse, z. B. das Produkt, das zu kaufen ist, welche Musik zu hören ist oder welche Online-Nachrichten zu lesen sind.[1] Empfehlungssysteme sind besonders nützlich, wenn eine Person einen Artikel aus einer potenziell überwältigenden Anzahl von Artikeln auswählen muss, die ein Dienst anbietet.[1][3]

Empfehlungssysteme werden in einer Vielzahl von Bereichen verwendet, wobei allgemein anerkannte Beispiele in Form eines Wiedergabeliste Generatoren für Video- und Musikdienste, Produktempfehlungen für Online -Shops oder Inhaltsempfehlungen für Social -Media -Plattformen und öffnen Webinhalte Empfehlungen.[4][5] Diese Systeme können mit einer einzelnen Eingabe wie Musik oder mehreren Eingaben innerhalb und zwischen Plattformen wie Nachrichten, Büchern und Suchanfragen arbeiten. Es gibt auch beliebte Empfehlungssysteme für bestimmte Themen wie Restaurants und Online-Dating. Empfehlungssysteme wurden auch entwickelt, um Forschungsartikel und Experten zu untersuchen.[6] Mitarbeiter,[7] und Finanzdienstleistungen.[8]

Überblick

Empfehlungssysteme nutzen normalerweise eine oder beides kollaborative Filterung und inhaltsbasierte Filterung (auch als personenbasierter Ansatz bezeichnet),[9] sowie andere Systeme wie z. Wissensbasierte Systeme. Kollaborative Filteransätze erstellen ein Modell aus dem früheren Verhalten eines Benutzers (zuvor erworbene oder ausgewählte oder ausgewählte Elemente und/oder numerische Bewertungen, die diesen Elementen angegeben wurden) sowie ähnliche Entscheidungen, die von anderen Benutzern getroffen wurden. Dieses Modell wird dann verwendet, um Elemente (oder Bewertungen für Elemente) vorherzusagen, an denen der Benutzer interessiert sein kann.[10] Inhaltsbasierte Filteransätze verwenden eine Reihe diskreter, vorgenannter Merkmale eines Elements, um zusätzliche Elemente mit ähnlichen Eigenschaften zu empfehlen.[11]

Wir können die Unterschiede zwischen kollaborativen und inhaltsbasierten Filterung demonstrieren, indem wir zwei frühe Musik-Empfehlungssysteme vergleichen- Letztes FM und Pandora Radio.

  • Last.fm erstellt eine "Station" von empfohlenen Songs, indem er beobachtet, was Bands und einzelne Tracks, die der Benutzer regelmäßig gehört hat, und diejenigen mit dem Hörverhalten anderer Benutzer verglichen. Last.fm wird Tracks abspielen, die nicht in der Benutzerbibliothek angezeigt werden, aber häufig von anderen Benutzern mit ähnlichen Interessen gespielt werden. Da dieser Ansatz das Verhalten der Benutzer nutzt, ist dies ein Beispiel für eine kollaborative Filtertechnik.
  • Pandora verwendet die Eigenschaften eines Songs oder Künstlers Musikgenomprojekt) einen "Sender", der Musik mit ähnlichen Eigenschaften spielt. Benutzer -Feedback wird verwendet, um die Ergebnisse der Station zu verfeinern, bestimmte Attribute zu unterliegen, wenn ein Benutzer ein bestimmtes Lied "nicht mag" und andere Attribute hervorheben, wenn ein Benutzer einen Song "mag". Dies ist ein Beispiel für einen inhaltsbasierten Ansatz.

Jede Art von System hat seine Stärken und Schwächen. Im obigen Beispiel erfordert last.fm eine große Menge an Informationen über einen Benutzer, um genaue Empfehlungen abzugeben. Dies ist ein Beispiel für das Kaltstart Problem und ist in kollaborativen Filtersystemen üblich.[12][13][14][15][16] Während Pandora nur sehr wenige Informationen benötigt, um zu beginnen, ist es im Umfang weitaus begrenzter (z. B. kann es nur Empfehlungen abgeben, die dem ursprünglichen Samen ähnlich sind).

Empfehlungssysteme sind eine nützliche Alternative zu Suchalgorithmen Da sie Benutzern helfen, Elemente zu entdecken, die sie möglicherweise nicht anders gefunden haben. Bemerkenswerterweise werden Empfehlungssysteme häufig unter Verwendung von Suchmaschinen implementiert, die nicht-traditionelle Daten indizieren.

Empfehlungssysteme wurden erstmals 1990 in einem technischen Bericht als "digitales Bücherregal" von erwähnt Jussi Karlgren an der Columbia University,[17] und in technischer Berichte und Veröffentlichungen ab 1994 im Umfang von Jussi Karlgren, dann bei SICs implementiert und durchgesetzt.[18] [19] und Forschungsgruppen angeführt von Pattie Maes am MIT,[20] Will Hill in Bellcore,[21] und Paul Resnickauch am MIT[22] [3] deren Arbeit mit Groupens im Jahr 2010 ausgezeichnet wurde ACM Software Systems Award.

Montaner gab aus Sicht der intelligenten Agenten den ersten Überblick über Empfehlungssysteme.[23] Adomavicius gab einen neuen, alternativen Überblick über Empfehlungssysteme.[24] Herlocker bietet einen zusätzlichen Überblick über Evaluierungstechniken für Empfehlungssysteme.[25] und Beel et al. Erörterte die Probleme der Offline -Bewertungen.[26] Beel et al. haben auch Literaturumfragen zu verfügbaren Research -Papierempfehlungssystemen und vorhandenen Herausforderungen durchgeführt.[27][28]

Empfehlungssysteme standen im Mittelpunkt mehrerer erteilter Patente.[29][30][31][32][33]

Ansätze

Kollaborative Filterung

Hauptartikel: Kollaborative Filterung
Ein Beispiel für die kollaborative Filterung basierend auf einem Bewertungssystem

Ein Ansatz für die Gestaltung von Empfehlungssystemen, die weit verbreitet sind kollaborative Filterung.[34] Die kollaborative Filterung basiert auf der Annahme, dass Menschen, die in der Vergangenheit zustimmten, in Zukunft zustimmen werden und dass sie ähnliche Arten von Gegenständen mögen werden, wie sie es in der Vergangenheit wollten. Das System generiert Empfehlungen, die nur Informationen zu Bewertungsprofilen für verschiedene Benutzer oder Elemente verwenden. Durch die Suche nach Peer -Benutzern/Elementen mit einem Bewertungsverlauf, der dem aktuellen Benutzer oder Element ähnelt, generieren sie Empfehlungen mit dieser Nachbarschaft. Kollaborative Filtermethoden werden als Speicher- und modellbasiert eingestuft. Ein bekanntes Beispiel für speicherbasierte Ansätze ist der benutzerbasierte Algorithmus.[35] Während der von modellbasierten Ansätzen der Kernel-Mapping-Empfehlungen ist.[36]

Ein wesentlicher Vorteil des kollaborativen Filteransatzes besteht darin, dass er sich nicht auf maschinenanalysbare Inhalte stützt und daher komplexe Elemente wie Filme genau empfehlen kann, ohne dass ein "Verständnis" des Elements selbst erforderlich ist. Viele Algorithmen wurden zur Messung der Benutzerähnlichkeit oder der Elementähnlichkeit in Empfehlungssystemen verwendet. Zum Beispiel die K-nearest Nachbar (K-nn) Ansatz[37] und die Pearson Korrelation Wie erstmals von Allen implementiert.[38]

Wenn ein Modell aus dem Verhalten eines Benutzers erstellt wird, wird häufig zwischen explizit und unterschieden implizit Arten von Datensammlung.

Beispiele für explizite Datenerfassung sind die folgenden:

  • Bitten Sie einen Benutzer, ein Element auf einer Schiebung zu bewerten.
  • Einen Benutzer zum Suche bitten.
  • Bitten Sie einen Benutzer, eine Sammlung von Elementen vom Favoriten bis zum am wenigsten Favoriten zu bewerten.
  • Präsentieren Sie zwei Elementen einem Benutzer und bitten ihn/sie, den besseren von ihnen zu wählen.
  • Bitten Sie einen Benutzer, eine Liste der Elemente zu erstellen, die er/sie mag (siehe Rocchio -Klassifizierung oder andere ähnliche Techniken).

Beispiele von implizite Datenerfassung füge folgendes hinzu:

  • Beobachten Sie die Elemente, die ein Benutzer in einem Online -Shop betrachtet.
  • Analyse der Element-/Benutzer -Anzeigezeiten.[39]
  • Behalten Sie eine Aufzeichnung der Artikel auf, die ein Benutzer online kauft.
  • Erhalten Sie eine Liste von Elementen, die ein Benutzer gehört oder auf seinem Computer angesehen hat.
  • Analyse des sozialen Netzwerks des Benutzers und Entdeckung ähnlicher Vorlieben und Abneigungen.

Kollaborative Filteransätze leiden häufig unter drei Problemen: Kaltstart, Skalierbarkeit und Sparsity.[40]

  • Kaltstart: Für einen neuen Benutzer oder Element gibt es nicht genügend Daten, um genaue Empfehlungen abzugeben. Hinweis: Eine häufig implementierte Lösung für dieses Problem ist die Mehr bewaffneter Banditalgorithmus.[41][12][13][14][16]
  • Skalierbarkeit: Es gibt Millionen von Benutzern und Produkten in vielen Umgebungen, in denen diese Systeme Empfehlungen abgeben. Daher ist häufig eine große Menge an Rechenleistung erforderlich, um Empfehlungen zu berechnen.
  • Spärlichkeit: Die Anzahl der auf wichtigen E-Commerce-Websites verkauften Artikel ist extrem groß. Die aktivsten Benutzer haben nur eine kleine Teilmenge der Gesamtdatenbank bewertet. Selbst die beliebtesten Gegenstände haben also nur sehr wenige Bewertungen.

Eines der berühmtesten Beispiele für die kollaborative Filterung ist die kollaborative Filterung von Gegenständen zu Elementen (Personen, die X kaufen, auch kaufen), ein Algorithmus, der von populär gemacht wurde durch Amazon.com's Empfehlungssystem.[42]

Viele soziale Netzwerke Ursprünglich verwendete kollaborative Filterung, um neue Freunde, Gruppen und andere soziale Verbindungen zu empfehlen, indem das Netzwerk von Verbindungen zwischen einem Benutzer und seinen Freunden untersucht wurde.[1] Die kollaborative Filterung wird weiterhin als Teil von Hybridsystemen verwendet.

Inhaltsbasierte Filterung

Ein weiterer häufiger Ansatz beim Entwerfen von Empfehlungssystemen ist inhaltsbasierte Filterung. Inhaltsbasierte Filtermethoden basieren auf einer Beschreibung des Elements und einem Profil der Einstellungen des Benutzers.[43][44] Diese Methoden eignen sich am besten für Situationen, in denen Daten zu einem Element (Name, Ort, Beschreibung usw.) bekannt sind, jedoch nicht zum Benutzer. Inhaltsbasierte Empfehlungen behandeln die Empfehlung als benutzerspezifisches Klassifizierungsproblem und lernen einen Klassifikator für die Vorlieben und Abneigungen des Benutzers anhand der Funktionen eines Elements.

In diesem System werden Schlüsselwörter verwendet, um die Elemente zu beschreiben, und a Benutzerprofil ist erstellt, um die Art des Elements anzuzeigen, den dieser Benutzer mag. Mit anderen Worten, diese Algorithmen versuchen, Elemente zu empfehlen, die denen ähnlich sind, die ein Benutzer in der Vergangenheit mochte oder in der Gegenwart untersucht wird. Es beruht nicht auf einen Benutzeranmeldemechanismus, um dieses häufig vorübergehende Profil zu generieren. Insbesondere werden verschiedene Kandidatenelemente mit den zuvor vom Benutzer bewerteten Elementen verglichen, und die bestinkurrinenten Elemente werden empfohlen. Dieser Ansatz hat seine Wurzeln in Informationsrückgewinnung und Informationsfilterung Forschung.

A BenutzerprofilDas System konzentriert sich hauptsächlich auf zwei Arten von Informationen:

1. Ein Modell der Präferenz des Benutzers.

2. Ein Verlauf der Interaktion des Benutzers mit dem Empfehlungssystem.

Grundsätzlich verwenden diese Methoden ein Elementprofil (d. H. Eine Reihe diskreter Attribute und Merkmale), die das Element im System charakterisieren. Um die Merkmale der Elemente im System abstrahieren, wird ein Elementpräsentationsalgorithmus angewendet. Ein weit verbreiteter Algorithmus ist der tf -idf Darstellung (auch als Vektorraumsdarstellung bezeichnet).[45] Das System erstellt ein inhaltsbasiertes Profil von Benutzern basierend auf einem gewichteten Vektor von Elementfunktionen. Die Gewichte bezeichnen die Bedeutung jeder Funktion für den Benutzer und können mithilfe einer Vielzahl von Techniken aus individuell bewerteten Inhaltsvektoren berechnet werden. Einfache Ansätze verwenden die Durchschnittswerte des Nennelementenvektor Bayes'sche Klassifizierer, Clusteranalyse, Entscheidungsbäume, und künstliche neurale Netzwerke Um die Wahrscheinlichkeit zu schätzen, dass dem Benutzer das Element gefällt.[46]

Ein wichtiges Problem bei der inhaltsbasierten Filterung ist, ob das System Benutzerpräferenzen aus den Aktionen der Benutzer in Bezug auf eine Inhaltsquelle lernen und über andere Inhaltstypen hinweg verwenden kann. Wenn das System darauf beschränkt ist, Inhalte desselben Typs zu empfehlen, wie der Benutzer bereits verwendet, ist der Wert aus dem Empfehlungssystem erheblich geringer als wenn andere Inhaltstypen aus anderen Diensten empfohlen werden können. Beispielsweise ist es nützlich, Nachrichtenartikel zu empfehlen, die auf dem Browsing von Nachrichten basieren. Trotzdem wäre es viel nützlicher, wenn Musik, Videos, Produkte, Diskussionen usw. aus verschiedenen Diensten basierend auf dem Browsen von Nachrichten empfohlen werden können. Um dies zu überwinden, verwenden die meisten inhaltsbasierten Empfehlungssysteme nun irgendeine Form des Hybridsystems.

Inhaltsbasierte Empfehlungssysteme können auch Meinungs-basierte Empfehlungssysteme enthalten. In einigen Fällen dürfen Benutzer Textbewertungen oder Feedback zu den Elementen hinterlassen. Diese benutzergenerierten Texte sind implizite Daten für das Empfehlungssystem, da es sich um potenziell reichhaltige Ressourcen für Funktionen/Aspekte des Elements und die Bewertung/Stimmung der Benutzer zum Element handelt. Die von den benutzergenerierten Bewertungen extrahierten Funktionen werden verbessert Meta-Daten von Gegenständen, weil sie auch Aspekte des Gegenstands wie widerspiegeln Meta-Daten, extrahierte Merkmale sind von den Benutzern weit verbreitet. Aus den Bewertungen extrahierte Gefühle können als Bewertungswerte der Benutzer für die entsprechenden Funktionen angesehen werden. Beliebte Ansätze von Meinungen basierendem Empfehlungssystem verwenden verschiedene Techniken, einschließlich Textabbau, Informationsrückgewinnung, Stimmungsanalyse (siehe auch Multimodale Stimmungsanalyse) und tiefes Lernen.[47]

Sitzungsbasierte Empfehlungssysteme

Diese Empfehlungssysteme verwenden die Interaktionen eines Benutzers innerhalb einer Sitzung[48] Empfehlungen zu generieren. Sitzungsbasierte Empfehlungssysteme werden bei YouTube verwendet [49] und Amazon.[50] Diese sind besonders nützlich, wenn der Verlauf (z. B. frühere Klicks, Einkäufe) eines Benutzers in der aktuellen Benutzersitzung nicht verfügbar oder nicht relevant ist. Zu den Domänen, in denen Sitzungsbasis besonders relevant sind, gehören Video, E-Commerce, Reisen, Musik und mehr. Die meisten Instanzen von Sitzungsbasis-Empfehlungssystemen stützen sich auf die Abfolge der jüngsten Interaktionen in einer Sitzung, ohne dass zusätzliche Details (historisch, demografisch) des Benutzers erforderlich sind. Techniken für Sitzungsbasis basieren hauptsächlich auf generativen sequentiellen Modellen wie wiederkehrenden neuronalen Netzwerken.[48][51] Transformer,[52] und andere tiefer lernbasierte Ansätze[53][54]

Verstärkungslernen für Empfehlungssysteme

Das Empfehlungsproblem kann als besondere Instanz eines Verstärkungslernenproblems angesehen werden, bei dem der Benutzer die Umgebung ist, auf die der Agent, das Empfehlungssystem, handelt, um eine Belohnung zu erhalten, beispielsweise ein Klick oder ein Engagement des Benutzers.[49][55][56] Ein Aspekt des Verstärkungslernens, der im Bereich der Empfehlungssysteme von besonderem Nutzen ist, ist die Tatsache, dass die Modelle oder Richtlinien durch eine Belohnung für den Empfehlungsagenten gelernt werden können. Dies steht im Gegensatz zu herkömmlichen Lerntechniken, die auf beobachteten Lernansätzen beruhen, die weniger flexibel sind. Empfehlungsempfehlungstechniken für Verstärkung ermöglichen es potenziell, Modelle zu trainieren, die direkt auf Metriken des Engagements und des Benutzerinteresses optimiert werden können.[57]

Multi-Kriterien Empfehlungssysteme

Multi-Criteria-Empfehlungssysteme (MCRs) können als Empfehlungssysteme definiert werden, die Präferenzinformationen zu mehreren Kriterien enthalten. Anstatt Empfehlungstechniken zu entwickeln, die auf einem einzigen Kriteriumwert basieren, der allgemeinen Präferenz von Benutzer U für den Punkt I, versuchen diese Systeme, eine Bewertung für unerforschte Elemente von u durch Nutzung von Präferenzinformationen zu mehreren Kriterien vorherzusagen, die diesen Gesamtpräferenzwert beeinflussen. Mehrere Forscher nähern sich MCRs als Multi-Kriterien-Entscheidungsfindung (MCDM) und wenden MCDM-Methoden und -Techniken an, um MCRS-Systeme zu implementieren.[58] Siehe dieses Kapitel[59] für eine verlängerte Einführung.

Risikobewusste Empfehlungssysteme

Die Mehrheit der vorhandenen Ansätze zur Empfehlung von Systemen konzentriert sich darauf, den Benutzern die Verwendung von kontextbezogenen Informationen den relevantesten Inhalten zu empfehlen, berücksichtigt jedoch nicht das Risiko, den Benutzer mit unerwünschten Benachrichtigungen zu stören. Es ist wichtig, das Risiko zu berücksichtigen, den Benutzer zu stören, indem sie unter bestimmten Umständen, beispielsweise während eines professionellen Treffens, am frühen Morgen oder spät in der Nacht, Empfehlungen vorangetrieben. Daher hängt die Leistung des Empfehlungssystems teilweise von dem Grad ab, in dem es das Risiko in den Empfehlungsprozess integriert hat. Eine Option zur Verwaltung dieses Problems ist DRARS, ein System, das die kontextbewusste Empfehlung als modelliert Bandit -Problem. Dieses System kombiniert eine inhaltsbasierte Technik und einen kontextuellen Bandit-Algorithmus.[60]

Mobile Empfehlungssysteme

Weitere Informationen: Standortbasierte Empfehlung

Mobile Empfehlungssysteme nutzen Internet-Zugriff Smartphones personalisierte, kontextsensitive Empfehlungen anbieten. Dies ist ein besonders schwieriger Forschungsbereich, da mobile Daten komplexer sind als Daten, mit denen sich empfohlene Systeme häufig befassen müssen. Es ist heterogen, laut, erfordert räumliche und zeitliche Autokorrelation und hat Validierungs- und Allgemeingültigkeitsprobleme.[61]

Es gibt drei Faktoren, die die mobilen Empfehlungssysteme und die Genauigkeit der Vorhersageergebnisse beeinflussen könnten: den Kontext, die Empfehlungsmethode und die Privatsphäre.[62] Darüber hinaus leiden mobile Empfehlungssysteme unter einem Transplantationsproblem - Empfehlungen gelten möglicherweise nicht in allen Regionen (zum Beispiel wäre es unklug, ein Rezept in einem Bereich zu empfehlen, in dem möglicherweise nicht alle Zutaten verfügbar sind).

Ein Beispiel für ein mobiles Empfehlungssystem sind die Ansätze von Unternehmen wie Uber und Lyft Fahrrouten für Taxifahrer in einer Stadt generieren.[61] Dieses System verwendet GPS -Daten der Routen, die Taxifahrer während der Arbeit nehmen, einschließlich Standort (Breitengrad und Längengrad), Zeitstempel und Betriebsstatus (mit oder ohne Passagiere). Es wird diese Daten verwendet, um eine Liste von Abholungspunkten auf einer Route zu empfehlen, um die Belegungszeiten und Gewinne zu optimieren.

Hybrid -Empfehlungssysteme

Die meisten Empfehlungssysteme verwenden jetzt einen Hybridansatz, der kombiniert wird kollaborative Filterung, inhaltsbasierte Filterung und andere Ansätze. Es gibt keinen Grund, warum verschiedene Techniken desselben Typs nicht hybridisiert werden konnten. Hybrid-Ansätze können auf verschiedene Weise implementiert werden: durch die separate Erstellung von inhaltsbasierten und kollaborativen Vorhersagen und kombiniert; durch Hinzufügen von inhaltsbasierten Funktionen zu einem kollaborativ basierten Ansatz (und umgekehrt); oder durch die Vereinigung der Ansätze zu einem Modell (siehe[24] für eine vollständige Überprüfung der Empfehlungssysteme). Mehrere Studien, die die Leistung des Hybrids empirisch mit den reinen kollaborativen und inhaltsbasierten Methoden vergleichen und zeigen, dass die Hybridmethoden genauere Empfehlungen liefern können als reine Ansätze. Diese Methoden können auch verwendet werden, um einige der häufigsten Probleme in Empfehlungssystemen wie Kaltstart und dem Problem der Sparsity sowie des Knowledge Engineering Engpies in zu überwinden Wissensbasiert Ansätze.[63]

Netflix ist ein gutes Beispiel für die Verwendung von Hybrid -Empfehlungssystemen.[64] Die Website hält Empfehlungen ab, indem sie die Beobachtungs- und Suchgewohnheiten ähnlicher Benutzer (d. H. Kollaborative Filterung) vergleichen, sowie durch Anbieten von Filmen, die Merkmale mit Filmen ausweisen, die ein Benutzer hoch bewertet hat (inhaltsbasierte Filterung).

Einige Hybridisierungstechniken umfassen:

  • Gewichtet: Kombinieren Sie die Punktzahl verschiedener Empfehlungskomponenten numerisch.
  • Umschalten: Auswahl zwischen Empfehlungskomponenten und Anwendung des ausgewählten.
  • Gemischt: Empfehlungen verschiedener Empfehlungen werden zusammen vorgestellt, um die Empfehlung zu geben.
  • Feature -Kombination: Merkmale, die aus verschiedenen Wissensquellen abgeleitet werden, werden mit einem einzelnen Empfehlungsalgorithmus kombiniert und übergeben.[65]
  • Feature Augmentation: Berechnen Sie eine Funktion oder eine Reihe von Funktionen, die dann Teil der Eingabe der nächsten Technik sind.[65]
  • Kaskade: Empfehlungen haben strenge Priorität, wobei die niedrigeren Priorität die Verbindungen bei der Bewertung der höheren brechen.
  • Meta-Ebene: Eine Empfehlungstechnik wird angewendet und erzeugt eine Art Modell, nämlich die Eingabe, die von der nächsten Technik verwendet wird.[66]

Der Netflix -Preis

Eines der Ereignisse, die die Forschung in Empfehlungssystemen energetisierten, war die Netflix -Preis. Von 2006 bis 2009 sponserte Netflix einen Wettbewerb und bot dem Team einen Hauptpreis von 1.000.000 US -Dollar an, der einen angebotenen Datensatz mit über 100 Millionen Filmbewertungen und Renditeempfehlungen aufnehmen könnte, die 10% genauer waren als die vom bestehenden Empfehlungssystem des Unternehmens angebotenen Empfehlungen. Dieser Wettbewerb hat die Suche nach neuen und genaueren Algorithmen mit Energie versorgt. Am 21. September 2009 wurde der Hauptpreis von 1.000.000 US -Dollar an das pragmatische Chaos -Team des Bellkors unter Verwendung von Tiebreaking -Regeln übergeben.[67]

Der genaueste Algorithmus im Jahr 2007 verwendete eine Ensemble -Methode von 107 verschiedenen algorithmischen Ansätzen, die zu einer einzigen Vorhersage verwickelt waren. Wie von den Gewinnern angegeben, haben Bell et al .:[68]

Die Vorhersagegenauigkeit wird beim Mischen mehrerer Prädiktoren erheblich verbessert. Unsere Erfahrung ist, dass sich die meisten Anstrengungen auf wesentlich unterschiedliche Ansätze konzentrieren sollten, anstatt eine einzige Technik zu verfeinern. Infolgedessen ist unsere Lösung ein Ensemble vieler Methoden.

Aufgrund des Netflix -Projekts gaben viele Vorteile für das Web an. Einige Teams haben ihre Technologie genommen und auf andere Märkte angewendet. Einige Mitglieder des Teams, das den zweiten Platz belegte F & E Schwerkraft, eine Empfehlungsmotor, die in der Recsys -Community aktiv ist.[67][69] 4-Tell, Inc. hat eine von Netflix-Projekt abgeleitete Lösung für E-Commerce-Websites erstellt.

Eine Reihe von Datenschutzproblemen entstand im Datensatz von Netflix für die Netflix -Preis Wettbewerb. Obwohl die Datensätze anonymisiert wurden, um die Privatsphäre des Kunden zu erhalten, konnten zwei Forscher der University of Texas einzelne Benutzer identifizieren, indem sie die Datensätze mit Filmbewertungen in der Internet -Filmdatenbank übereinstimmten.[70] Infolgedessen verklagte im Dezember 2009 ein anonymer Netflix -Benutzer Netflix in Doe v. Netflix und behauptete, Netflix habe gegen die US -amerikanischen Fair -Handelsgesetze und das Gesetz über das Schutz der Datenschutzscheide gegen die Datensätze gegen die Datensätze verstoßen.[71] Dies sowie Bedenken von der Federal Trade Commission, führte 2010 zur Stornierung eines zweiten Netflix -Preiswettbewerbs.[72]

Leistungsmaßnahmen

Die Bewertung ist wichtig für die Bewertung der Wirksamkeit von Empfehlungsalgorithmen. Um das zu messen Wirksamkeit von Empfehlungssystemen und Vergleich verschiedener Ansätze, drei Arten von Arten von Bewertungen sind verfügbar: Benutzerstudien, Online -Bewertungen (A/B -Tests)und Offline -Bewertungen.[26]

Die häufig verwendeten Metriken sind die mittlere quadratische Fehler und Root Mean Squared FehlerLetzteres wurde im Netflix -Preis verwendet. Die Informationsabrufmetriken wie z. Präzision und Rückruf oder DCG sind nützlich, um die Qualität einer Empfehlungsmethode zu bewerten. Vielfalt, Neuheit und Berichterstattung werden auch als wichtige Aspekte bei der Bewertung angesehen.[73] Viele der klassischen Bewertungsmaßnahmen werden jedoch stark kritisiert.[74]

Die Bewertung der Leistung eines Empfehlungsalgorithmus in einem festen Testdatensatz ist immer äußerst schwierig, da es unmöglich ist, die Reaktionen realer Benutzer auf die Empfehlungen genau vorherzusagen. Daher ist jede Metrik, die die Wirksamkeit eines Algorithmus in Offline -Daten berechnet, ungenau.

Benutzerstudien sind eher ein kleines Maßstab. Einige Dutzende oder Hunderte von Benutzern werden Empfehlungen vorgelegt, die durch verschiedene Empfehlungsansätze erstellt wurden, und dann beurteilen die Benutzer, welche Empfehlungen am besten sind.

In A/B -Tests werden in der Regel Tausende von Benutzern eines realen Produkts Empfehlungen gezeigt, und das Empfehlungssystem wählt zufällig mindestens zwei verschiedene Empfehlungsansätze, um Empfehlungen zu generieren. Die Wirksamkeit wird mit impliziten Wirksamkeitsmaßen gemessen, wie z. Wechselkurs oder Klickrate.

Offline -Bewertungen basieren auf historischen Daten, z. Ein Datensatz, der Informationen darüber enthält, wie Benutzer zuvor Filme bewertet haben.[75]

Die Wirksamkeit von Empfehlungsansätzen wird dann gemessen, basierend darauf, wie gut ein Empfehlungsansatz die Bewertungen der Benutzer im Datensatz vorhersagen kann. Während eine Bewertung ein expliziter Ausdruck ist, ob ein Benutzer einen Film mochte, sind solche Informationen in allen Domänen nicht verfügbar. Zum Beispiel bewerten Benutzer im Bereich von Citation Repection Systems in der Regel kein Zitat oder einen empfohlenen Artikel. In solchen Fällen können Offline -Bewertungen implizite Wirksamkeitsmaßnahmen verwenden. Beispielsweise kann davon ausgegangen werden, dass ein Empfehlungssystem effektiv ist, das so viele Artikel wie möglich empfehlen kann, die in der Referenzliste eines Forschungsartikels enthalten sind. Diese Art von Offline -Bewertungen wird jedoch von vielen Forschern kritisch angesehen.[76][77][78][26] Beispielsweise wurde gezeigt, dass die Ergebnisse von Offline -Bewertungen eine geringe Korrelation mit den Ergebnissen aus Benutzerstudien oder A/B -Tests aufweisen.[78][79] Es wurde gezeigt, dass ein Datensatz, der für die Offline -Bewertung beliebt ist, doppelte Daten enthält und somit zu falschen Schlussfolgerungen bei der Bewertung von Algorithmen führt.[80] Oft korrelieren die Ergebnisse sogenannter Offline-Bewertungen nicht mit der tatsächlich bewerteten Benutzerzufriedenheit.[81] Dies liegt wahrscheinlich daran, dass das Offline -Training in hohem Maße auf die hoch erreichbaren Elemente voreingenommen ist und Offline -Testdaten von den Ausgaben des Online -Empfehlungsmoduls stark beeinflusst werden.[76][82] Die Forscher haben zu dem Schluss gekommen, dass die Ergebnisse von Offline -Bewertungen kritisch betrachtet werden sollten.[83]

Jenseits der Genauigkeit

In der Regel befasst sich die Forschung zu Empfehlungssystemen mit der Suche nach den genauesten Empfehlungsalgorithmen. Es gibt jedoch auch eine Reihe von Faktoren, die auch wichtig sind.

  • Diversität -Benutzer sind in der Regel mit Empfehlungen zufriedener, wenn eine höhere Intra-Liste-Vielfalt vorliegt, z. Gegenstände von verschiedenen Künstlern.[84][85]
  • Empfehlung Persistenz -In einigen Situationen ist es effektiver, Empfehlungen neu zu senken.[86] Oder lassen Sie Benutzer Elemente neu bewerten,[87] als neue Gegenstände zu zeigen. Dafür gibt es mehrere Gründe. Benutzer können Elemente ignorieren, wenn sie zum Beispiel zum ersten Mal angezeigt werden, da sie keine Zeit hatten, die Empfehlungen sorgfältig zu untersuchen.
  • Privatsphäre - Empfehlungssysteme müssen sich normalerweise mit Datenschutzbedenken befassen[88] Weil Benutzer vertrauliche Informationen aufzeigen müssen. Gebäude Benutzerprofil Die Verwendung der kollaborativen Filterung kann aus Datenschutzstand problematisch sein. Viele europäische Länder haben eine starke Kultur von Datenprivatsphäreund jeder Versuch, eine beliebige Nutzungsstufe einzuführen Profilerstellung kann zu einer negativen Kundenreaktion führen. In diesem Bereich wurden viel Forschung zu laufenden Datenschutzfragen durchgeführt. Das Netflix -Preis ist besonders bemerkenswert für die detaillierten persönlichen Informationen, die in seinem Datensatz veröffentlicht wurden. Ramakrishnan et al. haben einen umfassenden Überblick über die Kompromisse zwischen Personalisierung und Privatsphäre durchgeführt und festgestellt, dass die Kombination von schwachen Bindungen (eine unerwartete Verbindung, die zufällige Empfehlungen liefert) und andere Datenquellen verwendet werden können, um die Identitäten von Benutzern in einem anonymisierten Datensatz aufzudecken.[89]
  • Benutzerdemografie - Beel et al. stellte fest, dass die Demografie der Benutzer beeinflussen kann, wie zufriedene Benutzer mit Empfehlungen sind.[90] In ihrem Papier zeigen sie, dass ältere Benutzer eher an Empfehlungen interessiert sind als jüngere Benutzer.
  • Robustheit - Wenn Benutzer am Empfehlungssystem teilnehmen können, muss das Problem des Betrugs behandelt werden.[91]
  • Glücklicher Zufall – Glücklicher Zufall ist ein Maß für "wie überraschend die Empfehlungen sind".[92][85] Beispielsweise ist ein Empfehlungssystem, das einem Kunden in einem Lebensmittelgeschäft Milch empfiehlt, möglicherweise perfekt, aber es ist keine gute Empfehlung, da es ein offensichtlicher Artikel für den Kunden ist. "[Serendipity] dient zwei Zwecken: Erstens ist die Wahrscheinlichkeit, dass Benutzer das Interesse verlieren, weil die Auswahl zu einheitlich ist. Zweitens sind diese Elemente für Algorithmen erforderlich, um sich selbst zu lernen und zu verbessern."[93]
  • Vertrauen - Ein Empfehlungssystem ist für einen Benutzer von geringem Wert, wenn der Benutzer dem System nicht vertraut.[94] Vertrauen kann von einem Empfehlungssystem erstellt werden, indem erläutert wird, wie es Empfehlungen erzeugt und warum es einen Artikel empfiehlt.
  • Beschriftung - Die Benutzerzufriedenheit mit Empfehlungen kann durch die Beschriftung der Empfehlungen beeinflusst werden.[95] Zum Beispiel in der zitierten Studie Klickrate (CTR) für Empfehlungen, die als "gesponsert" gekennzeichnet sind, waren niedriger (CTR = 5,93%) als die CTR für identische Empfehlungen, die als "organisch" bezeichnet wurden (CTR = 8,86%). Empfehlungen ohne Etikett wurden in dieser Studie am besten (ctr = 9,87%) durchgeführt.

Reproduzierbarkeit

Empfehlungssysteme sind notorisch schwer offline zu bewerten, und einige Forscher behaupten, dass dies zu a geführt habe Reproduzierbarkeitskrise In Empfehlungssystemveröffentlichungen. Eine kürzlich durchgeführte Umfrage unter einer kleinen Anzahl ausgewählter Veröffentlichungen, die Deep Learning oder Neural Methoden auf das Top-K-Empfehlungsproblem anwenden, das in Top-Konferenzen veröffentlicht wurde (Sigir, KDD, WWW, Recsys, IJCAI), hat gezeigt, dass durchschnittlich weniger als 40% von weniger als 40% von Artikel könnten von den Autoren der Umfrage mit nur 14% auf einigen Konferenzen reproduziert werden. Insgesamt identifizieren die Studien 26 Artikel, von denen nur 12 von den Autoren reproduziert werden konnten und 11 von ihnen durch viel ältere und einfachere richtig abgestimmte Baselines bei Offline-Bewertungsmetriken übertroffen werden konnten. Die Artikel berücksichtigen eine Reihe potenzieller Probleme im heutigen Forschungsstipendium und schlägt eine verbesserte wissenschaftliche Praktiken in diesem Bereich vor.[96][97][98] Neuere Arbeiten zum Benchmarking einer Reihe der gleichen Methoden kamen qualitativ sehr unterschiedliche Ergebnisse[99] wobei festgestellt wurde, dass neuronale Methoden zu den meist leistungsfähigen Methoden gehören. Deep Learning und neuronale Methoden für Empfehlungssysteme wurden in den Siegerlösungen in mehreren kürzlich reflektierenden Systemherausforderungen verwendet, WSDM,[100] Recsys Challenge.[101] Darüber hinaus werden in der Industrie, in der sie ausgiebig getestet werden, in der Branche weit verbreitet.[102][49][50] Das Thema Reproduzierbarkeit ist in Empfehlungssystemen nicht neu. Bis 2011 haben Ekstrand, Konstan et al. kritisierte, dass "es derzeit schwierig ist, die Research -Forschungsergebnisse für Empfehlungssysteme zu reproduzieren und zu erweitern" und dass die Bewertungen "nicht konsequent behandelt" werden.[103] Konstan und Adomavicius kommen zu dem Schluss, dass "die Research -Research -Community der Repection Systems mit einer Krise ausgesetzt ist, in der eine erhebliche Anzahl von Arbeiten Ergebnisse darstellt, die wenig zu kollektivem Wissen beitragen […], weil der Forschung die […] Bewertung fehlt, um ordnungsgemäß beurteilt zu werden, und damit, also,,, aussagekräftige Beiträge zu liefern. "[104] Infolgedessen können viele Forschungen zu Empfehlungssystemen als nicht reproduzierbar angesehen werden.[105] Daher finden die Betreiber von Empfehlungssystemen in der aktuellen Forschung nur geringe Anleitungen zur Beantwortung der Frage, die Empfehlungsansätze in einem Empfehlungssystem verwenden. Said & Bellogín führte eine Studie über in diesem Bereich veröffentlichte Artikel durch sowie einige der beliebtesten Empfehlungsrahmen für Empfehlungen und fand große Inkonsistenzen in den Ergebnissen, selbst wenn dieselben Algorithmen und Datensätze verwendet wurden.[106] Einige Forscher zeigten, dass geringfügige Abweichungen in den Empfehlungsalgorithmen oder Szenarien zu starken Änderungen in der Wirksamkeit eines Empfehlungssystems führten. Sie schließen daraus, dass sieben Maßnahmen erforderlich sind, um die aktuelle Situation zu verbessern:[105] "(1) andere Forschungsfelder befragen und daraus lernen, (2) ein gemeinsames Verständnis der Reproduzierbarkeit finden, (3) die Determinanten identifizieren und verstehen, die die Reproduzierbarkeit beeinflussen, (4) umfassendere Experimente durchführen (5) Modernisierung der Veröffentlichungspraktiken (modernisieren Sie die Veröffentlichungspraktiken (( 6) Förderung der Entwicklung und Verwendung von Empfehlungsrahmen und (7) Bestimmungsrichtlinien für die Research für Empfehlungssysteme festlegen. "

Siehe auch

Verweise

  1. ^ a b c d Ricci, Francesco; Rokach, Lior; Shapira, Bracha (2022). "Empfehlungssysteme: Techniken, Anwendungen und Herausforderungen". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (Hrsg.). Empfehlungssystemhandbuch (3 ed.). New York: Springer. S. 1–35. doi:10.1007/978-1-0716-2197-4_1. ISBN 978-1-0716-2196-7.
  2. ^ "Playboy -Lead -Aufstieg von Empfehlungsmotoren - Zeit". Time.com. 27. Mai 2010. archiviert von das Original am 30. Mai 2010. Abgerufen 1. Juni 2015.
  3. ^ a b Resnick, Paul und Hal R. Varian. "Empfehlungssysteme." Kommunikation des ACM 40, Nr. 3 (1997): 56-58.
  4. ^ Pankaj Gupta, Ashish Goel, Jimmy Lin, Aneesh Sharma, Dong Wang und Reza Bosagh Zadeh WTF: Das Who-To-Feol-System bei Twitter, Proceedings der 22. Internationalen Konferenz über World Wide Web
  5. ^ Baran, Remigiusz; Dziech, Andrzej; Zeja, Andrzej (2018-06-01). "Eine fähige Multimedia -Inhalts -Erkennungsplattform basiert auf visueller Inhaltsanalyse und intelligenter Datenanreicherung". Multimedia -Tools und -Anwendungen. 77 (11): 14077–14091. doi:10.1007/s11042-017-5014-1. ISSN 1573-7721. S2CID 36511631.
  6. ^ H. Chen, A. G. Ororbia II, C. L. Giles Expertenseer: Ein Tastatur -Basis -Experten -Empfehlungen für digitale Bibliotheken, in Arxiv Preprint 2015
  7. ^ H. Chen, L. Gou, X. Zhang, C. Giles Collabseer: Eine Suchmaschine für die Entdeckung der Zusammenarbeit, in ACM/IEEE Joint Conference on Digital Libraries (JCDL) 2011
  8. ^ Alexander Felferig, Klaus Isak, Kalman Szabo, Peter Zachar, Das Vertriebsunterstützungsumfeld Vita Financial Services, in AAAI/IAAI 2007, S. 1692-1699, Vancouver, Kanada, 2007.
  9. ^ HOSEIN JAFARKARIMI; A.T.H. Sim und R. Saadatdoost Ein naives Empfehlungsmodell für große Datenbanken, International Journal of Information and Education Technology, Juni 2012
  10. ^ Prem Melville und Vikas Sindhwani, Empfehlungssysteme, Enzyklopädie des maschinellen Lernens, 2010.
  11. ^ R. J. Mooney & L. Roy (1999). Inhaltsbasierte Buchempfehlung mithilfe von Lernen für Textkategorisierung. In Workshop recom. SYS.: Algo. und Bewertung.
  12. ^ a b Chenhung-hsuan; Chenpu (2019-01-09). "Differenzierung der Regularisierungsgewichte - Ein einfacher Mechanismus zur Linderung des Kaltstarts in Empfehlungssystemen". ACM -Transaktionen zur Erkennung von Wissen aus Daten. 13: 1–22. doi:10.1145/3285954. S2CID 59337456.
  13. ^ a b Rubens, Neil; Elahi, Mehdi; Sugiyama, Masashi; Kaplan, Dain (2016). "Aktives Lernen in Empfehlungssystemen". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (Hrsg.). Empfehlungssystemhandbuch (2 ed.). Springer uns. doi:10.1007/978-1-4899-7637-6_24. ISBN 978-1-4899-7637-6.
  14. ^ a b Elahi, Mehdi; Ricci, Francesco; Rubens, Neil (2016). "Eine Umfrage zum aktiven Lernen in der kollaborativen Filterung von Empfehlungssystemen". Informatikbewertung. 20: 29–50. doi:10.1016/j.cosrev.2016.05.002.
  15. ^ Andrew I. Schein, Alexandrin Popescul, Lyle H. UngarDavid M. Pennock (2002). Methoden und Metriken für Kaltstartempfehlungen. Verfahren des 25. jährlichen Internationalen ACM Sigir Konferenz über Forschung und Entwicklung im Informationsabruf (Sigir 2002). : ACM. pp.253–260. ISBN 1-58113-561-0. Abgerufen 2008-02-02.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  16. ^ a b Bi, Xuan; Qu, Annie; Wang, Junhui; Shen, Xiaotong (2017). "Ein gruppenspezifisches Empfehlungssystem". Zeitschrift der American Statistical Association. 112 (519): 1344–1353. doi:10.1080/01621459.2016.1219261. S2CID 125187672.
  17. ^ Karlgren, Jussi. 1990. "Eine Algebra für Empfehlungen." Syslab Working Paper 179 (1990).
  18. ^ Karlgren, Jussi. "Newsgroup-Clustering basierend auf dem Benutzerverhalten-einer Empfehlungalgebra. "SICS Research Report (1994).
  19. ^ Karlgren, Jussi (Oktober 2017). "Ein digitales Bücherregal: Originalarbeiten zu Empfehlungssystemen". Abgerufen 27. Oktober 2017.
  20. ^ Shardanand, Upendra und Pattie Maes. "Soziale Informationsfilterung: Algorithmen zur Automatisierung von „Mundpropaganda“. "In Proceedings der Sigchi-Konferenz über menschliche Faktoren in Computersystemen, S. 210-217. ACM Press/Addison-Wesley Publishing Co., 1995.
  21. ^ Hill, Will, Larry Stead, Mark Rosenstein und George Furnas. "Empfehlung und Bewertung von Entscheidungen in einer virtuellen Nutzungsgemeinschaft. "In Proceedings der Sigchi-Konferenz über menschliche Faktoren in Computersystemen, S. 194-201. ACM Press/Addison-Wesley Publishing Co., 1995.
  22. ^ Resnick, Paul, Neophytos Iacovou, Mitesh Suchak, Peter Bergström und John Riedl. "Groppens: Eine offene Architektur für die kollaborative Filterung von NetNews. "In Proceedings der ACM-Konferenz von 1994 über Computer unterstützte Genossenschaftsarbeit, S. 175-186. ACM, 1994.
  23. ^ Montaner, M.; Lopez, b.; de la Rosa, J. L. (Juni 2003). "Eine Taxonomie von Empfehlungsagenten im Internet". Künstliche Intelligenzbewertung. 19 (4): 285–330. doi:10.1023/a: 1022850703159. S2CID 16544257..
  24. ^ a b Adomavicius, G.; Tuzhilin, A. (Juni 2005). "Auf dem Weg zur nächsten Generation von Empfehlungssystemen: Eine Übersicht über die hochmodernen und möglichen Erweiterungen". IEEE -Transaktionen zu Wissen und Daten Engineering. 17 (6): 734–749. Citeseerx 10.1.1.107.2790. doi:10.1109/tkde.2005.99. S2CID 206742345..
  25. ^ Herlocker, J. L.; Konstan, J. A.; Tveen, L. G.; Riedl, J. T. (Januar 2004). "Bewertung der kollaborativen Filterungsempfehlungssysteme". ACM trans. Inf. System. 22 (1): 5–53. Citeseerx 10.1.1.78.8384. doi:10.1145/963770.963772. S2CID 207731647..
  26. ^ a b c Beel, J.; Genzmehr, M.; Gipp, B. (Oktober 2013). "Eine vergleichende Analyse von Offline- und Online -Bewertungen und Diskussion der Research Paper Repection System Evaluation" (PDF). Proceedings of the Workshop über Reproduzierbarkeit und Replikation in Repection Systems Evaluation (REPSYS) auf der ACM -Empfehlungssystemkonferenz (RECSYS).
  27. ^ Beel, J.; Langer, S.; Genzmehr, M.; Gipp, b.; Breiter, C. (Oktober 2013). "Forschungspapier Empfehlung Systembewertung: Eine quantitative Literaturumfrage" (PDF). Proceedings of the Workshop über Reproduzierbarkeit und Replikation in Repection Systems Evaluation (REPSYS) auf der ACM -Empfehlungssystemkonferenz (RECSYS).
  28. ^ Beel, J.; Gipp, b.; Langer, S.; Breiter, C. (26. Juli 2015). "Research Paper Repection Systems: Eine Literaturumfrage". Internationales Journal über digitale Bibliotheken. 17 (4): 305–338. doi:10.1007/s00799-015-0156-0. S2CID 207035184.
  29. ^ Stack, Charles. "System und Methode zur Bereitstellung von Empfehlungen von Waren und Dienstleistungen auf der Grundlage der aufgezeichneten Einkaufsgeschichte. "US -Patent 7.222.085, herausgegeben am 22. Mai 2007.
  30. ^ Herz, Frederick SM. "Customisierte elektronische Zeitungen und Anzeigen." US -Patent 7.483.871, ausgestellt am 27. Januar 2009.
  31. ^ Herz, Frederick, Lyle Ungar, Jian Zhang und David Wachob. "System und Methode zur Bereitstellung von Zugriff auf Daten mithilfe von Kundenprofilen. "US -Patent 8.056.100, ausgestellt am 8. November 2011.
  32. ^ Harbick, Andrew V., Ryan J. Snodgrass und Joel R. Spiegel. "Playlist-basierte Erkennung ähnlicher digitaler Arbeiten und Arbeiterschöpfer. "US -Patent 8.468.046, ausgegeben am 18. Juni 2013.
  33. ^ Linden, Gregory D., Brent Russell Smith und Nida K. Zada. "Automatisierte Erkennung und Exposition von verhaltensbasierten Beziehungen zwischen durchstrowsbaren Elementen. "US -Patent 9.070.156, ausgegeben am 30. Juni 2015.
  34. ^ John S. Breese; David Heckerman & Carl Kadie (1998). Empirische Analyse von prädiktiven Algorithmen für die kollaborative Filterung. In Proceedings der vierzehnten Konferenz über Unsicherheit in der künstlichen Intelligenz (uai'98). Arxiv:1301.7363.
  35. ^ Breese, John S.; Heckerman, David; Kadie, Carl (1998). Empirische Analyse von prädiktiven Algorithmen für die kollaborative Filterung (PDF) (Bericht). Microsoft Research.
  36. ^ Ghazanfar, Mustansar Ali; Prügel-Bennett, Adam; Szedmak, Sandor (2012-11-15). "Kernel-Mapping-Empfehlungssystemalgorithmen". Informationswissenschaften. 208: 81–104. Citeseerx 10.1.1.701.7729. doi:10.1016/j.ins.2012.04.012.
  37. ^ Sarwar, b.; Karypis, G.; Konstan, J.; Riedl, J. (2000). "Anwendung der Dimensionalität Reduktion des Empfehlungssystems Eine Fallstudie".,
  38. ^ Allen, R. B. (1990). "Benutzermodelle: Theorie, Methode, Praxis". Internationale J. Man-Machine Studies. {{}}: Journal zitieren erfordert |journal= (Hilfe)
  39. ^ Parsons, J.; Ralph, P.; Gallagher, K. (Juli 2004). "Verwenden der Anzeigezeit, um die Benutzerpräferenz in Empfehlungssystemen zu schließen". AAAI -Workshop in Semantic Web Personalisierung, San Jose, Kalifornien. {{}}: Journal zitieren erfordert |journal= (Hilfe).
  40. ^ Sanghack Lee und Jihoon Yang und Sung-Yong Park, Entdeckung der versteckten Ähnlichkeit bei der kollaborativen Filterung zur Überwindung von Sparsity -Problemen, Discovery Science, 2007.
  41. ^ Felício, Crícia Z.; Paixão, Klérisson V. R.; Barcelos, Celia A.Z.; Präeux, Philippe (2017-07-09). "Eine mehrwertige Banditenmodellauswahl für die Empfehlung von Cold-Start-Benutzer". Verfahren der 25. Konferenz zur Modellierung, Anpassung und Personalisierung von Benutzern. UMAP '17. Bratislava, Slowakei: Vereinigung für Computermaschinen: 32–40. doi:10.1145/3079628.3079681. ISBN 978-1-4503-4635-1. S2CID 653908.
  42. ^ Kooperative Empfehlungen mit Element-zu-Punkte-Ähnlichkeitszuordnungen Archiviert 2015-03-16 bei der Wayback -Maschine
  43. ^ Aggarwal, Charu C. (2016). Empfehlungssysteme: Das Lehrbuch. Springer. ISBN 9783319296579.
  44. ^ Peter Brusilovsky (2007). Das adaptive Web. p.325. ISBN 978-3-540-72078-2.
  45. ^ Wang, Donghui; Liang, Yanchun; Xu, Dong; Feng, Xiaoyue; Guan, Renchu ​​(2018). "Ein inhaltsbasiertes Empfehlungssystem für Informatik-Veröffentlichungen". Wissensbasierte Systeme. 157: 1–9. doi:10.1016/j.knosys.2018.05.001.
  46. ^ Blanda, Stephanie (25. Mai 2015). "Online -Empfehlungssysteme - Woher weiß eine Website, was ich will?". American Mathematical Society. Abgerufen 31. Oktober, 2016.
  47. ^ X.Y. Feng, H. Zhang, Y. J. Ren, P.H. Shang, Y. Zhu, Y.C. Liang, R.C. Guan, D. Xu, (2019), "Das Deep Learning -basierte Empfehlungssystem „Pubmender“ zur Auswahl einer biomedizinischen Veröffentlichungs Veranstaltungsort: Entwicklungs- und Validierungsstudie",", Journal of Medical Internet Research, 21 (5): e12957
  48. ^ a b Hidasi, Balázs; Karatzoglou, Alexandros; Baltrunas, Linas; Tikk, Domonkos (2016-03-29). "Sitzungsbasierte Empfehlungen mit wiederkehrenden neuronalen Netzwerken". Arxiv:1511.06939 [cs.lg].
  49. ^ a b c Chen, Minmin; Beutel, Alex; Covington, Paul; Jain, Sagar; Belletti, Francois; Chi, Ed (2018). "Top-K-Off-Policy-Korrektur für ein Verstärkungsempfehlungssystem". Arxiv:1812.02353 [cs.lg].
  50. ^ a b Yifei, MA; Narayanaswamy, Balakrishnan; Haibin, Lin; Hao, Ding (2020). "Temporal-kontextuelle Empfehlung in Echtzeit". KDD '20: Verfahren der 26. ACM SIGKDD Internationalen Konferenz über Wissenskondeckung und Data Mining. Assoziation für Computermaschinen: 2291–2299. doi:10.1145/3394486.3403278. ISBN 9781450379984. S2CID 221191348.
  51. ^ Hidasi, Balázs; Karatzoglou, Alexandros (2018-10-17). "Wiederkehrende neuronale Netze mit Top-K-Gewinnen für Sitzungsbasis-Empfehlungen". Verfahren der 27. ACM International Conference über Informations- und Wissensmanagement. Cikm '18. Torino, Italien: Assoziation für Computermaschinen: 843–852. Arxiv:1706.03847. doi:10.1145/3269206.3271761. ISBN 978-1-4503-6014-2. S2CID 1159769.
  52. ^ Kang, Wang-Cheg; McAuley, Julian (2018). "Selbstanatterde sequentielle Empfehlung". Arxiv:1808.09781 [cs.ir].
  53. ^ Li, Jing; Ren, Pengjie; Chen, Zhumin; Ren, Zhaochun; Lian, Tao; MA, Jun (2017-11-06). "Neuronale aufmerksame Sitzung basierende Empfehlung". Proceedings der ACM 2017 über die Konferenz über Informations- und Wissensmanagement. Cikm '17. Singapur, Singapur: Assoziation für Computermaschinen: 1419–1428. Arxiv:1711.04725. doi:10.1145/3132847.3132926. ISBN 978-1-4503-4918-5. S2CID 21066930.
  54. ^ Liu, Qiao; Zeng, Yifu; Mokhosi, Refuoe; Zhang, Haibin (2018-07-19). "Stempel: Kurzzeit-Aufmerksamkeits-/Speicherprioritätsmodell für eine Sitzungsbasis-Empfehlung". Proceedings der 24. ACM Sigkdd Internationalen Konferenz über Wissensdiskussion und Data Mining. KDD '18. London, Vereinigtes Königreich: Vereinigung für Computermaschinen: 1831–1839. doi:10.1145/3219819.3219950. ISBN 978-1-4503-5552-0. S2CID 50775765.
  55. ^ Xin, Xin; Karatzoglou, Alexandros; Arapakis, Ioannis; Jose, Joemon (2020). "Selbstüberwachungspunkte Verstärkungslernen für Empfehlungssysteme". Arxiv:2006.05779 [cs.lg].
  56. ^ Dh Eugene; Jain, Vihan; Narvekar, Sanmit; Agarwal, Ritesh; Wu, Rui; Cheng, Heng-Tze; Chandra, Tushar; Boutilier, Craig (2019). "Slateq: Eine folgende Zerlegung für Verstärkungslernen mit Empfehlungssätzen". Proceedings der achtundzwanzigsten gemeinsamen gemeinsamen Konferenz über künstliche Intelligenz (IJCAI-19): 2592–2599.
  57. ^ Zou, Lixin; Xia, lang; Ding, Zhuoye; Lied, Jiaxing; Liu, Weidong; Yin, Dawei (2019). "Verstärkungslernen zur Optimierung des langfristigen Benutzerbetriebs in Empfehlungssystemen". KDD '19: Verfahren der 25. ACM SIGKDD Internationalen Konferenz über Wissens Discovery & Data Mining. KDD '19: 2810–2818. Arxiv:1902.05570. doi:10.1145/3292500.3330668. ISBN 9781450362016. S2CID 62903207.
  58. ^ Lakiotaki, K.; Matsatsinis; Tsoukias, A (März 2011). "Multikriteria -Benutzermodellierung in Empfehlungssystemen". IEEE Intelligente Systeme. 26 (2): 64–76. Citeseerx 10.1.1.476.6726. doi:10.1109/MIS.2011.33. S2CID 16752808.
  59. ^ Gediminas adomavicius, Nikos Manouselis, Youngok Kwon. "Multi-Kriterien Empfehlungssysteme" (PDF). Archiviert von das Original (PDF) Am 2014-06-30.{{}}: CS1 Wartung: Verwendet Autorenparameter (Link)
  60. ^ Bounffouf, Djallel (2013), DRARS, ein dynamisch risikobesichtigter Empfehlungssystem (Ph.D.), Institut National des Télécommunications
  61. ^ a b Yong GE; Hui Xiong; Alexander Tuzhilin; Keli Xiao; Marco Grouteser; Michael J. Pazzani (2010). Ein energieeffizientes mobiles Empfehlungssystem (PDF). Verfahren des 16. ACM Sigkdd Int'l Conf. Über Wissensentdeckung und Data Mining. New York City, New York: ACM. S. 899–908. Abgerufen 2011-11-17.
  62. ^ Pimenidis, Elias; Polatidis, Nikolaos; Mouratidis, Haralambos (3. August 2018). "Mobile Empfehlungssysteme: Identifizieren der Hauptkonzepte". Journal of Information Science. 45 (3): 387–397. Arxiv:1805.02276. doi:10.1177/0165551518792213. S2CID 19209845.
  63. ^ Rinke Hoekstra, Das Wissen, das sich um Engpässe erinnert, Engpässe, Semantisches Web - Interoperabilität, Benutzerfreundlichkeit, Anwendbarkeit 1 (2010) 1, iOS Press
  64. ^ Gomez-Uribe, Carlos A.; Hunt, Neil (28. Dezember 2015). "Das Netflix -Empfehlungssystem". ACM -Transaktionen zu Managementinformationssystemen. 6 (4): 1–19. doi:10.1145/2843948.
  65. ^ a b Zamanzadeh Darban, Z.; Valipour, M. H. (15. August 2022). "GHRS: Graph-basierte Hybridempfehlungssystem mit Anwendung auf Filmempfehlung". Expertensysteme mit Anwendungen. 200: 116850. Arxiv:2111.11293. doi:10.1016/j.eswa.2022.116850. S2CID 244477799.
  66. ^ Robin Burke, Hybrid -Web -Empfehlungssysteme Archiviert 2014-09-12 bei der Wayback -Maschine, S. 377-408, The Adaptive Web, Peter Brusilovsky, Alfred Kobsa, Wolfgang Nejdl (Hrsg.), Lecture Notes in Informatik, Springer-Verlag, Berlin, Deutschland, Vorlesungsnotizen in Computer Science, vol. 4321, Mai 2007, 978-3-540-72078-2.
  67. ^ a b Lohr, Steve. "Ein Forschungsabschluss von 1 Million US -Dollar für Netflix und vielleicht ein Modell für andere". Die New York Times.
  68. ^ R. Bell; Y. Koren; C. Volinsky (2007). "Die Bellkor -Lösung für den Netflix -Preis" (PDF). Archiviert von das Original (PDF) Am 2012-03-04. Abgerufen 2009-04-30.
  69. ^ Bodoky, Thomas (2009-08-06). "Mátrixfaktorizáció eine Million Dollar". Index.
  70. ^ Aufstieg der Netflix -Hacker Archiviert 24. Januar 2012 bei der Wayback -Maschine
  71. ^ "Netflix hat Ihr Brokeback Mountain Secret verschüttet, Klageansprüche behauptet". VERDRAHTET. 17. Dezember 2009. Abgerufen 1. Juni 2015.
  72. ^ "Netflix -Preis -Update". Netflix Prize Forum. 2010-03-12.
  73. ^ Lathia, N., Haililes, S., Capra, L., Amatriin, X.: Zeitliche Vielfalt in Empfehlungssystemen[Dead Link]. In: Proceedings der 33. Internationalen ACMSIGIR -Konferenz für Forschung und Entwicklung im Informationsabruf, Sigir 2010, S. 210–217. ACM, New York
  74. ^ Turpin, Andrew H, Hersh, William (2001). "Warum Stapel- und Benutzerbewertungen nicht die gleichen Ergebnisse liefern". Proceedings der 24. jährlichen International ACM Sigir -Konferenz über Forschung und Entwicklung im Informationsabruf. S. 225–231.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  75. ^ "Movielens -Datensatz". 2013-09-06.
  76. ^ a b Chenhung-hsuan; Chungchu-an; Huanghsin-chien; Tsuiwen (2017-09-01). "Häufige Fallstricke bei der Ausbildung und Bewertung von Empfehlungssystemen". ACM Sigkdd Explorations Newsletter. 19: 37–45. doi:10.1145/3137597.3137601. S2CID 10651930.
  77. ^ Jannach, Dietmar; Lerche, Lukas; Gedikli, Fatih; Bonnin, Geoffray (2013-06-10). Carberry, Sandra; Weibelzahl, Stephan; Micarelli, Alessandro; Semeraro, Giovanni (Hrsg.). Benutzermodellierung, Anpassung und Personalisierung. Vorlesungsnotizen in Informatik. Springer Berlin Heidelberg. pp.25–37. Citeseerx 10.1.1.465.96. doi:10.1007/978-3-642-38844-6_3. ISBN 9783642388439.
  78. ^ a b Turpin, Andrew H.; Hersh, William (2001-01-01). Warum Stapel- und Benutzerbewertungen nicht die gleichen Ergebnisse liefern. Proceedings der 24. jährlichen International ACM Sigir -Konferenz über Forschung und Entwicklung im Informationsabruf. Sigir '01. New York, NY, USA: ACM. pp.225–231. Citeseerx 10.1.1.165.5800. doi:10.1145/383952.383992. ISBN 978-1581133318. S2CID 18903114.
  79. ^ Langer, Stefan (2015-09-14). "Ein Vergleich von Offline-Bewertungen, Online-Bewertungen und Benutzerstudien im Kontext von Research-Paper-Empfehlungssystemen". In Kapidakis, Sarantos; Mazurek, Cezary; Werla, Marcin (Hrsg.). Forschung und fortschrittliche Technologie für digitale Bibliotheken. Vorlesungsnotizen in Informatik. Vol. 9316. Springer International Publishing. S. 153–168. doi:10.1007/978-3-319-24592-8_12. ISBN 9783319245911.
  80. ^ Basaraner, Daniel; Ntoutsi, Eirini; Zimek, Arthur (2017). Proceedings der Siam International Conference on Data Mining 2017. S. 390–398. doi:10.1137/1.9781611974973.44. ISBN 978-1-61197-497-3.
  81. ^ Beel, Joeran; Genzmehr, Marcel; Langer, Stefan; Nürnberger, Andreas; Gipp, Bela (2013-01-01). Eine vergleichende Analyse von Offline- und Online -Bewertungen und Diskussion der Research Paper Repection System Evaluation. Verfahren des internationalen Workshops zur Reproduzierbarkeit und Replikation in der Bewertung von Empfehlungssystemen. Repsys '13. New York, NY, USA: ACM. S. 7–14. Citeseerx 10.1.1.1031.973. doi:10.1145/2532508.2532511. ISBN 9781450324656. S2CID 8202591.
  82. ^ Cañamares, Rocío; Castells, Pablo (Juli 2018). Soll ich der Menge folgen? Eine probabilistische Analyse der Wirksamkeit der Popularität in Empfehlungssystemen (PDF). 41. jährliche internationale ACM -Sigir -Konferenz für Forschung und Entwicklung im Informationsabruf (Sigir 2018). Ann Arbor, Michigan, USA: ACM. S. 415–424. doi:10.1145/3209978.3210014.
  83. ^ Cañamares, Rocío; Castells, Pablo; Moffat, Alistair (März 2020). "Offline -Bewertungsoptionen für Empfehlungssysteme" (PDF). Informationsrückgewinnung. Springer. 23 (4): 387–410. doi:10.1007/s10791-020-09371-3. S2CID 213169978.
  84. ^ Ziegler, C. N., McNee, S. M., Konstan, J.A. und Laussen, G. (2005). "Verbesserung der Empfehlungslisten durch Themendiversifizierung". Proceedings der 14. Internationalen Konferenz über World Wide Web. S. 22–32.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  85. ^ a b Castells, Pablo; Hurley, Neil J.; Vargas, Saúl (2015). "Neuheit und Vielfalt in Empfehlungssystemen". In Ricci, Francesco; Rokach, Lior; Shapira, Bracha (Hrsg.). Empfehlungssystemhandbuch (2 ed.). Springer uns. S. 881–918. doi:10.1007/978-1-4899-7637-6_26. ISBN 978-1-4899-7637-6.
  86. ^ Joeran Beel; Stefan Langer; Marcel Genzmehr; Andreas Nürnberger (September 2013). "Persistenz in Empfehlungssystemen: Mehrmals denselben Benutzern die gleichen Empfehlungen geben" (PDF). In Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (Hrsg.). Proceedings der 17. Internationalen Konferenz über Theorie und Praxis digitaler Bibliotheken (TPDL 2013). Vorlesungen der Informatik (LNCs). Vol. 8092. Springer. S. 390–394. Abgerufen 1. November 2013.
  87. ^ Cosley, D., Lam, S. K., Albert, I., Konstan, J. A., Riedl, {J}. (2003). "Sehen Sie glauben ?: Wie wirken sich empfohlene Systemschnittstellen die Meinungen der Benutzer aus." (PDF). Verfahren der Sigchi -Konferenz über menschliche Faktoren in Computersystemen. S. 585–592. S2CID 8307833.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  88. ^ {P} u, {p}., {C} hen, {l}., {H} u, {r}. (2012). "Bewertung von Empfehlungssystemen aus Sicht des Benutzers: Übersicht über den Stand der Technik" (PDF). Benutzermodellierung und benutzerdefinierte Interaktion: 1–39.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  89. ^ Naren Ramakrishnan; Benjamin J. Keller; Batul J. Mirza; Ananth Y. Grama; George Karypis (2001). Datenschutzrisiken in Empfehlungssystemen. IEEE Internet Computing. Vol. 5. Piscataway, NJ: Abteilung für Bildungsaktivitäten IEEE. pp.54–62. Citeseerx 10.1.1.2.2932. doi:10.1109/4236.968832. ISBN 978-1-58113-561-9.
  90. ^ Joeran Beel; Stefan Langer; Andreas Nürnberger; Marcel Genzmehr (September 2013). "Die Auswirkungen der Demografie (Alter und Geschlecht) und andere Benutzermerkmale auf die Bewertung von Empfehlungssystemen" (PDF). In Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (Hrsg.). Proceedings der 17. Internationalen Konferenz über Theorie und Praxis digitaler Bibliotheken (TPDL 2013). Springer. S. 400–404. Abgerufen 1. November 2013.
  91. ^ {K} onstan, {j}. {A}., {R} iedl, {j}. (2012). "Empfehlungssysteme: Von Algorithmen zur Benutzererfahrung" (PDF). Benutzermodellierung und benutzerdefinierte Interaktion. 22 (1–2): 1–23. doi:10.1007/s11257-011-9112-x. S2CID 8996665.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  92. ^ {R} icci, {f}., {R} Okach, {l}., {S} hapira, {b}., {K} Antor {B}. {P}. (2011). "Handbuch für Empfehlungssysteme". Empfehlungssystemhandbuch: 1–35. Bibcode:2011rsh..book ..... r.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  93. ^ Möller, Judith; Trilling, Damian; Helberger, Natali; Van Es, Bram (2018-07-03). "Beachten Sie den Algorithmus nicht: Eine empirische Bewertung mehrerer Empfehlungssysteme und deren Auswirkungen auf die Inhaltsvielfalt". Information, Kommunikation & Gesellschaft. 21 (7): 959–977. doi:10.1080/1369118x.2018.1444076. ISSN 1369-118x. S2CID 149344712.
  94. ^ Montaner, Miquel, L {\ 'o} Pez, Beatriz, de la Rosa, Josep llu {\' \ i} s (2002). "Entwicklung von Vertrauen in Empfehlungsagenten". Proceedings der ersten internationalen gemeinsamen Konferenz über autonome Agenten und Multiagentysteme: Teil 1. S. 304–305.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  95. ^ Beel, Joeran, Langer, Stefan, Genzmehr, Marcel (September 2013). "Gesponserte vs. organische (Forschungsarbeit) Empfehlungen und die Auswirkungen der Kennzeichnung" (PDF). In Trond Aalberg; Milena Dobreva; Christos Papatheodorou; Giannis Tsakonas; Charles Farrugia (Hrsg.). Proceedings der 17. Internationalen Konferenz über Theorie und Praxis digitaler Bibliotheken (TPDL 2013). S. 395–399. Abgerufen 2. Dezember 2013.{{}}: Cs1 montiert: Mehrfachnamen: Autorenliste (Link)
  96. ^ Ferrari Dacrema, Maurizio; Boglio, Simone; Cremonesi, Paolo; Jannach, Dietmar (8. Januar 2021). "Eine beunruhigende Analyse der Reproduzierbarkeit und Fortschritte in der Research der Empfehlungssysteme". ACM -Transaktionen auf Informationssystemen. 39 (2): 1–49. Arxiv:1911.07698. doi:10.1145/3434185. S2CID 208138060.
  97. ^ Ferrari Dacrema, Maurizio; Cremonesi, Paolo; Jannach, Dietmar (2019). "Machen wir wirklich viel Fortschritte? Eine besorgniserregende Analyse der jüngsten Ansätze für neuronale Empfehlungen". Verfahren der 13. ACM -Konferenz über Empfehlungssysteme. Recsys '19. ACM: 101–109. Arxiv:1907.06902. doi:10.1145/3298689.3347058. HDL:11311/1108996. ISBN 9781450362436. S2CID 196831663. Abgerufen 16. Oktober 2019.
  98. ^ Rendle, Steffen; Krichene, Walid; Zhang, li; Anderson, John (22. September 2020). "Neuronale kollaborative Filterung gegen Matrixfaktorisierung überarbeitet". Vierzehnte ACM -Konferenz über Empfehlungssysteme: 240–248. Arxiv:2005.09683. doi:10.1145/3383313.3412488. ISBN 9781450375832.
  99. ^ Sonne, Zhu; Yu, di; Fang, Hui; Yang, Jie; Qu, Xinghua; Zhang, Jie; Geng, Cong (2020). "Bewerten wir rigorous" Benchmarking -Empfehlung für reproduzierbare Bewertung und fairer Vergleich "Benchmarking -Empfehlung". Recsys '20: vierzehnte ACM -Konferenz über Empfehlungssysteme. ACM: 23–32. doi:10.1145/3383313.3412489. ISBN 9781450375832. S2CID 221785064.
  100. ^ Schifferer, Benedikt; Deotte, Chris; Puget, Jean-François; de Souza Pereira, Gabriel; Titericz, Gilberto; Liu, Jiwei; AK, Ronay. "Verwenden Sie Deep Learning, um die Booking.com WSDM WebTour21 Challenge auf sequentielle Empfehlungen zu gewinnen" (PDF). WSDM '21: ACM -Konferenz zur Websuche und zum Data Mining. ACM.
  101. ^ Volkovs, Maksims; Rai, Himanshu; Cheng, Zhaoyue; Wu, GA; Lu, Yichao; SANNER, SCOTT (2018). "Zweistufiges Modell für die automatische Wiedergabeliste in Skala". Recsys '18: vierzehnte ACM -Konferenz über Empfehlungssysteme. ACM: 1–6. doi:10.1145/3267471.3267480. ISBN 9781450365864. S2CID 52942462.
  102. ^ Yves Raimond, Justin Basilico Deep Learning für Empfehlungssysteme, Deep Learning Nacharbeit SF Summit 2018
  103. ^ Ekstrand, Michael D.; Ludwig, Michael; Konstan, Joseph A.; Riedl, John T. (2011-01-01). Überdenken des Empfehlungsforschungs -Ökosystems: Reproduzierbarkeit, Offenheit und Lenskit. Verfahren der fünften ACM -Konferenz über Empfehlungssysteme. Recsys '11. New York, NY, USA: ACM. S. 133–140. doi:10.1145/2043932.2043958. ISBN 9781450306836. S2CID 2215419.
  104. ^ Konstan, Joseph A.; Adomavicius, Gediminas (2013-01-01). In Bezug auf die Identifizierung und Einführung von Best Practices in der Forschung mit algorithmischen Empfehlungssystemen. Verfahren des internationalen Workshops zur Reproduzierbarkeit und Replikation in der Bewertung von Empfehlungssystemen. Repsys '13. New York, NY, USA: ACM. S. 23–28. doi:10.1145/2532508.2532513. ISBN 9781450324656. S2CID 333956.
  105. ^ a b Breiter, Corinna; Langer, Stefan; Lommatzsch, Andreas; Gipp, Bela (2016-03-12). "Zur Reproduzierbarkeit der Research Recips-Systems" Reproduzierbarkeit ". Benutzermodellierung und benutzerdefinierte Interaktion. 26 (1): 69–101. doi:10.1007/s11257-016-9174-x. ISSN 0924-1868. S2CID 388764.
  106. ^ Sagte Alan; Bellogín, Alejandro (2014-10-01). Vergleichende Empfehlungssystembewertung: Benchmarking -Empfehlungsrahmen. Verfahren der 8. ACM -Konferenz über Empfehlungssysteme. Recsys '14. New York, NY, USA: ACM. S. 129–136. doi:10.1145/2645710.2645746. HDL:10486/665450. ISBN 9781450326681. S2CID 15665277.

Weitere Lektüre

Bücher
Wissenschaftliche Artikel

Externe Links