Web -Scraping

Web -Scraping, Webernte, oder Webdatenextraktion ist Datenkratzen benutzt für Daten extrahieren aus Websites. Web -Scraping -Software kann direkt auf die zugreifen Weltweites Netz Verwendung der Hypertext Transfer Protocol oder ein Webbrowser. Während das Webabschaben von einem Software -Benutzer manuell durchgeführt werden kann, bezieht sich der Begriff in der Regel auf automatisierte Prozesse, die mit A implementiert sind Bot oder Web -Crawler. Es handelt sich um eine Form des Kopierens, bei dem bestimmte Daten aus dem Web gesammelt und kopiert werden, normalerweise in einen zentralen Lokal Datenbank oder Tabelle für später Abruf oder Analyse.

Um eine Webseite abzukratzen, wird das Abrufen und das Extrahieren von ihr abgeholt. Das Abrufen ist das Herunterladen einer Seite (die ein Browser macht, wenn ein Benutzer eine Seite anzeigt). Daher ist das Web -Crawling eine Hauptkomponente des Web -Scrapings, um Seiten für die spätere Verarbeitung abzurufen. Sobald Sie abgerufen werden, kann die Extraktion stattfinden. Der Inhalt einer Seite kann sein analysiert, durchsucht und neu formatiert und ihre Daten in eine Tabelle kopiert oder in eine Datenbank geladen. Web -Scrapers nehmen normalerweise etwas aus einer Seite heraus, um es für einen anderen Zweck zu nutzen. Ein Beispiel wäre das Finden und Kopieren von Namen und Telefonnummern, Unternehmen und deren URLs oder E-Mail-Adressen in eine Liste (Kontaktabschaben).

Ebenso gut wie KontaktkratzenDas Web -Scraping wird als Komponente der für verwendeten Anwendungen verwendet Webindizierung, Webabbau und Data Mining, Online -Preisänderungsüberwachung und Preisvergleich, Produktüberprüfung Scraping (um den Wettbewerb zu beobachten), Immobilienlisten sammeln, Wetterdatenüberwachung, Website Änderungserkennung, Forschung, Online -Präsenz und Ruf verfolgen, Web Mashup, und Webdatenintegration.

Webseiten werden mit textbasierten Mark-up-Sprachen erstellt (Html und Xhtml) und enthalten häufig eine Fülle nützlicher Daten in Textform. Die meisten Webseiten sind jedoch für Menschen ausgelegt Endverbraucher und nicht zur einfachen automatisierten Verwendung. Infolgedessen wurden spezielle Tools und Software entwickelt, um das Kratzen von Webseiten zu erleichtern.

Neuere Formen der Web -Scraping umfassen die Überwachung von Datenfeeds von Webservern. Zum Beispiel, JSON wird üblicherweise als Transportspeichermechanismus zwischen dem Client und dem Webserver verwendet.

Es gibt Methoden, mit denen einige Websites zum Verhinderung von Web -Scraping verhindern, z. B. das Erkennen und Abliegen von Bots daran, ihre Seiten zu kriechen (zu sehen). Als Reaktion darauf gibt es Web -Scraping -Systeme, die auf die Verwendung von Techniken in der Verwendung von Investitionen beruhen Dom Parsing, Computer Vision und Verarbeitung natürlicher Sprache Simulation des menschlichen Browsens, um das Sammeln von Webseiteninhalten für die Offline -Parsen zu ermöglichen.

Geschichte

Die Geschichte des Webkratzens stammt aus fast der Zeit, als das World Wide Web geboren wurde.

• Nach der Geburt der Weltweites Netz 1989 der erste Webroboter,^[1] World Wide Web Wanderer, wurde im Juni 1993 gegründet, der nur die Größe des Webs messen sollte.
• Im Dezember 1993 der erste Crawler-basierte Web-Suchmaschine, JumpStation, wurde gestartet. Da im Web weniger Websites verfügbar waren, stützten sich Suchmaschinen zu dieser Zeit auf menschliche Administratoren, um Links zu sammeln und zu formatieren. Im Vergleich dazu war Jumpstation die erste WWW -Suchmaschine, die sich auf einen Webroboter verließ.
• Im Jahr 2000 die Erste Web -API und API -Crawler wurden erstellt. Ein API (Programmierschnittstelle) ist eine Schnittstelle, die es viel einfacher macht, ein Programm durch Bereitstellung der Bausteine ​​zu entwickeln. In 2000, Zwangsversteigerung und Ebay startete ihre eigene API, mit der Programmierer auf einige der für die Öffentlichkeit verfügbaren Daten zugreifen und herunterladen konnten. Seitdem bieten viele Websites Web -APIs an, damit Personen auf ihre öffentliche Datenbank zugreifen können.

Techniken

Das Web -Scraping ist der Prozess, Daten automatisch abzubauen oder Informationen aus dem World Wide Web zu sammeln. Es ist ein Feld mit aktiven Entwicklungen, die ein gemeinsames Ziel mit dem teilen Semantisches Web Vision, eine ehrgeizige Initiative, die immer noch Durchbrüche in der Textverarbeitung, des semantischen Verständnisses, der künstlichen Intelligenz erfordert und Mensch-Computer-Wechselwirkungen.

Menschliches Kopieren und Pasten

Die einfachste Form des Web -Scrapings besteht darin, Daten von einer Webseite manuell in eine Textdatei oder eine Tabelle zu kopieren und zu fügen. Manchmal kann selbst die beste Web-Scraping-Technologie die manuelle Untersuchung und das Kopieren eines Menschen nicht ersetzen, und manchmal kann dies die einzig praktikable Lösung sein, wenn die Websites für das Abkratzen explizit Barrieren zur Verhinderung der Maschinenautomatisierung einrichten.

Textmuster Matching

Ein einfacher, aber leistungsstarker Ansatz zum Extrahieren von Informationen von Webseiten kann auf der Unix basieren Grep Befehl oder regulären Ausdruck-Versprechende Einrichtungen von Programmiersprachen (z. B. zum Beispiel Perl oder Python).

HTTP -Programmierung

Statisch und Dynamische Webseiten kann abgerufen werden, indem HTTP -Anforderungen an den Remote -Webserver verwendet werden Sockelprogrammierung.

HTML Parsing

Viele Websites haben große Sammlungen von Seiten, die dynamisch aus einer zugrunde liegenden strukturierten Quelle wie einer Datenbank generiert werden. Daten derselben Kategorie werden typischerweise durch ein gemeinsames Skript oder eine gemeinsame Vorlage in ähnliche Seiten codiert. In Data Mining wird ein Programm, das solche Vorlagen in einer bestimmten Informationsquelle erkennt, seinen Inhalt extrahiert und in eine relationale Form übersetzt, genannt, a Verpackung. Algorithmen zur Erzeugung von Wrapper gehen davon aus, dass Eingabeseiten eines Wrapper -Induktionssystems einer gemeinsamen Vorlage entsprechen und dass sie im Sinne eines URL -gemeinsamen Schemas leicht identifiziert werden können.^[2] Darüber hinaus einige Halbstrukturierte Daten Abfragsprachen wie z. XQuery und die HTQL kann verwendet werden, um HTML -Seiten zu analysieren und Seiteninhalte abzurufen und zu transformieren.

Dom Parsing

Durch Einbettung eines vollwertigen Webbrowsers wie der Internet Explorer oder der Mozilla Browsersteuerung können Programme den dynamischen Inhalt abrufen, der von clientseitigen Skripten generiert wird. Diese Browser -Steuerelemente analysieren auch Webseiten in einen DOM -Baum, basierend darauf, welche Programme Teile der Seiten abrufen können. Sprachen wie XPath Kann verwendet werden, um den resultierenden Dom -Baum zu analysieren.

Vertikale Aggregation

Es gibt mehrere Unternehmen, die vertikale spezifische Ernteplattformen entwickelt haben. Diese Plattformen erstellen und überwachen eine Vielzahl von "Bots" für bestimmte Branchen ohne "Mann in der Schleife" (keine direkte Beteiligung des Menschen) und ohne Arbeit im Zusammenhang mit einer bestimmten Zielstelle. Die Vorbereitung umfasst die Festlegung der Wissensbasis für die gesamte Vertikale, und dann erstellt die Plattform die Bots automatisch. Die Robustheit der Plattform wird an der Qualität der von ihnen abgerufenen Informationen (normalerweise Anzahl der Felder) und ihrer Skalierbarkeit (wie schnell sie bis zu Hundert oder Tausende von Websites skalieren kann) gemessen. Diese Skalierbarkeit wird hauptsächlich verwendet, um auf die zu zielen Langen Schwanz von Standorten, an denen gemeinsame Aggregatoren kompliziert oder zu arbeitsintensiv sind, um Inhalte aus zu ernten.

Semantische Annotation anerkannt

Die abgeschlichenen Seiten können sich umarmen Metadaten oder semantische Markups und Anmerkungen, mit denen bestimmte Datenschnipsel lokalisiert werden können. Wenn die Anmerkungen in die Seiten eingebettet sind, als Mikroformat Diese Technik kann als Sonderfall von DOM -Parsen angesehen werden. In einem anderen Fall organisierten sich die Anmerkungen in eine semantische Schicht,^[3] werden getrennt von den Webseiten gespeichert und verwaltet, sodass die Schaber das Datenschema und die Anweisungen aus dieser Ebene abrufen können, bevor die Seiten abgeschrußt werden.

Computer Vision Web-Page-Analyse

Es gibt Anstrengungen, maschinelles Lernen und Computer Vision Dieser Versuch, Informationen von Webseiten zu identifizieren und zu extrahieren, indem Seiten visuell als Mensch interpretiert werden.^[4]

Software

Es stehen viele Softwaretools zur Verfügung, mit denen Web-Scraping-Lösungen angepasst werden können. Diese Software kann versuchen, die Datenstruktur einer Seite automatisch zu erkennen oder eine Aufzeichnungsschnittstelle bereitzustellen, die die Notwendigkeit beseitigt Die abgekratzten Daten in lokalen Datenbanken. Einige Web -Scraping -Software können auch verwendet werden, um Daten aus einer API direkt zu extrahieren.

Rechtsfragen

Die Rechtmäßigkeit des Webskratzens variiert weltweit. Im Allgemeinen kann das Web -Scraping gegen die sein Nutzungsbedingungen von einigen Websites, aber die Durchsetzbarkeit dieser Begriffe ist unklar.^[5]

Vereinigte Staaten

In den USA können Website -Eigentümer drei Major verwenden Rechtliche Ansprüche Um unerwünschtes Web -Scraping zu verhindern: (1) Urheberrechtsverletzung (Zusammenstellung), (2) Verstoß gegen die Computerbetrug und Missbrauchsgesetz ("CFAA") und (3) Übertretung zu Chattel.^[6] Die Wirksamkeit dieser Ansprüche hängt jedoch davon ab, verschiedene Kriterien zu erfüllen, und die Rechtsprechung entwickelt sich immer noch weiter. Zum Beispiel im Hinblick auf das Urheberrecht, während eine vollständige Vervielfältigung des ursprünglichen Ausdrucks in vielen Fällen illegal sein wird, in den Vereinigten Staaten haben die Gerichte in den Vereinigten Staaten entschieden Feist Publications gegen ländlicher Telefondienst Diese Duplizierung von Fakten ist zulässig.

Die US -Gerichte haben anerkannt Übertretung der Untersuchungen,^[7][8] Dies beinhaltet ein Computersystem selbst, das als persönliche Eigenschaft angesehen wird, auf der der Benutzer eines Schabers eintritt. Das bekannteste dieser Fälle, eBay v. Bieterrand, führte zu einer einstweiligen Bestellung des Bieters, um den Zugriff auf, zu sammeln und Auktionen von der eBay -Website zu sammeln und zu indizieren. Dieser Fall umfasste automatische Aufgabe von Angeboten, bekannt als als Auktionsschnüffeln. Um jedoch einen Anspruch auf Übertretung auf Erfolg zu haben Früher, das Kläger muss nachweisen, dass die Beklagte Absichtlich und ohne Genehmigung beeinträchtigte das Besitz des Klägers am Computersystem und dass der nicht autorisierte Gebrauch des Beklagten dem Kläger Schäden verursachte. Nicht alle Fälle von Webspinnen, die vor den Gerichten gebracht wurden, wurden als Übertretung für die Chattels angesehen.^[9]

Einer der ersten großen Tests von Bildschirmkratzen beteiligt American Airlines (AA) und eine Firma namens Farechase.^[10] AA erhielt erfolgreich eine Anordnung Aus einem Gericht in Texas, der Farechase vom Verkauf von Software abhält, mit der Benutzer Online -Tarife vergleichen können, wenn die Software auch die AA -Website durchsucht. Die Fluggesellschaft argumentierte, dass die Websearch -Software von Farechase auf den Servern von AA bei der Sammlung der öffentlich verfügbaren Daten eintrat. Farechase reichte im März 2003 Berufung ein^[11]

Southwest Airlines hat auch Praktiken zum Ausschalten von Screen in Frage gestellt und sowohl Farechase als auch eine andere Firma Outtask in einen Rechtsanspruch einbezogen. Southwest Airlines beauftragte, dass das Screen-Craping illegal ist, da es sich um ein Beispiel für "Computerbetrug und Missbrauch" handelt und zu "Schaden und Verlust" und "nicht autorisierter Zugang" der Site von Southwest geführt hat. Es stellt auch "Einmischung in Geschäftsbeziehungen", "Übertretung" und "schädlicher Zugriff nach Computer" dar. Sie behaupteten auch, dass Screen-Craping das gesetzlich als "Veruntreuung und ungerechtfertigte Anreicherung" bezeichnet und gegen die Benutzervereinbarung der Website verstößt. Outtask lehnte all diese Ansprüche ab und behauptete, dass das vorherrschende Gesetz in diesem Fall sein sollte US -Urheberrecht und dass unter dem Urheberrecht die Informationen, die abgekratzt werden, nicht dem Urheberrechtsschutz ausgesetzt wären. Obwohl die Fälle nie in der gelöst wurden Oberster Gerichtshof der Vereinigten Staaten, Farechase wurde schließlich von der Muttergesellschaft geschlossen Yahoo!und Outtask wurde von der Reisekostenunternehmen zustimmend gekauft.^[12] Im Jahr 2012, ein Startup namens 3TAPS Scraped Classifified Housing Ads von Craigslist. Craigslist schickte 3TAPs einen Wege-and-Desist-Brief und blockierte ihre IP-Adressen und verklagte später in Craigslist v. 3taps. Das Gericht entschied Computerbetrug und Missbrauchsgesetz.

Obwohl es sich um frühzeitige Entscheidungen handelt und die Haftungstheorien nicht einheitlich sind, ist es schwierig, ein Muster zu ignorieren, das sich entsteht, dass die Gerichte bereit sind, den proprietären Inhalt an kommerziellen Standorten vor Verwendungen zu schützen, die für die Eigentümer solcher Standorte unerwünscht sind. Der Schutzgrad für solche Inhalte wird jedoch nicht beigelegt und hängt jedoch von der Art des Zugriffs des Schabers ab, der Menge an Informationen, die auf und kopiert werden, und der Ausmaß, in dem der Zugriff das System des Standortbesitzers nachteilig beeinflusst, und die Typen und Art und Weise von Verboten zu solchen Verhaltensweisen.^[13]

Während das Gesetz in diesem Bereich mehr festgelegt wird, sollten Unternehmen, die in Betracht ziehen, um Schichtprogramme zu verwenden, um auf eine öffentliche Website zuzugreifen, auch prüfen, ob eine solche Aktion durch Überprüfung der Nutzungsbedingungen und anderer Begriffe oder Hinweise auf die Website genehmigt wird. In einem Urteil von 2010 in der Cvent, Inc. v. Eventbrite, Inc. Im Bezirksgericht der Vereinigten Staaten für den Ostbezirk von Virginia entschied das Gericht, dass die Nutzungsbedingungen für eine Aufmerksamkeit der Nutzer zur Aufmerksamkeit der Nutzer gerichtet werden sollten Durchsuchen Sie Wrap Vertrag oder Lizenz zur Durchsetzung.^[14] In einem Fall von 2014, eingereicht in der Bezirksgericht der Vereinigten Staaten für den östlichen Bezirk von Pennsylvania,^[15] E-Commerce-Site QVC Einwände gegen den Pinterest-ähnlichen Einkaufsaggregator, der von der QVC-Site für Echtzeit-Preisdaten abgeschafft wird. QVC behauptet, dass der Einzelhandelsstandort von QVC (angeblich 200-300 Suchanfragen an die Website von 200 bis 300 Suchanfragen pro Minute sendet, manchmal auf bis zu 36.000 Anfragen pro Minute), was dazu führte .^[16] Die Beschwerde von QVC behauptet, der Angeklagte habe seinen Web -Crawler verkleidet, um seine Quell -IP -Adresse zu maskieren, und verhinderte, dass QVC das Problem schnell repariert. Dies ist ein besonders interessanter Scraping -Fall, da QVC Schadensersatz für die Nichtverfügbarkeit ihrer Website verlangt, von denen QVC behauptet, dass es daraus resultiert wurde.

Auf der Website des Klägers während des Zeitraums dieser Testversion werden die Nutzungsbedingungen unter allen Links der Website am Ende der Seite als die meisten Websites im Internet angezeigt. Diese Entscheidung widerspricht der nachstehend beschriebenen irischen Entscheidung. Das Gericht lehnte auch das Argument des Klägers ab, dass die Einschränkungen der Durchbrowse-Wrap im Hinblick auf die Annahme des Uniform Information Transactions Act (UCITA) durch Virginia durchsetzbar waren.^[17]

Im Facebook, Inc. v. Power Ventures, Inc.Ein Bezirksgericht entschied 2012, dass Power Ventures keine Facebook -Seiten im Namen eines Facebook -Nutzers kratzen könne. Der Fall ist Berufung und die Elektronische Grenzfundament Einen Brief 2015 eingereicht, in dem er gebeten wurde, dass er aufgehoben wird.^[18][19] Im Associated Press gegen Meltwasser US Holdings, Inc., ein Gericht in den USA hielt Meltwasser, das für die Abkratzen und Wiederveröffentlichung von Nachrichteninformationen von der Associated Press haftete, ein Gericht im Vereinigten Königreich, der zugunsten von Meltwasser gehalten wurde.

Internetarchiv Sammelt und verteilt eine beträchtliche Anzahl öffentlich verfügbarer Webseiten, ohne gegen Urheberrechtsgesetze zu verstoßen.

europäische Union

Im Februar 2006 die Dänischer See- und Handelsgericht (Kopenhagen) entschied, dass systematisches Krabbeln, Indexieren und Deep -Verknüpfungen von Portal Site Ofir.dk von Estate Site Home.dk weder mit dem dänischen Recht noch mit der Datenbankrichtlinie der Europäischen Union in Konflikt stehen.^[20]

In einem Fall im Februar 2010, der durch die Zuständigkeitsangelegenheiten kompliziert wurde, gab Irlands High Court ein Urteil ab, das die veranschaulicht unzureichend Zustand der Rechtsprechung. Im Falle des Ryanair Ltd gegen Billigfluege.de GmbHIrlands High Court entschied Ryanair's "Klick-Wrap"Vereinbarung, rechtsverbindlich zu sein. Im Gegensatz zu den Feststellungen des US -amerikanischen Bezirksgerichts Eastern District of Virginia und denen des dänischen See- und Handelsgerichts, Justice, Michael Hanna entschied, dass der Hyperlink zu Ryanairs Geschäftsbedingungen eindeutig sichtbar war und dass die Vermittlung des Benutzers, den Bedingungen zuzustimmen, um Zugang zu Online -Diensten zu erhalten, ausreicht, um eine vertragliche Beziehung zu bilden.^[21] Die Entscheidung wird vor Irlands Oberster Gerichtshof eingelegt.^[22]

Am 30. April 2020 veröffentlichte die französische Data Protection Authority (CNIL) neue Richtlinien für das Webabschaben.^[23] Die CNIL -Richtlinien machten deutlich, dass öffentlich verfügbare Daten immer noch personenbezogene Daten sind und ohne die Kenntnis der Person, der diese Daten angehören, nicht umgesetzt werden können.^[24]

Australien

In Australien die Spam Act 2003 Verbietet einige Formen der Webernte, obwohl dies nur für E -Mail -Adressen gilt.^[25][26]

Indien

In einigen Fällen, in denen sich die IPR -Verstöße befassen, haben die indischen Gerichte nicht ausdrücklich über die Rechtmäßigkeit des Web -Scrapings entschieden. Da jedoch alle gemeinsamen Formen von elektronischen Verträgen in Indien durchsetzbar sind, wird die Verstoß gegen die Nutzungsbedingungen, die das Abkratzen von Daten verbieten, ein Verstoß gegen das Vertragsgesetz darstellen. Es wird auch gegen die verletzen Informationstechnologiegesetz, 2000, der den unbefugten Zugriff auf eine Computerressource oder das Extrahieren von Daten aus einer Computerressource bestraft.

Methoden zur Verhinderung von Webkratzen

Der Administrator einer Website kann verschiedene Maßnahmen verwenden, um einen Bot anzuhalten oder zu verlangsamen. Einige Techniken umfassen:

• Blockieren an IP Adresse entweder manuell oder basierend auf Kriterien wie z. Geolokalisierung und DNSRBL. Dies blockiert auch das gesamte Stöbern von dieser Adresse.
• Deaktivieren Sie alle Internetservice API Dass das System der Website ausgesetzt sein könnte.
• Bots erklären manchmal, wer sie sind (verwenden User-Agent Saiten) und kann auf dieser Grundlage mit Verwendung blockiert werden Robots.txt; ''GoogleBot' ist ein Beispiel. Andere Bots unterscheiden keinen Unterschied zwischen sich und einem Menschen mit einem Browser.
• Bots können durch Überwachung des überschüssigen Verkehrs blockiert werden
• Bots können manchmal mit Tools blockiert werden, um zu überprüfen, ob es sich um eine echte Person handelt, die auf die Website zugreift, wie a Captcha. Bots werden manchmal codiert, um bestimmte Captcha-Muster explizit zu brechen, oder können Dienste von Drittanbietern anwenden, die menschliche Arbeitskräfte nutzen, um in Echtzeit in Echtzeit auf Captcha-Herausforderungen zu lesen und zu reagieren.
• Kommerzielle Anti-Bot-Dienstleistungen: Unternehmen bieten Anti-BOT- und Anti-Scraping-Dienste für Websites an. Ein paar Web Anwendungsfeuerwalls haben auch begrenzte Bot -Erkennungsfunktionen. Viele dieser Lösungen sind jedoch nicht sehr effektiv.^[27]
• Bots mit a suchen Honigtopf oder eine andere Methode zur Identifizierung der IP -Adressen automatisierter Crawler.
• Verschleierung Verwendung CSS Sprites Daten wie Telefonnummern oder E -Mail -Adressen auf Kosten von angezeigt Barrierefreiheit zu Bildschirmleser Benutzer.
• Da Bots im Front-End-Code einer Zielwebsite auf Konsistenz angewiesen sind, würde das Hinzufügen kleiner Schwankungen zu den HTML/CSS-Wege rund um wichtige Daten und Navigationselemente mehr menschliche Beteiligung an der ersten Einrichtung eines Bots erfordern und wenn wir effektiv ausgeführt werden können Zielwebsite zu schwierig zu kratzen, da die Abkrawatte verringert wird, den Abkratzen zu automatisieren.
• Websites können erklären, ob das Kriechen erlaubt ist oder nicht in der Robots.txt Datei und teilweise Zugriff, begrenzen Sie die Crawl -Rate, geben Sie die optimale Zeit zum Kriechen und mehr an.
• Laden Sie Datenbankdaten direkt in die HTML -DOM über Ajaxund verwenden Sie DOM -Methoden, um es anzuzeigen. Keine sichtbaren Daten im Quelldokument bedeuten, dass es nicht abgeschafft werden kann.

Siehe auch

Verweise