Direkt zum Inhalt
Text-Technology
Navigation

Definition

Webcrawling

Webcrawling ist das automatische Abrufen und Durchsuchen von Webseiten, um Texte für Korpora oder Suchindizes zu sammeln.

Ein Crawler folgt Links von Seite zu Seite und lädt dabei die Inhalte herunter. So entstehen große Textsammlungen, die für Suche oder Sprachforschung genutzt werden. Die Technik ist verbreitet, braucht aber klare Regeln für Umfang, Häufigkeit und Herkunft.

Rechtlich und ethisch ist das Sammeln heikel. Robots-Angaben der Betreiber, Urheberrechte und Datenschutz müssen geprüft werden, bevor man Inhalte speichert oder weiterverwendet.

Gecrawlte Daten sind außerdem oft unordentlich. Doppelte Seiten, Navigationstexte und Werbung müssen entfernt werden, bevor sie als Korpus taugen. Ein sauberer Ablauf mit Protokoll, Umfang und Dokumentation macht die gesammelten Daten erst für Forschung und Anwendung brauchbar.

Verwandte Begriffe

  • KorpusKorpus ist eine systematisch zusammengestellte, digital vorliegende Sammlung von Texten für sprachwissenschaftliche Untersuchungen.
  • KorpuslizenzKorpuslizenz regelt, unter welchen Bedingungen ein Textkorpus genutzt, weitergegeben und veröffentlicht werden darf.
  • DigitalisierungDigitalisierung meint in der Texttechnologie die Überführung gedruckter oder handschriftlicher Vorlagen in strukturierte, durchsuchbare digitale Texte.
  • TrainingsdatenTrainingsdaten sind die Beispiele, aus denen ein Modell Muster lernt, und bestimmen wesentlich, was es später gut oder schlecht kann.