Crawler

Kurz zusammengefasst: Was ist ein Crawler?

Mehrere tausend Webseiten von Privatpersonen, Unternehmen und Institutionen werden weltweit jeden Tag neu im Internet veröffentlicht. Damit diese Websites von Internetnutzern gefunden werden können, müssen Sie zunächst von einem sogenannten Crawler gefunden werden. Der Webcrawler analysiert die Website und ordnet sie in den Index der Suchmaschine, für die der Crawler das Web durchsucht, ein.

Was ist ein Crawler?

Ein Crawler ist ein spezielles Programm, das selbstständig das Internet nach öffentlich zugänglichen Webseiten durchsucht. Findet der Webcrawler eine Webseite, wird diese analysiert. Die Analyse dient dazu, zu verstehen, was das Thema der Webseite ist. Dieses Verständnis ist wichtig, damit die Webseite korrekt im Index der Suchmaschine eingeordnet werden kann. Die von einem Crawler gesammelten Informationen werden von der Suchmaschine indiziert. Diese Informationen benutzt die Suchmaschine, um Suchanfragen von Internetnutzern mit dem bestmöglichen Ergebnis zu beantworten. Andere Bezeichnungen für Crawler sind Spider, Searchbot, Bot oder Webcrawler.

Wie funktioniert ein Crawler?

Im Internet gibt es offiziellen Schätzungen zufolge aktuell rund 2 Milliarden Webseiten. Damit Internetnutzer in dieser unüberschaubaren Informationsmenge, genau die Informationen finden können, werden diese Webseiten durch Suchmaschinen anhand bestimmter Kriterien sortiert und kategorisiert. Für diese Kategorisierung starten Webcrawler ihre Suche von einer bestimmten URL. Diese URL wird zunächst analysiert. Während diese Analyse findet der Bot in der Regel Links, die auf andere Webseiten verweisen. Diese URLs werden von den Bots automatisch einer Liste hinzugefügt, die alle URLs enthält, die als nächstes durchsucht werden sollen. Dabei unterscheiden Crawler je Programmierung anhand der Anzahl der Besucher, die die Webseite aufrufen oder auch anhand der Seiten, auf die die Webseite verlinkt, ob die Seite weiter untersucht und indiziert werden soll oder nicht. Schätzungen zufolge wurden nur etwa 30 bis maximal 70 % aller existierenden Webseiten indiziert.

Wozu werden die von einem Webcrawler gesammelten Daten verwendet?

Die von den Crawlern gesammelten Daten nutzen Suchmaschinen, um Benutzern bei einer Suchanfrage ein möglichst passendes Ergebnis auszuliefern. Google sammelt beispielsweise nicht nur die von Googlebot gesammelten URLs, sondern darüber hinaus noch weitere Informationen. Beispielsweise Bilder, Videos und Texte.

Welche Arten Crawler gibt es?

Die ersten Anfang der 1990er-Jahre eingesetzten Webcrawler konnten Webseiten nur analysieren und indexieren. Hierzu zählen der Googlebot oder der Bingbot von Microsoft. In den vergangenen Jahren wurden weitere spezialisierte, sogenannte fokussierte Webcrawler entwickelt. Sie haben nur eine spezielle Aufgabe. Diese Bots werden zum Sammeln von Preisen, Produktdaten, statistischen Daten oder von Nachrichten eingesetzt. Eine weitere Spezialisierung der Crawler sind die sogenannten Harvester oder E-Mail-Spider. Diese Crawler durchsuchen Webseiten ausschließlich nach Post- und E-Mail-Adressen, die für das Marketing verwendet werden können.

Welche Bedeutung haben Wecrawler für die eigene Website?

Bevor die eigene Webseite von Suchmaschinen und damit von Besuchern gefunden werden kann, muss sie von einem Webcrawler, beispielsweise dem GoogleBot oder dem Bingbot analysiert und indexiert werden. Damit die eigene Webseite möglichst zügig und vollständig gecrawlt wird, sollten bestimmte Voraussetzungen beachtet werden. Beispielsweise ist eine interne Verlinkung sehr wichtig, damit der Bot jede Unterseite der Webseite finden kann. Bestimmte Unterseiten mit für Besucher unwichtigen Inhalten sollten jedoch von der Analyse und der Indexierung ausgeschlossen werden.

Fazit

Ein Crawler ist ein unauffälliges, aber unverzichtbares Tool, mit dem Suchmaschinen neue Webseiten finden, durchsuchen, analysieren und indexieren. Diese Analyse und Indexierung sind wichtig, damit eine neue Webseite von Interessenten gefunden werden kann. Erst wenn eine Webseite durch einen Webcrawler indexiert wurde, kann sie als ein Suchergebnis in den organischen Suchergebnissen einer Suchmaschine wie Google angezeigt werden.