Social Media Glossar
Webcrawler
Suchmaschinen verwenden Webcrawler, um einen Index zu erstellen und so die Suche schneller und effektiver zu gestalten. Diese spezielle Art von Computerprogrammen „surft“, ähnlich wie der menschliche User, über die Hyperlinks durch die Webseiten im Netz. Die Crawler speichern alle von ihnen besuchten Seiten und verarbeiten sie je nach Aufgabe anschließend für die Suchmaschine weiter. Diese Recherche führen sie weitgehend autonom aus und werden deshalb auch Bots (Ableitung von Robot) genannt. Problematisch daran ist, dass die Crawler nur einen eingegrenzten Bereich der Webseiten erreichen können, da sie den Weg zu ihnen nur über Links finden. Inhalte, die nicht verlinkt sind, werden von ihnen nicht gespeichert.