Webcrawlen
Die Webcrawler (alternativ: Bots, Spider etc.) sind automatisch ablaufende Computerprogramme, die das World Wide Web durchsuchen. Die häufigste Anwendung ist die Suche und Bewertung von Internetseiten durch Suchmaschinencrawler. Der Prozess der Suche wird in diesem Zusammenhang auch als crawlen bezeichnet. Die Webcrawler folgen dabei genau vorgegeben Routinen, die sie in stetiger Wiederholung vollziehen. Sie schaffen die Grundlage aufgrund derer die Suchmaschine ihre Ergebnisse ermitteln und anzeigen.










