Deep Crawler | SEOlytics SEO Lexikon

Sie befinden sich hier Triangle

SEO Lexikon Triangle

Der englische Begriff Deep Crawl lässt sich mit dem deutschen Begriff "Tiefen-Indexierung" übersetzen. Darunter versteht man die Fähigkeit von Suchmaschinen, selbständig sämtliche Unterseiten einer Webseite zu spidern und zu indexieren. Manche Suchmaschinen können dagegen nur angemeldete Webseiten oder Webseiten bis zu einer bestimmten Verzeichnistiefe erfassen.

Ein Crawler liest die Inhalte einer Webseite mittels verschiedener Verfahren. Arbeitet der Crawler nur oberflächlich, erfasst er dabei lediglich neue Seiten oder einen Teilbereich einer Homepage. Bei einem Deep Crawl werden sämtliche Informationen aller Ebenen erfasst. Bei umfangreichen Webseiten kann das mehrere Stunden dauern. Daher arbeiten Crawler im Regelfall mit Wartezeiten, damit beim Webserver keine Überbelastung entsteht.