Robots.txt | SEOlytics SEO Lexikon

Sie befinden sich hier Triangle

SEO Lexikon Triangle

Hierbei handelt es sich um eine Textdatei. Diese kann in das Hauptverzeichnis einer Webseite eingetragen werden, um Spider davon abzuhalten, bestimmte Unterseiten, Dateien oder Ordner durchzusehen und in den Datenbestand der Suchmaschinen aufzunehmen. Die seriösen Spider der großen Suchmaschinen folgen auch dieser Anweisung.

Hat man also eine Webseite, die auf keinen Fall indexiert werden soll, aus welchem Grund auch immer, sollte das Verzeichnis immer mit einem Passwort geschützt werden. Als Webmaster kann man aber mithilfe der IP, bzw. des Agent Namen vom Spider erkennen, welche Spider sich nicht an diese Vorgabe halten wollen, und diese dann über die Htaccess-Datei davon abhalten, trotzdem auf die Seite zuzugreifen. Robots, die für Spam-Zwecke unterwegs sind, halten sich in der Regel nicht daran.