SEO: robots.txt

Wegweiser für Suchmaschinen-Roboter



Eine kleine und unscheinbare Textdatei hat sich im Laufe der Zeit zu einem Quasi-Standart entwickelt: robots.txt. Sie dient dazu, den so genannten Robots der Suchmaschinen zu zeigen, welche Ordner und Dateien Ihrer Webpräsenz für eine Indizierung relevant sind. Wie Sie sicher wissen durchforsten die Suchmaschinen mit ihren Suchrobotern ununterbrochen die Weiten des WWW. Dabei kann es sein, dass diese auf Ordner stoßen, die eigentlich gar nicht für die Öffentlichkeit gedacht sind. Jedenfalls nicht in der Form, wie die Inhalte auf dem Server liegen. Wenn eine Web-Site umgebaut wird oder sich im Aufbau befindet, oder Sie bieten eine Website zusätzlich in einer Druckversion an. So können Sie verhindern, daß die Suchmaschine die falsche Version in den Index aufnimmt. Mit der Robots.txt können Sie einen Wegweiser für die Suchmaschine durch den Inhalt Ihrer Web-Präsenz einbauen. Dabei gibt es festgelegte Regeln:



 Die Robots-Datei muss mit dem Namen „robots.txt“ im Rootverzeichnis der betreffenden Web-Site abgelegt werden. Achten Sie auf die Kleinschreibung.

Der Aufbau der Datei sieht folgendermaßen aus:


# robots.txt  
 User-agent: Suchroboter
User-agent: noch_einer
Disallow: /dateien/wichtig/
 User-agent: *
Disallow: /geheim/
Disallow: /privat.html


Mit User-agent  werden die Suchmaschinen bezeichnet. Mit „* „ sind
alle Robots gemeint. Sie können aber auch einzelne mit dem Namen ansprechen. Fassen Sie mehrere Robots für die gleichen Pfadangaben zusammen, müssen Sie diese untereinander schreiben, jeweils in einer neuen Zeile mit User-agent: davor.

Disallow gibt die Verzeichnisse an, die nicht durchsucht werden sollen. Bei Ordnern hängen Sie an das Ende der Verzeichnispfade einen abschließenden Schrägstrich. Bei einzelnen Web-Sites ist das nicht nötig. Und auch hier gilt wieder: Für jede neue Daten-Pfad Anweisung eine neue Zeile mit dem Disalow: davor.
Mit einem Schrägstrich verweigern Sie den Zutritt zu allen Dateien:   Disalow: /

Ohne Angabe geben Sie alles frei:Disalow:
Zwischen die Datensätze kommt eine Leerzeile. Wollen Sie zum Beispiel allen Robots den Zutritt zu sämtlichen Dateien erlauben, sieht Ihre robots.txt folgendermassen aus:

# robots.txt
User-agent: *
Disalow:

Auch wenn Sie sämtliche Dateien für alle Suchmaschinen-Robots freigeben sollten Sie auf die robots.txt nicht verzichten. Google dankt es Ihrer Web-Site. 



Auf dieser Web-Site können Sie Ihre robots.txt testen lassen: