# So schreiben Sie die Datei robots.txt
# Mit # beginnend können Sie Kommentare in die 
# Datei schreiben welche von den Suchmaschinen nicht gelesen werden.
# Der * ist eine sogenannte Wildchar und bedeutet Alle
# robots.txt for http://www.beispiel.de/
# Zugriff auf alle Dateien erlauben
#
User-agent: *
Disallow: /dorsch-i/
#
# So besagt die robots Datei, dass Alle User-agents keine Verbote haben. 
# Dies ist als Standard empfehlenswert.
#
# Im nächsten Beispiel sagen wir, dass alle Suchmaschinen alles lesen dürfen, 
# nur AltaVista (scooter) darf /temp/ nicht auslesen.
#
# User-agent: *
# Disallow: 
#
# User-agent: scooter
# Disallow: /temp/
#
# Ergänzt werden kann dies noch dadurch, dass Sie einen expliziten Allow setzt.
#
# User-agent: scooter
# Disallow: /temp/
# Allow: /temp/beispiel.html
# Ausnahmen
# Ausnahmen bilden mit Passwörtern geschütze Bereiche sowie Dateien mit dem 
# Meta Hinweis noindex, nofollow.
#
# <meta name="robots" content="noindex, nofollow">
# im Gegensatz zu (alles lesen)
# <meta name="robots" content="index, follow, all">
#
# Prüfen
# Überprüfen Sie Ihre Datei direkt über das Internet. Geben Sie einfach die 
# URL der hinaufgeladenen robots.txt auf der folgenden Seite an. 
# http://tool.motoricerca.info/robots-checker.phtml
#
# Die offizielle Infoseite finden Sie unter www.robotstxt.org