# DALA robots.txt vom 22.09.2000; (ist eine Kommentarzeile) # Pentagon GmbH, mail@pentagon-gmbh.de (wieder nur Kommentar) User-agent: * # * = alle Spider ... Disallow: /geheim/ # dürfen nicht in den geheim-Ordner oder untergeordnete Ordner schauen User-agent: Gulliver # dieser spezielle Spider ...(Leerzeile oben nicht vergessen !) User-agent: Scooter # und dieser ebenfalls ... Disallow: /dala/net/ # dürfen nicht in diesen Ordner oder untergeordnete Disallow: /php/roundandround.php3 # dürfen nicht diese Datei öffnen (z.B. Endlosschleife möglich) User-agent: killer # dieser Spider ...(Leerzeile oben nicht vergessen !) Disallow: / # darf gar nichts ! ("/" ist das Grundverzeichnis) User-agent: dala-Spider 1 # dieser Spider ...(Leerzeile oben nicht vergessen !) Disallow: # darf überall hin ! # mit # wird Kommentar eingeleitet (Schreiben Sie ruhig Kommentarzeilen, aber lassen Sie angehängte Kommentare wie hinter "User-Agent..." besser weg.) # User-agent: gibt den Namen des Spiders an, für den die folgenden Disallow-Zeilen gelten (bis zur nächsten Leerzeile) # Alle URLs, die mit den Zeichen beginnen, die hinter "Disallow: " stehen, dürfen nicht besucht werden. # Beispiel: "Disallow: /nein" verbietet sowohl den Besuch von "/nein/doch.htm" als auch von "/neinonein/" oder "/neiner.html"