# robots.txt für cvjm-moers.de # Beispiel wie in http://de.wikipedia.org/wiki/Robots.txt # Diese Webcrawler schließe ich aus #User-agent: Sidewinder #Disallow: / # # # Diese Verzeichnisse/Dateien sollen nicht durchsucht werden #User-agent: * #Disallow: /default.html #Disallow: /Temp/ # diese Inhalte verschwinden bald User-agent: * Disallow: /download/ Disallow: /forum/