# =================================== # Generator: http://pixelfolk.net/tools/robots # Erstellt am: 30.04.2009, 07:07 # Webseite: http://www.melonet.de # =================================== Sitemap: http://www.melonet.de/sitemap.xml # =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== User-agent: * Disallow: /cgi-bin/ Disallow: /admin/ Disallow: /temp/ Disallow: /yaml/ Disallow: /logs/ Disallow: /usage/ Disallow: /yaml/ Disallow: /_templates/ Disallow: /_media/ # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector Disallow: /