# $Id: robots.txt 66 2010-01-12 14:01:54Z root $ # $HeadURL: file:///var/svnrepo/marwin/repo1/tags/www.marwin.ch/release-1.1.1/silverstripe/robots.txt $ User-agent: * Disallow: /assets/ Disallow: /cms/ Disallow: /doc/ Disallow: /googlesitemaps/ Disallow: /jsparty/ Disallow: /mysite/ Disallow: /sapphire/ Disallow: /themes/ Disallow: /widget_HtmlContentWidget/ # Folgende Verzeichnisse muessten auch ausgeschlossen werden (Disallow), # aber sie werden in den html-Seiten nicht referenziert, weshalb # ein Indexier-Agent/Bot sie gar nicht findet. # Disallow: /cgi-bin/ # Disallow: /webstats/