# Datei robots.txt im Hauptverzeichnis der Domain User-agent: * Disallow: /www/cgi-bin Disallow: /www/wp-admin Disallow: /www/wp-includes Disallow: /www/wp-content/plugins Disallow: /www/wp-content/cache Disallow: /www/wp-content/themes Disallow: /www/trackback Disallow: /www/comments Disallow: /www/category/*/* Disallow: */trackback Disallow: */comments Disallow: /*?* #extra ohne /www Disallow: /*? #extra ohne /www Allow: /www/wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow:Allow: /www* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /www* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: /www # digg mirror User-agent: duggmirror Disallow: /www # Falls eine sitemap.xml erzeugt wurde #Sitemap: http://www.meinedomain.de/sitemap.xml