Listing 42.6. Przykładowy plik robots.txt
User-agent: *
Disallow: /cgi/
Disallow: /private/
Disallow: /tmp/

Sitemap: http://gajdaw.pl/sitemap.xml