Pliki robots.txt i sitemap.xml. Kontrola zachowania robotów internetowych

4. Przykładowe pliki robots.txt

4.1 Przykład 1

Wszystkie roboty mogą odwiedzać wszystkie pliki:

User-agent: *
Disallow:

Ten sam efekt da pusty plik robots.txt lub brak pliku robots.txt.

4.2 Przykład 2

Zakaz pobierania czegokolwiek przez kogokolwiek:

User-agent: *
Disallow: /

4.3 Przykład 3

Żaden robot nie może zaglądać do żadnego z trzech folderów:

User-agent: *
Disallow: /cgi/
Disallow: /private/
Disallow: /tmp/

4.4 Przykład 4

Konkretny robot ma zakazany wstępu do konkretnego folderu:

User-agent: Googlebot-Image
Disallow: /photos/

4.5 Przykład 5

Żaden robot nie powinien pobierać pliku file.html:

User-agent: *
Disallow: /directory/file.html

4.6 Przykład 6

Zakaz dostępu do serwisu dla pięciu wybranych programów kopiujących całe witryny WWW:

User-agent: WebStripper
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: HTTrack
Disallow: /

User-agent: wget
Disallow: /