Pliki robots.txt i sitemap.xml. Kontrola zachowania robotów internetowych

lp.	Adres
1.	Web crawler — hasło w Wikipedii
2.	Nazwy robotów
3.	Nazwy robotów Google
4.	Robots Exclusion Standard — hasło w Wikipedii (en)
5.	Robots Exclusion Protocol — hasło w Wikipedii (pl)
6.	The Web Robots Pages
7.	spiders.pl — Wszystko o robotach wyszukiwarek
8.	Rozszerzenia składni robots.txt robota Google
9.	Sitemaps — hasło w Wikipedii
10.	Sitemaps.org

Tabela 5. Adresy