<strong>Roboty internetowe</strong> (ang. <em>web spiders</em>, 
<em>web crawlers</em>) przez cały czas przemierzają internet
analizując, archiwizując oraz indeksując znalezione zasoby.
Administrator serwisu WWW może w pewnym stopniu 
kontrolować zachowanie robotów odwiedzających jego witrynę.
Umożliwiają to pliki
<span class="filename">robots.txt</span> oraz <span class="filename">sitemap.xml</span>.
Pierwszy z nich, <span class="filename">robots.txt</span>,
pozwala na blokowanie dostępu do wybranych 
podstron serwisu dla konkretnych robotów.
Drugi, <span class="filename">sitemap.xml</span>, zachęca roboty do szybszego 
i dokładniejszego indeksowania.