Roboty internetowe (ang. web spiders, web crawlers) przez cały czas przemierzają internet analizując, archiwizując oraz indeksując znalezione zasoby. Administrator serwisu WWW może w pewnym stopniu kontrolować zachowanie robotów odwiedzających jego witrynę. Umożliwiają to pliki robots.txt oraz sitemap.xml. Pierwszy z nich, robots.txt, pozwala na blokowanie dostępu do wybranych podstron serwisu dla konkretnych robotów. Drugi, sitemap.xml, zachęca roboty do szybszego i dokładniejszego indeksowania.
12/01/07
