Wykorzystując pliki robots.txt oraz sitemap.xml ułatwiamy indeksację zawartości serwisu robotom internetowym. W pliku robots.txt należy umieścić dyrektywę Sitemap wskazującą plik z mapą witryny (lub z indeksem map):
robots.txt ---------- Sitemap: http://www.example.net/sitemap.xml
Natomiast w pliku sitemap.xml umieszczamy mapę witryny:
sitemap.xml ---------- <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> ... </urlset>
Robot odwiedzający witrynę pobierze plik robots.txt. Na jego podstawie pozna adres pliku z mapą witryny. Po pobraniu mapy sitemap.xml, robot uzyska pełne informacje o podstronach witryny.
Najważniejszy z robotów, Googlebot, pobiera plik robots.txt raz na dobę.
