Pliki robots.txt i sitemap.xml. Kontrola zachowania robotów internetowych

6. Plik sitemap.xml

Plik sitemap.xml ułatwia indeksację witryny WWW. Zawiera on adresy URL podstron serwisu wraz z informacjami o dacie ostatniej modyfikacji. Dzięki temu roboty szybciej odnajdą i zaindeksują nowe podstrony, jakie pojawiły się w serwisie.

Plik sitemap.xml wykorzystuje format XML. Należy stosować kodowanie utf-8, zaś wszystkie wystąpienia znaków <>&'" należy zastąpić encjami:

<  -  &lt;
>  -  &gt;
&  -  &amp;
'  -  &apos;
"  -  &quot;

Pojedynczy plik sitemap.xml musi być mniejszy niż 10 MB i może zawierać co najwyżej 10 000 adresów URL.

Plik z mapą witryny nie może być umieszczony na innym serwerze ani wewnątrz drzewa katalogów. Plik:

http://www.example.net/art/new/sitemap.xml

może wyłącznie dotyczyć adresów URL zawartych wewnątrz:

http://www.example.net/art/new/

Nie może dotyczyć adresów z wyższego folderu, np.:

http://www.example.net/other/

ani tym bardziej z innej domeny.