Dyrektywa	Wartość	Czy obsługiwane przez Google?
<span class="variable">User-agent</span>	Nazwa robota	Tak
<span class="variable">Disallow</span>	Folder, do którego dostęp ma być zabroniony	Tak
<span class="variable">Sitemap</span>	Nazwa pliku z mapą witryny	Tak
<span class="variable">Request-rate</span>	Maksymalna prędkość wędrowania robota po witrynie	?
<span class="variable">Visit-time</span>	Godziny, w których robot może odwiedzać witrynę	?