Co je to robots.txt?

Robots.txt je soubor, který dává možnost webmasterům sdělit indexujícím robotům, do jakých částí jejich webu mají přístup.

Tento soubor musí být umístěn v kořenovém adresáři webu a musí to být TXT soubor typu plain text.