Robots.txt — это текстовый файл, который располагается в корне сайта. Главное его предназначение - это задавать определённые директивы поисковым системам - что и когда делать на сайте. В статье описаны все основные директивы и много примеров. В составлении robots.txt теперь разберётся и ребёнок.