Tag Archives: wordpress robots.txt

Составление правильного robots.txt

Составление правильного robots.txt Все поисковики при заходе на сайт ищут файл robots.txt. Robots.txt - это текстовой файл, который находится в корневой папке сайта, этот документ как инструкция для поисковиков, что делать с вашим сайтом. То есть какие разделы сайта индексировать, а какие нельзя например не стоит индексировать админку, или же если это интернет магазин корзину, т.к. от нее ценных посетителей не появится. Чтобы создать robots.txt вам понадобится обычный текстовой файл, любой блокнот. В этот пустой документ ...