Составление правильного robots.txt

Wordpress создание robots.txt
Все поисковики при заходе на сайт ищут файл robots.txt.
Robots.txt — это текстовой файл, который находится в корневой папке сайта, этот документ как инструкция для поисковиков, что делать с вашим сайтом. То есть какие разделы сайта индексировать, а какие нельзя например не стоит индексировать админку, или же если это интернет магазин корзину, т.к. от нее ценных посетителей не появится.
Чтобы создать robots.txt вам понадобится обычный текстовой файл, любой блокнот.
В этот пустой документ вставим следующие строки:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /2011/*
Disallow: /2012/*
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Host: iglous.ru
Sitemap: http://iglous.ru/sitemap.xml.gz
Sitemap: http://iglous.ru/sitemap.xml
Как видите здесь в user agent указан Яндекс, как основной поисковик самый популярный в России. Но чтобы запретить другим поисковикам индексировать надо добавить к User-agent: поискового робота например как называются они:
Поисковик Ссылка Как писать в User-agent ( название ботов)
Google      http://www.google.com     Googlebot
Yahoo!      http://www.yahoo.com      Slurp (или Yahoo! Slurp)
AOL         http://www.aol.com        Slurp
MSN         http://www.msn.com        MSNBot
Live        http://www.live.com       MSNBot
Ask         http://www.ask.com        Teoma
AltaVista   http://www.altavista.com  Scooter
Alexa       http://www.alexa.com      ia_archiver
Lycos       http://www.lycos.com      Lycos
Яндекс      http://www.ya.ru          Yandex
Рамблер     http://www.rambler.ru     StackRambler
Мэйл.ру     http://mail.ru            Mail.Ru
Aport       http://www.aport.ru       Aport
Вебальта    http://www.webalta.ru   WebAlta(WebAlta Crawler/2.0)
Приведу пару примеров как это работает.
1. Этот код обозначает,что все поисковики могут индексировать все без исключения на вашем сайте

User-agent: *Disallow:

2. Следующий код наоборот запрещает всем поисковикам индексировать сайт. Отличие от первого кода, что после Disallow: ставится /

User-agent: *Disallow: /

3. А вот такой код уже запрещает индексировать отдельную часть сайта, содержимое всего каталога, например если путь к этому каталогу http://ваш сайт.ru/image/ , то тогда

User-agent: *Disallow: /image/

4. А этот код запрещает индексировать директорию image, а также директории, файлы и все, что начинается на image т.е. файл «image.php» «image.htm» « images.htm» директории image и т.д.

User-agent: *Disallow: /image


Похожие записи:

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Похожие записи: