Перейти к содержимому

8 ноября, 2011

2


Как создать файл Robots.txt — запрет дублирования на сайте

robots-txt

Доброго времени суток читатели блога SeoVast.ru! Обстоятельства реальной жизни повлияли на отсутствие в on-line активности. Но все встает на свои места и мы переходим к новым знаниям!

В предыдущем уроке о санкциях поисковых систем мы рассмотрели фильтр Google Duplicate Content Filter (от Google) и Ты последний (от Yandex). Что бы избежать дублирования текста у себя на сайте необходимо задать поисковым роботам параметры сканирования сайта. Для этого нужно создать простой текстовый документ с заданными параметрами, где будет указано, что именно не должны сканировать поисковые машины. Ниже приведен оптимальный вариант файла robots.txt:

Robots.txt — как сделать правильный файл:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Host: moi-site.ru
Sitemap: http://moi-site.ru/sitemap.xml.gz
Sitemap: http://moi-site.ru/sitemap.xml

Для того что бы создать подобный файл нужно у себя на компьютере сделать текстовый документ и задать ему имя — robots.txt.

файл robots-txt

В строке host и sitemap после http:// запись moi-site.ru меняем на имя своего домена.

Основные моменты, которые вы можете как добавлять, так и удалять:

  • Wp-content — структура сайта.
  • Trackback — ссылки на сайты, в которых упоминали ваш сайт.
  • Feed — новостные ленты.
  • Tag — маркеры поиска на сайте.
  • Allow — разрешает поисковым системам сканировать отмеченный каталог.
  • Disallow — запрещает сканировать.

Trackback, feed, tag — термины, которые в будущих уроках мы рассмотрим более подробно (на данный момент они не представляют чрезвычайной важности) и вы сами решите разрешать или запрещать их индексацию.

Сейчас копируем код файла robots.txt, создаем текстовый документ, вставляем скопированное и переименовываем moi-site на имя своего домена .ru сохраняем изменения и называем текстовый документ — robots.txt

Теперь этот документ нам нужно разместить на хостинге. Для этого переходим к следующему уроку и настраиваем FTP-доступ к своему сайту.
P.S Узнать насколько правильно мы создали файл Robots.txt можно в этом уроке.

Так же читайте:


Также вы можете просмотреть Все записи блога

Узнайте больше из Оптимизация и продвижение
, ,



Узнавайте О Новых Статьях По Почте
2 комментария
  1. Роман
    Мар 7 2013

    А где-то есть генератор файла robot.txt или надо вручную всегда его делать?

    Иванов Сергей Reply:
    марта 28, 2013 at 16:37

    Генераторы есть, в поиске сразу выдается. Но и в генераторе надо понимать что вы делаете и какие части сайта закрываете от индексации. В принципе, если совместить с информацией из статьи, то думаю проблем у вас не должно возникнуть.

Комментарии закрыты.