Блог

Главная » 2012 » Ноябрь » 5 » Robots.txt и как его создать

16:01

Robots.txt и как его создать

Все поисковые пауки при заходе на сайт первым делом обращаются к файлу robots.txt, в котором написаны инструкции для них. Так что же это за файл?

Большинство начинающих веб-мастеров и не догадываются о его важности, поэтому и не создают robots.txt. На многих формах я часто слышу вопрос от новичков - "как составить robots.txt". Я решил уделить время, описанию этого важного элемента в оптимизации сайта.

Robots.txt – это текстовый файл, который содержит инструкции для поисковых пауков. Файл должен находится в корневой директории сайта. Правильно составленный robots.txt закроет от индексации служебные страницы сайта, и позволит решить проблемы с зеркалами сайта (url'ы с www и без).

Как создать robots.txt

Создать robots.txt очень легко. Достаточно иметь под рукой текстовый редактор "Блокнот", который идёт в комплекте с Windows.. Создаём новый блокнот, прописываем нужные директивы (о них читайте ниже) и закидывайте в корневой каталог сайта. Для одного сайта можно использовать только один файл robots.txt, то есть не надо делать отдельный под каждую поисковую систему.
Формат файла robots.txt

В обязательно порядке, в файле robots.txt должны быть две директивы:

User-agent: - определяет для бота какой поисковой системы будет заданы инструкции
Disallow: - указывает, какую директорию нельзя индексировать

Можно задать одинаковые инструкции для всех поисковых систем, вот так: User-agent: *
Вот пример файла robots.txt:

User-agent: *
Disallow: / test .htm
Disallow: /files/

Где, * - указание для всех поисковых систем

Disallow: / test .htm – запрещает индексацию файла test .htm

Disallow: /files/* - запрещает индексацию всех файлов из папки "files"
Если вам не надо закрывать страницы от поисковиков, то правильный robots.txt должен выглядеть так:

User-agent: *
Disallow:

Robots.txt для Яндекса

В robots.txt для Яндекса, нужно обязательно указывать директиву "Host". Это поможет определиться Яндексу, какой домен будет основным зеркалом сайта - с www или без него. Лучше делайте всё сразу по-правильному. Вот пример файла robots.txt для Яндекса:

User-agent: Yandex
Disallow: /files
Host: test .org

Часто начинающие сайтостроители задают вопрос: "Как лучше сделать, с www или без?". Мой ответ: абсолютно никакой разницы нет. В моём robots.txt директива host указана без www. Сайт будет одинаково хорошо работать и с www и без.

Директиву host распознаёт только поисковой паук Яндекса, поэтому директивы для него и для других поисковиков нужно разделять. Содержание файла robots.txt будет примерно таким:

User-agent: Yandex
Disallow: /files
Host: site.ru

User-agent: *
Disallow: /files

Думаю этой информации вам должно хватить для правильного составления файла robots.txt.

Просмотров: 551 | Добавил: content | Рейтинг: 0.0/0

Всего комментариев: 0

Поиск

Календарь

Архив записей

Друзья сайта

Реклама сайта в интернете

SearchEngines - поисковая оптимизация

Блог