Блог

Главная » 2012 » Ноябрь » 5 » Как запретить индексацию сайта поисковыми системами

17:19

Как запретить индексацию сайта поисковыми системами

Ранее мы рассмотрели методы как ускорить индексацию сайта поисковыми системами. Не смотря на то, что все вебмастера хотят как можно более быстрой и полной индексации сайта существуют случаи когда нужно закрыть сайт от индексации ПС. Как правило возникает необходимость закрыть от индексации некоторые служебные части сайта. Это может быть админская часть, страницы регистраций и профилей пользователей, разные формы для ввода информации и т.д. Иногда есть скрытые или секретные разделы сайта которые так же не должны попасть в индекс поисковых систем. В некоторых случаях нужно закрыть от ПС не всю страницу, а часть, например одну ссылку или абзац текста. Поэтому я условно разделяю два вида запрета индексации сайта - запрет индексации страниц (разделов) сайта и запрет индексации части страницы.
Запрет индексации сайта в robots.txt

Сначала рассмотрим как запретить индексацию страниц сайта. Лучше всего это делать через специальный файл robots.txt. Он предназначен для указания поисковым системам инструкций по индексации сайта. Делается он с блокноте Windows и сохраняется c именем robots и расширением txt. В нем прописываются нужные указания и файл помещается в корневую директорию сайта. У одного сайта может быть только один файл robots.txt. Я уже писал про файл robots.txt и потому повторяться не буду, напомню лишь как запретить индексацию сайта в robots.txt.

User-agent:*
Disallow: /file.html
Disallow: /papka/

Где, * - указывает что инструкции для всех поисковых систем
Disallow: /file.html – запрещает индексацию файла file.html
Disallow: /papka/ - запрещает индексацию всех файлов папки papka
Запрещаем индексацию сайта через мета-тег robots

При помощи мета-тега robots можно управлять индексацией конкретной страницы сайта. Данный мета-тег дает указания по индексации страницы ботам всех поисковых систем. Тут нельзя прописать инструкцию для робота конкретной поисковой системы. Как и все мета-теги, он располагается в заголовке документа между тегами <head> </head>. Формат записи такой: <meta name="robots" content="noindex, nofollow"> Через атрибут content могут быть заданы следующие условия: index – разрешает индексировать данную страницу сайта; noindex – запрещает индексировать данную страницу сайта; follow – разрешает индексировать ссылки на данной странице; nofollow – запрещает индексировать ссылки на данной странице; all – включает в себя сразу index и follow (разрешает индексировать и страницу и ссылки); none – включает noindex и nofollow (запрещает индексировать и страницу и ссылки).
Запрет индексации ссылки через инструкцию rel

Инструкция rel учитывается не всеми поисковыми системами. При ее помощи можно закрыть ссылку от индексации в Google и Yahoo. А вот наш любимый Яндекс ее игнорирует. Формат записи: <a href=http://site.ru rel="nofollow">ссылка</a> Такую конструкцию часто используют когда не хотят что бы ссылке передавался ссылочный вес, а так же Google PageRank на ссылаемый сайт.
Запрет индексации части страницы через тег <noindex>

Тег <noindex> дает возможность запретить часть страницы, причем это может быть как текст, так и ссылки или скрипты. Формат записи: <noindex> тут ссылка или часть страницы которую вы хотите закрыть от индексации </noindex> Если инструкцию rel слушаются такие поисковики как Гугл и Яху, то тег ноиндекс применяют когда хотят закрыть индексацию от Yandex и Rambler. Часто этим тегом закрывают нежелательные к индексации ссылки и коды счетчиков и рейтингов.

Просмотров: 1256 | Добавил: content | Рейтинг: 0.0/0

Всего комментариев: 0

Поиск

Календарь

Архив записей

Друзья сайта

Реклама сайта в интернете

SearchEngines - поисковая оптимизация

Блог