Среда, 24.10.2018, 00:31
Приветствую Вас Гость | RSS

SearchEngines - поисковая оптимизация

Меню сайта
Статистика

Онлайн всего: 1
Гостей: 1
Пользователей: 0
Форма входа

Блог

Главная » 2012 » Ноябрь » 5 » Как запретить индексацию сайта поисковыми системами
17:19
Как запретить индексацию сайта поисковыми системами
Ранее мы рассмотрели методы как ускорить индексацию сайта поисковыми системами. Не смотря на то, что все вебмастера хотят как можно более быстрой и полной индексации сайта существуют случаи когда нужно закрыть сайт от индексации ПС. Как правило возникает необходимость закрыть от индексации некоторые служебные части сайта. Это может быть админская часть, страницы регистраций и профилей пользователей, разные формы для ввода информации и т.д. Иногда есть скрытые или секретные разделы сайта которые так же не должны попасть в индекс поисковых систем. В некоторых случаях нужно закрыть от ПС не всю страницу, а часть, например одну ссылку или абзац текста. Поэтому я условно разделяю два вида запрета индексации сайта - запрет индексации страниц (разделов) сайта и запрет индексации части страницы.
Запрет индексации сайта в robots.txt

Сначала рассмотрим как запретить индексацию страниц сайта. Лучше всего это делать через специальный файл robots.txt. Он предназначен для указания поисковым системам инструкций по индексации сайта. Делается он с блокноте Windows и сохраняется c именем robots и расширением txt. В нем прописываются нужные указания и файл помещается в корневую директорию сайта. У одного сайта может быть только один файл robots.txt. Я уже писал про файл robots.txt и потому повторяться не буду, напомню лишь как запретить индексацию сайта в robots.txt.

User-agent:*
Disallow: /file.html
Disallow: /papka/

Где, * - указывает что инструкции для всех поисковых систем
Disallow: /file.html – запрещает индексацию файла file.html
Disallow: /papka/ - запрещает индексацию всех файлов папки papka
Запрещаем индексацию сайта через мета-тег robots

При помощи мета-тега robots можно управлять индексацией конкретной страницы сайта. Данный мета-тег дает указания по индексации страницы ботам всех поисковых систем. Тут нельзя прописать инструкцию для робота конкретной поисковой системы. Как и все мета-теги, он располагается в заголовке документа между тегами <head> </head>. Формат записи такой: <meta name="robots" content="noindex, nofollow"> Через атрибут content могут быть заданы следующие условия: index – разрешает индексировать данную страницу сайта; noindex – запрещает индексировать данную страницу сайта; follow – разрешает индексировать ссылки на данной странице; nofollow – запрещает индексировать ссылки на данной странице; all – включает в себя сразу index и follow (разрешает индексировать и страницу и ссылки); none – включает noindex и nofollow (запрещает индексировать и страницу и ссылки).
Запрет индексации ссылки через инструкцию rel

Инструкция rel учитывается не всеми поисковыми системами. При ее помощи можно закрыть ссылку от индексации в Google и Yahoo. А вот наш любимый Яндекс ее игнорирует. Формат записи: <a href=http://site.ru rel="nofollow">ссылка</a> Такую конструкцию часто используют когда не хотят что бы ссылке передавался ссылочный вес, а так же Google PageRank на ссылаемый сайт.
Запрет индексации части страницы через тег <noindex>

Тег <noindex> дает возможность запретить часть страницы, причем это может быть как текст, так и ссылки или скрипты. Формат записи: <noindex> тут ссылка или часть страницы которую вы хотите закрыть от индексации </noindex> Если инструкцию rel слушаются такие поисковики как Гугл и Яху, то тег ноиндекс применяют когда хотят закрыть индексацию от Yandex и Rambler. Часто этим тегом закрывают нежелательные к индексации ссылки и коды счетчиков и рейтингов.
Просмотров: 800 | Добавил: content | Рейтинг: 0.0/0
Всего комментариев: 0
Имя *:
Email *:
Код *:
Поиск
Календарь
«  Ноябрь 2012  »
ПнВтСрЧтПтСбВс
   1234
567891011
12131415161718
19202122232425
2627282930