Как в robots.txt запретить индексацию сайта

20 февраля 2013 г. Время чтения: 2 мин. Опубликовано в разделах: Блог, Общее

Иногда у Вас может возникнуть необходимость закрыть от индексации в Яндексе некоторые из страниц Вашего интернет-сайта или даже целые его разделы. Это может быть связано, к примеру, с тем, что Вы ведете на своем интернет-ресурсе какие-то работы и не хотите пускать в индекс Яндекса (а значит, и в поисковую выдачу) недоделанные страницы. Для того, чтобы скрыть страницы от индексации, необходимо robots запретить индексацию сайта.

Примеры
Как в robots запретить индексацию сайта? Для этого в файл robots.txt вносится специальная директива Disallow. Вот как это выглядит:

Пример того, как закрыть сайт от индексации полностью:

User-agent: Yandex

Disallow: / #

Пример закрытия доступа ко всем страницам, которые начинаются с /cgi-bin

User-agent: Yandex
Disallow: /cgi-bin #

Правила
Что нужно помнить при работе с директивой Disallow?

1. Пустые переводы строки между директивами 'User-agent' и 'Disallow' '), а также между самими 'Disallow' директивами недопустимы – файл в таких случаях будет работать некорректно.

2. Перед каждой директивой 'User-agent', как правило, вставляется пустой перевод строки – это один из стандартов написания файла.

3. Символ '#' обозначает конец директивы и начало текстового комментария. Все символы, находящиеся после этого знака и до первого следующего за ним перевода строки, для робота директивой не являются и им не учитываются.

4. Обе директивы Allow и Disallow проходят сортировку по длине префикса URL (от меньшего к большему). Директивы применяются последовательно – то есть, если для одной страницы в файле есть несколько директив, то действующей будет считаться та, которая внесена в файл последней.

5. Необходимо учитывать, если у Вас имеются две взаимоисключающие директивы для одной и той же страницы сайта, то приоритет отдается разрешающей директиве Allow.

Понравился пост?

Подпишитесь на ежедневное обновление нашего блога прямо сейчас! Будьте в курсе новостей интернет-маркетинга!

Интернет-магазин и развитие
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Интернет-магазин и развитие на 100%
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Корпоративный сайт и развитие
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Корпоративный сайт и развитие на 100%
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Сайт-визитка и развитие
Получать новости компании 


×
Сайт-визитка, тексты и развитие
Получать новости компании 


×
Сайт-визитка и развитие на 100%
Получать новости компании 


×
Сайт, тексты и развитие (36 262 р)
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж и Google.Adwords
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ и Adwords
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ 35 300 руб.
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Курс «Продвижение сайта без бюджета»
Получать новости компании 


×
Курс «Продвижение сайтов. Модуль 2»
Получать новости компании 


×
Курс «Профессиональная работа с контекстной рекламой»
Получать новости компании 


×
Курс «Создание Landing page + Яндекс.Директ»
Получать новости компании 


×
Курс «Создание сайта на Joomla 3! Модуль 2. Разработка»
Получать новости компании 


×
Курс «Создание интернет-магазина на VirtueMart»
Получать новости компании 


×
Курс «Создание интернет-магазина на VirtueMart»
Получать новости компании 


×
Курс «WordPress. Модуль 1. Управление сайтом»
Получать новости компании 


×
Курс«WordPress. Модуль 2. Разработка»
Получать новости компании 


×
Курс «Создание интернет-магазина»
Получать новости компании 


×
Курс «Создание сайта на основе CMS/HTML»
Получать новости компании 


×
Курс «Профессиональная веб-аналитика Google и Яндекс»
Получать новости компании 


×
Курс «Непоисковое продвижение сайтов в Интернет»
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Google Adowrds
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ и Google Adowrds
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ и Google Adowrds 2 месяца
Получать новости компании 


×