Новые правила обработки robots.txt АРХИВ

15 января 2013 г. Время чтения: 2 мин. Опубликовано в разделах: Блог, Общее

Один из способов управления поведением поисковых роботов на сайте, является текстовый файл robots.txt. Данный файл содержит в себе набор правил, которым поисковые системы обязуются следовать. Здесь Вы можете закрыть необходимые разделы сайта от индексации, указать путь до карты сайта, а также настроить главное зеркало сайта.

Для того, что бы открыть доступ для определенного раздела сайта, используется директива 'Allow'.

Пример:

User-agent: Yandex
Allow: /list
Disallow: /
# запрещает индексировать все, кроме страниц
# находящихся в каталоге '/list'

Для корректной обработки директив в файле robots.txt, их необходимо использовать с учетом порядка: если для страницы сайта применяется несколько директив, то выбирается первая по списку.

Например:

User-agent: Yandex
Allow: /list
Disallow: /
# запрещает индексировать всё, кроме страниц
# находящихся в '/list'

User-agent: Yandex
Disallow: /
Allow: /list
# запрещает индексировать весь сайт

В течение нескольких недель Яндекс планирует внедрить изменения в обработку директивы allow, отказавшись от учета порядка. Сортироваться директивы теперь будут по длине префикса URL’а (от наименьшего к наибольшему) и применяться последовательно. Это изменение позволит ПС Яндекс соответствовать международным принципам применения директив, чтобы у зарубежных и российских пользователей не возникало проблем при составление файла robots.txt.

Если на сегодня, Ваш сайт использует директивы allow или disallow, пожалуйста проверьте его на предмет ошибок и соответствие международным стандартам.

Понравился пост?

Подпишитесь на ежедневное обновление нашего блога прямо сейчас! Будьте в курсе новостей интернет-маркетинга!

Интернет-магазин и развитие
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Интернет-магазин и развитие на 100%
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Корпоративный сайт и развитие
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Корпоративный сайт и развитие на 100%
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Сайт-визитка и развитие
Получать новости компании 


×
Сайт-визитка, тексты и развитие
Получать новости компании 


×
Сайт-визитка и развитие на 100%
Получать новости компании 


×
Сайт, тексты и развитие (36 262 р)
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж и Google.Adwords
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ и Adwords
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ 35 300 руб.
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Курс «Продвижение сайта без бюджета»
Получать новости компании 


×
Курс «Продвижение сайтов. Модуль 2»
Получать новости компании 


×
Курс «Профессиональная работа с контекстной рекламой»
Получать новости компании 


×
Курс «Создание Landing page + Яндекс.Директ»
Получать новости компании 


×
Курс «Создание сайта на Joomla 3! Модуль 2. Разработка»
Получать новости компании 


×
Курс «Создание интернет-магазина на VirtueMart»
Получать новости компании 


×
Курс «Создание интернет-магазина на VirtueMart»
Получать новости компании 


×
Курс «WordPress. Модуль 1. Управление сайтом»
Получать новости компании 


×
Курс«WordPress. Модуль 2. Разработка»
Получать новости компании 


×
Курс «Создание интернет-магазина»
Получать новости компании 


×
Курс «Создание сайта на основе CMS/HTML»
Получать новости компании 


×
Курс «Профессиональная веб-аналитика Google и Яндекс»
Получать новости компании 


×
Курс «Непоисковое продвижение сайтов в Интернет»
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Google Adowrds
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ и Google Adowrds
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ и Google Adowrds 2 месяца
Получать новости компании 


×