Как правильно составить robots txt?

8 января 2013 г. Время чтения: 2 мин. Опубликовано в разделах: Блог, Общее

Вопрос того, как правильно составить robots txt, является одним из основных при оптимизации любого сайта – ведь файл robots.txt руководит индексацией страниц Вашего интернет-ресурса, закрывая те или иные разделы сайта от поискового робота. Ниже мы дадим Вам несколько советов, которые подскажут Вам, как правильно составить файл robots txt.

Вот какие функции выполняет данный файл:

1. Исключение из индекса дубликатов страниц и других страниц, которые Вы не хотите демонстрировать поисковому роботу (например, страниц, которые находятся на реконструкции);

2. Указание главного зеркала сайта (с префиксом www или без него);

3. Указание пути к файлу карты сайта sitemap.xml.

Файл robots.txt создается в любом стандартном текстовом редакторе. Вот какие правила необходимо соблюдать при написании данного файла:

1. Файл не должен быть больше 32 килобайт и должен располагаться в корневой директории сайта, максимальное количество директив в нем равняется 1024, в каждой строке также не может быть больше 1024 символов;

2. Каждая инструкция должна начинаться с директивы User-agent и иметь по крайней мере одну директиву Disallow; в файле отдельно прописываются инструкции для поисковой системы Google и остальных поисковых систем, и отдельно – для поисковой системы Яндекс;

3. Пустой файл или его отсутствие позволяют поисковым роботам индексировать все страницы Вашего сайта;

4. Директивы Allow и Disallow – если они находятся в одном блоке, объединенном User-agent, выполняются последовательно;

5. Директива Host определяет главное зеркало вашего интернет-ресурса;

6. Необходимо прописать пути ко всем файлам, в которых содержится карта Вашего интернет-ресурса; это значительно ускорит процесс его индексации.

Понравился пост?

Подпишитесь на ежедневное обновление нашего блога прямо сейчас! Будьте в курсе новостей интернет-маркетинга!

Интернет-магазин и развитие
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Интернет-магазин и развитие на 100%
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Корпоративный сайт и развитие
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Корпоративный сайт и развитие на 100%
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Сайт-визитка и развитие
Получать новости компании 


×
Сайт-визитка, тексты и развитие
Получать новости компании 


×
Сайт-визитка и развитие на 100%
Получать новости компании 


×
Сайт, тексты и развитие (36 262 р)
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж и Google.Adwords
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ и Adwords
Получать новости компании 


×
Лэндинг пейдж и Яндекс.Директ 35 300 руб.
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Пакетное предложение
Получать новости компании 


×
Курс «Продвижение сайта без бюджета»
Получать новости компании 


×
Курс «Продвижение сайтов. Модуль 2»
Получать новости компании 


×
Курс «Профессиональная работа с контекстной рекламой»
Получать новости компании 


×
Курс «Создание Landing page + Яндекс.Директ»
Получать новости компании 


×
Курс «Создание сайта на Joomla 3! Модуль 2. Разработка»
Получать новости компании 


×
Курс «Создание интернет-магазина на VirtueMart»
Получать новости компании 


×
Курс «Создание интернет-магазина на VirtueMart»
Получать новости компании 


×
Курс «WordPress. Модуль 1. Управление сайтом»
Получать новости компании 


×
Курс«WordPress. Модуль 2. Разработка»
Получать новости компании 


×
Курс «Создание интернет-магазина»
Получать новости компании 


×
Курс «Создание сайта на основе CMS/HTML»
Получать новости компании 


×
Курс «Профессиональная веб-аналитика Google и Яндекс»
Получать новости компании 


×
Курс «Непоисковое продвижение сайтов в Интернет»
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Google Adowrds
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ и Google Adowrds
Получать новости компании 


×
Лэндинг пейдж на готовом дизайне и Яндекс.Директ и Google Adowrds 2 месяца
Получать новости компании 


×