SEO: Что такое Robots.txt?

Интересно: С ребятами из студии "Sivov&Partners" оптимизация сайтов стала намного проще. Не стесняйтесь продвигать свои сайты у них!

Текстовый документ robots.txt очень важный для каждого сайта. Этот текстовый файл Вы можете найти в корневом каталоге Вашего сайта. Данный файл содержит инструкции для поисковиков. С его помощью Вы можете указать основное зеркало и путь к файлу sitemap и запретить индексацию некоторых разделов сайта, а также тех или иных страниц. В ценности файла robots.txt Вы можете убедиться на примере скрытия от индексации технических разделов веб-сайта. Если же технические страницы на Вашем сайте готовы к индексированию, то поисковый робот будет стараться выбросить из индекса эти страницы и совершенно случайно закрыть полезные.

Роботс

SEO: Что такое Robots.txt?


Смотрите полный видеокурс на iTunes

Как создать файл Роботс?

Создать robots.txt Вы можете, воспользовавшись самым обыкновенным блокнотом. После помещения его в корневой каталог сайт, первое, что сделает поисковик, зайдя на Ваш сайт, это прочитает файл с инструкциями. Чтобы настроить robots.txt необходимо воспользоваться двумя основными директивами: Disallow и User-agent. User-agent определяет каким именно поисковым роботом будет выполняться запрет на индексацию, прописанный в директиве Disallow. Например: User-agent:* Disallow:/ - такая инструкция запрещена к индексации сайта для всех поисковых систем. Если же после директивы Disallow указать путь к каталогу или файлу, то робот не будет проводить индексирование. Не прописывайте разные пути в одной строке, т.к. такая строка просто не сработает. Если Вы хотите открыть директорию или файл к индексации – нажмите Allow.
В robots.txt также могут использоваться дополнительные директивы:
Директива Sitemap – команда, помогающая поисковому роботу определять, где месторасположение файл с картой Вашего сайта.
Директива Host используется в случае, если у Вашего сайта есть несколько зеркал. Главная задача директивы Host указать на основное зеркало. Он и будет присутствовать в выдачах поисковиков.
Директива Crawl-delay необходима для задержки времени между загрузкой страниц Вашего веб-сайта роботом поисковика. Это очень полезно, если на Вашем сайте огромное количество страниц. К примеру: Crawl-delay: 9 –перерыв между загрузками страниц 9 секунд.
Директива Request-rate ответственная за равные периоды времени при загрузке страниц поисковиком. К примеру: Request-rate: 1/5 – поисковый робот будет загружать 1 страницу с интервалом в 5 сек.
Директива Visit-time совершенно точно определяет промежуток времени, в который поисковому роботу нужно загружать страницы, но только в том случае, если время выставлено по Гринвичу (Visit-time:0400-0600).

К каким последствиям приводит некорректная настройка robots.txt?

Неправильная настройка файла robots.txt приводит к тому, что в поиске откроются страницы, содержащие скрытую информацию о пользователях и покупателях Вашего сайта или же наоборот, нужные страницы могут находиться под запретом на индексацию роботами поисковиков и проходить как конфиденциальные.

Как проверить настройки robots.txt?

Для проверки корректности настроек Роботс, Вы можете воспользоваться специальным сервисом Яндекс, а точнее Вебмастером – он назовет анализ robots.txt. Это делается очень просто, достаточно вписать в поле имя домена, который подлежит проверке, и Вы увидите свои ошибки.

Интересно: Неужели у Вас проблемы с дверным замком? Теперь установка замка в дверь в любом месте и в любое время, да еще и по приемлемым ценам! Обращайтесь к нам! Мы находимся в Москве.

Похожие статьи:

3 коммент. к “SEO: Что такое Robots.txt?”

  1. Генадий пишет:

    Правильно организованный robots.txt очень хорошо влияет на оптимизацию сайта. Создавая его, запретите к индексации все, что ненужно для поисковиков (дубли страниц, ленты и т. д.). У меня после правильной настройки сайт уверенно полез вверх.


  2. Филипп пишет:

    Спасибо за интересную статью! Полезно и интересно!


  3. Вскрытие замков пишет:

    Яндекс на днях ввел изменения для описания allow/ disallow - теперь нельзя оставлять значения пустыми (ставим * или /)


Оставить комментарий или два

XHTML: Вы можете использовать эти тэги: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

https://cpa-partners.top Cpamatica отзывы от вебмастеров
Материалы на сайте представлены в учебных целях. Автор не несет ответственности за их использование другими лицами.