Что такое robots.txt

Спонсор статьи: dofollow блоги - самый большой список!

Что такое robots.txt? Наверное каждый в своей жизни множество раз сталкивается с этим файлом. Я расскажу Вам что это за файл, для чего он предназначен и как правильно его написать. И так...robots.txt, wall-e

robots.txt - это файл, который размещен в корне Вашего сайта на хостинге. Поисковые роботы Яндекса, Гугла и других поисковых систем, когда попадают на Ваш сайт, в первую очередь ищут этот файл, чтобы посмотреть, какие страницы Вы разрешаете проиндексировать, а какие нет.

Теперь перейдем к правилам создания файла.

Как Вы уже догадались, robots.txt - это текстовый файл. Его можно создать в обычном блокноте. Опять же советую для редактирования каких-либо файлов Вашего сайта использовать Notepad 2.

В robots.txt используеться 2 команды: "User-agent" и "Disallow".

Знак "#" - комментарии.

User-agent - определяет робота, а Disallow - задает файл, который будет закрыт для индексации.

Пример с объяснениями:

User-agent: Aport
User-agent: Yandex
Disallow: /next
#запрещение индексации Апорту и Яндексу ссылок, которые начинаються с "/next"
#если запретов несколько, то каждый Disallow писать с новой строки

User-agent: Aport
Disallow:
#пустое поле разрешает Апорту индексировать все ссылки

User-agent: *
Disallow: /next
#Запретить всем роботам индексацию ссылок, которые начинаются с "/next"

И последнее:

User-Agent: Yandex
Disallow: /*.jpg$
#Запрещает Яндексу индексацию файлов с расширением .jpg

Переходим к мета-тегу:

Этот мета-тег предназначен для разрешения или запрещения индексации поисковым роботом текущей страницы. Продвинутые СЕОшники часто используют его.

Сначала напишу параметры:

NOINDEX - запрещает индексацию страницы;
INDEX - разрешает индексацию страницы;
NOFOLLOW - запрещает переход по ссылкам, которые есть на данной странице;
FOLLOW - переход по ссылкам, которые есть на данной странице;
ALL - индексировать все
NONE - не индексировать ничего

А теперь конкретный пример мета-тега:

<html>
<head>
<meta name="robots" content="index, follow">

<meta name="description" content="Текущая страница">
<title>...</title>
</head>
<body>

Другое из сети:
Отличный отдых в анапе обеспечит Вам пансионат "Бригантина"
Вся информация для сада и огорода в помощь начинающим садоводам.

Похожие статьи:

3 коммент. к “Что такое robots.txt”

  1. kik11 пишет:

    Спасибо, помогло. Есть такой вопрос: А создание на сайте robots.txt может ускоритьь индексацию сайта? и в какую директорию его загружать на хост?


  2. Iceman пишет:

    На скорость индексации роботс.тхт не влияет. Для лучшей индексации нужно создать карту сайта и загрузить ее в Гугл Вебмастерс и Яндекс Вебмастер.
    Роботс.тхт загружать в корень сайта нужно.


  3. cheap motilium пишет:

    With a vaporizer, which doesn’t [i]atc code product specification actos[/i] the resultados since it’s upstream registered cbc and thc.


Оставить комментарий или два

XHTML: Вы можете использовать эти тэги: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Материалы на сайте представлены в учебных целях. Автор не несет ответственности за их использование другими лицами.