Выпекаем сайты, находим покупателей

Зачем нужен robots.txt?

robots.txt

Находящийся в корневой директории файл robots.txt, содержит инструкции для поисковых роботов. С их помощью, можно задать запрещённые к индексации страницы, зеркалирование домена и интервал скачивания с сервера страниц.

Использование

Чаще всего, robots.txt используют для ограничения индексации страниц и(или) каталогов сайта. Как правило, запрещают страницы содержащие контент, не несущий полезной информации для индексации. Также в файле указывают путь к sitemap.xml и главному зеркалу сайта.

Пример robots.txt


User-agent: Yandex 
Crawl-delay: 2
Disallow: /uploads/
Disallow: /files/
Disallow: /search/
Disallow: /go.php
Host: makefuture.net

User-agent: Googlebot
Crawl-delay: 2
Disallow: /uploads/
Disallow: /files/
Disallow: /search/
Disallow: /go.php

User-agent: Slurp
Crawl-delay: 8
Disallow: /uploads/
Disallow: /files/
Disallow: /search/
Disallow: /go.php

User-agent: *
Crawl-delay: 10
Disallow: /uploads/
Disallow: /files/
Disallow: /search/
Disallow: /go.php
Sitemap: http://makefuture.net/sitemap.xml

Документация

Документация на Яндексе
Русскоязычный ресурс о robots.txt

Проверка файла

На Яндексе

Продолжайте узнавать!

Данная статья является частью публикации, описывающей приобретение начальных навыков в продвижении и оптимизации Вашего сайта. Советую прочесть весь материал на тему раскрутки и seo-оптимизации.

Комментарии и отзывы к материалу

16.10.2012

Ирина пишет:
А если на блоге стоит реклама гугла, то это как прописать в файле можно?

17.10.2012

Григорий (MakeFuture) пишет:
У гугла есть разные User-agent, конкретно по рекламе: заголовок [b]Mediapartners-Google*[/b]

Т.е. получается вот такой код:
----------------------------------------------------
User-agent: Mediapartners-Google*
Disallow:
Allow: /

User-agent: Googlebot-Image
Disallow:
Allow: /

User-agent: Googlebot
Disallow: /go.php
Disallow: /uploads/
Disallow: /page/testing/
Allow: /
------------------------------------------------------
Это позволит Adsense(и Google-Image) сканировать и анализировать все страницы вашего сайта, когда как основному боту(Googlebot) будут запрещены к индексации "плохие" страницы.

Заголовки Google-ботов:
Googlebot - тот, что индексирует страницы.
Googlebot-Image - тот, что индексирует картинки.
Mediapartners-Google* - adsense.

17.10.2012

Ирина пишет:
Спасибо! Прямо в тему) Код забрала)

Отправить комментарий

Как зовут?

Сообщение