База знаний: Общий FAQ
Создание Robots.txt для индексации сайтов
Отправлено Алексей Ефименко в 11 November 2011 09:30 AM

При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:

User-agent: *
Crawl-delay: 20

Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 20 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки.

Далее что бы робот корректно получал данные для индексации вашего сайта, неободимо создать файл карты сайта  sitemap.xml

который позволит не индексировать роботу битые или не рабочие страницы сайта. Данный файл закачивается так же в корень сайта.

Собственно в создании файла вам поможет сервис Sitemapgenerator

(7 голосов)
Эта статья оказалась полезной
Эта статья не оказалась полезной

Комментарии (1)
Зав.кабинетом
26 May 2013 05:42 PM
Можно ли варьировать данные параметра Crawl-delay в сторону увеличения или уменьшения числа 20, прежде всего интересует поведения робота при индексировании страниц сайта в Yandex и Googl.
© ЦОД РУП "Белтелеком"