База знаний:
Создание Robots.txt для индексации сайтов
Автор Алексей Ефименко на 11 ноября 2011 9:30

При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:

User-agent: *
Crawl-delay: 20

Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 20 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки.

Далее что бы робот корректно получал данные для индексации вашего сайта, неободимо создать файл карты сайта  sitemap.xml

который позволит не индексировать роботу битые или не рабочие страницы сайта. Данный файл закачивается так же в корень сайта.

Собственно в создании файла вам поможет сервис Sitemapgenerator