Система поддержки ЦОД

Часто задаваемые вопросы: Общий FAQ
Как создать Robots.txt для индексации сайтов?
Автор Алексей Ефименко, Last modified by Алексей Ефименко на 15 декабря 2021 17:09

При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:

User-agent: *
Crawl-delay: 20

Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 20 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки.

Далее что бы робот корректно получал данные для индексации вашего сайта, неободимо создать файл карты сайта  sitemap.xml

который позволит не индексировать роботу битые или не рабочие страницы сайта. Данный файл закачивается так же в корень сайта.

Собственно в создании файла вам поможет сервис Sitemapgenerator