Создать robots.txt
Составить правильный Robots.txt для сайта - это первый шаг на пути SEO продвижения вашего проекта. С помощью этого инструмента, вы сможете создать файл, соблюдая все правила поисковых систем. Основным плюсом данного инструмента является то, что здесь вы сможете сразу настроить правила индексации для всех известных поисковых роботов.
Как создать правильный Robots.txt
Что бы правильно составить настройки для поисковых систем, рекомендую вам воспользоваться данным инструментом.
Robots.txt (Роботс) — это текстовый файл (.txt) с кодировкой UTF-8, который находится в корне (корневой директории) сайта и служит для обозначения разрешений и запретов индексации для поисковых роботов.
Для создания Robots.txt вам необходимо заполнить все строчки в «основные данные».
Каждое из этих полей отвечает за свою функцию:
- задержка обхода - скорость перехода (в секундах) на другу страницу;
- host - домен вашего сайта без http:// или https://;
- sitemap - укажите адрес карты сайта (Адрес файла с указание домена и https://);
- запретить индексировать - страницы, которые запрещено посещать роботам. (Без указания домена и https://).
После того, как вы указали все необходимые данные, вам останется указать галочками те поисковые системы, доступ которым вы хотите разрешить. По умолчанию разрешён доступ для всех.
