Файл Robots.txt – это файл в формате .txt, хранящийся в корневой папке сайта и содержащий информацию по индексированию для поисковых роботов (Яндекс, Гугл и др.).
С помощью этого файла можно запрещать роботам индексировать определенные страницы, папки, и файлы сайта. Забегая вперед, скажем, что файл robots.txt является рекомендательным и в определённых случаях роботы могут игнорировать прописанные в нём директивы. Тем не менее, это очень важный инструмент в СЕО оптимизации вашего интернет-ресурса.
Создание robots.txt
Этот файл можно создать в любом текстовом редакторе, например подойдут Блокнот, Word, NotePad++ и пр. Затем этот файл необходимо закачать на хостинг. в корневую папку вашего сайта. Кстати, файл robots.txt можно создать и отредактировать прямо в файловом менеджере вашего хостинга.
Базовый оптимальный код файла для WordPress
Файл robots можно составить для каждого поискового робота отдельно, но в большинстве случаев этого не требуется. Тем более, что сейчас все инструкции и директивы роботы Google и Яндекс понимают одинаково.
User-agent: * # общие правила для всех роботов Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /? # все параметры запроса с ? Disallow: /*? # поиск Disallow: /& # поиск Disallow: /*& # поиск Disallow: /author/ # архив автора Disallow: /embed # все встраивания Disallow: /page/ # все виды пагинации Disallow: /trackback # трекбэки Allow: /uploads # открываем uploads Allow: /*.js # открываем скрипты внутри /wp- (/*/ - для приоритета) Allow: /*.css # открываем файлы стилей внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # открываем картинки png Allow: /wp-*.jpg # открываем картинки jpg Allow: /wp-*.jpeg # открываем картинки jpeg Allow: /wp-*.gif # открываем картинки gif Allow: /wp-*.svg # открываем картинки svg Allow: /wp-*.pdf # открываем файлы pdf Allow: /wp-admin/admin-ajax.php Sitemap: https://вашсайт.ru/sitemap.xml
Так выглядит правильный базовый файл robots.txt в 2024 году. Он подойдёт для большинства простых сайтов. Если же вы используете какие-то дополнительные плагины (например Woocommerce) или другие нестандартные решения на вашем сайте, то вам понадобиться доработать файл под свои конкретные задачи.
Базовый оптимальный код файла для WooCommerce
User-agent: * # общие правила для всех роботов Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /? # все параметры запроса с ? Disallow: /*? # поиск Disallow: /& # поиск Disallow: /*& # поиск Disallow: /author/ # архив автора Disallow: /embed # все встраивания Disallow: /page/ # все виды пагинации Disallow: /trackback # трекбэки Disallow: /cart # для WooCommerce Disallow: /checkout # для WooCommerce Disallow: *?orderby=* # для WooCommerce Disallow: *?filter* # для WooCommerce Disallow: *?min_price=* # для WooCommerce Disallow: *?add-to-cart* # для WooCommerce Clean-param: add-to-cart # для WooCommerce Allow: /uploads # открываем uploads Allow: /*.js # открываем скрипты внутри /wp- (/*/ - для приоритета) Allow: /*.css # открываем файлы стилей внутри /wp- (/*/ - для приоритета) Allow: /wp-*.png # открываем картинки png Allow: /wp-*.jpg # открываем картинки jpg Allow: /wp-*.jpeg # открываем картинки jpeg Allow: /wp-*.gif # открываем картинки gif Allow: /wp-*.svg # открываем картинки svg Allow: /wp-*.pdf # открываем файлы pdf Allow: /wp-admin/admin-ajax.php Sitemap: https://вашсайт.ru/sitemap.xml
Разберем используемые директивы
User-agent: *
* означает, что прописанные ниже правила распространяются на всех роботов. Если необходимо задать правила для конкретного робота, то вместо звёздочки нужно указать его имя.
Например:
User-agent: Googlebot – правила для Google.
User-agent: Yandex – правила для робота Яндекса.
Директива Disallow:
С помощью данной директивы мы запрещаем индексацию нужных нам разделов или файлов.
Директива Allow:
С помощью данной директивы мы разрешаем индексацию нужных нам разделов или файлов.
Директива Clean-param:
Позволяет запретить поисковым роботам обход страниц с динамическими параметрами. Особенно актуально для интернет-магазинов.
Sitemap:
Указывает роботам, где располагается файл карты сайта. Их может быть несколько.
Здесь добавились директивы для запрета индексации корзины и фильтров магазина.
