Как настроить robots.txt в WordPress для закрытия технических страниц

Если в индексе всплывают служебные URL, архивы, параметры поиска или системные страницы, проблема часто не в «плохом SEO», а в слишком мягком robots.txt. В WordPress это особенно заметно на сайтах с плагинами, фильтрами, комментариями и нестандартными архивами: поисковик тратит краулинговый бюджет на мусор, а в выдаче появляются дубли.

Ниже — рабочая схема: что именно закрывать, как не переборщить и как проверить, что robots.txt действительно помогает, а не мешает.

Какие страницы обычно стоит закрывать

robots.txt не решает все задачи индексации, но хорошо подходит для ограничения обхода технических URL. Закрывать имеет смысл то, что не должно участвовать в поиске и не несёт самостоятельной ценности для пользователя.

• /wp-admin/ — административная часть сайта;
• /wp-includes/ — системные файлы WordPress;
• /wp-content/plugins/ и /wp-content/themes/ — если поисковик упорно тратит ресурсы на статические файлы;
• служебные параметры поиска и фильтрации, если они генерируют мусорные URL;
• внутренние страницы поиска по сайту, если они индексируются как отдельные документы;
• архивы автора, даты, теги и прочие таксономии — но только если вы осознанно не используете их в SEO-структуре.

Важно: robots.txt не удаляет страницу из индекса сам по себе. Если URL уже проиндексирован, одной директивы Disallow может быть недостаточно. Для удаления из выдачи обычно нужен ещё noindex на самой странице, редирект или каноникал — в зависимости от сценария.

Диагностика: почему robots.txt не работает так, как ожидается

Перед правкой файла проверьте, что именно происходит. Частая ошибка — закрыть не ту директорию или ожидать от robots.txt того, что он не умеет.

Что посмотреть в первую очередь

• открывается ли /robots.txt в браузере без редиректов и ошибок;
• нет ли в файле лишних правил, которые закрывают важные разделы;
• не дублируется ли robots.txt плагином SEO и ручной правкой одновременно;
• есть ли в индексе URL с параметрами, архивы или служебные страницы;
• не закрыт ли CSS/JS, если сайт после этого начал хуже рендериться для поисковиков.

Если вы используете Search Console, проверьте отчёты по страницам и тест robots.txt. Но не ограничивайтесь только ими: иногда URL не блокируется из-за другого домена, поддомена или параметра, который вы забыли учесть.

Рабочий вариант robots.txt для WordPress

Для большинства сайтов достаточно аккуратного базового файла. Его можно создать вручную в корне сайта или редактировать через SEO-плагин, если он не конфликтует с вашей структурой.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /search/
Disallow: /?s=
Disallow: /*?s=

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Здесь есть несколько важных моментов:

• Allow: /wp-admin/admin-ajax.php нужен, потому что AJAX часто используется фронтендом и плагинами;
• правило /?s= и /*?s= помогает ограничить обход внутренних поисковых URL;
• Sitemap лучше указывать явно, чтобы поисковику не приходилось искать карту сайта самостоятельно;
• не стоит закрывать весь /wp-content/, если у вас там лежат изображения и другие публичные файлы.

Если сайт не на стандартном поиске WordPress, а на фильтрах с параметрами вроде ?filter_color= или ?sort=, добавляйте правила только после проверки, что эти URL действительно не нужны в индексе.

Пошаговая настройка без лишнего риска

1. Сначала составьте список мусорных URL

Не правьте robots.txt «на глаз». Выпишите типы страниц, которые реально создают дубли: поиск, архивы, параметры сортировки, служебные страницы, внутренние результаты фильтрации. Если URL полезен для пользователя и может приносить трафик, закрывать его не стоит.

2. Проверьте, не закрываете ли вы ресурсы темы и плагинов

После жёсткого Disallow поисковик может перестать видеть CSS и JS. Это особенно критично для современных тем и блоков Gutenberg. Если после правки страницы стали хуже проходить проверку рендеринга, проверьте, не блокируются ли пути к стилям и скриптам.

3. Внесите минимальные правила

Начинайте с короткого набора директив. Чем больше исключений, тем выше шанс случайно закрыть нужный раздел. Если задача — убрать только технические страницы, не добавляйте правила для всего подряд.

4. Синхронизируйте robots.txt с мета-тегами

Если страница уже в индексе, добавьте noindex через SEO-плагин или код, а robots.txt используйте как дополнительный барьер для обхода. Так вы не получите ситуацию, когда URL продолжает висеть в выдаче, хотя файл уже закрыт.

Как сделать robots.txt через код в WordPress

Если вы не хотите редактировать файл вручную, можно отдать robots.txt динамически через фильтр robots_txt. Это удобно, когда правила зависят от окружения или вы хотите держать логику в теме/плагине.

add_filter('robots_txt', function ($output, $public) {
    $lines = [
        'User-agent: *',
        'Disallow: /wp-admin/',
        'Disallow: /wp-includes/',
        'Disallow: /search/',
        'Disallow: /?s=',
        'Disallow: /*?s=',
        'Allow: /wp-admin/admin-ajax.php',
        'Sitemap: https://example.com/sitemap_index.xml',
    ];

    return implode("\n", $lines) . "\n";
}, 10, 2);

Такой вариант полезен, если сайт разворачивается на нескольких окружениях и вы хотите подставлять разные sitemap URL. Но если у вас уже работает SEO-плагин, проверьте, не перезапишет ли он этот вывод своим собственным robots.txt.

Сравнение подходов

Проверка результата после внедрения

После правки не ограничивайтесь просмотром файла в браузере. Проверьте несколько вещей отдельно.

• Откройте /robots.txt и убедитесь, что он отдаётся с кодом 200.
• Проверьте, что sitemap указан корректно и доступен по ссылке.
• Посмотрите, не закрылись ли важные статические файлы темы.
• В Search Console отправьте robots.txt на повторную проверку, если используете этот инструмент.
• Проверьте несколько типовых URL: поиск, архив, параметр сортировки, служебную страницу.

Если URL уже был в индексе, изменения могут не проявиться сразу. Это нормально: поисковику нужно время на повторный обход и переоценку страницы. Но если спустя время мусорные URL продолжают появляться, значит проблема не только в robots.txt.

Частые ошибки и как их исправить

Закрыли слишком много

Самая неприятная ошибка — блокировать весь /wp-content/ или критичные ресурсы темы. В результате поисковик видит страницу без стилей и скриптов, а иногда и без части контента. Исправление простое: снимите лишний Disallow и проверьте рендеринг страницы в инструменте проверки URL.

Ожидали, что robots.txt удалит страницу из индекса

Если URL уже проиндексирован, одной блокировки обхода мало. Нужен noindex, редирект или удаление страницы. robots.txt в этом случае — только часть решения.

Смешали правила разных плагинов

Иногда SEO-плагин генерирует свой robots.txt, а вы ещё добавляете ручной файл в корень. В итоге поисковик видит не то, что вы ожидаете. Оставьте один источник правды: либо файл, либо генерацию через плагин/код.

Закрыли параметры, которые реально дают трафик

Фильтры и параметры сортировки не всегда мусор. На некоторых сайтах они создают полезные посадочные страницы. Перед блокировкой проверьте логику спроса и не режьте всё подряд.

Что ещё стоит сделать для чистой индексации

Если задача шире, чем просто robots.txt, полезно дополнить настройку другими мерами: убрать дубли через канонические URL, закрыть архивы, которые не нужны в поиске, и проверить sitemap на лишние страницы. Для технической чистки сайта часто удобнее использовать специализированные инструменты вроде Clearfy Pro, если вам нужен набор настроек для дублей и служебных страниц в одном месте: https://wpshop.ru/plugins/clearfy.

Но даже с плагином логика остаётся той же: сначала диагностика, потом минимальные правила, затем проверка индексации и рендеринга. Если закрыть технические страницы без проверки, можно получить не меньше проблем, чем было до правки.