Как настроить robots.txt для WordPress

Файл robots.txt нужен не для «магической» индексации, а для управления обходом сайта поисковыми роботами. В WordPress его настраивают, чтобы не тратить краулинговый бюджет на служебные страницы, не показывать роботам лишние разделы и при этом не закрыть то, что должно попадать в поиск. Ошибка здесь обычно одна: в файл добавляют слишком жёсткие правила и потом удивляются, почему поисковик перестал нормально обходить сайт.

Если нужен рабочий подход без лишней теории, ориентируйтесь на простое правило: в robots.txt закрывают только то, что действительно не должно обходиться роботами, а не всё подряд. Для WordPress это особенно важно, потому что у CMS есть стандартные служебные URL, которые не нужны в поиске, но есть и страницы, которые закрывать опасно.

Что должен делать robots.txt на WordPress-сайте

robots.txt лежит в корне сайта и отвечает на вопрос: какие разделы роботам можно обходить, а какие лучше не трогать. Это не инструмент для удаления страниц из индекса. Если страница уже попала в поиск, одна только директива в robots.txt не гарантирует её исчезновение. Для этого нужны другие механизмы, но это уже отдельная задача.

Для обычного WordPress-сайта файл чаще всего используют для трёх вещей:

• закрыть служебные и технические URL, которые не нужны в поиске;
• не давать роботам ходить по дублям и бесполезным страницам;
• указать путь к карте сайта, чтобы поисковику было проще найти важные URL.

При этом не стоит пытаться через robots.txt «спрятать» контент от людей или полностью защитить приватные данные. Файл виден всем, а правила в нём — это только рекомендация для роботов, а не средство безопасности.

Базовый вариант robots.txt для WordPress

Если у сайта обычная структура и нет нестандартной логики, можно начать с аккуратного базового файла. Он закрывает служебные разделы WordPress и оставляет открытым всё остальное.

Перед заменой файла убедитесь, что у вас есть доступ к редактированию корня сайта через хостинг-панель, FTP или файловый менеджер. Если на сайте уже есть свой robots.txt, не удаляйте его вслепую: сначала посмотрите, какие правила там уже используются.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /cgi-bin/
Sitemap: https://example.com/sitemap.xml

Что здесь важно:

• User-agent: * — правило для всех роботов;
• Disallow: /wp-admin/ — закрывает административную часть;
• Allow: /wp-admin/admin-ajax.php — оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам;
• Disallow: /wp-includes/ — убирает служебные файлы WordPress из обхода;
• Sitemap: — указывает карту сайта, если она у вас есть.

Строки про /wp-content/plugins/ и /wp-content/cache/ полезны не всегда. Если плагин или кэш-система отдают важные публичные файлы из этих каталогов, закрывать их целиком не нужно. Это как раз тот случай, когда универсальный шаблон может навредить.

Какие правила обычно нужны, а какие лучше не добавлять

В WordPress часто пытаются закрыть всё, что кажется «техническим». На практике это не всегда правильно. Ниже — ориентир, который помогает не переборщить.

Особенно осторожно относитесь к Disallow: /wp-content/uploads/. Это одна из самых частых ошибок. В этой папке лежат изображения и документы, которые могут быть важны для поиска. Если закрыть её целиком, робот не сможет нормально обходить медиафайлы, а это иногда ухудшает видимость страниц, где эти файлы используются.

Ещё одна типичная ошибка — закрывать в robots.txt страницы, которые уже должны индексироваться, например категории, записи, страницы услуг или карточки товаров. Если цель — убрать такие URL из поиска, robots.txt не лучший инструмент.

Как настроить robots.txt вручную

Самый надёжный способ — создать или отредактировать файл в корне сайта. На большинстве хостингов это можно сделать через файловый менеджер в панели управления или по FTP.

Порядок действий такой:

1. Откройте корневую папку сайта, где лежат wp-config.php, wp-admin и wp-content.
2. Найдите файл robots.txt. Если его нет, создайте новый текстовый файл с таким именем.
3. Вставьте правила, которые действительно нужны вашему сайту.
4. Сохраните файл в кодировке UTF-8 без BOM, если редактор даёт такой выбор.
5. Откройте https://ваш-домен/robots.txt в браузере и проверьте, что файл отдаётся без ошибок.

Если сайт работает на поддомене, в мультисайте или за CDN, убедитесь, что вы редактируете именно тот корень, который обслуживает публичный домен. Иначе можно изменить файл не там, где его видят поисковые роботы.

Как проверить, что robots.txt работает правильно

После сохранения файла не ограничивайтесь просто открытием в браузере. Проверьте две вещи: доступность файла и логику правил.

Сначала откройте сам URL /robots.txt. Файл должен возвращаться как обычный текст, без редиректов на страницу ошибки и без авторизации. Затем проверьте, не закрыли ли вы случайно важные разделы. Для этого полезно вручную посмотреть, есть ли в файле правила, которые затрагивают:

• главную страницу и важные посадочные страницы;
• категории и записи;
• изображения в /uploads/;
• карту сайта.

Если вы используете Google Search Console или аналогичный инструмент для вебмастеров, там можно проверить, как робот видит файл и не блокируются ли нужные URL. Это особенно полезно после правок, когда вы не уверены, не зацепили ли лишнее правило.

Когда robots.txt не решает задачу

Есть несколько ситуаций, в которых robots.txt не подходит как основной инструмент. Это важно понимать заранее, чтобы не ждать от файла того, чего он не умеет.

Если страница уже в индексе и её нужно убрать, одного запрета на обход недостаточно. Если нужно скрыть контент от посетителей, robots.txt тоже не поможет. Если на сайте есть дубли из-за параметров, фильтров или технических URL, иногда лучше сначала исправить генерацию ссылок, а уже потом ограничивать обход.

Практический ориентир такой: robots.txt используют для управления обходом, а не для лечения всех SEO-проблем сразу. Чем точнее вы понимаете, зачем добавляете каждую строку, тем меньше риск сломать важные разделы сайта.

Минимальный рабочий подход для большинства сайтов

Если у вас обычный WordPress-сайт без сложной архитектуры, не усложняйте файл. Часто достаточно закрыть административную часть, оставить доступ к admin-ajax.php и указать карту сайта. Остальные правила добавляйте только тогда, когда видите реальную причину: лишние служебные URL, дубли или ненужные технические разделы.

Хороший robots.txt — это не длинный список запретов, а аккуратный набор правил, который не мешает поисковику обходить полезные страницы. Если после правки вы открываете файл, проверяете его в браузере и видите, что важные URL не закрыты, а лишнее не торчит наружу, значит настройка сделана правильно.