Как запретить индексацию страниц авторов и архивов в WordPress

|

Проблема обычно выглядит одинаково: в индексе появляются страницы авторов, архивы по датам, пустые рубрики или служебные страницы, которые не дают трафика, но создают дубли и размывают качество сайта. Если у проекта есть один автор, архив автора почти всегда лишний. Если контент публикуется нерегулярно, архивы по датам тоже редко нужны в поиске. В таких случаях задача не в том, чтобы «спрятать всё», а в том, чтобы точечно закрыть от индексации только те типы архивов, которые не несут ценности.

Когда это действительно нужно

Сначала стоит понять, что именно вы хотите закрыть. Для WordPress типичный набор проблем такой:

  • страницы авторов дублируют контент блога, если автор один;
  • архивы по датам содержат те же записи, что и рубрики и главная лента;
  • пустые или слабые таксономии индексируются без пользы;
  • поисковик тратит обход на служебные страницы вместо важных посадочных;
  • в Search Console появляются URL, которые вы не планировали продвигать.

При этом не стоит автоматически закрывать всё подряд. Если архив автора — это полноценная страница эксперта с биографией, подборкой материалов и уникальным текстом, его можно оставить в индексе. То же касается рубрик, которые реально ранжируются и помогают навигации.

Диагностика: что именно уже индексируется

Перед правками проверьте, какие URL уже попали в поиск и как они отдаются. Это помогает не гадать, а закрывать только проблемные шаблоны.

Что посмотреть в первую очередь

  • Google Search Console: отчёт по страницам и исключённым URL;
  • исходный код страницы: есть ли noindex в meta robots;
  • HTTP-заголовки: не добавляет ли сервер или плагин свои правила;
  • robots.txt: не блокирует ли он сканирование вместо индексации;
  • канонический URL: не указывает ли архив на сам себя или на другую страницу.

Важно различать noindex и запрет в robots.txt. Если вы закрываете страницу от индексации, но хотите, чтобы поисковик мог её просканировать и увидеть мета-тег, лучше использовать именно noindex, а не полную блокировку в robots.

Что выбрать: плагин, код или SEO-настройки темы

Подход Когда подходит Минус
SEO-плагин Нужно быстро закрыть архивы без правки кода Настройки могут конфликтовать с темой или другим SEO-плагином
Код в теме или mu-plugin Нужна точечная и предсказуемая логика Требует аккуратного тестирования после обновлений
robots.txt Нужно ограничить обход, а не индексацию Не решает задачу noindex для уже известных URL

Если у вас уже стоит SEO-плагин, проверьте его настройки раньше, чем писать код. Дублировать логику в двух местах — частая причина того, что страницы то закрываются, то снова открываются после обновления.

Пошаговое решение через код

Ниже — рабочий вариант, который добавляет noindex, follow для архивов авторов и архивов по датам. Код можно положить в дочернюю тему или в небольшой mu-plugin. Для проекта с долгой жизнью mu-plugin обычно надежнее: он не зависит от активной темы.

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_author() || is_date() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    return $robots;
} );

Этот способ работает на уровне WordPress и не требует ручной правки шаблонов. Если тема или плагин уже выводят robots meta, фильтр wp_robots позволяет встроиться в стандартный механизм, а не подменять разметку целиком.

Если нужно закрыть только часть архивов

Иногда архивы авторов нужны, а архивы по датам — нет. Или наоборот. Тогда условия лучше разделить:

<?php
add_filter( 'wp_robots', function( array $robots ) {
    if ( is_date() ) {
        $robots['noindex'] = true;
        $robots['follow']  = true;
    }

    if ( is_author() ) {
        $author_id = get_queried_object_id();

        // Оставляем индексируемым только страницу конкретного редактора.
        if ( $author_id !== 7 ) {
            $robots['noindex'] = true;
            $robots['follow']   = true;
        }
    }

    return $robots;
} );

Здесь важно не копировать пример механически. ID автора нужно заменить на свой, а лучше вообще строить логику от роли, количества записей или наличия уникального контента на странице автора.

Если используете SEO-плагин

У большинства SEO-плагинов есть отдельные настройки для архивов авторов, дат, рубрик и тегов. Это нормальный вариант, если вы не хотите поддерживать код. Но проверьте две вещи:

  • плагин действительно меняет meta robots, а не только скрывает блок в админке;
  • в теме нет собственного вывода <meta name="robots">, который перетирает настройку плагина.

Если в проекте уже есть набор SEO- и cleanup-настроек, удобно держать их в одном месте. Например, Clearfy Pro часто используют именно для точечной чистки дублей и служебных элементов, но даже в этом случае логику нужно проверять на реальном шаблоне сайта, а не по галочкам в админке.

Проверка результата после внедрения

После правки не ограничивайтесь просмотром страницы в браузере. Проверьте результат так, чтобы увидеть именно то, что увидит поисковый робот.

  1. Откройте архив автора или дату в режиме инкогнито.
  2. Посмотрите исходный код страницы и найдите meta name="robots".
  3. Убедитесь, что там есть noindex и нет конфликтующего index.
  4. Проверьте канонический URL: он должен быть логичным и не указывать на случайную страницу.
  5. Отправьте URL в инструмент проверки URL в Search Console и посмотрите, как Google видит страницу.

Если страница всё ещё индексируется, причина часто не в самом коде, а в кэше. Очистите серверный кэш, кэш плагина и CDN, если он используется. Иначе вы будете проверять старую версию HTML.

Частые ошибки и как их исправить

Закрыли страницу в robots.txt вместо noindex

Это частая подмена понятий. Если URL уже известен поисковику, запрет в robots.txt не гарантирует его выпадение из индекса. Для деиндексации нужен noindex, а не только блокировка обхода.

Настройка есть в админке, но в коде остался старый meta robots

Так бывает, когда тема вручную выводит robots meta или подключён второй SEO-плагин. В результате на странице может оказаться две версии тега, и поисковик возьмёт не ту, которую вы ожидали. Проверьте исходник и оставьте только один источник.

Закрыли архивы, но не убрали ссылки на них

Сами ссылки на архивы не проблема, если они нужны для навигации. Но если архивы пустые, лучше убрать их из меню, хлебных крошек или блоков автора. Иначе пользователь будет попадать на страницы без смысла, а поисковик продолжит их обходить.

Сломали уникальные страницы авторов

Иногда архив автора — это не мусор, а полезная страница с экспертным профилем. Если у автора есть фото, описание, список публикаций и внешние сигналы доверия, не закрывайте такой архив автоматически. Сначала оцените его ценность вручную.

Чек-лист перед публикацией

  • Поняли, какие архивы реально мешают индексации.
  • Проверили, нет ли уже настроек в SEO-плагине.
  • Добавили noindex, follow только на нужные шаблоны.
  • Очистили кэш сайта и CDN.
  • Проверили исходный код и Search Console.
  • Не закрыли полезные страницы авторов или рубрик по ошибке.

Что делать, если нужно расширить правило

Когда базовая схема работает, её можно аккуратно доработать. Например, закрыть от индексации пустые таксономии или архивы с малым количеством записей. Но здесь уже лучше опираться не на общую идею, а на конкретную структуру сайта: типы записей, роли авторов, наличие уникального текста и внутренней перелинковки.

Если проект большой и много служебных страниц, имеет смысл сначала навести порядок в дублях и индексации, а уже потом трогать отдельные шаблоны. В таких задачах полезно держать изменения в одном месте и не смешивать SEO-логику с шаблонами вывода контента.