Если сайт ещё в разработке, его лучше не отдавать в поиск раньше времени: в индекс могут попасть пустые страницы, тестовый контент, служебные разделы и дубли. Для WordPress это решается несколькими способами, но не все они одинаково безопасны. Самый правильный подход — временно закрыть сайт от индексации так, чтобы после запуска поисковики смогли нормально его переобойти и начать индексировать уже готовую версию.
Короткий ответ такой: для обычной разработки достаточно включить запрет на индексацию в настройках WordPress и дополнительно закрыть сайт от поисковых роботов на уровне сервера или через robots.txt, если этого требует сценарий. Если сайт уже был в индексе, после запуска нужно не только снять ограничения, но и проверить, что на страницах не осталось технических запретов.
Что именно нужно закрывать: сайт, отдельные страницы или доступ к нему
Перед настройкой важно понять, что вы хотите скрыть. Это разные задачи.
- Скрыть весь сайт от индексации — типичный вариант для нового проекта, тестовой копии или редизайна.
- Ограничить доступ к сайту — если проект вообще не должен быть виден посторонним до запуска. Тогда одного запрета для поисковиков мало, нужен пароль или базовая авторизация.
- Закрыть только часть страниц — например, служебные разделы, черновики, внутренние страницы. Для этого используют отдельные настройки на уровне страницы или шаблона.
Если задача именно в том, чтобы сайт не попадал в поиск на время разработки, обычно достаточно первого варианта. Но если на тестовый домен уже могут зайти люди по ссылке, лучше добавить и ограничение доступа. Иначе поисковик может и не индексировать страницу, но она всё равно будет открываться всем, кто знает адрес.
Самый безопасный способ в WordPress: включить запрет для поисковых систем
В WordPress есть штатная настройка, которая просит поисковые системы не индексировать сайт. Она находится в админке: Настройки → Чтение, пункт «Попросить поисковые системы не индексировать сайт».
После включения WordPress добавляет на сайт сигнал для поисковиков, обычно через мета-тег noindex и/или заголовки, в зависимости от темы и плагинов. Это не блокировка доступа, а именно просьба не включать страницы в индекс. Для большинства рабочих сценариев этого достаточно.
Что важно понимать: этот флажок не даёт мгновенной гарантии. Если сайт уже был известен поисковику, он может ещё какое-то время отображаться в выдаче, пока робот не переобойдёт страницы и не увидит запрет. Поэтому для уже опубликованного проекта лучше сочетать этот способ с дополнительными мерами, если нужно быстро убрать сайт из поиска.
Когда этого достаточно
- сайт ещё не запускался и не был в индексе;
- это локальная разработка или тестовый домен;
- нужно просто не допустить раннюю индексацию черновой версии.
Когда этого мало
- сайт уже попал в поиск и его нужно убрать быстрее;
- на тестовом сайте есть доступные всем страницы с контентом;
- нужно исключить случайное сканирование внутренних разделов и файлов.
Как закрыть сайт от индексации через robots.txt
robots.txt — это файл с правилами для поисковых роботов. Он не прячет сайт от людей и не защищает контент паролем, но помогает ограничить обход страниц роботами. Для временной разработки это полезно как дополнительный слой, особенно если сайт уже доступен в интернете.
Для WordPress можно добавить в robots.txt такие правила:
User-agent: *
Disallow: /Это говорит всем роботам не обходить сайт целиком. Но здесь есть важный нюанс: robots.txt не гарантирует удаление уже проиндексированных страниц. Более того, если страница уже известна поисковику, он может оставить её в выдаче без описания, просто по факту наличия URL. Поэтому robots.txt хорошо работает как профилактика, но не как единственный способ скрыть уже опубликованный сайт.
Если вы используете WordPress в стандартной конфигурации, файл robots.txt может быть виртуальным, а не физическим. Тогда его содержимое задаётся через сервер или SEO-плагин. На некоторых хостингах проще создать физический файл в корне сайта, но делать это стоит аккуратно: не сломайте правила для уже нужных разделов, если на проекте есть нестандартные настройки.
Что выбрать: WordPress-настройку, robots.txt или пароль
Для наглядности — короткое сравнение.
| Способ | Что делает | Когда использовать | Ограничение |
|---|---|---|---|
| Настройка WordPress «не индексировать» | Даёт поисковикам сигнал не добавлять сайт в индекс | Для нового сайта, тестовой версии, редизайна | Не защищает от доступа людей и не удаляет уже известные страницы мгновенно |
robots.txt | Ограничивает обход сайта роботами | Как дополнительная мера на время разработки | Не скрывает страницы от пользователей и не гарантирует удаление из индекса |
| Пароль или HTTP-авторизация | Закрывает доступ к сайту полностью | Если сайт не должен быть доступен никому до запуска | Требует настройки на хостинге или сервере |
Если нужен именно рабочий и безопасный вариант для разработки, я бы делал так: сначала включал штатный запрет в WordPress, затем при необходимости закрывал сайт паролем или авторизацией, а robots.txt использовал только как дополнительную страховку. Один только robots.txt — слабое решение для проекта, который уже мог попасть в поиск.
Если сайт уже был в индексе, как не навредить будущему запуску
Самая частая ошибка — закрыть сайт слишком грубо, а потом забыть, что именно было включено. В результате после запуска страницы продолжают оставаться закрытыми, а поисковики не могут нормально переобойти сайт.
Чтобы этого не произошло, держите в голове несколько практических правил.
- Не оставляйте запрет на индексацию включённым после запуска.
- Проверьте, что на страницах нет случайных
noindexиз темы, SEO-плагина или шаблона. - Если использовали
robots.txtсDisallow: /, не забудьте убрать это правило перед публикацией. - Если сайт был в поиске, после снятия ограничений дайте роботам время на повторный обход.
Если нужно ускорить повторную индексацию после запуска, обычно помогают стандартные инструменты поисковых систем: отправка sitemap, проверка важных URL в панели вебмастера и контроль ответа сервера. Но это уже этап после открытия сайта, а не часть временного закрытия.
Как проверить, что сайт действительно закрыт
После настройки не стоит полагаться только на галочку в админке. Проверка занимает пару минут и избавляет от неприятных сюрпризов.
Сначала откройте главную страницу сайта в браузере и посмотрите исходный код. Если всё настроено правильно, на страницах не должно быть явного сигнала к индексации, а в robots.txt не должно быть случайных разрешающих правил, которые конфликтуют с вашей задачей.
Дальше проверьте несколько вещей:
- в Настройки → Чтение включён запрет для поисковых систем;
- в корне сайта нет старого
robots.txtс разрешающими правилами, которые вы забыли убрать; - если сайт закрыт паролем, страница не открывается без авторизации;
- если используется SEO-плагин, он не переопределяет настройки WordPress и не снимает
noindexсо страниц.
Для уже существующего сайта полезно ещё раз проверить, не остались ли в индексе старые URL. Если они есть, одного закрытия недостаточно: сначала нужно снять их с индекса через настройки сайта и инструменты поисковой системы, а затем дождаться повторного обхода.
Что делать после завершения разработки
Когда сайт готов к запуску, ограничения нужно снимать в обратном порядке и без спешки. Сначала уберите запрет на индексацию в WordPress, затем проверьте robots.txt, потом убедитесь, что страницы отдают обычный код ответа и доступны без авторизации. После этого можно отправлять sitemap и проверять важные страницы в инструментах для вебмастеров.
Если пропустить этот шаг, сайт может выглядеть рабочим для вас, но оставаться закрытым для поисковиков. На практике это одна из самых неприятных ошибок после релиза: проект уже опубликован, а трафика нет, потому что где-то остался старый запрет.
Для временного закрытия сайта WordPress от индексации лучше всего использовать штатную настройку в админке, а при необходимости усилить её robots.txt или паролем. Такой подход не мешает будущей индексации и позволяет спокойно работать над проектом, не показывая поисковикам сырой контент.