Запрет индексации страниц в поиске Google

Google

Если вы хотите избавиться от низкокачественных, неактуальных, конфиденциальных страниц или дублей в результатах поиска Google, предлагаем ознакомиться с тремя популярными способами удаления URL из выдачи мирового поисковика.

Способ #1: С помощью Google Search Console

Старый метод

Страницы принадлежащие вашему сайту можно легко удалить с помощью Google Search Console. Сайт должен быть авторизован в сервисе Google для Вебмастеров.

Инструкция по удалению URL с помощью Google Search Console:

  1. Обратитесь к инструменту для удаления URL от Google, он находится здесь,
  2. Выберите подтвержденный ресурс,
  3. Нажмите на кнопку Временно скрыть, введите URL и нажмите Продолжить,
  4. Подтвердите операцию с помощью кнопки Отправить запрос.

По умолчанию, Google временно удалит URL из кеша и исключит его из поиска.

Удаление URL из поиска Google

Страница пропадет из Google поиска примерно на 90 дней. Каждый новый URL-адрес будет иметь статус «Ожидающий удаления», но вы легко можете отменить этот запрос нажав кнопку Отмена.

Имейте ввиду, что этот способ — временный. Если страница продолжает находится на вашем сайте спустя 90 дней, возможно, Google снова начнет показывать ее в результатах поиска.

Новый метод

В новой версии Google Search Console появился инструмент для удаления URL. Его можно найти в левой колонке в разделе «Индекс». Примечательно, что временное скрытие страниц из Google было расширено до 6 месяцев или 180 дней, что вдвое больше предыдущей квоты.

Чтобы удалить URL через обновленную консоль, выполните:

  1. Обратитесь к инструменту для удаления URL, теперь он находится здесь,
  2. Выберите сайт,
  3. Создайте запрос для удаления страницы во вкладке «Временные удаления» с помощью кнопки Создать запрос,
  4. Введите URL страницы или раздела, который хотите скрыть и нажмите След.,
  5. Подтвердите действие кнопкой Отправить запрос.

Google Remove URL

Способ #2: Используйте мета-тег noindex

Мета-тег noindex самый простой способ удалить страницу из результатов поиска или запретить ей индексироваться. Мета-тег это маленький отрывок кода в заголовке HTML-файла вашей страницы. Он запрещает Google и другим поисковым системам ее индексировать.

Вот как он выглядит:

<meta name="robots" content="noindex" />

Иногда можно встретить комбинацию noindex, follow вместо noindex — оба варианта имеют одинаковый эффект.

Вы можете добавить такой код вручную на ваш сайт, если имеете доступ к редактированию разметки HTML. Если вы используете WordPress, то большинство SEO-плагинов предоставляют опции запрета индексации отдельных постов, страниц и категорий.

Например, в популярном плагине Yoast SEO для WordPress это можно сделать во вкладке «Разрешить поисковым системам показывать запись в результатах поиска?», изменив статус «По умолчанию» на «Нет». Так, вы добавите мета-тег noindex в заголовок страницы.

Yoast SEO

Страницы должны исчезнуть из поиска, когда поисковой робот вновь обойдет их. Ускорить процесс можно с помощью инструмента по удалению устаревшего контента Google. Это лучший способ запрета индексирования контента или удаления ненужных URL.

Пока тег noindex присутствует на страницах, они не попадут в поле зрения краулера и не будут показываться в результатах поиска. Мета-тег noindex также поможет исключить страницы из других поисковых систем, включая Яндекс, Bing и Yahoo.

Вы также можете применить мета-тег noindex ко всему сайту, чтобы убрать все ваши страницы из результатов поиска. В WordPress это можно сделать в панели управления: Настройки > Чтение. Установите флажок «Попросить поисковые системы не индексировать сайт» в блоке «Видимость для поисковых систем».

Панель управления WordPress

Не используйте этот прием на работающем сайте, если не хотите потерять поисковой трафик.

Способ #3: Удаление URL навсегда

Если страница не преследует никакой цели, вы можете просто удалить ее с сайта навсегда. В момент сканирования страницы роботом, сервер сообщит ему о том, что такая страница не найдена (404) или удалена навсегда (410).

Отметим, что лучше использовать вызов серверной ошибки 410, так как стандартная ошибка 404 Not Found в дальнейшем может привести к повторному индексированию URL, подробнее об этом можно узнать из справки Google.

Яндекс Вебмастер

Проверка ответа от сервера с помощью инструмента от сервиса Яндекс Вебмастер

Иногда, страница которую вы хотите убрать из поиска может иметь устойчивый трафик или входящие ссылки, которые несут ценность для SEO.

В таком случае, для удобства пользователей лучше использовать 301 редирект для перенаправления новых посетителей и поискового робота на другую релевантную страницу или раздел.

Не рассчитывайте на Robots.txt

Robots.txt — специальный файл, который используется для регулирования процесса индексации сайта поисковыми системами.

Например, с его помощью вы можете ограничить доступ робота Google к конкретным страницам и разделам вашего сайта. Как показывает практика, полностью полагаться на этот файл не совсем правильно.

Если у страницы, которую вы хотите удалить из поиска есть трастовые входящие ссылки, Google может проигнорировать требования Robots.txt и показать страницу в поиске с ограниченным сниппетом.

Как удалить весь сайт из Google

Лучший способ удалить сайт из Google это добавить тег noindex к каждой странице. Вы также можете использовать плагин для ограничения доступа к контенту с помощью серверной авторизации, если проще — установить пароль для скачивания и просмотра документа пользователями.

Кроме того, вы можете заблокировать сайт от обхода роботов, указав в robots.txt следующее:

User-agent: *
Disallow: /

Как удалить URL-адреса с сайтов, которыми вы не владеете

Гораздо сложнее удалить страницы из Google если они не принадлежат сайту, который вы контролируете. Тем не менее, если кто-то скопировал ваш контент, то у вас есть возможность удалить его из Google заполнив форму о нарушении авторских прав (DMCA).

Лучше всего начать с отправки запроса о нарушении авторских прав хостинговой компании в которой обслуживается нарушитель.

Также вы можете отправить запрос о нарушении прав непосредственно в Google, используя инструменты поддержки. Кроме того, Google сделал детальный гид о удалении стороннего контента.

Но, если для удаления страницы нет надлежащей юридической причины это, как правило, невозможно. Лучший способ удаления таких страниц это отправка письма вебмастеру напрямую с просьбой удалить ворованный или конфиденциальный контент.

Аватар пользователя: Николай Дубков
@dubkov
Веб-разработчик, автор сервиса для комплексного анализа сайтов, в прошлом сертифицированный специалист по Яндекс.Директ (2017-2019). Иногда отвечаю на вопросы про SEO на Хабре.
3 комментария
  1. Аватар пользователя: Влад Егоров
    Влад Егоров

    Немного сложно для начинающих. А вооще полезно.

  2. Аватар пользователя: Pavel
    Pavel

    Как удалить прежде всего для себя мусорные, бесполезные страницы из выдачи?
    Как указать поисковику, что конкретный сайт больше не хочу видеть у себя в выдаче? Ну и в идеале понизить ему рейтинг вообще.

    1. Аватар пользователя: Николай Дубков
      Николай Дубков

      Изменить выдачу поисковой системы или понизить рейтинг сайта у вас не получится. Для более гибкой персонализации выдачи можно воспользоваться настройками поиска Google (https://www.google.com/preferences).