Содержание
Поисковые системы проверяют каждую страницу в интернете, анализируют ее содержимое и заносят в индекс, чтобы в дальнейшем использовать ее в ранжировании и формировании поисковой выдачи. Этот процесс называется индексированием. Для этого у поисковых систем есть специальные боты — они сканируют страницу и только после этого она становится доступной всем пользователям интернета. Но иногда страницу или весь сайт нужно скрыть из выдачи. Разберемся, как закрыть сайт от индексации и зачем это делать.
В первую очередь от индексирования стоит закрыть новый сайт, который только появился и находится в процессе разработки. То же самое рекомендуется делать, когда на сайте проводятся серьезные изменения — перестройка структуры, настройка нового дизайна, замена текстов.
До окончания технических работ стоит закрыть сайт, чтобы он не индексировался неправильно. Если в выдачу попадут ненужные страницы, есть больший риск понижения значимости сайта для поисковых систем.
Кроме полезного для посетителей контента на сайте есть служебные страницы, которые видеть никому ненужно. Их можно закрыть на все время, чтобы не затруднять поиск и навигацию на сайте.
Такую возможность предоставляет «Пиксель Тулс», простой и бесплатный сервис. Встроенный инструмент определения возраста страницы позволяет проверять сразу несколько URL списком.
Если страница индексируется, то в результатах проверки будет указан ее возраст, дата индексирования и кэша. Если не индексируется, то в этом же столбце будет указано «Не в индексе».
Другой способ проверки — через консоли вебмастера. Search Console и Я.Вебмастер показывают элементы сайта, доступные для сканирования и закрытые.
Взаимодействовать с поисковыми роботами нужно с помощью файла из корневой папки сайта — robots.txt. Это специальный служебный текстовый документ, в котором указывается информация для ботов. Когда они попадают на страницу в интернете, то сначала обращаются к нему и в основном следуют написанным там инструкциям.
Если он пустой или отсутствует, то робот проиндексирует полностью все страницы. Создать файл можно самим и загрузить его на хостинг. Для этого подходит любой текстовый редактор, который сохраняет файлы в формате «.txt». В него нужно внести информацию для роботов через специальные команды. Их применение зависит от того, что именно необходимо скрыть.
Если сайт работает на платформе WordPress, можно сделать то же самое через плагин Yoast SEO.
Доступ поисковиков к сайту можно контролировать с помощью трех команд:
Приведем примеры разных вариантов написания команды.
Закрыться от всех поисковых ботов:
User-agent: *
Disallow: /
Сочетанием команд можно сделать исключение для ботов какой-то одной системы, закрыв доступ остальным. В случае выделения какого-то одного поискового бота нужно писать именно его имя, а не название поисковика. Так, робот Яндекса называется Yandex, у Гугла – Googlebot. А также менее популярные поисковые системы тоже имеют своих ботов с именами:
Slurp — робот от поисковика Yahoo!;
SputnikBot — российский бот, который работает в поисковике от Ростелекома — Спутник;
MSNBot — поисковый робот Microsoft в поисковой системе Bing.
Например, такой код дает доступ к сайту только для роботов Гугла:
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
Если нужно закрыться от некоторых ботов, а другим предоставить право индексировать, то в документе прописывается отдельная директива для каждого бота, который входит в исключения, с указанием имени каждого бота поисковой системы.
Больше никаких команд для закрытия сайта не предусмотрено, кроме указанных трех. Взаимодействие максимально простое, главное – не допускать ошибок при сочетании этих команд.
Если закрывать весь сайт нет необходимости, но нужно скрыть некоторые его разделы или единичные страницы, указываем их адрес с использованием тех же команд.
Для скрытия раздела:
User-agent: *
Disallow: /catalog
Закрыть индексацию карты сайта:
User-agent: *
Disallow: /sitemap.xml
Далее в примерах индексирование настроено наоборот — с закрытием всего сайта, кроме одного элемента.
Запретить доступ ко всему сайту, кроме одного каталога:
User-agent: *
Disallow: /
Allow: /catalog
Такого простого набора команд достаточно, чтобы настроить работу с поисковыми роботами так, как нужно вебмастеру и контролировать видимость сайта и его частей по необходимости.
Команды ботам можно передавать не только через отдельный файл, но и через исходный код. Для этого нужно прописать в коде страницы мета-тег name="robots". Он считается даже более надежным и приоритетным, так как боты его чаще выполняют.
Внутри блока <head> устанавливается команда:
<meta name="robots" content="noindex, nofollow"/>
Другой способ написания:
<meta name="robots" content="none"/>
По такому же принципу, как в файле роботс.тхт, здесь можно указывать конкретного бота, которому запрещена индексация. Для этого вместо тега robots указывается имя бота, например:
<meta name="yandex" content="noindex, nofollow"/>
В некоторых ситуациях запрет индексирования – необходимая мера, поэтому robots.txt обязательно должен присутствовать в корневой директории. Он позволяет скрыть служебные и временные страницы, закрыть неактуальный контент, который требует замены на свежий, закрыть ссылки, баннеры и всплывающие окна. При внесении значительных изменений и проведении любых технических работ на сайте рекомендуется на время запретить индексирование страниц. Важно понимать, что поисковые роботы воспринимают команды в robots.txt больше как рекомендации. Иногда они действуют в обход указанным правилам, чаще всего так поступают роботы Гугла.
Специалисты веб студии Moeseo грамотно выполнят любые задачи по оптимизации и технической настройке сайта. Поэтому заказать продвижение сайта у нас будет правильным и эффективным решением.
Автор: Начальник отдела Seo продвижения Русаков Николай