Мета-тег Robots: что значит meta name robots content noindex nofollow

Дата публикации: 19 декабря 2023
Дата обновления: 31 декабрября 2023
Антон Маркин
6 508
Время прочтения: 35 минут
Нет времени читать? Но ты хочешь запутить рост своего сайта по SEO?
Попробуй изучить бесплатный мини-курс "Вектор SEO" Маркина Антона
4 УРОКА
которые помогут тебе найти критические проблемы на сайте
и запустить его рост
Где тебе выслать уроки?!
4 этапа
В рамках этого урока мы разберем типовые проблемы распределения семантики по страницам сайта.
И эти проблемы есть практически у каждого. Уверен, что и у себя ты найдешь многие из них.
Урок № 1
Виды проблем
Продолжительность урока 20 мин 41 сек
Результат
Разберем типовые проблемы, которые есть у 90 % сайтов
В рамках этого блока мы разберем типовые проблемы распределения семантики по страницам сайта.
И эти проблемы есть практически у каждого. Уверен, что и у себя ты найдешь многие из них.
Этап № 1
Виды проблем
Результат
Разберем типовые проблемы, которые есть у 90 % сайтов
Продолжительность урока 20 мин 41 сек
В рамках этого занятия я покажу как массово, буквально в несколько кликов проанализировать весь сайт и найти проблемы мешающие ранжированию, о которых мы говорили в прошлом уроке.
Этап № 2
Выявление проблем
Массово найдем все проблемы своего ресурса
Продолжительность урока 29 мин 25 сек
Результат
Урок "Как я давал гарантии на SEO"
Бонус № 2
Пошаговый план
Результат
Исправишь найденные ошибки своими руками
Начинаем лечить. Покажу особенности упрощения и методы автоматизации, которые позволят исправить весь сайт буквально за пару дней.
Этап № 3
Решение проблем
Продолжительность урока 17 мин 49 сек
Этап № 4
Позиционка, выход в ТОП
Главный этап курса! В рамках этого занятия я покажу как решить ключевую проблему релевантности страниц.
Когда страницы с виду и в порядке,
но поисковик упорно не хочет ставить ее в ТОП по необходимым нам запросам.
Результат
Сайт подтянется
по позициям и покажет рост
Продолжительность урока 42 мин 03 сек
Спикер курса
Меня зовут Антон Маркин и я покажу тебе настоящее SEO 2023 года
Еще не знаком со мной?
Посмотри это видео
Бонус № 1
SEO чек-лист из 160+ пунктов проверки сайта, а так же список из 27+ сервисов для SEO
Программа курса
После которых ты точно поймешь как устроенно SEO-продвижение
Кейсы и отзывы
моих учеников
Говорят сами за себя. Они уже успели пройти и внедрить техники из этого курса и получили результат
И это все классическое белое SEO, которое будет работать всегда, как бы не изменились алгоритмы поисковых систем
Не уверен, что бесплатная инфа может быть полезной?!
Василий Лебедев
SEO-специалист - профиль в VK
"Антон, приветствую.
Хочу поделиться окупаемостью вложений в твой курс. (Видишь в нашей переписке у меня пункт в голове по экономике, не могу по другому:))
Вчера заработал на том, что в моих навыках есть технологии Маркина, и об этом узнал мой партнер, передал заказчику и я закрыл на небольшое сопровождение. В итоге получается 45 т.р. Вот подробности:

Мой партнер верстальщик попросил проконсультировать фирму по их сайту по seo-оптимизации. Он выступил как субподрядчик и порекомендовал меня как seo специалиста. Я посмотрел сайт по продвижению медицинского оборудования. Тема знакомая. Реализация как интернет магазин. Все вроде ясно. Когда я общался, то использовал лексику к которой привык в Закрытом сообществе.
Получилось что в середине беседы мне прилетел вопрос - "не проходил ли я курс Маркина?" скрин скину ниже. Я ответил, что применяю технологи т.к. освоил флагманский курс.
Результат:
В результате вчера я закрыл этого клиента на небольшую работу на 15 т.р./ мес. На 3 мес. Это итого 45 т.р.
По трудоемкости сам понимаешь дело небольшое от слова совсем:)
Позиционное продвижение. Нужно прокапать по текстовой релевантности 2 ветки сайта и выдать рекомендации по внесению изменений в виде ТЗ на моего клиента. Он верстальщик на этом проекте. Он их внедряет. Я отслеживаю динамику позиций. Даю рекомендации по контексту на отобранные ключи и их директологи льют на эти ветки.
И так три месяца. Каждый месяц по 2 ветки.
Понятно, что это не полноценный проект. Но мне сейчас полный проект поставить уже не куда. Весь график забит. А так совсем небольшая подработка но уж очень приятная.
Спасибо за технологии. Отдельное спасибо за работу, которой теперь стало очень много:)"
Андрей Девяткин
Частный SEO оптимизатор - профиль в VK
"Привет Антон!

Давно хотел тебе написать спасибо! Но так как я интроверт, хорошо замаскировавшийся под экстраверта, постоянно, откладывал на потом, но курс в мастер группе меня откорректировал)) И так по порядку.

Начнем с того, что твои флагманы по SEO это просто бомба!!!! Те, кто хочет развиваться в теме SEO и еще их не прошел это просто «унылые теплодоки», другого слова я не подберу.

У меня в SEO, как я считаю, довольно не малый, в этой теме я с 2008 г. Работал и в агентствах, где ничему никогда не учили, на стороне клиента, это более теплые воспоминания и в крупных компаниях Инком-недвижимость, Mytoys, в том числе в качестве руководителя отдела SEO даже снимал офисы, открывал свои агентства на заре кризисов, падения рубля и инфляции. Все было)))

Самое главное, чему учат твои курсы, помимо профессионализма и компетенций (это понятно) - это отделять зерна от плевел, в потоке информации. В SEO это очень важно, так как много различных «псевдогуру», форумов, где диванные эксперты советуют, то другое, Сами не разбираясь не то. что в нюансах, а даже с самой теме. Так что низкий тебе поклон. Ни разу не пожалел, не то что денег, но и времени на их прохождение, думаю время — это более ценный эквивалент, по сравнению с деньгами.

Мало того, что касается денег, они уже давно «отбиты» на клиентах, которых я получил благодаря прохождению курсов и закрытого сообщества.

Оооо.. закрытое сообщество это вообще отдельная тема для размышления, такого круга специалистов и самое главное такой теплой «ламповой» атмосферы, как в закрытом сообществе в нашей сфере больше не найти и это факт! Те, кто ещё о чем-то думают, брать/не брать курс вступать/не вступать «злостные прокрастинаторы» ))) И никак иначе!

А что касается отдельного потока мастер группы. Это прямо волшебство на самом деле. Проект не просто успешный, а суперуспешный. Я за месяц поднял уровень дохода, в более чем в 2,5 раза, и почти перевалил за 300 т.р. если нужно предоставлю скрины с клиент банка. Начал заниматься делегированием, чего раньше боялся, не хотел, и прочее, начал считать деньги, почему я этого раньше не делал, не знаю. Но после этого момента доход по сути и начал расти. Это очень важное качество уметь считать деньги. И я наконец это понял! Исправил кучу своих комплексов, а как у интроверта, у меня их не мало, хоть и тщательно скрываются. Думаю, ты понимаешь, о чем я )))

В общем, респект тебе о огромный и удачи во всех твоих проектах. Спасибо, что помогаешь развиваться и следуешь своим ценностям!

Все поток накопившихся мыслей излил ))) Это прям от души! "
Александр Зудили
Частный SEO-специалист - профиль в VK
Собственно ради ускорения и удешевления seo продвижения, я пошел на новый курс к Антону 

На прошлой неделе закончился этот курс, где я отрабатывал полученные знания на сайте, продающем спортивное питание и БАДы.

И крайний месяц выдался достаточно жесткий... 


Курс очень мясной, сложный. Да и тематика оказалась не такой простой, как казалось изначально. В выдаче много агрегаторов и аптек. Не без косяков, но за неполные четыре недели была проработана семантика почти для всех основных разделов сайта.

Сайт уже был достаточно проработан, многое впитал от сильных конкурентов. При этом изначальные ~200 категорий на сайте мне удалось расширить до 460. Дальше по плану работа с позиционкой и блогом.

Самое главное

К концу месяца мне удалось ускориться в 2.5 - 3 раза (!) и удешевить себестоимость продвижения раза в 4 (благодаря отказу от JM)!

Но я б**ть перегорел 


Курсом остался полностью доволен. Огромное спасибо Антону. И отдельное спасибо Евгению за терпение и возможность обкатать технологии на своем сайте.
Максим Полднев
Частный сео оптимизатор - профиль в VK
"Хотел выразить благодарность за курс.. Прошел его от корки до корки 2 раза.. Реализовал на одной рубрике - результат - летящая ракета.. Блин, все работает!! Магия какая то.. Джаст Меджик прям )) Спасибо, что открыл мне глаза на СЕО, окупил курс уже 2 раза за первую неделю после прохождения (просто позвонил одному из своих клиентов и взял его теперь уже на сео прокачку).. Информация которую ты даешь - стоит намного дороже, чем стоимость курса, а уверенность в свои силы - это просто бесценно. Представляю, какая инфа проскакивает в закрытом сообществе ...... ))) 
"
Дмитрий Перепелкин
Seo специалист - профиль в VK
"Антон, привет, хочу поделится своей историей, как по твоим технологиям с нуля сделал сайт, и в серьезной нише залетел в ТОП как Илон Маск в список Форбс))))
Ниша - печать и вышивка на одежде. Регион продвижения - Москва.
Когда начинал, все на меня смотрели как на дурачка, мол куда ты лезешь, там серьезная конкуренция, люди миллионы вваливают в рекламу....
Спокойно, Маша, я Дубровский....
Глубокая проработка семантики, глубочайший анализ конкурентов, качественная проработка структуры сайта в целом и по блоковое содержимое каждой страницы, идеальной выведение текстовой релевантности... И Вуаля, пушечный рост! С момента запуска сайта и до момента выхода высокочастотников в ТОП менее 3-х месяцев...
Кстати, одна из фишек, про которую ты говорил, работает реально)))
В частности: лучший дизайн - это отсутствие дизайна.
Сам сайт:
print-in-moscow. ru (убери лишние проблемы)
Ну а показатели сайта говорят сами за себя!"

Мета-тег Robots и тег X-Robots применяют для управления индексации страницы сайта роботами поисковых систем. Это способствует SEO оптимизации сайта и его продвижению в 2023 году. В чем разница и какой из них использовать лучше, сейчас подробно расскажем.

Для чего нужен мета-тег Robots

Этот meta tag в зависимости от использованных в нем значений (index или noindex), разрешает или запрещает индексирование данной страницы поисковыми роботами. Так же регулирует переход по ссылкам (follow, nofollow), которые находятся на этой странице.

Еще можно запретить сканирование через файл robots.txt, и мы уже писали подробно, как это делается. Но если боты зайдут на блог с внешних ссылок на сторонних ресурсах, то попадут прямо на документ, который вы не хотите показывать. Они могут отсканировать его, если он не закрыт мета-тегом robots.
Важно знать, что инструкции meta tag robots строго исполняются роботами всех поисковых систем, включая Яндекс и Google.

Как прописать тег Robots в HTML-коде

Следует зайти в корневую директорию сайта в папку header.php и в верней части блока head создать запись. Главное не забывайте, про обязательные атрибуты name и content.
<head> <meta name="robots" content="all" /> </head>

При этом атрибут name может содержать и другие значения, кроме robots. Например, там прописывают параметры поискового робота и тогда инструкция в атрибуте content, будет относиться именно к нему. Так на одной странице комбинируют инструкции для разных ботов.

<head>
<!-- Запрет индексирования pages для всех роботов: --> <meta name="robots" content="noindex" />

<!-- Разрешение индексирования страницы роботу Яндекса: --> <meta name="yandex" content="index" />
</head>

Если ваш сайт на CMS WordPress, то все гораздо проще. У вас скорее всего установлен какой-нибудь SEO плагин, например плагин Yoast SEO. Зайдите в административную панель управления и выберите "редактировать страницу". Скрольте в самый низ и увидите, что есть инструменты настроек мета-тегов Title (meta-заголовок), Discription (meta-описание) и еще ниже под описанием будет слово "дополнительно".

Нажмите мышкой на "дополнительно" и в открывшемся содержимом увидите, что появилась возможность редактировать meta Robots. Выбирайте свой вариант и ставьте точку в чек-бокс YES или NO.

Большинство сайтов в интернете именно на CMS WordPress. Поэтому мы показали как воспользоваться простым способом именно на данном движке.

Директивы мета-тега Robots

Это такие инструкции, которые указываются в значении атрибута content. Существуют как общие, так и директивы, которые понятны только определенным поисковикам. Если имеется несколько директив, то они записываются через запятую. Их количество может быть разное.

Общие директивы Robots

Эти директивы понятны всем поисковым паукам:

Директивы для Google

Все значения, приведенные в данной таблице, будут понятны только ботам Гугла, таким, например, как Googlebot:

Комбинации директив

Разрешается использовать комбинирование директив в атрибуте «content». Рассмотрим некоторые примеры этого.

Значение «index, follow» или «all»

Если вообще не прописать мета-тег Robots, то индексация и переход по ссылкам будет разрешен по умолчанию. Но можно и создать тег, тогда он будет выглядеть так:
<!--отсутствие мета-тега-->
<!--или-->
<meta name="robots" content="index, follow" />
<!--или-->
<meta name="robots" content="all" />

Значение «noindex, nofollow» или «none»

Пример записи мета-тега для запрета индексации и перехода по ссылкам:
<meta name="robots" content="noindex, nofollow" />
<!--или-->
<meta name="robots" content="none" />

Значение «noindex, follow»

Можно сделать так, чтобы сама страница не индексировалась, а ссылки на ней просканировались. Вот пример:
<meta name="robots" content="noindex, follow" />

Значение «index, nofollow»

Делается еще и так, что страница в поиске отображается, но боты не переходят по ссылкам на ней при обходе.
<meta name="robots" content="index, nofollow" />

Что такое X-Robots-Tag

Заголовок X-Robots-Tag выполняет такие же функции, как и мета-тег robots. Они оба воздействуют на поисковые системы при сканировании веб-страниц. Но бывают конкретные случаи, когда применяется именно один из них.

Этот заголовок является частью HTTP-ответа сервера для определенного URL сайта. Чтобы вписать этот заголовок, необходимо зайти в корневую директорию на хостинге в файл конфигурации.

Пример записи:
X-Robots-Tag: noindex, nofollow

Когда необходимо задать правила каким-то определенным типам файлов, то это выглядит следующим образом:

<FilesMatch "имя файла">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

При этом директива </FilesMatch> находит на сайте нужные файлы. В работе ей помогает использование регулярных выражений. Ну, а если у вас Nginx , то вместо Apache ее заменяет location:

location = имя файла {
add_header X-Robots-Tag "noindex, nofollow";
}

Когда имя робота не указано, то запись предназначена для всех поисковых систем. Но можно и создать запись для определенного робота, например:

Header set X-Robots-Tag "googlebot: noindex, nofollow"

Использование X-Robots-Tag

Запрет индексирования не HTML файлов

Не все файлы на сайте имеют формат html, и чтобы их деиндексировать, не получится прописать мета-тег robots. Например, нам необходимо скрыть PDF-документ из индекса. Пишем в файле конфигурации:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex"
</FilesMatch>

Экономия краулингового бюджета

Давайте разберемся, как роботы сканируют страницы сайта. Сначала они загружают весь контент документа, затем начинают читать информацию, которая касается индексации. Если есть запрет, то уходят, если нет, то продолжают свою работу.

А вот если есть запрет в файле конфигурации с помощью тега x-robots, то боты не будут тратить лишнее время на обход запрещенных страниц. Таким образом будет просканировано больше контента.

Особенно актуально, если у вас большой корпоративный сайт или интернет-магазин с десятками тысяч товаров.

Возможность указывать директивы на уровне сайта

При помощи X-Robots-Tag можно указывать директивы в HTTP-ответах сервера сразу на уровне всего ресурса, а не отдельной страницы.

Внедрение X-Robots-Tag

Где именно он добавляется мы рассказали выше. Теперь подробнее разберем как это сделать.

Apache

В корневой папке сайта зайти нужно в такие файлы, как .htaccess и httpd.conf и прописать тег.

Например, надо запретить индекс всех png и gif-файлов. Вносим запись:
<Files ~ "\.(png|gif)$">
Header set X-Robots-Tag "noindex"
</Files>
NGINX

Тут надо редактировать файл conf. На примере мы запрещаем индекс всех, находящихся на ресурсе png и gif-файлов. Смотрите как это делается:

location ~* \.(png|gif)$ {
add_header X-Robots-Tag "noindex";
}
Всем известно, но не многие придерживаются данного правила, поэтому напоминаем. Перед тем, как вносить какие-то изменения в файлы сайта, сделайте бэкап. Это поможет восстановить прежнюю версию.
Ну или хотя бы сделайте копию документа, который собрались редактировать. Так можно будет восстановить все настройки, как они были.

Как проверить X-Robots-Tag

Существует несколько способов проверки ответа HTTP-заголовка документа. Посмотреть содержит ответ X-Robots-Tag или нет, можно через специальные онлайн-сервисы, расширения браузеров или с использованием инструментов Google Search Console.

Вот пример заголовка, запрещающего сканирование документа:
HTTP/1.1 200 OK
Date: Tue, 10 November 2020 09:30:22 GMT
X-Robots-Tag: noindex
Давайте проверим работу HTTP-заголовка в Google Search Console. Заходим на сервис во вкладку «Проверка URL». После этого нажимаете на кнопку «Проверить страницу на сайте».

Придется подождать несколько минут и тогда откроется окно, где нажимайте на «Посмотреть страницу». Сразу увидите информацию, какой код ответа сервера дает данный документ.

Примеры HTTP-заголовков

Полный запрет обхода страницы и перехода по ссылкам (noindex):
X-Robots-Tag: noindex, nofollow
Запрет для робота Google перехода по ссылкам (nofollow):
X-Robots-Tag: googlebot: nofollow
Запрет показа сохраненной копии в поиске (noarchive):
X-Robots-Tag: noarchive
Запрет сканирования и перехода по ссылкам в HTML-документе для Гугла (none):
X-Robots-Tag: googlebot: none
Запрет показа фрагментов страницы в сниппете (nosnippet):
X-Robots-Tag: nosnippet
Ограничение длины сниппета до 30 прописных знаков (max-snippet):
X-Robots-Tag: max-snippet:30
Разрешить показывать крупные изображение в поиске (max-image-preview):
X-Robots-Tag: max-image-preview:large
Отображать в результатах выдачи видео любой длительности (max-video-preview):
X-Robots-Tag: max-video-preview:-1
Запрет перевода текста на иностранные языки (notranslate):
X-Robots-Tag: notranslate
Запрещаем индексировать изображения на странице (noimageindex):
X-Robots-Tag: noimageindex

Ошибки применения мета-тега Robots и X-Robots-Tag

Не правильное использование файла Robots.txt

Если попытаться запретить индексацию страницы через Robots.txt, то ничего не получится. Этот файл не дает сканировать, а как известно, боты могут по ссылкам сразу прийти на какой-то документ и проиндексировать его. Поэтому тут сработает только мета-тег в HTML-коде или запись в файле конфигурации.

И еще у поисковых роботов должен быть доступ к контенту, который нельзя индексировать. Если в Robots.txt прописать директивы disallow для какой-то страницы сайта, то вы закрыли сканирование. Так не видно, какие директивы прописаны и поисковики возьмут документ в индекс.

Не правильное использование атрибута noindex

Когда страница закрывается от индексации с помощью атрибута «noindex», не забывайте его заменить на «index». Например, вы работаете с контентом и пока еще рано показывать его в поиске. Для этого закрыли страницу от индексации.

По окончании работ не забывайте заменить запрещающий атрибут на разрешающий. Иначе так и не получите долгожданного трафика на веб-страницу.

Не проверяются входящие ссылки

Если на страницу есть обратные ссылки на других ресурсах, то роботы могут через них заходить и индексировать документ. В таком случае атрибут «nofollow» технически не поможет настроить запрет. Чтобы избежать такой ошибки, узнайте через онлайн-сервисы, не стоят ли где-то бэклинки на эту страницу. Самое интересное, что это не сложно выполнить технически.

Не своевременное удаление URL из карты сайта Sitemap.xml

Когда страница закрыта от индексации, поисковые роботы должны зайти на нее и узнать об этом. Зачастую бывают такие случаи, когда web-мастер торопится и удаляет URL раньше времени из карты. Так боты еще долго не узнают, что надо убрать из поиска страницу и она будет продолжать висеть в индексе.
К стати новые страницы каталога сразу следует добавлять в карту сайта, чтобы они быстрее индексировались.

Что делать если страница пропала из поиска

Проверить HTML-код на наличие запрещающих мета-тегов на странице.
Убедиться, что в Robots.txt нет запрета сканирования данной страницы (disallow).
Запросить «переобход страницы» в Яндекс Вебмастер.
Запросить индексацию URL в Google Search Console.

Заключение

Мета-тег Robots и тег X-Robots-Tag указывают поисковикам какие страницы должны быть в поиске, а какие не нужно индексировать. Мета-тег Robots прописывается в HTML-коде страницы, а X-Robots-Tag в файле конфигурации.

Файл Robots.txt запрещает сканировать, а тег Robots и X-Robots могут запретить индексацию. Если в файле Robots.txt стоит запрет на индексацию страницы, то роботы не заметят директивы мета-тегов. Как найти выход с данной ситуации мы рассказали выше.

Мета-тег Robots - это один из самых важных технических метатегов, который позволяет управлять тем, как поисковые системы, включая Google, индексируют и отображают страницы вашего сайта.

Он содержит два основных атрибута: name и content. Атрибут name указывает на то, что это метатег Robots, а атрибут content содержит строку символов, которая определяет, какие страницы должны быть индексированы и какие должны быть исключены из индекса.

Использование метатега Robots позволяет добавить ссылки на картинки, новости, разделы команд и пользователей в sitemap, а также удалить последний раздел из sitemap.

Кроме того, метатег Robots позволяет закрывать страницы от индексации, если они не имеют описания или содержат дубликаты контента.

Важно также учитывать, что использование метатега Robots не гарантирует полную защиту от индексации страниц.

В целом, правильное использование метатега Robots может значительно повлиять на SEO-оптимизацию вашего сайта и улучшить его видимость в поисковых системах.

И в конце, мы, как всегда, просим поделиться в социальных сетях нашими статьями, если они оказались вам интересными и полезны. Все вопросы пишите в комментарии, обязательно ответим.
Еще статьи на эту тему:
Оптимизация сайта для поисковых систем: SEO продвижение в Яндекс и Google простыми словами
SEO оптимизация сайта для поисковых систем Яндекс и Google простыми словами | Комплекс работ для улучшения видимости и СЕО продвижения страниц в ТОП выдачи поисковиков самостоятельно.
Продвижение сайта по трафику: поисковая SEO оптимизация сайта для Яндекс и Google
SEO продвижение сайта по трафику и вывод в ТОП поисковых систем Яндекс и Google | Эффективная трафиковая оптимизация и раскрутка сайта для привлечения целевых посетителей компании.
Внутренняя оптимизация сайта для SEO продвижения в Яндекс и Google: пошаговая инструкция работы
Внутренняя оптимизация сайта для самостоятельного SEO продвижения в поисковых системах Яндекс и Googl | Пошаговый чек-лист основных этапов улучшения и раскрутки веб-страниц в поисковой выдаче.
Nofollow ссылки — что это за мета-тег и как использовать с noindex
Noindex nofollow ссылки — что это такое | Какой мета-тег сайта использовать dofollow или robots чтобы закрыть страницы от индексации в поисковых системах.
Посмотреть ссылки на сайт — бесплатные сервисы проверки внешних ссылок
Как посмотреть ссылки на сайт | Сделать анализ обратных ссылок с внешних ресурсов с помощью бесплатных инструментов и найти обратные битые бэклинки.
Не забудь про миникурс "Вектор Seo"
Выбирай
удобный мессенджер
Made on
Tilda