Мета-тег Robots: что значит meta name robots content noindex nofollow
Мета-тег Robots и тег X-Robots применяют для управления индексации страницы сайта роботами поисковых систем. Это способствует SEO оптимизации сайта и его продвижению в 2023 году. В чем разница и какой из них использовать лучше, сейчас подробно расскажем.
При этом атрибут name может содержать и другие значения, кроме robots. Например, там прописывают параметры поискового робота и тогда инструкция в атрибуте content, будет относиться именно к нему. Так на одной странице комбинируют инструкции для разных ботов.
Если ваш сайт на CMS WordPress, то все гораздо проще. У вас скорее всего установлен какой-нибудь SEO плагин, например плагин Yoast SEO. Зайдите в административную панель управления и выберите "редактировать страницу". Скрольте в самый низ и увидите, что есть инструменты настроек мета-тегов Title (meta-заголовок), Discription (meta-описание) и еще ниже под описанием будет слово "дополнительно".
Большинство сайтов в интернете именно на CMS WordPress. Поэтому мы показали как воспользоваться простым способом именно на данном движке.
Общие директивы Robots
Директивы для Google
Комбинации директив
Когда необходимо задать правила каким-то определенным типам файлов, то это выглядит следующим образом:
При этом директива </FilesMatch> находит на сайте нужные файлы. В работе ей помогает использование регулярных выражений. Ну, а если у вас Nginx , то вместо Apache ее заменяет location:
Когда имя робота не указано, то запись предназначена для всех поисковых систем. Но можно и создать запись для определенного робота, например:
Тут надо редактировать файл conf. На примере мы запрещаем индекс всех, находящихся на ресурсе png и gif-файлов. Смотрите как это делается: