Robots.txt для WordPress — пример создания правильного файла для поисковых роботов

Дата публикации: 2 января 2024
Дата обновления: 5 января 2024
Антон Маркин
7 883
Время прочтения: 20 минут
Нет времени читать? Но ты хочешь запутить рост своего сайта по SEO?
Попробуй изучить бесплатный мини-курс "Вектор SEO" Маркина Антона
4 УРОКА
которые помогут тебе найти критические проблемы на сайте
и запустить его рост
Где тебе выслать уроки?!
4 этапа
В рамках этого урока мы разберем типовые проблемы распределения семантики по страницам сайта.
И эти проблемы есть практически у каждого. Уверен, что и у себя ты найдешь многие из них.
Урок № 1
Виды проблем
Продолжительность урока 20 мин 41 сек
Результат
Разберем типовые проблемы, которые есть у 90 % сайтов
В рамках этого блока мы разберем типовые проблемы распределения семантики по страницам сайта.
И эти проблемы есть практически у каждого. Уверен, что и у себя ты найдешь многие из них.
Этап № 1
Виды проблем
Результат
Разберем типовые проблемы, которые есть у 90 % сайтов
Продолжительность урока 20 мин 41 сек
В рамках этого занятия я покажу как массово, буквально в несколько кликов проанализировать весь сайт и найти проблемы мешающие ранжированию, о которых мы говорили в прошлом уроке.
Этап № 2
Выявление проблем
Массово найдем все проблемы своего ресурса
Продолжительность урока 29 мин 25 сек
Результат
Урок "Как я давал гарантии на SEO"
Бонус № 2
Пошаговый план
Результат
Исправишь найденные ошибки своими руками
Начинаем лечить. Покажу особенности упрощения и методы автоматизации, которые позволят исправить весь сайт буквально за пару дней.
Этап № 3
Решение проблем
Продолжительность урока 17 мин 49 сек
Этап № 4
Позиционка, выход в ТОП
Главный этап курса! В рамках этого занятия я покажу как решить ключевую проблему релевантности страниц.
Когда страницы с виду и в порядке,
но поисковик упорно не хочет ставить ее в ТОП по необходимым нам запросам.
Результат
Сайт подтянется
по позициям и покажет рост
Продолжительность урока 42 мин 03 сек
Спикер курса
Меня зовут Антон Маркин и я покажу тебе настоящее SEO 2023 года
Еще не знаком со мной?
Посмотри это видео
Бонус № 1
SEO чек-лист из 160+ пунктов проверки сайта, а так же список из 27+ сервисов для SEO
Программа курса
После которых ты точно поймешь как устроенно SEO-продвижение
Кейсы и отзывы
моих учеников
Говорят сами за себя. Они уже успели пройти и внедрить техники из этого курса и получили результат
И это все классическое белое SEO, которое будет работать всегда, как бы не изменились алгоритмы поисковых систем
Не уверен, что бесплатная инфа может быть полезной?!
Василий Лебедев
SEO-специалист - профиль в VK
"Антон, приветствую.
Хочу поделиться окупаемостью вложений в твой курс. (Видишь в нашей переписке у меня пункт в голове по экономике, не могу по другому:))
Вчера заработал на том, что в моих навыках есть технологии Маркина, и об этом узнал мой партнер, передал заказчику и я закрыл на небольшое сопровождение. В итоге получается 45 т.р. Вот подробности:

Мой партнер верстальщик попросил проконсультировать фирму по их веб-ресурсу по seo-оптимизации. Он выступил как субподрядчик и порекомендовал меня как seo специалиста. Я посмотрел проект на WordPress по продвижению медицинского оборудования. Тема знакомая. Реализация как интернет магазин. Все вроде ясно. Когда я общался, то использовал лексику к которой привык в Закрытом сообществе.
Получилось что в середине беседы мне прилетел вопрос - "не проходил ли я курс Маркина?" скрин скину ниже. Я ответил, что применяю технологи т.к. освоил флагманский курс.
Результат:
В результате вчера я закрыл этого клиента на небольшую работу на 15 т.р./ мес. На 3 мес. Это итого 45 т.р.
По трудоемкости сам понимаешь дело небольшое от слова совсем:)
Позиционное продвижение. Нужно прокапать по текстовой релевантности 2 ветки сайта и выдать рекомендации по внесению изменений в виде ТЗ на моего клиента. Он верстальщик на этом проекте. Он их внедряет. Я отслеживаю динамику позиций. Даю рекомендации по контексту на отобранные ключи и их директологи льют на эти ветки.
И так три месяца. Каждый месяц по 2 ветки.
Понятно, что это не полноценный проект. Но мне сейчас полный проект поставить уже не куда. Весь график забит. А так совсем небольшая подработка но уж очень приятная.
Спасибо за технологии. Отдельное спасибо за работу, которой теперь стало очень много:)"
Андрей Девяткин
Частный SEO оптимизатор - профиль в VK
"Привет Антон!

Давно хотел тебе написать спасибо! Но так как я интроверт, хорошо замаскировавшийся под экстраверта, постоянно, откладывал на потом, но курс в мастер группе меня откорректировал)) И так по порядку.

Начнем с того, что твои флагманы по SEO это просто бомба!!!! Те, кто хочет развиваться в теме SEO и еще их не прошел это просто «унылые теплодоки», другого слова я не подберу.

У меня в SEO, как я считаю, довольно не малый, в этой теме я с 2008 г. Работал и в агентствах, где ничему никогда не учили, на стороне клиента, это более теплые воспоминания и в крупных компаниях Инком-недвижимость, Mytoys, в том числе в качестве руководителя отдела SEO даже снимал офисы, открывал свои агентства на заре кризисов, падения рубля и инфляции. Все было)))

Самое главное, чему учат твои курсы, помимо профессионализма и компетенций (это понятно) - это отделять зерна от плевел, в потоке информации. В SEO это очень важно, так как много различных «псевдогуру», форумов, где диванные эксперты советуют, то другое, Сами не разбираясь не то. что в нюансах, а даже с самой теме. Так что низкий тебе поклон. Ни разу не пожалел, не то что денег, но и времени на их прохождение, думаю время — это более ценный эквивалент, по сравнению с деньгами.

Мало того, что касается денег, они уже давно «отбиты» на клиентах, которых я получил благодаря прохождению курсов и закрытого сообщества.

Оооо.. закрытое сообщество это вообще отдельная тема для размышления, такого круга специалистов и самое главное такой теплой «ламповой» атмосферы, как в закрытом сообществе в нашей сфере больше не найти и это факт! Те, кто ещё о чем-то думают, брать/не брать курс вступать/не вступать «злостные прокрастинаторы» ))) И никак иначе!

А что касается отдельного потока мастер группы. Это прямо волшебство на самом деле. Проект не просто успешный, а суперуспешный. Я за месяц поднял уровень дохода, в более чем в 2,5 раза, и почти перевалил за 300 т.р. если нужно предоставлю скрины с клиент банка. Начал заниматься делегированием, чего раньше боялся, не хотел, и прочее, начал считать деньги, почему я этого раньше не делал, не знаю. Но после этого момента доход по сути и начал расти. Это очень важное качество уметь считать деньги. И я наконец это понял! Исправил кучу своих комплексов, а как у интроверта, у меня их не мало, хоть и тщательно скрываются. Думаю, ты понимаешь, о чем я )))

В общем, респект тебе о огромный и удачи во всех твоих проектах. Спасибо, что помогаешь развиваться и следуешь своим ценностям!

Все поток накопившихся мыслей излил ))) Это прям от души! "
Александр Зудили
Частный SEO-специалист - профиль в VK
Собственно ради ускорения и удешевления seo продвижения, я пошел на новый курс к Антону

На прошлой неделе закончился этот курс, где я отрабатывал полученные знания на своем веб-ресурсе на WordPress, продающем спортивное питание и БАДы.

И крайний месяц выдался достаточно жесткий...


Курс очень мясной, сложный. Да и тематика оказалась не такой простой, как казалось изначально. В выдаче много агрегаторов и аптек. Не без косяков, но за неполные четыре недели была проработана семантика почти для всех основных разделов.

Сайт уже был достаточно проработан, многое впитал от сильных конкурентов. При этом изначальные ~200 категорий на сайте мне удалось расширить до 460. Дальше по плану работа с позиционкой и блогом.

Самое главное

К концу месяца мне удалось ускориться в 2.5 - 3 раза (!) и удешевить себестоимость продвижения раза в 4 (благодаря отказу от JM)!

Но я б**ть перегорел


Курсом остался полностью доволен. Огромное спасибо Антону. И отдельное спасибо Евгению за терпение и возможность обкатать технологии на своем проекте.
Максим Полднев
Частный сео оптимизатор - профиль в VK
"Хотел выразить благодарность за курс.. Прошел его от корки до корки 2 раза.. Реализовал на одной рубрике - результат - летящая ракета.. Блин, все работает!! Магия какая то.. Джаст Меджик прям )) Спасибо, что открыл мне глаза на СЕО, окупил курс уже 2 раза за первую неделю после прохождения (просто позвонил одному из своих клиентов и взял его теперь уже на сео прокачку).. Информация которую ты даешь - стоит намного дороже, чем стоимость курса, а уверенность в свои силы - это просто бесценно. Представляю, какая инфа проскакивает в закрытом сообществе ...... ))) 
"
Дмитрий Перепелкин
Seo специалист - профиль в VK
"Антон, привет, хочу поделится своей историей, как по твоим технологиям с нуля сделал веб-портал, и в серьезной нише залетел в ТОП как Илон Маск в список Форбс))))
Ниша - печать и вышивка на одежде. Регион продвижения - Москва.
Когда начинал, все на меня смотрели как на дурачка, мол куда ты лезешь, там серьезная конкуренция, люди миллионы вваливают в рекламу....
Спокойно, Маша, я Дубровский....
Глубокая проработка семантики, глубочайший анализ конкурентов, качественная проработка структуры в целом и по блоковое содержимое каждой страницы, идеальной выведение текстовой релевантности... И Вуаля, пушечный рост! С момента запуска сайта и до момента выхода высокочастотников в ТОП менее 3-х месяцев...
Кстати, одна из фишек, про которую ты говорил, работает реально)))
В частности: лучший дизайн - это отсутствие дизайна.
Сам сайт:
print-in-moscow. ru (убери лишние проблемы)
Ну а показатели говорят сами за себя!"

Robots.txt для WordPress информирует поисковых роботов какие разделы и страницы сайта посещать, а какие нет. Для эффективного SEO продвижения Роботс должен быть правильно настроен. В этой статье мы покажем пример создания лучшего файла в 2023 году.

Для чего нужен Robots.txt

Закрыть страницу блога от индексации можно и через meta name=’robots’, прописав этот тег в шапке. Но использование robots.txt будет сокращать время обхода сайта пауками поисковых систем. Потому, что сначала выгружается информация именно из этого файла и там уже видно куда заходить можно, а куда нет.


В первом случае, когда страница закрыта мета тегом, бот поисковой системы Яндекс или Google сначала зайдет на страницу. Там увидит, что она закрыта и пойдет на другую.


А во втором случае, когда мы закрыли страницу от индексации в Robots.txt, паук посетит сразу только нужные страницы. Сэкономленное время потратится для обхода большего количества разделов. И если учесть, что существует лимит обхода по времени, то мы получаем больше страниц в индексе поиска.

Что закрывать от поисковых роботов

На движке WordPress автоматически создаются страницы, которые не должны попадать в выдачу поиска. Например:

Временные файлы (tmp)
Служебные страницы (admin)
Личные данные (private)
URL с UTM-метками
Результаты поиска по сайту
Страницы пагинации

Всю такую информацию необходимо закрыть, иначе будет очень много страниц, не несущих никакой полезности для пользователей. Из-за этого весь сайт упадет в самый конец выдачи.

Почему важна правильная настройка robots.txt

Не важно, на какой из популярных CMS развернут ваш сайт: WordPress, Joomla или Opencart. Настройка директив в robots.txt должна выполняться без ошибок.

Рассмотрим на примере:
Можно случайно закрыть весь сайт от индексации и сидеть ждать, когда появятся посетители. Или по ошибке закрыть нужный раздел и потерять из-за этого прибыль, потому что пользователи не увидят ваши страницы по своим запросам.
Бывает и такое, что нужно наоборот, не показывать никому какую-то информацию. А она открыта для всеобщего обозрения в файле robots.txt.

В общем, думаем, что теперь понятно, что данный файл является необходимым и играет важную роль, так что надо подойти внимательно к его созданию.

Где находится файл Robots.txt

Этот файл лежит в корневой директории каждого веб-ресурса WordPress вместе с wp-admin, wp-content, wp-includes и другими. Чтобы туда попасть, следует зайти на хостинг в файловый менеджер. Дальше увидите свой домен, заходите в него и попадаете туда, где и должен быть robots.

Посмотреть Robots.txt не заходя на хостинг можно, просто перейдя по ссылке: https://ваш_сайт/robots.txt, где вместо «ваш_сайт» необходимо указать нужный домен.

В том случае, если не увидели этот файл, значит его необходимо добавить. Сделать это можно несколькими способами. Мы расскажем обо всех, а вы выбирайте, какой больше понравится.

Создаем карту сайта

Прежде всего создается карта для поисковых систем. Для этого установите плагин Google XML Sitemaps, который ее сформирует.

Скачивать Google XML Sitemaps нужно с официального сайта https://ru.wordpress.org. Как скачаете, установите и активируйте его.

После активации в панели WP наведите курсор на «Настройки» и нажмите на «XML Sitemaps». Откроется окно с настройками плагина. Для настройки базовых параметров расставьте галочки, как показано на скрине.

Теперь настройте содержание карты сайта. Посмотрите, как это сделано на примере и сделайте также. Но повторять за нами не обязательно, можете выставить и свои настройки, которые считаете нужными.
После настройки плагина карта будет доступна по ссылке: html://ваш-домен/sitemap.xml — перейдите и проверьте, что все работает. Эту ссылку мы будем прописывать в robots.txt.

Автоматическое создание Robots.txt для WordPress

Yoast SEO

Для автоматического формирования файла нам понадобится установить популярный plugin Yoast SEO. С его помощью появится базовый документ, заполненный по усмотрению плагина. Но можно отредактировать и сохранить.

Отключите в настройках Yoast SEO карту сайта, если уже создали ее вышеуказанным способом. Иначе карты будут конфликтовать друг с другом.

ALL in One SEO Pack

Точно так же создать стандартный роботс можно через простой plugin ALL in One SEO Pack. В нем, как и в предыдущем, при необходимости, через панель управления легко редактируются записи.
Ниже мы подробно расскажем о том, как правильно составлять директивы и что обозначают различные команды.

Clearfy Pro

Платный plugin, скачать его можно с официального сайта, он стоит в районе тысячи рублей. Делает много других технических настроек, в том числе и создает файл robots.txt. Тут в настройках одним переключением бегунка появится файл в папке корневой директории вашего веб-ресурса.

Только смотрите, если robots.txt уже создан вручную, то плагином второй не следует делать. Либо удалите сначала старый и создайте после этого новый.

Robots.txt Editor

Еще существует plugin Robots.txt Editor. Он создан специально, чтобы облегчить работу по созданию и редактированию именно файл Robots.txt. Этот плагин абсолютно бесплатный и не требует дополнительных настроек.

Устанавливается он, как и предыдущие через панель управления WordPress. После установки сразу активируйте его и получите готовый файл robots. Все легко и просто.
Если потребуется, то там же через административную панель управления сможете без труда отредактировать файл как считаете нужным.

Как создать Robots.txt вручную

Мы расскажем простой способ. Для этого вам понадобится программа «Блокнот» или «Notepad++». Создаете новый текстовый файл в Блокноте и называете его robots. Затем открываете для регистрации и делаете записи, что именно должно быть в robots.txt, мы подробно разберем ниже.

После того, как все готово, сохраняете и заходите на хостинг сайта в файловый менеджер. Выше мы написали, где находится robots.txt, его надо загрузить в корневую директорию.

После загрузки, больше ничего делать не надо, все готово. А теперь изучайте внимательно что прописывается внутри Роботса, рассмотрим несколько вариантов.

Обзор директив

User-agent:

Показывает для какой поисковой системы прописаны правила. Есть два варианта записи:
User-agent: * — правила прописаны для всех роботов.
User-agent: ИМЯ_РОБОТА — обращение к конкретному пауку Yandex или Google.

Боты Яндекса:


  • YandexBot — основной индексирующий робот.
  • YandexImages — бот Яндекс.Картинок.
  • YandexMedia — индексирует мультимедийные данные.
  • YandexPagechecker — парсит микроразметку.
  • YandexDirect — скачивает информацию о контенте сайтов-партнеров РСЯ (Рекламная Сеть Яндекса).
Боты Google:

  • Googlebot — основной индексирующий робот.
  • Googlebot-Image — индексирует изображения.
  • Mediapartners-Google — робот, отвечающий за размещение рекламы от AdSense на сайте.
Disallow:

Запрещает переходить по ссылкам, в которых содержится определенная запись. Например, закрывает:
Disallow: /cgi-bin — каталог скриптов на сервере.
Disallow: *?s= — страницы поиска.
Disallow: */page/ — все виды пагинации.
Disallow: */embed$ — все URL заканчивающиеся на /embed.
Пример добавления правила:

Disallow: /kategoriya_tovara

Запрещает переходить по всем ссылкам такого вида:

https://site.ru/kategoriya_tovara
https://site.ru/kategoriya_tovara/noski-muzskye

Если требуется закрыть любые ссылки, в которых встречается /kategoriya_tovara, то пропишем так:

Disallow: */kategoriya_tovara

Теперь закроются все ссылки с вхождением данной записи:

https://site.ru/my/kategoriya_tovara
https://site.ru/katalog/kategoriya_tovara.html

Если у вас сайт с кириллическим доменом, то пишите правила в кодированном виде. Роботы не понимают кирилицу.


Allow:
Разрешает сканирование, например:

Allow: */uploads — разрешаем индексировать страницы в URL которых встречается /uploads. Это правило обязательно, потому что мы запрещаем индексировать административные папки, которые начинаются с /wp-. Запись «/wp-» входит в /wp-content/uploads, а там находятся картинки, которые должны индексироваться.

Поэтому после правила Disallow: /wp- надо не забыть написать строчку, в которой будет Allow: */uploads. При этом «Allow» может находиться как до, так и после «Disallow». Когда роботы читают правила, они сначала сортируют записи, поэтому порядок не имеет значения.

Clean-param:

Эта директория запрещает сканирование:

UTM меток;
Идентификаторов сессий;
Идентификаторы пользователей;
Индивидуальные префиксы, которые меняют URL, но сохраняют прежнее значение.
Из-за всего этого появляются дубли страниц в индексе поисковых систем. Как известно, дубли вредят сайту, и он плохо ранжируется. Поэтому Clean-param очень полезная директива, используйте ее.

Допустим, есть три одинаковые страницы с разным URL:

http://site.ru/folder/page.php?get=1&r_id=756
http://site.ru/folder/page.php?get=2&r_id=756
http://site.ru/folder/page.php?get=3&r_id=756

Содержимое у всех одинаковое, а ссылки разные из-за параметра get=, который применяется для отслеживания сайтов, с которых приходят посетители. Все три ссылки ведут на одну страницу http://site.ru/folder/page.php?r_id=756.

Чтобы это предотвратить, делаем запись в Роботс:
User-agent: *
Disallow:
Clean-param: get /folder/page.php
Так мы даем команду объединять для индексации все ссылки такого рода в одну — http://site.ru/folder/page.php?r_id=756.

Ниже мы показываем пример правильного файла robots.txt для WordPress, там посмотрите, как еще можно составить запись Clean-param.

Sitemap:

Здесь пишем свою ссылку на карту сайта для поисковых систем (html://ваш-домен/sitemap.xml). Если на сайте две карты, то укажите две ссылки в столбик.

Сортировка правил

Пауки Yandex и Googlebot обрабатывают директивы Allow и Disallow не по порядку, в котором они указаны, а сортируют их от короткого правила к длинному. Пример:
User-agent: *
Allow: */uploads
Disallow: /wp-
Читать будут вот так:
User-agent: *
Disallow: /wp-
Allow: */uploads
Больший приоритет сканирования роботами имеет правило, которое длиннее. Если длинна одинаковая, то в приоритете будет Allow.

Правильный Robots.txt для WordPress

Проверка файла robots.txt

Проверить как работают правила в Яндекс и Google можно в вебмастере той и другой системы. Вот ссылки:
Яндекс: http://webmaster.yandex.ru/robots.xml
Google: https://www.google.com/webmasters/tools/robots-testing-tool
Только сначала надо авторизоваться в системе, после этого копируйте ссылки и заходите. Там же в вебмастере есть подробная инструкция создания файла и техническое руководство, почитайте насколько он важен.
Яндекс документация: https://yandex.ru/support/webmaster/controlling-robot/robots-txt.html
Google документация: https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt

Заключение

В сети интернет можно найти много информации по этой теме. Но мы постарались рассказать наиболее доступным и простым языком.

Как мы видим, файл robots.txt для WordPress играет важную роль в контроле доступа и индексирования страниц сайта. Он содержит информацию о путях, которые нужно скрыть или запретить для сканирования роботами поисковых систем.

Для изменения файла robots.txt в WordPress можно использовать некоторые плагины, которые позволяют легко изменить содержание этого файла через меню администратора.

Файл robots.txt может содержать комментарии, которые помогают автору указать название сайта, имя и email контактного лица или хост, на котором он размещен. Это позволяет установить контакты с владельцем сайта или его администратором в случае необходимости.

Кроме того, файл robots.txt может разрешить или запретить индексирование определенных страниц сайта. Это особенно полезно, если вы хотите скрыть от поисковиков определенные разделы сайта или страницы с конфиденциальной информацией.

Для управления сканированием страниц сайта можно использовать функцию crawl-delay, которая позволяет установить задержку между запросами роботов. Это помогает снизить нагрузку на сервер и ускорить загрузку страниц.

По умолчанию, файл robots.txt используется для запрета индексирования некоторых разделов сайта, но его можно изменить и настроить под свои нужды.

Наличие файла robots.txt на сайте является важным фактором для оптимизации поисковой системы и улучшения кэширования страниц. Однако, если вы хотите отменить запрет на индексирование страниц, то это можно сделать путем удаления соответствующих строк в файле robots.txt.

Таким образом, файл robots.txt для WordPress является неотъемлемой частью контроля доступа и индексирования страниц сайта. Он позволяет управлять сканированием страниц и скрыть от поисковиков определенные разделы сайта, что способствует улучшению SEO-оптимизации и защите конфиденциальной информации.

В других статьях у нас найдете еще много полезной информации о WordPress, например, как ускорить свой сайт, изучайте сами и поделитесь с подписчиками в социальных сетях.
Еще статьи по этой теме:
Темы для интернет магазина на WordPress: подборка лучших шаблонов и плагинов WooCommerce
Подборка лучших бесплатных плагинов и темы для интернет магазина на WordPress | ТОП-18 премиум бизнес инструментов для создания сайта электронной коммерции WooCommerce.
Локальный сервер для WordPress — установка XAMPP и создание сайта
Узнайте как использовать локальный сервер для WordPress → установка XAMPP и OpenServer на компьютер и создание веб-сайта локально.
Как ускорить сайт на WordPress: увеличить скорость без плагинов и с ними
Пошаговое руководство как ускорить сайт на WordPress | Лучшие способы увеличить скорость загрузки страниц и оптимизировать работу веб-сайта плагинами и без них.
Как подключить Яндекс Метрику к сайту WordPress | Пошаговая установка кода счетчика
Пошаговая инструкция подключения Яндекс Метрики к сайту WordPress → В статье расскажем про два способа добавления счетчика вручную и один с помощью лучшего в Рунете бесплатного плагина.
Визуальный редактор WordPress — обзор лучшего плагина редактирования страниц сайта Editor
Как правильно выбрать визуальный редактор WordPress | Обзор лучших плагинов редактирования страниц и текста блоков сайта от Editor до Gutenberg классический.
Не забудь про миникурс "Вектор Seo"
Выбирай
удобный мессенджер
Made on
Tilda