Robots.txt для WordPress — пример создания правильного файла для поисковых роботов
Robots.txt для WordPress информирует поисковых роботов какие разделы и страницы сайта посещать, а какие нет. Для эффективного SEO продвижения Роботс должен быть правильно настроен. В этой статье мы покажем пример создания лучшего файла в 2023 году.
Закрыть страницу блога от индексации можно и через meta name=’robots’, прописав этот тег в шапке. Но использование robots.txt будет сокращать время обхода сайта пауками поисковых систем. Потому, что сначала выгружается информация именно из этого файла и там уже видно куда заходить можно, а куда нет.
В первом случае, когда страница закрыта мета тегом, бот поисковой системы Яндекс или Google сначала зайдет на страницу. Там увидит, что она закрыта и пойдет на другую.
А во втором случае, когда мы закрыли страницу от индексации в Robots.txt, паук посетит сразу только нужные страницы. Сэкономленное время потратится для обхода большего количества разделов. И если учесть, что существует лимит обхода по времени, то мы получаем больше страниц в индексе поиска.
Что закрывать от поисковых роботов
На движке WordPress автоматически создаются страницы, которые не должны попадать в выдачу поиска. Например:
Всю такую информацию необходимо закрыть, иначе будет очень много страниц, не несущих никакой полезности для пользователей. Из-за этого весь сайт упадет в самый конец выдачи.
В общем, думаем, что теперь понятно, что данный файл является необходимым и играет важную роль, так что надо подойти внимательно к его созданию.
После активации в панели WP наведите курсор на «Настройки» и нажмите на «XML Sitemaps». Откроется окно с настройками плагина. Для настройки базовых параметров расставьте галочки, как показано на скрине.
Только смотрите, если robots.txt уже создан вручную, то плагином второй не следует делать. Либо удалите сначала старый и создайте после этого новый.
Боты Яндекса:
Если у вас сайт с кириллическим доменом, то пишите правила в кодированном виде. Роботы не понимают кирилицу.
Эта директория запрещает сканирование: