Как проверить индексацию сайта в поисковых системах: онлайн сервисы проверки индексации страниц

Дата публикации: 9 ноября 2023
Дата обновления: 28 декабря 2023
Антон Маркин
17 203
Время прочтения: 45 минут
Нет времени читать? Но ты хочешь запутить рост своего сайта по SEO?
Попробуй изучить бесплатный мини-курс "Вектор SEO" Маркина Антона
4 УРОКА
которые помогут тебе найти критические проблемы на сайте
и запустить его рост
Где тебе выслать уроки?!
4 этапа
В рамках этого урока мы разберем типовые проблемы распределения семантики по страницам сайта.
И эти проблемы есть практически у каждого. Уверен, что и у себя ты найдешь многие из них.
Урок № 1
Виды проблем
Продолжительность урока 20 мин 41 сек
Результат
Разберем типовые проблемы, которые есть у 90 % сайтов
В рамках этого блока мы разберем типовые проблемы распределения семантики по страницам сайта.
И эти проблемы есть практически у каждого. Уверен, что и у себя ты найдешь многие из них.
Этап № 1
Виды проблем
Результат
Разберем типовые проблемы, которые есть у 90 % сайтов
Продолжительность урока 20 мин 41 сек
В рамках этого занятия я покажу как массово, буквально в несколько кликов проанализировать весь сайт и найти проблемы мешающие ранжированию, о которых мы говорили в прошлом уроке.
Этап № 2
Выявление проблем
Массово найдем все проблемы своего ресурса
Продолжительность урока 29 мин 25 сек
Результат
Урок "Как я давал гарантии на SEO"
Бонус № 2
Пошаговый план
Результат
Исправишь найденные ошибки своими руками
Начинаем лечить. Покажу особенности упрощения и методы автоматизации, которые позволят исправить весь сайт буквально за пару дней.
Этап № 3
Решение проблем
Продолжительность урока 17 мин 49 сек
Этап № 4
Позиционка, выход в ТОП
Главный этап курса! В рамках этого занятия я покажу как решить ключевую проблему релевантности страниц.
Когда страницы с виду и в порядке,
но поисковик упорно не хочет ставить ее в ТОП по необходимым нам запросам.
Результат
Сайт подтянется
по позициям и покажет рост
Продолжительность урока 42 мин 03 сек
Спикер курса
Меня зовут Антон Маркин и я покажу тебе настоящее SEO 2023 года
Еще не знаком со мной?
Посмотри это видео
Бонус № 1
SEO чек-лист из 160+ пунктов проверки сайта, а так же список из 27+ сервисов для SEO
Программа курса
После которых ты точно поймешь как устроенно SEO-продвижение
Кейсы и отзывы
моих учеников
Говорят сами за себя. Они уже успели пройти и внедрить техники из этого курса и получили результат
И это все классическое белое SEO, которое будет работать всегда, как бы не изменились алгоритмы поисковых систем
Не уверен, что бесплатная инфа может быть полезной?!
Василий Лебедев
SEO-специалист - профиль в VK
"Антон, приветствую.
Хочу поделиться окупаемостью вложений в твой курс. (Видишь в нашей переписке у меня пункт в голове по экономике, не могу по другому:))
Вчера заработал на том, что в моих навыках есть технологии Маркина, и об этом узнал мой партнер, передал заказчику и я закрыл на небольшое сопровождение. В итоге получается 45 т.р. Вот подробности:

Мой партнер верстальщик попросил проконсультировать фирму по их сайту по оптимизации. Он выступил как субподрядчик и порекомендовал меня как сео специалиста. Я посмотрел сайт по продвижению медицинского оборудования. Тема знакомая. Реализация как интернет магазин. Все вроде ясно. Когда я общался, то использовал лексику к которой привык в Закрытом сообществе.
Получилось что в середине беседы мне прилетел вопрос - "не проходил ли я курс Маркина?" скрин скину ниже. Я ответил, что применяю технологи т.к. освоил флагманский курс.
Результат:
В результате вчера я закрыл этого клиента на небольшую работу на 15 т.р./ мес. На 3 мес. Это итого 45 т.р.
По трудоемкости сам понимаешь дело небольшое от слова совсем:)
Позиционное продвижение. Нужно прокапать по текстовой релевантности 2 ветки сайта и выдать рекомендации по внесению изменений в виде ТЗ на моего клиента. Он верстальщик на этом проекте. Он их внедряет. Я отслеживаю динамику позиций. Даю рекомендации по контексту на отобранные ключи и их директологи льют на эти ветки.
И так три месяца. Каждый месяц по 2 ветки.
Понятно, что это не полноценный проект. Но мне сейчас полный проект поставить уже не куда. Весь график забит. А так совсем небольшая подработка но уж очень приятная.
Спасибо за технологии. Отдельное спасибо за работу, которой теперь стало очень много:)"
Андрей Девяткин
Частный SEO оптимизатор - профиль в VK
"Привет Антон!

Давно хотел тебе написать спасибо! Но так как я интроверт, хорошо замаскировавшийся под экстраверта, постоянно, откладывал на потом, но курс в мастер группе меня откорректировал)) И так по порядку.

Начнем с того, что твои флагманы по SEO это просто бомба!!!! Те, кто хочет развиваться в теме СЕО и еще их не прошел это просто «унылые теплодоки», другого слова я не подберу.

У меня в SEO, как я считаю, довольно не малый, в этой теме я с 2008 г. Работал и в агентствах, где ничему никогда не учили, на стороне клиента, это более теплые воспоминания и в крупных компаниях Инком-недвижимость, Mytoys, в том числе в качестве руководителя отдела даже снимал офисы, открывал свои агентства на заре кризисов, падения рубля и инфляции. Все было)))

Самое главное, чему учат твои курсы, помимо профессионализма и компетенций (это понятно) - это отделять зерна от плевел, в потоке информации. В продвижении веб-ресурсов это очень важно, так как много различных «псевдогуру», форумов, где диванные эксперты советуют, то другое, Сами не разбираясь не то. что в нюансах, а даже с самой теме. Так что низкий тебе поклон. Ни разу не пожалел, не то что денег, но и времени на их прохождение, думаю время — это более ценный эквивалент, по сравнению с деньгами.

Мало того, что касается денег, они уже давно «отбиты» на клиентах, которых я получил благодаря прохождению курсов и закрытого сообщества.

Оооо.. закрытое сообщество это вообще отдельная тема для размышления, такого круга специалистов и самое главное такой теплой «ламповой» атмосферы, как в закрытом сообществе в нашей сфере больше не найти и это факт! Те, кто ещё о чем-то думают, брать/не брать курс вступать/не вступать «злостные прокрастинаторы» ))) И никак иначе!

А что касается отдельного потока мастер группы. Это прямо волшебство на самом деле. Проект не просто успешный, а суперуспешный. Я за месяц поднял уровень дохода, в более чем в 2,5 раза, и почти перевалил за 300 т.р. если нужно предоставлю скрины с клиент банка. Начал заниматься делегированием, чего раньше боялся, не хотел, и прочее, начал считать деньги, почему я этого раньше не делал, не знаю. Но после этого момента доход по сути и начал расти. Это очень важное качество уметь считать деньги. И я наконец это понял! Исправил кучу своих комплексов, а как у интроверта, у меня их не мало, хоть и тщательно скрываются. Думаю, ты понимаешь, о чем я )))

В общем, респект тебе о огромный и удачи во всех твоих проектах. Спасибо, что помогаешь развиваться и следуешь своим ценностям!

Все поток накопившихся мыслей излил ))) Это прям от души! "
Александр Зудили
Частный SEO-специалист - профиль в VK
Собственно ради ускорения и удешевления продвижения, я пошел на новый курс к Антону

На прошлой неделе закончился этот курс, где я отрабатывал полученные знания на сайте, продающем спортивное питание и БАДы.

И крайний месяц выдался достаточно жесткий...


Курс очень мясной, сложный. Да и тематика оказалась не такой простой, как казалось изначально. В выдаче много агрегаторов и аптек. Не без косяков, но за неполные четыре недели была проработана семантика почти для всех основных разделов сайта.

Сайт уже был достаточно проработан, многое впитал от сильных конкурентов. При этом изначальные ~200 категорий на сайте мне удалось расширить до 460. Дальше по плану работа с позиционкой и блогом.

Самое главное

К концу месяца мне удалось ускориться в 2.5 - 3 раза (!) и удешевить себестоимость продвижения раза в 4 (благодаря отказу от JM)!

Но я б**ть перегорел


Курсом остался полностью доволен. Огромное спасибо Антону. И отдельное спасибо Евгению за терпение и возможность обкатать технологии на своем сайте.
Максим Полднев
Частный сео оптимизатор - профиль в VK
"Хотел выразить благодарность за курс.. Прошел его от корки до корки 2 раза.. Реализовал на одной рубрике - результат - летящая ракета.. Блин, все работает!! Магия какая то.. Джаст Меджик прям )) Спасибо, что открыл мне глаза на СЕО, окупил курс уже 2 раза за первую неделю после прохождения (просто позвонил одному из своих клиентов и взял его теперь уже на сео прокачку).. Информация которую ты даешь - стоит намного дороже, чем стоимость курса, а уверенность в свои силы - это просто бесценно. Представляю, какая инфа проскакивает в закрытом сообществе ...... ))) 
"
Дмитрий Перепелкин
СЕО специалист - профиль в VK
"Антон, привет, хочу поделится своей историей, как по твоим технологиям с нуля сделал сайт, и в серьезной нише залетел в ТОП как Илон Маск в список Форбс))))
Ниша - печать и вышивка на одежде. Регион продвижения - Москва.
Когда начинал, все на меня смотрели как на дурачка, мол куда ты лезешь, там серьезная конкуренция, люди миллионы вваливают в рекламу....
Спокойно, Маша, я Дубровский....
Глубокая проработка семантики, глубочайший анализ конкурентов, качественная проработка структуры сайта в целом и по блоковое содержимое каждой страницы, идеальной выведение текстовой релевантности... И Вуаля, пушечный рост! С момента запуска сайта и до момента выхода высокочастотников в ТОП менее 3-х месяцев...
Кстати, одна из фишек, про которую ты говорил, работает реально)))
В частности: лучший дизайн - это отсутствие дизайна.
Сам сайт:
print-in-moscow. ru (убери лишние проблемы)
Ну а показатели сайта говорят сами за себя!"

Важно знать, как проверить индексацию сайта в поисковых системах. Потому что какой бы не был крутой дизайн, но если Яндекс и Google не знает о сайте, то на него никогда не пойдет поисковой трафик. Сейчас мы подробно расскажем, как с помощью онлайн сервисов проверить какое количество статей проиндексировалось.

Что такое индексация

Это когда поисковые роботы пришли на ваш сайт, просканировали все файлы и занесли их в свою базу данных. После этого определяется как будет ранжироваться конкретная страница.
Поисковики смотрят каким запросам пользователей релевантен ваш контент. И определяют на основе этого какое место в выдаче займет страница по отношению к своим конкурентам.

Этапы индексации сайта

Алгоритмы проведения анализа у Yandex и Google отличается. Поэтому один и тот же ресурс в выдаче этих поисковых систем будет на занимать разные места.

Сканирование

Роботы поиска приходят на сайт и начинают выгружать материалы, но не все, а только те, которые разрешает файл Robots.txt, который сканируется первым.

На обход каждого ресурса выделяется краулинговый бюджет, т.е. сканируется ограниченное количество страниц. А какие именно материалы будут рассмотрены ботами определяется по следующим критериям:
Url не закрыты метатегами <meta name='robots' content='noindex, nofollow'/>;
По популярности страниц (какое количество посетителей заходит в сутки);
Высокая скорость загрузки контента;
Отсутствие дублей страниц на сайте;
Контент уникальный, т.е. не скопирован с другого веб-ресурса;
И др.

Так вот, этот быстробот скачивает файлы и помещает их с свою базу данных. При этом если контент обновили, то старый удаляется, его место занимает новый.

Индексация

Следующим этапом уже подключается другой бот, который регулярно сканирует весь контент. Он сортирует весь материал: изображения, текст, видео и другие данные. Причем некоторые материалы, которые добавил быстробот, второй робот может выкинуть из индекса.

Теперь начинается проверка качества контента, наличие тега canonical, потому что индексируются только каноничные страницы. Определяется на какой поисковой запрос отвечает текст. Насколько развернуто он дает ответ на вопрос.

После окончания проверки документ занимает свое место в поиске.

Как подготовить сайт к индексации

Для начала нужно определить количество страниц на сайте. Для этого нужно установить карту sitemap.xml — это практически самый главный помощник роботов поиска. В ней указываются все страницы, дата и время их сканирования вплоть до минут.

На CMS WordPress такую карту автоматически генерируют с помощью специальных плагинов. Например, Yoast SEO или Google XML Sitemaps.

Как проверить индексацию в Яндекс.Вебмастер

Добавить URL в вебмастер

Для начала URL нужно завести в Yandex Webmaster. Для этого зайдите в свой аккаунт и вверху нажмите на плюсик. Откроется окно, в которое нужно вписать домен и нажать кнопку.

Потребуется подтвердить, что вы владелец ресурса. Будет предложено несколько вариантов, самый простой — скачать файл и загрузить его в корневую директорию на хостинге. Если такой вариант не устраивает, то скопируйте мета-тег и вставьте его перед тегом /body.

После этого нажимайте на кнопку «проверить», пройдет моментальная проверка и можно пользоваться всеми инструментами Webmaster.

Проверка в Яндекс Вебмастере

В разделе «Сводка» находится краткий отчет по сайту. Просмотрите внимательно все окошки, найдете что-нибудь полезное для себя. Этот процесс не займет много времени. Затем продолжайте двигаться вниз нажимая по вкладкам.

Сейчас сможете узнать про весь список возможностей. Заходите в меню слева в «Индексирование»:

«Страницы в поиске»

Тут много полезной информации о добавленных и удаленных URLах. Особое внимание уделите малоценным или маловостребованным страницам. Если такие найдутся, то обязательно разберитесь с проблемой.

«Статистика обхода»

Тут видно, как робот Яндекса проверяет сайт.

«Все страницы»

Зайдите и скачайте Excel файл, где увидите все URL, которые известны Yandex. Там показаны и коды ответа сервера. Если код 200, то все в порядке, а если 400 или 500, то не работает. Ну и 301 — это переадресация.

«Обход по счетчикам»

Здесь и привяжите счетчик Метрики, а затем включите обход по счетчику. Как подключить Метрику, читайте у нас отдельную статью.

«Структура сайта»

Вот в этом разделе как раз и показано сколько страниц загружено в Яндекс и сколько из них проиндексировано.

«Отслеживание изменений на важных страницах»

Добавляйте ссылки страниц, за обходом которых хотите отслеживать. Тут отображается и код ответа и дата.

«Переобход страниц»

Добавляйте сюда страницы, если хотите, чтобы поисковой робот быстрее обошел их.

«Sitemap»

Информация по файлам, которые находятся в карте XML. Тут же есть возможность загрузить новые.

«Переезд сайта»

Можно переехать на другой домен, только сначала его надо тоже завести в Вебмастер и подтвердить права.

«Заголовки и описания»

Проверка мета-тегов Title и Description по мнению Яндекса на информативность и привлекательность.

«Скорость обхода»

Настройка скорости сканирования страниц роботом. Изменяйте только если у вас слабый сервер и не выдерживает большой нагрузки. И то, эта скорость носит рекомендательный характер, а не обязательный.

«Мониторинг важных страниц»

В этом разделе можно отслеживать изменения ранжирования важных страниц сайта. Обязательно добавьте ссылки, чтобы быть в курсе всех событий.

Как проверить индексацию в Google Search Console

Добавляете свой сайт в Google Search Console точно так же, как и в Webmaster Яндекса. Права подтверждаете тем же самым способом.

После этого в меню слева заходите во вкладку «Страницы». Здесь видно сколько URL проиндексировано и сколько нет.
Внизу увидите таблицу, там показывают почему не проиндексированы страницы. Некоторые из них будут с переадресацией, другие закрыты тегом noindex или с 404 кодом ответа сервера.

Особое внимание нужно обратить на такую формулировку: «Страница просканирована, но не индексирована» и «Обнаружена, но не проиндексирована». Надо разбираться и решать данную проблему, скорее всего наложены какие-то санкции.

Проверка индексации без доступа к сайту

Можно проверить любой сайт прямо в браузере или с помощью онлайн сервисов. Сейчас расскажем и об этом подробнее.

Проверка вручную через поиск

Можно быстро проверить количество проиндексированных страниц прямо в браузере. Не придется заходить на какие-то сторонние ресурсы, воспользоваться сможет каждый. Для этого и в Яндексе, и в Google используем оператор — site. Например, site:dvryaboff.ru вставляем в поисковую строку.
В инструментах Гугл поисковика можно отфильтровать результаты за определенный период. Можно увидеть свежие и более старые.

В Яндексе тоже есть инструменты для фильтрации периода сканирования страниц. Тут есть возможность увидеть результаты за сутки, две недели и за месяц.

В разных поисковых системах количество страниц в поиске может быть разное. Причина в том, что работа их алгоритмов значительно отличается.

Иногда бывает, что результаты анализа в Webmaster и при помощи операторов не совпадает. Тогда верить нужно Вебмастеру.

Онлайн сервисы

Кроме тех возможностей, о которых мы уже рассказали, существуют еще SEO программы и различные сервисы. С помощью них можно быстро проверить индексацию сразу во всех поисковых системах.

Для СЕО-специалистов разработаны платные SEO-комбайны анализа оптимизации блога. Например «Allpositions» или «Topvisor», «Rush-Analytics». Они показывают даже какое место в поисковиках занимает каждый документ. Топвизор самый демократичный по цене из них.
Но есть и бесплатные онлайн-сервисы, сейчас более подробно поговорим именно о них.

Arsenkin Tools

Индексацию в Яндекс этот анализатор проверяет бесплатно. Этого достаточно для широкой аудитории пользователей. Но чтобы анализировать Google, придется заплатить деньги. Цены тут не низкие.

Pr-Cy.ru

Бесплатно проверяет только пять ссылок. Проверяет только поиск Гугла. Есть техническая поддержка, которая позволяет быстро решать любую задачу. Имеется так же партнерская программа, если есть подписная база, то рассылка поможет заработать на платное использование инструмента для мониторинга позиций.

Серпхант

Находится сервис проверки запросов по адресу serphunt.ru и способен бесплатно проверить до пятидесяти URL. Показывает какие в индексе, а какие нет, только правильно введите параметры. Проверка индексации делается очень быстро. Проверяет все ресурсы от лендинга до интернет-магазина. Данные можно скачать в формате Excel одним файлом, это последнее введение дает преимущество компании над конкурентами.

SEO Magic

Это расширение для браузера, которое показывает всю информацию о сайте. Удобно в использовании, все значения получаете одним кликом, в том числе и прохождение индексации страницами.

Чтобы пользоваться расширением, необходимо установить и закрепить его значок в верхней панели браузера. После этого заходите на нужный сайт, нажимаете на этот значок и открывается окно с краткой информацией.

RDS Bar

Самое полезное расширение, которым пользуются почти все SEO-специалисты. Устанавливается в Firefox, Chrom и Opera. Там сразу показывают сколько страниц прошли индексацию в Яндекс и Google. В информационном окне можно переходить по ссылкам и изучать информацию тщательнее.

Но надо понимать, что сервисы, операторы и расширения дают приблизительные данные. Самые точные можно увидеть только в Вебмастере и Google Console.

Проверка индексации отдельной страницы

Случается такое, что нужно отправить на проверку только какую-то одну конкретную страницу. Для этого использует те же самые инструменты. С помощью которых можно получить даже число ранжирования.
В Яндексе и Google с помощью оператора «url» можно проверять отдельные страницы. Для этого приписываете ее URL к оператору без пробелов. Например, url:dvryaboff.ru/avtor-bloga/.
Можно скопировать пару предложений на странице, которую хотите проверить и вставить в поиск. Если сканирования страницы не было, то поиск ее не покажет, если была, то увидите ссылку на нее.
Еще есть вариант с использованием инструментов Яндекса. Пишете запрос и через пробел домен искомого веб-сайта. Затем нажимаете на значок настроек, выбираете период и видите когда была индексация.

Яндекс.Вебмастер

Заходите в «Индексирование» - «Проверить статус URL». Это проверка индексации страницы. Вставляете ссылку, нажимаете кнопку «Проверить» и увидите информацию про обход роботом и каноничности.

Google Search Console

Вверху консоли располагается строка ввода для URL. Вводите его туда и нажимаете «Enter». После анализа получаете результат. Если горит зеленая галочка, то все в порядке, страница прошла индексацию.

Так же можно добавлять и новые страницы для обхода. Сначала проделываете то, что мы написали выше, затем нажимаете на «Запросить сканирование».

Как ускорить индексацию

Нужно с регулярной периодичностью публиковать новые статьи на свой сайт. При этом материалы должны быть уникальными, качественными и нести полезность для пользователей.
О новых статьях надо не забывать сообщать где только можно. Анонсирование в основном делается через кнопки социальных сетей. Делитесь во всех соцсетях и мессенджерах, а также на специальных порталах типа Subscribe. Боты быстрее с них зайдут на вашу новую публикацию и просканируют ее.
Делайте правильно перелинковку на сайте. Ставьте ссылку на новую статью в тексте популярных страниц с высокой посещаемостью. Так она быстрее проиндексируется.
Не забывайте проводить обновление контента, чтобы материалы соответствовали сегодняшнему дню. Ведь с индексацией обновленной страницы, она будет лучше ранжироваться.
Сделайте удобную навигацию на сайте и две карты — одну для роботов и одну для людей. Если в меню будет карта, где отображаются все рубрики, категории, товары и статьи, так удобнее будет ориентироваться не только посетителям, но и поисковикам.
Сделайте SSL протокол, чтобы указать https адрес. Потому, что некоторые браузеры не открывают http. После установки протокола, настройте переезд в Webmaster и Google Search Console.
Правильно настроенная контекстная и таргетированная реклама в Директ и социальные сети поможет индексации. Так и трафик сразу получите и индексацию. Пример тому наш сайт, всегда так поступаем, не сложно посмотреть сколько людей посещают наш ресурс.
  1. Не должно быть технических ошибок на блоге и переспама в статье. В случае, если попали под санкции за переспам, быстро его удалите и отправляйте страницу на переиндексацию. Стоит проводить seo-анализ текста перед публикацией в сервисе Адвего чтобы не создавать себе проблемы.

Заключение

Мы подробно раскрыли тему проверки индексации сайта и отдельных страниц в поисковиках. Если вы специалист, то понимаете, что индексацией надо интересоваться, а то, может страница не проиндексирована, а вы ждете, когда она появится в выдаче поисковиков.

Надеемся, что вопросов не осталось, но если хотите что-то спросить или сообщить, что вышли новости по данной тематике, то пишите в комментариях, мы обязательно ответим. И не забудьте поделиться этой статьей со своими подписчиками в соцсетях, особенно вконтакте.
Еще статьи по этой теме:
Внутренняя оптимизация сайта для SEO продвижения в Яндекс и Google: пошаговая инструкция работы
Внутренняя оптимизация сайта для самостоятельного SEO продвижения в поисковых системах Яндекс и Googl | Пошаговый чек-лист основных этапов улучшения и раскрутки веб-страниц в поисковой выдаче.
Продвижение сайта по позициям — вывод в ТОП поисковых систем Яндекс и Google
SEO продвижение сайта по позициям в ТОП-10 поисковых систем Яндекс и Google: этапы раскрутки и комплексной оптимизации сайта по ключевым запросам.
Видимость сайта в поисковых системах: проверка позиций в выдаче Яндекс и Google
Как проверить видимость сайта по ключевым запросам в Яндекс и Google через онлайн-сервисы | Как анализировать и рассчитывать параметры показателей видимости для SEO продвижения.
Как подключить Яндекс Метрику к сайту WordPress | Пошаговая установка кода счетчика
Пошаговая инструкция подключения Яндекс Метрики к сайту WordPress → В статье расскажем про два способа добавления счетчика вручную и один с помощью лучшего в Рунете бесплатного плагина.
Мета-тег Robots и meta HTTP-заголовок X-Robots-Tag
Как лучше указывать роботам правила загрузки страницы → Прописать мета-тег Robots в HTML-коде в элементе head или внедрить на сервере meta HTTP-заголовок X-Robots-Tag.
Не забудь про миникурс "Вектор Seo"
Выбирай
удобный мессенджер
Made on
Tilda