Как добавить сайт на индексацию поисковикам

Количество проиндексированных страниц в Яндексе и Google разное — что с этим делать?

На данном этапе вы уже знаете, какие страницы не проиндексированы. Теперь нужно понять, почему это произошло.

Есть ряд причин, по которым поисковики могут индексировать не все (или лишние) страницы:

• Отдельные директивы для Яндекса и Google в robots.txt. В этом случае — ошибочно или намеренно — запрещена индексация определенного типа страниц для одного из поисковых роботов —  Googlebot или Yandexbot. Нужно проверить файл, и при необходимости исправить директивы

• Молодой сайт. Поисковикам требуется время, чтобы добавить все страницы в индекс. Если спустя 2-3 месяца после запуска сайта проблема не решилась, ищите другие причины.

• Нет XML-карты сайта. В последнее время ее значение для индексирования стало меньше (особенно об этом заявляют представители Google), но тем не менее она помогает поисковикам лучше понимать структуру сайта. Стоит ее создать и разместить в корне сайта.

• Наличие дублей страниц. Они возникают в силу специфики CMS, ошибок при разработке и настройке сайта, копировании контента. Решение — найти и устранить дубли.

• Низкая скорость работы сайта. Робот может попросту не дождаться ответа и уйти ни с чем. Решение — найти «узкие места» и ускорить работу сайта.

• Редкая публикация нового контента. Чем реже вы добавляете новые страницы, тем реже роботы посещают сайт. Естественно, скорость переобхода у Яндекса и Google разная, поэтому возникают расхождения. Решение — планомерно создавать новые страницы с уникальным интересным контентом, например, статьей для блога. Если у вас не хватает времени для такой работы, подключите модуль автоматического наполнения сайта от PromoPult — копирайтеры будут регулярно писать тематические тексты под ваш сайт, а верстальщики — размещать их на страницах.

• Редкое обновление устаревшего контента. Если существующие страницы не обновляются, то при выпадении из индекса повторная индексация произойдет нескоро. Избежать этого помогает настроенный Last-Modified и регулярная актуализация информации.

• Санкции поисковиков. Ваш сайт может попасть под санкции одного из поисковиков, в то время как со стороны другого их не будет. В этом случае стоит проверить сайт на наличие фильтров и при необходимости предпринять действия по выходу из-под них.

• Более 4 уровней вложенности. В такой ситуации поисковик не успевает добраться до части «глубоких» страниц. Решение — переосмыслить структуру сайта и упростить ее.

Для точной диагностики причин выпадения страниц из индекса проведите SEO-аудит сайта. По его результатам у вас на руках будет готовый план действий. Останется воплотить их в жизнь.

После устранения недостатков подождите пару недель, чтобы поисковики переиндексировали страницы, и повторно промониторьте ситуацию. Если все сделано верно, то расхождения минимизируются (ожидать, что совпадать будут 100% страниц, не стоит).

Особенности индексации в Google

Интернет – это необъятный океан различной информации, которая обязательно строго структурирована и находится на отведенном ей месте. Такая безупречная каталогизация возможна благодаря работе поисковых систем. В них хранятся важные данные о каждой странице всех имеющихся сайтов, что позволяет быстро находить пользователю нужную ему информацию.

Так как Интернет ежедневно пополняется огромным количеством новой информации на страницах сайтов, даже самые продвинутые поисковые системы не могут сразу выполнить их индексацию. На наиболее посещаемых сайтах обновление данных в поисковых системах производится ежедневно, а на всех остальных – еженедельно.

Индексация сайта в Гугле – самая быстрая индексация среди всех остальных. В зависимости от ряда параметров, Гугл способен вносить в свою поисковую базу данные о произошедших обновлениях на сайтах даже в течение нескольких часов

Индексация включает добавление ряда важной информации о материалах сайта: ключевые слова, ссылки и пр

Все web ресурсы индексируются с разной скоростью. На то, как быстро поисковая машина посетит сайт и внесет в свою базу данных информацию об изменениях на страницах, влияет ряд факторов. Предположим, если Гугл определит, что сайт посвящен новостям, то он будет регулярно индексироваться быстроботом – буквально каждые несколько часов. Существуют разные способы, при помощи которых можно добавить сайт на индексацию в Гугл. Например, для того, чтобы ускорить попадание сайта в индекс, часто используется один из действенных способов – размещение внешних ссылок на страницах, которые уже проиндексированы.

Когда поисковая машина Google посетила сайт, отметила все необходимые данные и внесла информацию в базу данных, системой осуществляется ранжирование авторитетности. Что оно из себя представляет? Ранжирование авторитетности – это выполнение сортировки по определенным параметрам. Авторитетность (PageRank), в свою очередь, определяется количеством и качеством ссылок, ведущих на сайт с других ресурсов. Выходит, что тот сайт, на который ведет большее количество ссылок, является более авторитетным

Чем выше авторитетность, тем выше и важность ресурса, определяемая ранжированием

Непосредственное влияние на индексацию сайта оказывает:

• количество посетителей;
• релевантность страницы – соответствие поисковым запросам пользователей, достигаемое определенной пропорцией ключевых слов в тексте или мета-тегах;
• внутренняя оптимизация.

Показатель PageRank может быть от 0 до 10. Для наиболее «продвинутых» сайтов обычно соответствует показатель 4-5. А вот сам Google имеет по шкале авторитетности 10. На данный момент тулбарный показатель PR отключен.

Те сайты, которые обладают высоким показателем авторитетности, располагаются в поисковой выдаче как можно выше. Следует учесть, что каждая страница одного сайта имеет свой показатель авторитетности, поэтому и место в выдаче будет для каждой страницы свое.

Как проверить индексацию сайта в Гугле с оператором «site:»

Мы уже разобрались с тем, что индексация сайта очень важна. С помощью определенных действий можно проверить проиндексирован ли сайт в Гугл. Существует много программ и сервисов, которые помогают в этом.

Один из способов проверки индексации в Гугл – это выполнить установку тулбара Google в браузер, после чего в правой верхней странице будет видна специальная диаграмма. Она выводит показатель авторитетности страницы сайта.

Еще один надежный способ для google – оператор «site:». Не забываем, что индексация Гугл является зависимой от географического положения, что влияет на количество страниц в индексе для google.ru и google.com.

Итак, как пользоваться данным оператором для проверки индексации:

• К оператору «site:» нужно добавить url интересующего домена. Между ними не должно быть пробелов. Выглядит это так: site:google.ru.
• Поиск по всему домену или отдельному каталогу: site: google.com/webmasters.
• Можно осуществлять и избирательный поиск. Для того, чтобы исключить ненужные страницы, перед оператором нужно поставить знак «-». Выглядит это следующим образом: site:google.ru -site: adwords. google.com.

Для того, чтобы определить индексацию страницы со ссылкой на главную сайта с помощью www.google.ru, можно воспользоваться запросами link:google.ru или link:www. Первый поиск всегда выдает гораздо больше результатов.

Поиск ссылок на определенные страницы сайта можно выполнить по запросу: link:google.ru/webmasters.

Индексация сайта в поиске

Теперь, когда мы рассказали, что такое индексация, почему она так важна и как её проверить, приступим к практике.

Как ускорить индексацию?

Мы писали выше, что управлять индексацией, что бы кто не говорил, вы не можете. Но повлиять на процесс или даже ускорить возможно. 

Советы по ускорению индексации

• Обязательно добавьте сайт во все сервисы Яндекса и Google, особенно в Яндекс Вебмастер и Google Search Console.
• Создайте sitemap.xml, поместите карту в корень сайта и постоянно обновляйте.
• Следите за robots.txt и исключайте ненужные страницы (об этом ниже).
• Выберите надёжный и быстрый хостинг, чтобы робот мог беспрепятственно индексировать содержимое сайта.
• Используйте инструменты Яндекс Вебмастера (Индексирование → Переобход страниц) и Google Search Console (Проверка URL → Запросить индексирование). Способ идеально подходит для работы с отдельными страницами. 
• Если ваша CMS любит создавать дубли (например, Битрикс), то используйте атрибут rel=canonical.
• Автоматизируйте создание новых ссылок со старых страниц. Как вариант, можно сделать блок на главной с новыми товарами или статьями.
• Ведите соцсети и анонсируйте новые товары, услуги, страницы. Замечено, что ссылки с соцсетей могут ускорить процесс.
• Создавайте качественный контент на каждой странице. Под качественным контентом мы понимаем актуальную, релевантную и уникальную информацию для пользователей.
• Работайте над структурой сайта и делайте её удобной и понятной пользователю. Помните о правиле 3 кликов: это оптимальное количество действий для пользователя.
• Проверяйте периодически сайт на вирусы и санкции поисковых систем. В Яндекс Вебмастере раздел Диагностика → Безопасность и нарушения, в Google Search Console — раздел Проблемы безопасности и меры, принятые вручную.
• Улучшайте свой ссылочный профиль и пишите анонсы на других сайтах (в рамках правил поисковых систем).
• Используйте родные браузеры (Chrome, Яндекс Браузер) и заходите на новые страницы с них.

Как запретить индексацию?

Выше мы рассмотрели основные способы, как ускорить индексацию, и рассказали, что такое краулинговый бюджет и почему он ограничен для каждого сайта. Поэтому чтобы его не тратить зря, советуем закрывать от индексации служебные и технические страницы, кабинеты пользователей и конфиденциальную информацию, а также страницы в разработке и дубли. 

3 основных способа запретить индексацию:

1. Директива Disallow в файле robots. Мы писали, что такой запрет может не сработать в отдельных случаях. Тем не менее это основной способ запрета индексации.
2. В коде страницы указать метатег robots с директивой noindex (для текста) и/или nofollow (для ссылок). Хорошо подходит для запрета индексации отдельных страниц.
3. Настроить HTTP-заголовок X-Robots-Tag с директивой noindex и/или nofollow. Лучше всего подходит для закрытия индексации не HTML-файлов (PDF, изображения, видео и другие).

Используйте все наши советы по улучшению индексации на полную мощь.
Максимальное внимание уделите улучшению структуры и навигации и обновлению карты сайта.
Структура сайта должна быть проста и понятна, охватывать весь спектр ключевых запросов, а каждая страница сайта в идеале должна быть доступна в 3–4 клика

Для этого используйте дополнительные блоки на главной странице и в разделах.
Хорошо работает облако тегов: с помощью него часто получается продвигать категории, улучшать навигацию и полно охватывать семантику.
Для многостраничных сайтов действительно важно постоянно обновлять sitemap.xml
Зачастую в таких случаях карту делят на несколько частей, чтобы охватить весь список страниц. 
Настройте маски (автоматические шаблоны) метатегов для новых страниц в категориях и каталогах. 
Скорее всего, вам не обойтись без команды профессионалов, которые смогут обеспечить техподдержку, производство контента и SEO-продвижение.

Почему не индексируется ресурс?

Прошло недостаточно времени. Владельцам новых сайтов, нужно запастись терпением. Нередко попадание в индекс растягивается больше, чем на две недели.

Не добавлена карта сайта. Если вы решили проигнорировать sitemap.xml, возвращайтесь наверх и читайте, как это исправить.

Запрет на индексацию в файле robots.txt. Некоторые страницы сайта советуют закрывать от индексации. Это делают через прописывание специальных директив в служебном файле robots.txt. Здесь нужно быть предельно аккуратным. Лишний символ — и можно закрыть то, что должно быть доступным для поисковых роботов. В этом случае будут проблемы.

Ошибка с метатегом “robots”. Этот элемент кода сообщает поисковым краулерам о запрете на индексацию страницы. Он помещен между тегами <head>  </head>, и выглядит следующим образом:

Метатег может появиться там, где не нужно. Часто это случается при изменении настроек движка или хостинга.

Запрет на индексацию в файле .htaccess. В этом файле прописаны правила работы сервера, и через него также можно закрыть сайт от индексирования.

Тег rel=”canonical”. Этот тег используют на страницах с дублированным содержимым, указывая с его помощью поисковым роботам адрес основного документа. Если страницы не попадают в индекс, причиной может быть наличие этого тега.

X‑Robots-Tag. В файле конфигурации сервера может быть прописана директива X Robots-Tag, запрещающая индексирование документов.

Долгий или неверный ответ сервера. Критически низкий отклик сервера создает сложности поисковым роботам при обходе сайта, из-за чего часть страниц может не залететь в индекс.

Некачественный контент на страницах. Плагиат, дубли, ссылочный переспам, автоматически сгенерированные тексты — все это также создает потенциальные риски.

Как видим, причин, по которым возможны проблемы с индексированием, довольно много. Но не переживайте, все это не нужно тестить вручную. Вебмастерки регулярно оповещают о возникших ошибках. Ваша задача — следить за уведомлениями в Яндекс.Вебмастере и Google Search Console и своевременно исправлять ошибки.

Можно ли индексировать пустой сайт? Или сначала лучше наполнить его контентом?

Мы отправили на индексацию не один десяток сайтов, и убедились, что особой разницы нет. Если сайт новый.

Вы можете сделать 5-10 стартовых страниц, наполнить их контентом и забросить сайт на индексацию. А можете добавить сайт пустым, и не спеша наполнять его контентом. Это не должно отразиться на скорости и качестве индексирования. Конечно, если не растягивать наполнение этих 5-10 страниц на месяцы. А вот с чем можно повременить на первых порах — оттачивание дизайна, создание перелинковки, размещение виджетов и пр. Это не так принципиально, если вы не планируете сразу же лить рекламный трафик на сайт.

Как происходит индексация сайта поисковыми системами

SEO-продвижение сайта, то есть его раскрутка, привлечение клиентов и покупателей, невозможно без оптимизации. Оптимизация сайта выполняется в несколько шагов. Каждый несовершенно выполненный шаг влияет на общий результат в целом и может привести к замедлению или частичной индексации каждой отдельной страницы сайта.

Индексация сайта — это обработка сайта роботами-поисковиками, то есть программами, сканирующими сайт и заполняющими базы данных поисковиков результатами для поисковых запросов. Если индексация выполнена верно, то пользователь легко найдет нужные страницы сайта. В противном случае веб-ресурс не будет отображаться в поисковых системах, проще говоря, его не увидят пользователи и не приобретут товар, не воспользуются услугой и так далее.

Как ускорить процесс индексации сайта и продвинуть его в поисковых системах

Одним из способов является добавления созданного веб-ресурса в популярные поисковики, такие как Google и Yandex. Для этого необходимо построить карту сайта и указать файл с ней sitemap.xml в сервисе вебмастеров поисковика. Карта сайта — это список ссылок в формате XML на все страницы, которые содержит сайт.

Проиндексировать новый веб-ресурс можно с помощью добавления различных страниц сайта в социальные сети и популярные закладки (twitter.com, vkontakte.ru, bobrdobr.ru, memori.ru и так далее).

Ссылки к страницам индексируемого сайта будет полезно разместить в блоге на livejournal.com, blogs.mail.ru и других популярных блогерских площадках.

Как только на сайте появляются новые страницы, ссылки на них нужно добавлять в блог или соцсеть. Это значительно улучшит индексацию сайта.

Кроме того, можно зарегистрироваться на LiveInternet или Рамблер ТОП100. ТОПы известных каталогов и рейтингов часто посещаются роботами, что также ускоряет индексацию сайта.

Еще один действенный метод улучшить индексацию — комментировать блоги и вставлять ссылки в комментарии. Поисковые роботы часто отслеживают популярные блоги и ответы к записям, но при этом не стоит навязчиво сыпать ссылками, они должны быть уместными и размещаться в специально предназначенных для этого местах, иначе комментарий будет удален как спам за нарушение правил ведения блога.

По такому же принципу увеличивается индексация через форумы, в них ссылки вставлять разрешается, главное, чтобы они соответствовали теме форума. Чем больше посещаемость такого форума пользователями, тем чаще его сканируют боты.

Если есть время и ресурсы, можно разместить как можно больше статей, содержащих ссылки. Этот процесс трудоемкий, поскольку нужно много актуальных и интересных текстов, которые пользователи хотели бы посмотреть, но при этом статьи на сторонних сайтах играют роль каталогов ссылок, легко считываемых поисковыми роботами.

Требования к сайту для улучшения индексации

Дабы наиболее эффективно индексировать сайт, его нужно грамотно структурировать. Если внутренние ссылки будут перенаправлять пользователя с одной страницы на другую, то поисковым ботам будет проще работать с таким ресурсом. Поисковый робот передвигается последовательно от страницы к странице.

На сайтах с большим количеством страниц бот не всегда доходит до крайних страниц и, как следствие, не считывает их, ухудшая индексацию. Избежать этого можно разбив сайт на подразделы, так чтобы страница была удалена от главной не более, чем на три клика. Далее, нужно собрать подразделы, они же ответвления, в древообразную структуру.

Ссылки на отдельные не проиндексированные страницы можно разместить на сторонних ресурсах, так боты не будут пропускать их.

Для более эффективной индексации нужно, чтобы поисковые боты посещали страницы сайта, для этого необходимо как можно чаще обновлять страницы веб-ресурса и наполнять их уникальными статьями на популярные темы.

Существует метод индексации, при котором ключевые слова или ссылки вписываются в фон сайта одним с ним цветом. Следует помнить, что сайты с неуникальным контентом, а также с так называемыми черными методами продвижения сразу исключаются поисковыми ботами из индексации.

Используем панель Вебмастера

Каждая поисковая система имеет свою панель инструментов, специально предназначенную для вебмастеров. С помощью этой панели можно увидеть общее количество проиндексированных страниц. Рассмотрим на примере самых популярных ПС (Яндекс и Google), как выполнять такую проверку.

Чтобы использовать панель инструментов Яндекс в данном контексте, нужно завести аккаунт (если его еще нет), зайти в панель и добавить в нее свой сайт. Там будет показано общее количество страниц, которые уже проиндексированы.

Для использования панели инструментов Google также нужно обзавестись аккаунтом, чтобы иметь возможность зайти в панель. В нее нужно добавить свой сайт и зайти на вкладку «Состояние / Статус индексирования». Здесь также будет показано количество проиндексированных страниц.

Нередко можно заметить, что панель Вебмастера Google может показать значительно большее количество проиндексированных страниц, чем панель инструментов Яндекс. Представим, что на сайте 70 уникальных страниц, которые проиндексировались. И, скажем, Яндекс насчитал приблизительно такое количество ссылок, а Гугл, например, 210. Получается, что Яндекс показал правильное число, а Гугл в 3 раза больше. Так в чем же дело? А дело в дублях страниц, генерируемых движком WordPress. Такие дубли поисковикам не по душе. Использование robots.txt позволяет игнорировать индексацию дублей страниц поисковыми системами. И если на Яндекс это действует, то с Гуглом в этом плане могут возникать проблемы, так как он может действовать по своему усмотрению.

Есть также специальный сервис Pr-cy.ru, позволяющий получить вебмастерам различные данные по сайтам – в том числе, число страниц, проиндексированных в Гугле и Яндексе. Чтобы узнать эту информацию, нужно посмотреть на две нижние колонки соответствующих поисковых систем.

Что помогает ускорить индексацию сайта

Чтобы страницы быстрее индексировались, нужно придерживаться главных правил:

Регулярное размещение уникальных и оптимизированных статей. Поисковый робот возьмет себе за привычку регулярно посещать тот сайт, на котором с определенной периодичностью размещается качественный, полезный и интересный контент.
Анонсирование о размещении нового контента или полезных обновлениях на сайте через социальные сети. После того, как появилась статья, можно самостоятельно сообщить об этом в социальную сеть с помощью кнопки retweet. Поисковый бот отметит это и зайдет на сайт через социальную сеть значительно быстрее.
Поисковому роботу гораздо проще найти конкретную страницу с помощью ссылки, имеющейся на вашем сайте

То есть, не стоит забывать о важности внутренней перелинковки.
Добавив xml-карту в панель вебмастера, мы даем возможность поисковому боту пройти по ней. Также ее нужно добавить в robots.txt

Полезна и карта сайта (карта для человека), по которой бот отыщет все страницы сайта.

В материале мы рассмотрели основные способы, позволяющие проверить, попали ли страницы сайта в индекс различных поисковых систем. Некоторые из них более эффективные, а какие-то – менее, но каждый из них имеет право на существование и использование.

Читайте далее:

Методы ускорения индексации сайта в яндексе

Seo – проверка индексации текста и веса ссылок тест

Быстрая индексация сайта в Гугле

Проверить картинки на уникальность

Популярные бесплатные CMS системы

Как скрыть персональные данные в поисковых системах?

Способы проверки индексации сайта

Предлагаем вашему вниманию 4 самых распространенных и простых способа, позволяющие проверить, какие страницы есть в индексе, а какие – нет.

1. Через панель вебмастера

Этим методом владельцы веб-ресурсов проверяют их наличие в поиске чаще всего.

Яндекс

1. Авторизуйтесь в Яндекс.Вебмастер.
2. Перейдите в меню «Индексирование сайта».
3. Под ним найдите строку «Страницы в поиске».

Можно пойти и по другому пути:

1. Выберите «Индексирование сайта».
2. Дальше перейдите в «История».
3. Затем кликните на вкладку «Страницы в поиске».

И первым, и вторым способом вы сможете изучить динамику роста или спада числа страниц в поисковой системе.

1. Зайдите в панель управления сервиса .
2. Кликните на вкладку Search Console.
3. Перейдите в «Индекс Google».
4. Нажмите на опцию «Статус индексирования».

2. Через операторов поисковых систем

Они помогают уточнить результаты поиска. Так, применение оператора «site» позволяет увидеть приблизительное число страниц, которые уже находятся в индексе. Чтобы проверить этот параметр, в строке поиска Яндекс либо Google укажите: «site:адрес_вашего_сайта».

Важно! Если результаты в Google и Яндекс сильно разнятся между собой, то значит ваш сайт имеет какие-то проблемы со структурой сайта, мусорными страницы, индексацией или на него наложены санкции. Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени

Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа»

Для поиска вы также можете использовать дополнительные инструменты, например, чтобы узнать, как изменялась индексация страниц за определенный период времени. Для этого под поисковой строкой нажмите на вкладку «Инструменты поиска» и выберите период, к примеру, «За 24 часа».

3. Посредством плагинов и расширений

Используя специальные программы, проверка индексации веб-ресурса произойдет автоматически. Это можно сделать с помощью плагинов и расширений, еще известных как букмарклеты. Они представляют собой javascript-программы, которые сохраняются в браузере в виде стандартных закладок.

Преимущество плагинов и расширений в том, что вебмастеру нет необходимости каждый раз по новой заходить в поисковик и вводить там адреса сайтов, операторы и прочее. Скрипты произведут все в автоматическом режиме.

Самым популярным плагином, применяемым в этих целях, является RDS bar, который можно скачать в магазине приложений любого браузера.

Стоит отметить, что в Mozilla Firefox у плагина куда больше возможностей, чем в других браузерах. RDS bar предоставляет информацию относительно и всего веб-сайта, и его отдельных страниц

На заметку. Есть платные и бесплатные плагины. И самый большой минус бесплатных плагинов в том, что в них регулярно нужно вводить капчу.

Нельзя оставить без внимания и букмарклет «Проверка индексации». Чтобы включить программу, просто перетяните ссылку на панель браузера, а затем запустите свой портал и нажмите на закладку расширения. Так вы откроете новую вкладку с Яндекс или Google, где изучите нужную информацию касательно индексации определенных страниц.

4. С помощью специальных сервисов

Я в основном пользуюсь сторонними сервисами, потому что в них наглядно видно какие страницы в индексе, а какие там отсутствуют.

Бесплатный сервис

https://serphunt.ru/indexing/ — есть проверка, как по Яндекс, так и по Google. Бесплатно можно проверить до 50 страниц в сутки.

Платный сервис

Из платных мне больше всего нравится Topvisor — стоимость 0.024р. за проверку одной страницы.

Вы загружаете в сервис все страницы вашего сайта и он вам покажет, какие находятся в индексе поисковых систем, а какие нет.