Как быстро яндекс индексирует новый сайт
Перейти к содержимому

Как быстро яндекс индексирует новый сайт

  • автор:

Как быстро Яндекс индексирует новые сайты?

Вот у меня есть чувство, что у Яндекса мощностей не хватает на новые сайты. Имеется новый сайт, примерно месяц. В Гугле страницы влетают сразу, через час после добавления ссылки в консоль уже можно по куску текста свой сайт найти на 1 месте поиска. А Яндекс индексирует с задержкой 2 недели — Из 50 статей проиндексирована половина, те что 2 недели назад совал ему. В чем может быть причина? Сайт — статейник в зоне com

На сайте с 09.11.2016
9 ноября 2016, 11:47
Для новых материалов подождите 20-30 дней и тогда уже смотрите что не так.
На сайте с 19.10.2011
9 ноября 2016, 11:50
У меня в комерции .рф работает «переобход страниц», вы им пользовались?
На сайте с 28.11.2006
9 ноября 2016, 11:55

Яндекс никогда не был быстр! Но при определенных действиях, можно сделать так, чтобы он быстро загнал страницу в индекс. А так, может по несколько недель к сайтам присматриваться.

Дешевый CloudLinux хостинг (http://www.provisov.net) много площадок в России, Франции, Украине, Германии, Нидерландах, США, Канаде. SSL-сертификат (https://www.provisov.net/blog/2016/10/26/besplatnyj-ssl-sertifikat-dlya-vsex-vashix-sajtov/) бесплатный и предустановленный для всех доменов

На сайте с 06.01.2011
9 ноября 2016, 11:57

Эдуардoff:

В Гугле страницы влетают сразу, через час после добавления ссылки в консоль уже можно по куску текста свой сайт найти на 1 месте поиска.
А Яндекс индексирует с задержкой 2 недели — Из 50 статей проиндексирована половина, те что 2 недели назад совал ему. В чем может быть причина?
Сайт — статейник в зоне com

В качестве статей, больше не в чем. У Г просто проблема с языкознанием, тупит и не видит разницы в тупых текстах. Про уник и сдл — палата 6. Пс не знает, что он должен ранжировать по этим параметрам.

Прототипы и юзабилити, чтоб продавал и в топ попал Анализ сложившихся бизнес моделей и поиска точек роста Директ — от 2500 р, включая бюджет на клики / Аудит РК до и после запуска — от 5000 р

Когда мой сайт появится в поисковых системах?

Каждая поисковая система индексирует сайты по своему собственному алгоритму, что влияет на скорость индексации и ранжирование в выдаче. В поиске Google сайт появляется через несколько дней, в Яндексе на это потребуется больше времени. В среднем на полную индексацию сайта уходит около месяца.

Совет

Проверить страницы сайта, участвующие в поиске, можно с помощью оператора запроса «site:». Для этого в поисковой строке введите оператор запроса «site:» и «адрес сайта». Например: site:ukit.com.

Так же вы можете проверить индексацию конкретной страницы. Например: site:ukit.com/pricing.

Попробуйте прямо сейчас!

Как сделать так, чтобы новый сайт быстро добавился в поисковые системы Яндекс и Google и начал индексироваться?

Для начала проясняю: в этой статье я описываются общие моменты для новых сайтов с использованием новорегов (новых доменов без истории). Подробнее описывать как регистрироваться и заводить аккаунты я не намерен, так как при желании с этим любой справится.

Берем в учет то, что сайт уже разработан и просто лежит где-то на тесте.

Честно сказать, задачка не из простых.

Итак, поехали: выберете тематику вашего сайта и точно определитесь с тем, что хотите продвигать. Это нужно для того, чтобы у вашего сайта в последствии было максимально релевантное доменное имя к основному запросу. Затем выберете доменное имя, это можно сделать на таких площадках как: nic.ru, reg.ru, beget.com/ru и многих других.

Выбирая домен, нужно учесть несколько основных принципов:

  1. Домен должен быть коротким
  2. Если вы продвигаете проект по РФ или любом регионе России, то доменная зона должна быть .ru (это будет правильнее, нежели для сайта с регионом продвижения к примеру «Владимир» использовать домен с зоной .kz)
  3. Очень хорошо, если выберете домен под тематику сайта, к примеру если у вас будет интернет-магазин светильников или других световых приборов, то в названии было бы круто это использовать и делать домен формата:

да, в поисковой выдаче никуда не деться от маркетплейсов, но можно быть более релевантными при наличии хорошего ассортимента товаров и грамотной оптимизации.

Где будут храниться файлы моего сайта?

Файлы сайтов обычно хранятся на хостинге или сервере.

Лучшим вариантом для сайта является сервер и можно для этих целей использовать технологию одной из топовых поисковых систем — Yandex Compute Cloud, это будет не сильно дороже чем если взять хостинг, при этом сервера яндекса также находятся в России и поэтому для продвижения сайтов в РФ, это очень круто.

Бывает, что нет финансовой возможности оплачивать сервер. В этом случае, вам помогут хостинги, коих огромное количество. Один из самых стабильных хостингов, что мне попадались — это как раз Beget. Есть хостинги лучше, есть хуже, но его можно посоветовать для маленьких и средних по размерам (до 10 гигабайт) и трафику (до 5000 уников в сутки) проектов.

Если же у вас большие планы, то всё-таки нужен сервер.

Кстати говоря на хостингах обычно в продаже имеются домены, возможно вы сможете что-нибудь подобрать для себя прямо там.

Выкладываем на хостинг

Теперь мы можем выложить файлы сайта на хостинг, привязав к домену. Рекомендую купить хороший ssl сертификат, не используя бесплатный, а также купить выделенный ip адрес. Это нужно, чтобы поисковые системы быстрее поняли, что перед ними не сайт-однодневка.

Настроить ответы сервера

  1. чтобы 404 ответ отдавался для страниц, которые должны отдавать 404 ответ (проверяется со стороны сервера)
  2. чтобы страницы, которые должны отдавать 200ок, отдавали этот ответ. (проверяется со стороны сервера)
  3. настроить 304 ответ Last-Modified (проверить эту настройку можно тут: https://last-modified.com/ )
  4. Также нужно использовать http 2 версии (проверяется тут: https://http2.pro/ )

Настройте апачи или nginx:

  1. 301 редирект всех URL с http на https
  2. 301 редирект всех URL с www на без www
  3. 301 редирект всех URL без / на конце на со / , либо редирект со / на конце на без /

3 пункт вариативный для новых сайтов, а первые 2 советую оставить в таком формате.

Расписывать по коду нет смысла, так как для разных систем настраивается по-разному и это отдельная тема для статьи.

Robots.txt

Генерируем файл robots.txt, в него нужно прописать закрывающие директивы, исключающие системные файлы и страницы, которые не нужны поисковым роботам. Полностью всё о настройке можно будет найти в статье.

Автогенерирующийся Sitemap.xml

Почему рекомендую именно автогенерирующийся? Ответ прос: вы не будете на ежедневной основе обновлять данные в этом файле, тем более что поисковые системы любят ежедневное обновление контента и наполнение страницами вашего нового ресурса.

О том в каком формате должна быть карта сайта и что там должно быть, лучше рассказано в статье.

Фавиконки

Фавиконка по требованиям яндекса должна быть размером: 120 × 120, 32 × 32 или 16 × 16 пикселей или в формате svg.

Ещё фавикон хорошо устанавливать для всех устройств и разрешений:

Подробнее о том, как вставит фавикон для всех устройств: тут.

Настройка микроразметки Open Graph

Должна быть настроена данная микроразметка для всего проекта.

Пример:

Как проверить и настроить индексацию сайта в Яндексе

Индексация страниц необходима, чтобы они попали в поисковую базу и показывались в результатах поиска. Однако порой робот Яндекса не заходит на те страницы, которые бизнес хочет видеть в выдаче. Как заставить его это сделать и ускорить индексацию? Рассказали про индексацию сайта в Яндексе подробнее.

Последнее обновление: 01 марта 2023 года

Время прочтения: 9 минут

О чем статья?

  • Как часто Яндекс робот заходит на сайт?
  • В чем заключаются основные проблемы с индексацией в Яндексе
  • Как решить проблемы с индексацией сайта
  • Как ускорить индексацию страниц
  • Выводы

Для кого эта статья?

  • Для маркетологов;
  • Для SEO-специалистов;
  • Для владельцев бизнеса.

Индексация сайта простыми словами – это обход страниц сайта краулером, он же спайдер или поисковый робот. Он оценивает их качество и, если оно соответствует требованиям поисковика, отправляет адрес в базу данных. Когда пользователь вводит релевантный запрос в строку поиска, URL может быть извлечен из базы, проранжирован и показан в поисковой выдаче. Таким образом, индексация – основа для поискового продвижения страниц и сайтов в топ выдачи. Ниже проанализировали, как часто поисковый робот индексирует сайт, что мешает страницам попадать в индекс и как с ними работать, чтобы это исправить.

Как часто Яндекс робот заходит на сайт?

Своевременная индексация важна для разных ниш бизнеса: например, чем раньше страница окажется в поисковой выдаче e-commerce сайтов, тем скорее на нее могут прийти покупатели. В случае с инфопроектами задержка индексации может привести к тому, что контент на странице устареет либо будет уже опубликован конкурентами.

Практика показывает, что на частоту индексации сайта влияют следующие факторы:

  • Техническое состояние сайта. Чем лучше будет настроена индексация ресурса, тем большее количество страниц сможет обойти поисковый робот.
  • Насколько часто вы обновляете контент. Чем реже появляются новые публикации, тем реже краулеры будут заходить на сайт. Если обновления происходят чаще, бот будет заходить чаще.

Даты первого или последующего визита робота заранее никем не уточняется. Зато пользователям доступна статистика и история обходов. Проверить, когда и как часто робот делал обход страниц на вашем сайте, можно в Яндекс Вебмастере. В разделе «Индексирование» кликните на отчет «Статистика обхода». При необходимости переключите график на режим «История обхода».

Отчет “История обхода” отображает даты, страницы обхода и код ответа

Отчет «История обхода» отображает даты, страницы обхода и код ответа

Обратите внимание: у краулера есть лимиты. За один раз он обходит ограниченное количество страниц – это так называемый краулинговый бюджет сайта. Он формируется индивидуально для ресурса, но точные цифры бюджета неизвестны. Как правило, у небольших сайтов краулинговый бюджет включает в себя до 10 или 50 тысяч страниц – тут мнения оптимизаторов разнятся. Данного лимита достаточно, чтобы индексировать все новые страницы. А вот на больших ресурсах возникают проблемы: им необходимо самостоятельно указывать роботу на приоритетные для индексации адреса и закрывать малозначимые, чтобы не тратить краулинговый бюджет.

В чем заключаются основные проблемы с индексацией в Яндексе

Практика показывает, что основных проблем при индексации три.

  1. Нужные страницы не попадают в индекс. Это происходит, например, если их индексация запрещена в HTML-коде, файле Robots.txt или HTTP-заголовком X-Robots-Tag для данной страницы на сервере. Как это проверить – объясняем ниже.
  2. В индекс попадает большое количестве технических и малозначимых страниц, например, страниц поиска по сайту, страниц с get-параметрами и подобных.
  3. Индексация сайта происходит, но очень долго. Возможно, вы крайне редко обновляете контент, у ресурса мало посетителей, поэтому бот месяцами не заглядывает на домен. Часто оказывается, что на ресурсе много ошибок, некачественный контент, поэтому он не попадает в базу данных.

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

Kurdyukova-Anastasiya.jpg

«Чаще всего причина в наличии большого количества технических ошибок – например, 301 редиректов, дублей страниц, страниц с различными параметрами в url. Тратя ресурсы на индексацию малокачественных страниц, роботы не доходят до нужных».

Исправить ошибки в индексации сайта можно в рамках работ по SEO-продвижению. Учитывайте, что эти работы могут затронуть и контент, и структуру сайта, и бизнес-процессы компании. Если вы хотите понять как происходит индексация сайта в Google, аналогичный аудит следует провести в Google Search Console.

Как решить проблемы с индексацией сайта

Перечислим примеры конкретных работ, которые следует проводить в рамках SEO-продвижения сайта, чтобы страницы сайта индексировались и попадали в поиск быстрее.

Для начала рекомендуем провести аудит, который выявит технические и прочие ошибки, мешающие быстрой индексации сайта поисковиками. По его итогам вы получите рекомендации о том, что исправить и внедрить на сайте, как повысить его качество и успешно пройти индексацию. Ниже приводим примеры рекомендаций из наших аудитов

  1. Проверьте файл Robots.txt и Sitemap.xml
  2. Исправьте ошибки в ответах сервера
  3. Проработайте внутренние ссылки
  4. Проверьте глубину вложенности
  5. Повышайте качество контента
  6. Устраните дубли

1. Проверьте файлы и директивы, которые указывают краулеру на приоритетные страницы

  • Найдите на сайте файл Robots.txt. Он должен находиться в корневом каталоге по адресу вашсайт/robots.txt. Именно туда бот заходит в первую очередь. При отсутствии этого файла бот ходит по сайте на свое усмотрение, не учитывая приоритеты бизнеса. Поэтому Robots.txt придется создать и настроить.

Если он есть, проверьте на ошибки и запреты индексации в Вебмастере в разделе «Инструменты» –> «Анализ robots.txt».

Мнение эксперта

Анастасия Курдюкова, руководитель группы оптимизаторов «Ашманов и партнеры»:

Kurdyukova-Anastasiya.jpg

«Запрет в Robots.txt можно проверить в Вебмастере с помощью инструмента «Анализ robots.txt». Вы можете указать любой URL и посмотреть, разрешена ли индексация страницы, и если нет, то какое правило мешает».

На скриншоте ниже показали, как выглядят результаты анализа. В пункте «Используемые секции» странице присвоена директива Disallow, то есть индексация запрещена. Соответственно, ниже в списке «Разрешены ли URL?» ее нет.

Как проверить, закрыта ли страница от индексации в файле Robots.txt

Инструмент показывает строки Robots.txt, которые относятся к введенному URL

Если перейти на список ошибок, вы увидите их перечень и сможете просмотреть подробнее проблемные строки, как показано на следующем скриншоте.

Как найти ошибки в файле Robots.txt

Показаны все строки, где есть ошибки, и указан тип ошибки

  • Создайте или проверьте файл Sitemap.xml. Для робота это дорожная карта, которая показывает, где что на сайте находится, какие страницы надо индексировать в первую очередь. С помощью такой карты сайта вы можете сообщать краулеру о новых страницах, попадание которых в поиск для вас приоритетно. Чтобы не делать это вручную каждый раз, настройте плагин для автоматической генерации динамического Sitemap.xml. В этом случае файл будет регулярно обновляться с заданной периодичностью (например, 1 раз в сутки). Не забудьте в Robots.txt внести путь к Sitemap.xml. Проверить корректность карты можно опять-таки в Яндекс Вебмастере при помощи инструмента «Анализ файлов Sitemap».
  • Если не индексируется конкретная страница, проверьте наличие HTTP-заголовка X-Robots-Tag для данной страницы на сервере. Узнать о нем можно опять-таки в Вебмастере с помощью инструмента «Проверка ответа сервера». Если на сервере стоит блокировка индексации, ответ будет следующим:

Date: Tue, 25 May 2010 21:42:43 GMT

2. Исправьте ошибки в ответах сервера

Если на сайте многие страницы отдают поисковому роботу код 404 («страница не существует»), Яндекс не только не индексирует их, но и в принципе сочтет сайт некачественным. Если это нужные страницы, то верните их в доступ, наполните контентом, либо настройте редирект 301. В противном случае удалите внутренние, а лучше и внешние ссылки, по которым краулер попадает на несуществующие адреса. Иногда ответ 404 получается из-за ошибки в написании URL (например, со слешем в конце или без него). Полностью избавиться от ответа 404, как правило, не получается, но минимизировать его необходимо.

Ответ сервера 302 («страница временно перемещена») также понижает шансы на корректную индексацию сайта. Яндекс бот по этому редиректу переходит на новую страницу, но не индексирует ее, так как в базе остается старый адрес. Поэтому настраивайте редирект 301 («страница перемещена навсегда»), тогда URL в базе обновится и робот перестанет заходить на старый.

Какие коды краулер получает от сервера, можно увидеть в Вебмастере в разделе «Индексирование» –> «Статистика обхода».

История ответов сервера в отчете “Статистика обхода”

История ответов сервера в отчете «Статистика обхода» по датам

Отдельные страницы можно протестировать инструментом Вебмастера «Проверка ответа сервера». Например, на скриншоте выше первый списке документ отдает код 404. Перейдя по нему, мы увидели, что страница отключена администратором. Исправив ошибку, в «Статистике обхода» сразу результат не увидели, потому что робот еще не заходил по адресу. Использовали инструмент «Проверка ответа сервера».

Проверка ответов сервера после работы над ошибками на странице

Проверив, видим код и время ответа сервера, кодировку, размер страницы

Как видите, теперь сервер дает правильный ответ 200, и когда краулер вновь зайдет на страницу, он добавит ее в индекс.

3. Проработайте внутренние и внешние ссылки

Роботы Яндекса чаще заходят на страницы, на которые ссылаются другие ресурсы. Мотивируйте Яндекс бота зайти на новую страницу, сделав перелинковку с уже проиндексированных адресов с хорошей посещаемостью. Выбирайте контент и особенно якоря, которые релевантны той странице, куда перенаправляет вас ссылка. Можно использовать следующие приемы:

  • Используйте все возможности получить обратные ссылки с качественных релевантных ресурсов, которые хорошо ранжируются. Покупая ссылки, тщательно относитесь к качеству доноров.
  • Мотивируйте пользователей делиться вашим контентом в социальных сетях, блогах, тематических форумах.
  • Предлагайте владельцам релевантных качественных сайтов создать для них контент, дизайн в обмен на обратную ссылку.
  • Одна из наиболее посещаемых страниц на сайте – главная. Сделайте там блок «новости» или «новинки» и публикуйте внутренние ссылки на новые статьи или товары с кратким анонсом.
  • В интернет-магазинах используйте подборки «Похожие/Рекомендованные товары», «С этим товаром покупают», которые позволяют в карточки товаров добавлять релевантные ссылки.
  • По такому же принципу в популярных статьях или других посещаемых разделах создайте блоки «Новые публикации», «Читать по теме» и подобные им разделы, которые позволяют включать.

4. Проверьте глубину вложенности

На страницы, расположенные дальше трех-четырех кликов в глубину от главной, робот доходит очень долго. Может и вообще не дойти до них, так как считает приоритетной главную страницу: чем ближе к ней – тем важнее. Структурируйте сайт так, чтобы страницы, которые должны приносить трафик и конвертировать его, находились на втором-третьем уровнях вложенности.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *