Что такое краулинговый бюджет и как его оптимизировать для SEO.

Понимание значения краулингового бюджета и его оптимизации для целей SEO очень важно. Да, это очень техническая тема и поэтому большинство веб-мастеров стараются её избегать. Но для успешного продвижения сайта, эту тему нужно знать.

В этом руководстве вы узнаете простым языком, что такое бюджет сканирования (и связанные с ним термины, а также то, как это влияет на SEO и какие действия вы можете предпринять для оптимизации.

Что такое краулинговый бюджет?

Краулинговый бюджет — это не одно число, а общий термин, который описывает, как часто и сколько страниц Google сканирует и индексирует с определенного веб-сайта в течение определенного периода времени.

Факторами, влияющими на краулинговый бюджет, являются веб-сайт и структура навигации, дублированный контент (внутри сайта), программные ошибки 404, страницы с низким качеством, скорость веб-сайта и проблемы со взломом.

Почему краулинговый бюджет важен для SEO?

С самого начала следует подчеркнуть, что это не является фактором ранжирования.

То есть, от него напрямую не зависит, какие позиции будет занимать сайт в поисковой выдаче.

Но краулинговый бюджет важен для SEO и вот почему:

• Если страница не проиндексирована поисковыми системами, она не будет вообще отображаться в поисковой выдаче. Даже на сотой позиции.
• Если на сайте много страниц, Google может не проиндексировать их все (поэтому необходима оптимизация краулингового бюджета — подробнее об этом ниже)
• После внесения изменений статьи, они будут сказываться позже. Таким образом, времени на дооптимизацию страницы уйдет значительно больше.

Что такое оптимизация краулингового бюджета?

Оптимизация краулингового бюджета — это процесс проверки, что поисковые системы могут сканировать и индексировать все важные страницы вашего сайта в короткий срок.

Оптимизация краулингового бюджета обычно не является проблемой для небольших веб-сайтов, но для крупных сайтов, с тысячами URL-адресов, это важно.

Тем не менее, вы можете оптимизировать свой краулинговый бюджет.

Совет: если термины «сканирование» и «индексирование» являются новыми для вас, то настоятельно рекомендую вам прочитать, как работают поисковые системы. Это поможет вам понять, что сканирование и индексация имеют решающее значение для SEO.

Как оптимизировать краулинговый бюджет для SEO

1. Обеспечьте правильную иерархическую структуру сайта

Когда роботы поисковых систем посещают сайт, они начинают с домашней страницы, а затем переходят по любым ссылкам, чтобы обнаружить, просканировать и проиндексировать все страницы сайта.

Иерархическая структура сайта с глубиной не более 3-х уровней является идеальной структурой любого веб-сайта.

Это означает, что к путь к любой страницы сайт, должен быть не более чем в трех кликах от главной страницы сайта.

Такая простая простая структура облегчает и ускоряет сканирование, а также это полезно для обычных пользователей.

2. Оптимизация внутренних ссылок

Когда речь идет про сканирование и индексацию, поисковики предпочитают уделять больше внимания наиболее важным страницам сайта.

Один из способов, которые они используют для распознавания важных страниц, это подсчет внешних и внутренних ссылок, которые ведут на страницу.

Внешние ссылки важнее, но их сложнее получить, в то время как внутренними ссылками, веб-мастеру намного легче управлять.

Оптимизация внутренних ссылок означает:

• Убедитесь, что самые ценные страницы вашего сайта имеют наибольшее количество внутренних ссылок.
• Все ваши важные страницы связаны с главной страницей
• Все страницы вашего сайта имеют хотя бы одну внутреннюю ссылку, указывают на ваши важные страницы.

Наличие страниц на вашем сайте, которые не имеют внутренних или внешних ссылок, усложняет работу роботов поисковых систем и тратит ваш краулинговый бюджет.

3. Повысьте скорость вашего сайта

Скорость является важным фактором ранжирования, большим фактором юзабилити и фактором, влияющим на краулинговый бюджет.

Проще говоря, когда веб-сайт загружается быстро, роботы поисковиков смогут отсканировать большее количество страниц за меньшее время. Это признак здоровой структуры сайта и стимул для поисковых роботов почаще наведываться на такой сайт.

О том, что на краулинговый бюджет напрямую влияет скорость сайта, напрямую говориться в блоге Гугл для веб-мастеров.

Как веб-мастер, вы должны приложить все усилия, чтобы веб-страницы загружались максимально быстро на всех устройствах.

4. Решить проблему с дубликатами

Один из факторов, которые могут негативно повлиять на краулинговый бюджет, является дублированный контент на сайте.

Дублированный контент в этом контексте — идентичный или очень похожий контент, появляющийся на нескольких URL на вашем сайте.

Это очень распространенная проблема на страницах категорий электронной коммерции, где похожие продукты могут быть перечислены в нескольких категориях.

Помимо сайтов электронной коммерции, у блогов тоже могут быть проблемы с дублированным контентом. Например, если у вас есть несколько страниц, ориентированных на одни и те же ключевые слова, и контент на этих страницах похож, то Google может рассматривать это как дублирующийся контент.

Как дублированный контент влияет на бюджет сканирования?

Это усложняет работу поисковых роботов, ведь они должны решить, какие страницы сайта нужно индексировать.

Тем самым, роботы впустую тратят свое время на сканирование страниц, которые затем поисковики пометят как дублированный контент.

При этом, страницы которые действительно важны для сайта, могут быть не проиндексированы, поскольку краулинговый бюджет уже израсходован из-за сканирования дублированных страниц контента.

Как решить проблемы с дублированным контентом?

Что касается технических дублей, используйте тег canonical. А что касается просто похожих страниц, то для решения этой проблемы, прочитайте статью про канибализацию ключевых запросов.

5. Избавиться от тонкого, малополезного контента.

Подобно дублированному контенту, еще один фактор, который может повлиять на бюджет сканирования, — это тонкие страницы контента.

Тонкий контент — это страницы вашего сайта, на которых малополезный контент, который либо вообще не приносит пользу посетителю, либо имеют совсем мало пользы. Такие страницы также известны как низкого качества или малополезные страницы.

Подробнее о них, читайте здесь.

6. Избегайте слишком большого количества редиректов

Еще одна проблема, которая может замедлить частоту сканирования веб-сайта, связана с наличием слишком большого числа редиректов.

Редиректы являются отличным способом решения проблем с дублированным содержимым и с ошибками 404, но следует позаботиться о том, чтобы не создавать цепочки перенаправлений.

Когда робот Google обнаруживает редирект 301, он может не сканировать перенаправленный URL-адрес сразу, а добавит в список URL-адресов для сканирования. В результате, такие ненужные к индексации страницы, будут расходовать ваш краулинговый бюджет.

Проверьте свой .htaccess и убедитесь, что у вас нет ненужных перенаправлений и что любые 301-редиректы указывают только на конечный пункт назначения (избегайте промежуточных пунктов назначения для одного URL-адреса).

7. Убедитесь, что у вас нет взломанных страниц

Взлом веб-сайта может обеспокоить гораздо больше, чем краулинг бюджет, но вы должны знать, как взломанные страницы влияют на краулинговый бюджет.

Если вы вовремя не заметили, что ваш сайт взломан, то поисковики, увидев что сайт взломан, станут наведываться на него значительно реже.

Чтобы избежать этой ситуации, регулярно проверяйте свой сайт в вебмастере поисковиков. Если сайт станет подозрительным, то в них появится оповещение.

8. Улучшите репутацию вашего сайта (Внешние ссылки)

Популярные URL-адреса сканируются поисковыми системами чаще, потому что они хотят, чтобы содержание этих страниц обновлялось в индексе.

В мире SEO самым большим фактором, для различия популярных страниц от непопулярных, является количество и тип обратных ссылок.

Обратные ссылки помогают установить доверие с поисковыми системами и улучшить авторитет страницы, что в конечном итоге приводит к повышению рейтинга.

Это одна из фундаментальных концепций SEO, которая не менялась годами.

Таким образом, наличие у страницы обратных ссылок побудит поисковые системы чаще посещать эти страницы, что приведет к увеличению бюджета сканирования.

Получить ссылки с других сайтов непросто, на самом деле это один из самых сложных аспектов в SEO, но это сделает ваш сайт сильнее и улучшит общее SEO.

Как проверить отчет о краулинговом бюджете?

Несмотря на то, что вам не следует слишком зацикливаться на краулинговом бюджете, время от времени полезно просматривать отчет «Статистика сканирования» в поисковой консоли Google и искать какие-либо ненормальные действия.

Для этого перейдите в консоль, и вы сможете увидеть отчет.

https://www.google.com/webmasters/tools/crawl-stats

Этот отчет показывает информацию обо всех действиях Googlebot на вашем сайте за последние 90 дней.

В отчет будет включена любая попытка Googlebot получить доступ к любому ресурсу вашего сайта, к таким как страницы, изображения, файлы CSS, файлы js, и все то, что вы загрузили на свой сервер и к чему не закрыли доступ в файле robots.txt.

По этой же причине количество «страниц, просканированных за день» больше, чем количество страниц сайта в индексе Google.

Что искать в отчете по статистике сканирования?

При просмотре отчета постарайтесь выявить внезапные падения или всплески количества страниц, просканированных за день. Посмотрите на период в две недели или месяц и посмотрите, является ли падение или всплеск постоянным.

В нормальных условиях количество страниц для сканирования должно постоянно увеличиваться (при условии, что вы регулярно добавляете новый контент на сайт). Если вы не вносите никаких изменений, шаблон должен быть похожим, если вы сравниваете два периода времени.

Внезапное падение скорости сканирования может произойти, когда:

• Вы добавили правило, блокирующее доступ гугл бота к части вашего сайта.
• Ваш сайт и сервер работают медленнее, чем обычно
• У вас много ошибок сервера, которые требуют вашего внимания (это пятисотые ошибки)
• Ваш сайт взломан

Скорость сканирования может резко возрасти, когда:

• Вы добавили кучу нового контента на сайт
• Ваш сайт получил обратные ссылки.
• Спамеры добавили код на ваш сайт, который генерирует сотни новых страниц

Поэтому, если отчет не отображает того, что вы сделали со своим сайтом, значит вам нужно искать причину этого. Но в большинстве случаев вам не стоит беспокоиться о краунгивом бюджете.

(3 оценок, среднее: 3,33 из 5)

Загрузка...