Как работают поисковые системы: сканирование, индексирование и ранжирование

Поисковая оптимизация

Поисковые системы (ПС) нужны, чтобы обнаруживать, понимать и систематизировать содержимое интернета, выдавая пользователям на их запросы релевантные сайты. Чтобы ваш ресурс появился в результатах выдачи, он должен быть открыт для поисковых систем. О том, как работают ПС, сканируют, индексируют и ранжируют сайты, расскажу ниже. Это перевод материала, размещенного здесь.

Содержание
  1. Как работают поисковые системы?
  2. Что такое поисковое сканирование?
  3. Что такое индекс ПС?
  4. Рейтинг в ПС
  5. Сканирование: находят ли ПС ваши страницы?
  6. Robots.txt
  7. Определение параметров URL в GSC
  8. Могут ли сканеры найти весь ваш важный контент?
  9. Ваш контент скрыт за формами входа?
  10. А что с формами поиска?
  11. Скрыт ли текст в контенте другого формата?
  12. Боты следят за навигацией по сайту?
  13. У вас чистая информационная архитектура?
  14. Вы составляете карты сайта?
  15. Ошибки сканирования при попытке доступа к URL-адресам
  16. Коды 4xx: ошибки клиента
  17. Коды 5xx: ошибки сервера
  18. Индексирование: как поисковые боты видят и хранят ваши страницы?
  19. Можно ли посмотреть, как робот видит страницы?
  20. Удаляются ли страницы из индекса?
  21. Как индексировать ваш сайт? Указание для ПС
  22. Метадирективы роботов
  23. Метатег Robots
  24. X-Robots-Tag
  25. Ранжирование и место в выдаче
  26. Чего хотят поисковые системы?
  27. Роль ссылок в SEO
  28. Роль контента в SEO
  29. Что такое RankBrain?
  30. Метрики взаимодействия: корреляция, причинно-следственная связь или и то, и другое?
  31. Развитие результатов поиска
  32. Локальный поиск
  33. Вывод

Как работают поисковые системы?

У них три основные функции:

  1. Сканирование – поиск контента в интернете, просмотр кода и содержимого ​​каждого найденного URL.
  2. Индексирование – хранение и систематизация контента, найденного при сканировании. Как только страница попадает в индекс, она может отображаться в выдаче пользователям.
  3. Ранжирование (или рейтинг) – сортировка результатов выдачи в порядке релевантности запросу. То есть на первых местах будут наиболее соответствующие запросу пользователя сайты.

Что такое поисковое сканирование?

Сканирование – это процесс обнаружения, при котором поисковые системы отправляют команду роботов (известных как сканеры или пауки) для поиска нового и обновленного контента. Это может быть страница, изображение, видео, PDF-файл и т. д. Вне зависимости от формата контент обнаруживается по ссылкам.

обнаружение нового контента по ссылкам

Сначала бот загружает несколько страниц, потом переходит по размещенным на них ссылкам. Таким образом робот находит новые адреса, ищет контент и добавляет его в Caffeine. Когда пользователь ищет информацию, робот показывает ему сайт, который считает релевантным запросу.

Что такое индекс ПС?

Вся информация с сайтов, доступная роботам, хранится и обрабатывается в индексе – обширной базе поисковых систем.

Рейтинг в ПС

Когда пользователь что-то ищет, поисковик просматривает индекс, находит сайты с релевантным запросу контентом и демонстрирует их в результатах выдачи. Сортировка сайтов по релевантности – это и есть ранжирование, или формирование рейтинга. Чем выше сайт в выдаче, тем больше он соответствует запросу, по мнению ПС.

Можно заблокировать роботам ПС возможность сканировать или индексировать часть или весь ваш сайт. На это могут быть причины, но если вы хотите, чтобы ресурс отображался в выдаче, он должен быть доступен для ботов.

В SEO не все поисковые системы равны

У Google самая большая доля рынка, но насколько важна оптимизация для Bing, Yahoo и других? На самом деле, несмотря на существование более 30 основных поисковых систем, сообщество SEO обращает внимание только на Google. Почему?  Подавляющее большинство людей ищут в Google. Если мы включим Google Images, Google Maps и YouTube (собственность Google), более 90% поисков будет выполняться через Google – это почти в 20 раз больше, чем Bing и Yahoo вместе взятые.

Сканирование: находят ли ПС ваши страницы?

Чтобы сайт появился в результатах поиска, он должен быть просканирован и проиндексирован ПС. Прежде всего посмотрите, сколько ваших страниц находится в индексе. Так вы узнаете, сканирует и индексирует ли ПС все страницы, которые нужны, и нет ли в индексе «мусорных» страниц. Один из способов проверить проиндексированные страницы – это «site: yourdomain.com», оператор расширенного поиска. Перейдите в Google и введите «site: yourdomain.com» в строку поиска.

количество страниц сайта в результате поиска

Количество результатов, как на скриншоте выше, примерное, но по ним можно понять, какие страницы в индексе и как они выглядят в выдаче.  

Более точные данные можно получить из отчета об индексировании в Google Search Console (есть возможность бесплатной регистрации аккаунта). Этот инструмент – ключ к пониманию количества проиндексированных страниц, также он позволяет отправлять карту сайта.

Распространенные причины, по которым сайт может отсутствовать в выдаче: 

  • Сайт новый, робот не успел его просканировать.
  • На сайт не ведут ссылки с внешних источников.
  • У вас сложная навигация, боту трудно сканировать страницы.
  • На сайте содержится запрет для посещения роботами. 
  • Сайт под санкциями ПС за рассылку спама.

Как ПС должны сканировать сайт?

Бывает, что в индекс попадают неважные или мусорные страницы, а важные, наоборот, отсутствуют. Если это ваш случай, с помощью инструментов оптимизации можно исправить ситуацию и указать роботам, как сканировать сайт. Подробнее об этом – ниже.

Какие страницы не должны сканироваться и индексироваться? Старые URL-адреса с некачественным контентом, повторяющиеся URL (например, параметры сортировки и фильтрации для электронной коммерции), специальные страницы с промокодом, промежуточные или тестовые страницы и т. д.

Чтобы робот не учитывал такие страницы или разделы сайта, используйте robots.txt.

Robots.txt

Файлы robots.txt находятся в корневом каталоге сайта (например, yourdomain.com/robots.txt). В них содержится указание, с какой скоростью роботам сканировать сайт, какие страницы боты не должны “трогать” и пр. 

Как бот обрабатывает файлы robots.txt:

  • Не находит robots.txt – сканирует сайт.
  • Находит robots.txt – сканирует сайт так, как это прописано в файле.
  • Обнаруживает ошибку доступа к файлу robots.txt и не может понять, существует он или нет, – не сканирует сайт.

Из практики: robots.txt не предназначен для того, чтобы запрещать индексацию каких-либо страниц. Если вам необходимо запретить страницы сайта для индексации ПС, используйте теги:

  • Для всех роботов ПС: <meta name=»robots» content=»noindex» />
  • Для Google: <meta name=»googlebot» content=»noindex» />
  • Для Yandex: <meta name=»yandex» content=»noindex» />

Оптимизируйте краулинговый бюджет!

Бюджет сканирования – это среднее количество URL-адресов, которые робот просканирует на сайте перед тем, как покинуть его. Оптимизация краулингового бюджета гарантирует, что робот не будет тратить время на сканирование неважных страниц, рискуя проигнорировать важные. Бюджет сканирования наиболее значим для очень больших сайтов с десятками тысяч URL, но никогда не стоит блокировать поисковым роботам доступ к контенту, который вам определенно не важен. Просто убедитесь, что не заблокировали доступ сканера к страницам, на которых вы добавили другие директивы, например, канонические теги или теги noindex. Если для робота заблокирован доступ к странице, он не сможет увидеть инструкции на ней.

Не все роботы используют robots.txt. Яркий пример: злоумышленники (например, парсеры адресов электронной почты) создают ботов, которые игнорируют этот файл. Некоторые люди используют файлы robots.txt для определения, где вы разместили личный контент, частные страницы (например, входа и администрирования). Чтобы предотвратить несанкционированный доступ к ним, лучше не размещать их в robots.txt, а закрывать для индексации тегом NoIndex (об этом подробнее тоже скажем ниже).  

Определение параметров URL в GSC

Некоторые сайты (чаще всего в сфере электронной коммерции) делают один и тот же контент доступным по нескольким разным URL, добавляя к адресам определенные параметры. Если вы когда-либо совершали покупки в интернете, вы, вероятно, пользовались фильтрами. Например, вы можете написать запрос «обувь» в интернет-магазине, а затем уточнить поиск по размеру, цвету и стилю. Каждый раз при уточнении URL-адрес немного меняется:

https://www.example.com/products/women/dresses/green.htm
https://www.example.com/products/women?category=dresses&color=green
https://example.com/shopindex.php?product_id=32&highlight=green+dress&cat_id=1&sessionid=123$affid=43

Как Google узнает, какую версию URL-адреса показывать? Google неплохо справляется с определением репрезентативного URL самостоятельно, но вы можете использовать функцию параметров адреса в Google Search Console, чтобы точно сообщить ПС, как вы хотите, чтобы они обрабатывали ваши страницы. Если вы используете эту функцию, чтобы сообщить роботу «не сканировать URL-адреса с параметром ____», то вы, по сути, просите скрыть этот контент от робота, что может привести к удалению этих страниц из результатов поиска. Это то, что вам нужно, если параметры создают повторяющиеся страницы.

Могут ли сканеры найти весь ваш важный контент?

Иногда ПС может находить части вашего сайта путем сканирования, но другие страницы или разделы могут быть скрыты по той или иной причине. Важно убедиться, что поисковые системы могут обнаруживать весь контент, который вы хотите проиндексировать, а не только главную страницу.

Ваш контент скрыт за формами входа?

Если вы требуете от пользователей входа в систему, заполнения форм или ответов на вопросы перед доступом к определенному контенту, поисковые системы не увидят эти защищенные страницы. Сканер точно не войдет в систему.

А что с формами поиска?

Роботы не могут использовать формы поиска. Некоторые люди считают, что если они разместят на своем сайте окно поиска, поисковые системы смогут найти все, что ищут их посетители.

Скрыт ли текст в контенте другого формата?

Форматы медиаконтента (изображения, видео, GIF-файлы и т. д.) не должны использоваться для отображения текста, который вы хотите проиндексировать. Хотя поисковые системы все лучше распознают изображения, нет никакой гарантии, что они смогут их прочитать и понять. Всегда лучше добавлять текст в разметку <HTML> вашей страницы.

Боты следят за навигацией по сайту?

Чтобы переходить по страницам внутри сайта, роботу нужна перелинковка. Если страница должна отображаться в результатах выдачи, но на нее нет ссылок с других страниц, считайте, что в индексе ее тоже нет. Навигация для ботов должна быть понятной и доступной. Ниже пример правильной и неправильной навигации.

пример правильной и неправильной навигации

Распространенные ошибки навигации, из-за которых роботы не видят весь ваш сайт:

  • Мобильная навигация не соответствует десктопной версии.
  • Ситуация, когда элементы меню не находятся в HTML, например, навигация с поддержкой JavaScript. Google уже стал намного лучше сканировать и понимать JavaScript, но до идеала еще далеко. Чтобы гарантированно получить результат, помещайте элементы в HTML.
  • Персонализация. Если разные пользователи видят разную навигацию, это запутает и поискового бота.
  • Отсутствие ссылки на главную страницу. 

Четкая навигация и полезная структура папок адресов – залог того, что робот правильно просканирует сайт, а ваши страницы появятся в индексе.

У вас чистая информационная архитектура?

Под этим термином подразумевается правильная организация и разметка контента на страницах, что обеспечивает эффективное взаимодействие пользователя с сайтом. Информация должна быть интуитивно понятной, а посетители не должны долго думать и искать, как попасть на ту или иную страницу.

Вы составляете карты сайта?

Это полный список страниц сайта, которые роботы могут использовать для сканирования и индексации контента. Чтобы быть уверенными, что бот видит ваши страницы, создайте карту сайта и добавьте ее через Google Search Console. 

Убедитесь, что в список попали только те страницы, которые должны быть проиндексированы. Также не забудьте прописать указания для поисковых ботов. Например, не включайте URL в карту сайта, если он заблокирован через robots.txt, а также  адреса-дубликаты вместо предпочтительных канонических версий.

Если на вашем сайте нет ссылок на другие ресурсы, вы все равно можете проиндексировать его, отправив XML-карту сайта в Google Search Console. Нет никакой гарантии, что они включат отправленный URL в свой индекс, но попробовать стоит.

Ошибки сканирования при попытке доступа к URL-адресам

При сканировании робот может столкнуться с ошибками. В Google Search Console доступен отчет «Ошибки сканирования», где вы можете посмотреть “проблемные” адреса. Итак, есть два типа ошибок.

Коды 4xx: ошибки клиента

Ошибки 4xx – это ошибки клиента, при которых робот не может получить доступ к контенту. Одна из наиболее частых ошибок 4xx – это «404 – не найдено». Она происходит из-за опечатки в адресе, удаленной страницы, неработающего перенаправления и пр. Для ПС 404 – это невозможность доступа к URL, для пользователей – повод покинуть сайт (а это уже в минус вам). 

Создавайте собственные страницы 404!

Настройте свою страницу 404, добавив ссылки на важные страницы вашего сайта, функцию поиска по сайту и даже контактную информацию. Это должно снизить вероятность того, что посетители покинут сайт, когда они попадут на 404 страницу.

Коды 5xx: ошибки сервера

Ошибки 5xx означают, что сервер, на котором расположена страница, не смог обработать запрос пользователя или ПС и не предоставил доступ к странице. В отчете «Ошибка сканирования» есть соответствующая вкладка. Обычно это происходит из-за того, что время обработки запроса истекло. Просмотрите отчет и советы Google, чтобы понять, как решить проблему подключения к серверу.

Если вы переместили страницу, лучший способ сообщить об этом пользователям и роботам, – настроить 301 редирект (постоянное перенаправление).

301 redirect со старой на новую страницу

Допустим, вы перемещаете страницу с example.com/young-dogs/ на example.com/puppies/. Поисковым системам и пользователям нужен «мост», чтобы перейти от старого URL к новому. Этот мост – 301 редирект.

301 ответ сервера означает, что страница навсегда переместилась в новое место, поэтому избегайте перенаправления URL на нерелевантные страницы, где содержимое старого адреса фактически не существует. Если страница ранжируется по запросу, но перенаправляется на страницу с другим содержимым, она может упасть в рейтинге, потому что контента, который сделал ее релевантной для конкретного запроса, больше нет. 301 редирект – это мощный инструмент, перемещайте URL-адреса ответственно!

У вас также есть возможность 302 редиректа – это временное перенаправление. Если у вас временно недоступен URL, используйте 302 редирект.

Остерегайтесь цепочек переадресации!

Роботу может быть сложно добраться до вашей страницы, если он должен пройти несколько перенаправлений. Google рекомендует максимально ограничить цепочки переадресации. Если вы перенаправляете example.com/1 на example.com/2, а затем решите перенаправить его на example.com/3, лучше всего устранить посредника и просто перенаправить example.com/1 на example.com/3.

Индексирование: как поисковые боты видят и хранят ваши страницы?

То, что ваш сайт открыт для сканирования роботом, еще не значит, что он появится и останется в индексе.

Пример хранения страниц в индексе поисковой системы

Можно ли посмотреть, как робот видит страницы?

Да, для этого существует кэшированная версия – отображение страницы в том виде, в котором ее сканировал робот в последний визит. 

Помните, что частота сканирования и кэширования страниц ПС различается в зависимости от сайта. Если ресурс часто наполняется и обновляется (например, новостные сайты), бот будет посещать его чаще, чем те, где изменения вносятся редко. 

Увидеть кэшированную версию страницы можно, кликнув на стрелку рядом с адресом в выдаче и выбрав нужный пункт в списке.

Просмотр сохраненной копии

Возможность сохраненной копии можно убрать путем добавления в секцию <head></head> страницы: <meta name=»robots» content=»noarchive»>.

Кроме того, можно просмотреть текстовую версию сайта, чтобы определить, эффективно ли сканируется и кэшируется важный контент.

Удаляются ли страницы из индекса?

Да, и вот самые распространенные причины для этого:

  • Ошибки 4XX или 5XX. Они могут произойти случайно (переместили страницу, но не настроили редирект) или преднамеренно (код 404 ставится, чтобы убрать страницу из индекса).
  • К адресу добавлен метатег noindex – его могут добавлять владельцы сайтов специально, чтобы страница исчезла из индекса. 
  • К странице применены ручные санкции поисковой системой. В результате в индексе ее больше нет.
  • Робот не может сканировать страницу из-за добавленного пароля. 

Если вы считаете, что страница сайта, которая ранее была в индексе Google, больше не отображается, вы можете использовать инструмент проверки URL-адресов, чтобы узнать статус, или использовать функцию «Просмотреть как Google», которая имеет параметр «Запросить индексирование», чтобы отправить отдельные URL-адреса в индекс.

Как индексировать ваш сайт? Указание для ПС

Метадирективы роботов

Метадирективы (или «метатеги») – это “команды” для поисковых ботов, указывающие, как им обрабатывать страницу. Устанавливаются через метатеги Robots в <head> ваших HTML-страниц (наиболее часто используемый способ) или через X-Robots-Tag в заголовке HTTP.

Метатег Robots

Метатег robots можно использовать внутри <head> HTML-кода вашей страницы. В нем можно прописывать команды для всех ПС или одной конкретной. Ниже – список самых распространенных тегов и пояснения, когда их ставить.

index/noindex – команда ПС, сканировать и сохранять страницу в индексе или нет. «noindex» означает, что страница не должна появиться в выдаче. По умолчанию ПС индексируют все страницы, поэтому указывать «index» не нужно.

Когда применять: «noindex» пригодится, чтобы исключить из индекса низкокачественные или не нужные в поиске страницы, однако для посетителей они все равно должны быть доступны (например, страницы профиля, созданные пользователями).

follow/nofollow – сообщает поисковым роботам, следует ли переходить по размещенным на странице ссылкам. «Follow» означает, что боты переходят по ним и передают ссылочный вес на эти адреса, «nofollow» – роботы не переходят по ссылкам и не передают вес. По умолчанию все страницы имеют атрибут «follow», указывать его дополнительно не нужно.

Когда применять: nofollow часто используется вместе с noindex, когда вы не хотите, чтобы страница индексировалась. Самостоятельно этот тег прописывают, например, при добавлении статей в блог, чтобы не передавать ссылочный вес на сторонние источники. 

noarchive – команда, запрещающая создание кэшированной копии. По умолчанию ПС создают копии всех страниц, которые они индексируют. 

Когда применять: яркий пример – интернет-магазин, где цены могут регулярно меняться. Тег noarchive позволит вам не показывать посетителям старые цены.

Вот пример метатега noindex, nofollow для роботов:

<! DOCTYPE html>
<html>
<head> 
<meta name = «robots» content = «noindex, nofollow» /> 
</head> 
<body> … </body> 
</html>

В этом примере исключается индексация страницы и переход по любым ссылкам на ней всеми ПС. Если вы хотите исключить несколько поисковых роботов, например, googlebot и bing, можно использовать несколько тегов исключения ботов.

Метадирективы влияют на индексацию, а не на сканирование

Роботу Googlebot необходимо просканировать вашу страницу, чтобы увидеть ее метадирективы, поэтому, если вы пытаетесь запретить поисковым роботам доступ к определенным страницам, метадирективы – не способ сделать это. Теги роботов должны сканироваться, чтобы их соблюдали.

X-Robots-Tag

Тег x-robots используется в HTTP-заголовке вашего URL-адреса, обеспечивая большую гибкость и функциональность, чем метатеги, если вы хотите масштабно блокировать поисковые системы. Вы можете использовать регулярные выражения, блокировать файлы, отличающиеся от HTML, и применять теги noindex по всему сайту. 

Производные, используемые в метатеге robots, также могут использоваться в X-Robots-Tag.

Например, вы можете легко исключить целые папки (например, moz.com/no-bake/old-recipes-to-noindex):

<Files ~ «\ /? No \ -bake \ /.*»> Будет установлен заголовок X-Robots-Tag «noindex, nofollow» </Files>

Или определенные типы файлов (например, PDF):

<Files ~ «\ .pdf $»> Будет установлен заголовок X-Robots-Tag «noindex, nofollow» </Files>

Совет по WordPress:

На Панели управления> Настройки> Чтение убедитесь, что флажок «Видимость для поисковых систем» не установлен. Это блокирует доступ поисковых систем к вашему сайту через файл robots.txt!

Понимание различных способов влияния на сканирование и индексирование поможет вам избежать распространенных ошибок, которые могут помешать обнаружению важных страниц.

Ранжирование и место в выдаче

Ранжирование – это размещение сайтов в выдаче в порядке их релевантности запросу пользователя.

Ранжирование URL в результатах поиска на примере собачек

Чтобы определить релевантность, поисковые системы используют алгоритмы, процесс или формулу, с помощью которых хранимая информация извлекается и упорядочивается конкретным образом. Эти алгоритмы претерпели множество изменений за прошедшие годы, чтобы улучшить качество результатов поиска. Google, например, вносит корректировки в алгоритм каждый день – некоторые из этих обновлений представляют собой незначительные улучшения качества, тогда как другие выступают общими и развернуты для решения конкретной проблемы, например, Penguin для борьбы со ссылочным спамом. 

Почему алгоритм так часто меняется? Цель Google при корректировке алгоритмов – улучшить общее качество поиска. Если вы обнаружили пессимизацию сайта после обновления алгоритма, посмотрите, соответствует ли он требованиям ПС.

Чего хотят поисковые системы?

Если коротко, то давать полезные ответы на вопросы пользователей в наиболее подходящих форматах. Почему поисковая оптимизация сейчас отличается от той, что была раньше? Подумайте об этом как о человеке, изучающем новый язык.

Поначалу понимание языка элементарное. Со временем оно растет, человек изучает семантику – значение языка и взаимосвязь между словами и фразами. В конце концов, практикуясь, ученик знает язык достаточно хорошо, чтобы понимать нюансы, и может дать ответы даже на расплывчатые или неполные вопросы.

Когда поисковые системы только начинали изучать наш язык, было намного проще обыгрывать систему, используя уловки и тактики, которые противоречили рекомендациям. Возьмем, к примеру, наполнение ключевыми словами. Если вы хотели ранжироваться по определенному запросу, например, «смешные анекдоты», вы могли несколько раз добавить на страницу эти слова и выделить их жирным шрифтом:

«Добро пожаловать в смешные анекдоты! Рассказываем самые смешные анекдоты на свете. Смешные анекдоты – это весело и безумно. Вас ждет смешной анекдот. Устройтесь поудобнее и читайте смешные анекдоты, потому что смешные анекдоты сделают вас счастливее и веселее. Несколько забавных любимых смешных анекдотов«.

Эта тактика создавала ужасный пользовательский опыт, людей засыпали раздражающим, трудночитаемым текстом. Возможно, это сработало в прошлом, но сейчас за такое вы окажетесь под санкциями.

Роль ссылок в SEO

Ссылки бывают двух видов: обратные, или «входящие» – это ссылки с других сайтов, которые ссылаются на вас, и внутренние – это ссылки на вашем сайте, которые указывают на другие ваши страницы.

Разница между внешними и внутренними ссылками

Ссылки исторически играли большую роль в SEO. С самого начала поисковым системам требовалась помощь в определении того, какие URL заслуживают большего доверия, чтобы определить, как ранжировать результаты поиска. В этом им помог подсчет количества ссылок, указывающих на тот или иной сайт.

Обратные ссылки работают очень похоже на сарафанное радио в реальной жизни. Возьмем для примера гипотетическую кофейню Jenny’s Coffee:

  • Рекомендации от других = хороший знак авторитета

Пример: многие люди говорили вам, что Jenny’s Coffee – лучший в городе.

  • Рекомендации от себя = предвзятость, что не является признаком авторитета

Пример: Дженни утверждает, что Jenny’s Coffee лучший в городе.

  • Рекомендации из нерелевантных или некачественных источников = плохой знак авторитета, за это вас могут пометить как спам

Пример: Дженни заплатила за то, чтобы люди, никогда не посещавшие ее кофейню, рассказывали другим, насколько она хороша.

  • Нет рекомендаций = неясный авторитет

Пример: Jenny’s Coffee может быть хорошим, но вы не смогли найти никого, кто так считает, поэтому не можете быть уверены.

Вот почему был создан PageRank.

PageRank (часть основного алгоритма Google) – это алгоритм анализа ссылок, названный в честь одного из основателей Google, Ларри Пейджа. PageRank оценивает важность страницы, измеряя качество и количество ссылок, указывающих на нее. Предполагается, что чем более релевантная, важная и заслуживающая доверия страница, тем больше ссылок она заработает.

Чем больше у вас естественных обратных ссылок из авторитетных источников, тем выше шансы на увеличение рейтинга в результатах поиска.

Роль контента в SEO

Контент – это больше, чем просто слова, это все, что предназначено для пользователей: видеоконтент, графическое содержимое и, конечно же, текст. Если поисковые системы являются машинами для ответов, контент – это средство, с помощью которого ПС доставляют эти ответы.

Каждый раз, когда кто-то выполняет поиск, появляются тысячи возможных результатов. Как поисковые системы решают, какие страницы показывать? Значительную роль играет то, насколько контент на вашей странице соответствует цели запроса. Другими словами, соответствует ли эта страница искомым словам и помогает ли решить задачу пользователя?

Из-за такого акцента на пользователях не существует строгих критериев того, какого объема должен быть контент, сколько он должен содержать ключевых слов или что нужно вставлять в теги заголовка. Все это может сыграть роль в том, насколько хорошо страница ранжируется в поиске, но основное внимание следует уделять пользователям, которые будут читать контент.

Сегодня с сотнями или даже тысячами сигналов ранжирования тройка лидеров остается довольно последовательной: ссылки на ваш сайт из сторонних источников, контент на странице (качественный и соответствующий запросам пользователя) и RankBrain.

Что такое RankBrain?

RankBrain – компонент машинного обучения основного алгоритма Google. Это компьютерная программа, которая со временем улучшается за счет новых наблюдений и данных. Другими словами, Google всегда учится, поэтому результаты поиска должны постоянно улучшаться.

Например, если RankBrain замечает, что страница, которая находится в поиске ниже, лучше соответствует запросам пользователей, он поднимет ее выше конкурентов.

RankBrain корректировка результатов поиска

Что это значит для оптимизаторов?

Поскольку Google продолжит использовать RankBrain для продвижения наиболее актуального и полезного контента, нужно сосредоточиться на соответствии запросам пользователей больше, чем когда-либо прежде. Предоставьте максимально полезную информацию, и вы сделаете большой первый шаг к успешной работе в мире RankBrain.

Метрики взаимодействия: корреляция, причинно-следственная связь или и то, и другое?

В рейтинге Google показатели вовлеченности частично коррелируют, а частично демонстрируют причинно-следственную связь.

Что входит в показатели взаимодействия:

  • клики (посещения из поиска);
  • время на странице (количество времени, которое посетитель провел на странице перед тем, как покинуть ее);
  • показатель отказов (процент всех сеансов, когда пользователи просматривали только одну страницу и ушли);
  • Pogo-sticking (вы перешли на сайт, но тут же вернулись на страницу поиска).

Многие тесты, в том числе собственный опрос Moz по факторам ранжирования, показали, что показатели вовлеченности коррелируют с более высоким рейтингом, но причинно-следственная связь горячо обсуждается. Хорошие показатели вовлеченности только у сайтов с высоким рейтингом? Или сайты получают высокий рейтинг, потому что у них хорошие показатели вовлеченности?

Комментарий Google

Хотя термин «прямой сигнал ранжирования» никогда не использовался, Google ясно дал понять, что он учитывает данные о кликах для изменения результатов поиска по конкретным запросам.

По словам бывшего начальника отдела качества поиска Google Уди Манбера:

«На рейтинг влияют данные о кликах. Если мы обнаружим, что для определенного запроса 80% людей нажимают на #2, и только 10% щелкают на #1, через некоторое время мы выясняем, что, вероятно, #2 больше соответствует запросам, поэтому мы изменим позиции».

Комментарий бывшего инженера Google Эдмонда Лау подтверждает это:

«Совершенно очевидно, что любая разумная поисковая система будет использовать данные о кликах для ранжирования, чтобы улучшить качество результатов. Фактический механизм использования данных о кликах часто является закрытым, но очевидно, что Google использует данные о кликах со своими патентами».

Поскольку Google необходимо поддерживать и улучшать качество поиска, кажется неизбежным, что показатели взаимодействия – это нечто большее, чем корреляция, но похоже, что Google не может назвать их «сигналом ранжирования», поскольку они используются для улучшения качества поиска, а рейтинг отдельных URL-адресов – лишь следствие этого.

Какие тесты подтвердили

Различные тесты подтвердили, что Google будет корректировать порядок выдачи в ответ на активность пользователей:

  • Тест Рэнда Фишкина в 2014 году показал, что результат №7 переместился на первое место после того, как около 200 человек щелкнули URL-адрес в поисковой выдаче. Интересно, что улучшение рейтинга, по-видимому, было связано с местоположением людей, которые перешли по ссылке. Позиция в рейтинге резко выросла в США, где находилось много участников, в то время как она осталась ниже на странице в Google Canada, Google Australia и т. д.
  • Сравнение Ларри Кима верхних страниц и их среднего времени ожидания до и после RankBrain показало, что компонент машинного обучения в алгоритме Google понижает позицию в рейтинге страниц, на которые люди не тратят так много времени.
  • Тестирование Даррена Шоу также показало, как поведение пользователя влияет на результаты локального поиска и набора карт.

SEO-специалистам необходимо работать над повышением вовлеченности пользователей. Вовлеченность меняет не объективное качество страницы, а, скорее, ее ценность для посетителей по сравнению с другими результатами по этому запросу. Вот почему после того, как страница или обратные ссылки не изменились, рейтинг может снизиться, – на это повлияют поведенческие факторы. 

Можно сделать вывод: на место сайта в поисковой выдаче изначально влияют ссылки и контент, а потом его позиции могут меняться в зависимости от поведения пользователей.

Развитие результатов поиска

Во времена, когда поисковым системам не хватало той сложности, которую они имеют сегодня, термин «10 синих ссылок» был придуман для описания плоской структуры поисковой выдачи. Каждый раз, когда выполнялся поиск, Google возвращал страницу с 10 обычными результатами в одинаковом формате.

Термин 10 синих ссылок

В этом случае первое место было целью SEO. Но потом кое-что случилось. Google начал добавлять результаты в новых форматах, называемые SERP. Что появилось на странице:

  • платная реклама;
  • блоки с ответами;
  • блок похожих вопросов;
  • карта;
  • панель знаний;
  • дополнительные ссылки.

И Google все время добавляет новые фишки. Они даже экспериментировали с «с нулевым результатом», когда только один результат из блока знаний отображался в поисковой выдаче без каких-либо других под ним, за исключением опции «просмотреть больше».

Добавление этих фишек вызвало некоторую панику по двум основным причинам. Во-первых, многие из них привели к тому, что органические результаты продвинулись ниже в поисковой выдаче. Еще одним побочным эффектом является то, что меньше пользователей нажимают на обычные результаты, поскольку ответы на большее количество запросов есть на самой странице выдаче.

Зачем Google это делать? Все восходит к пользовательскому опыту. Для ответов на некоторые вопросы лучше подходят другие форматы контента, а не традиционная выдача в виде ссылок. Обратите внимание, как различные типы функций SERP соответствуют различным типам намерений.

Цель запросаЧто из SERP может соответствовать 
Информационная Блок с ответом
Информационная с одним ответомБлок знаний
МестоКарта
ТранзакцияПокупка

Пользователи могут видеть ответы в разных форматах. От того, как вы структурируете контент, зависит, в каком формате он появится в выдаче и будет ли соответствовать запросам посетителей.

Локальный поиск

У такой поисковой системы, как Google, есть собственный индекс местных предприятий, на основе которого она создает результаты локального поиска.

Если вы выполняете локальную SEO-работу для компании, у которой есть физический адрес, куда клиенты могут прийти (например, стоматолог), или для компании, которая оказывает выездные услуги (например, водопроводчик), убедитесь, что вы создаете, проверяете и оптимизируете бесплатный Google My Business Listing.

Когда дело доходит до результатов локального поиска, Google использует три основных фактора для определения рейтинга:

  1. Релевантность.
  2. Расстояние.
  3. Известность.

Релевантность

Релевантность – это то, насколько бизнес соответствует тому, что ищет пользователь. Для этого нужно точно и полно заполнить информацию о компании.

Расстояние

Google использует геолокацию, чтобы показывать лучшие результаты. Результаты локального поиска сильно зависят от местоположения пользователя или слов, указанных в запросе. 

Результаты обычного поиска тоже привязаны к местоположению посетителя, хотя это не так ярко выражено, как в локальном поиске.

Известность

Известность бренда – еще один фактор, который учитывает ПС при ранжировании. Помимо этого, в локальном поиске имеют значение:

  • Отзывы. Важно их количество и тональность.
  • Цитаты. «Деловая цитата» или «список компаний» — это веб-ссылка на «NAP» местного предприятия (имя, адрес, номер телефона) на локализованной платформе (Yelp, Acxiom, YP, Infogroup, Localeze и т. д.). Если проще, это цитирование на сайтах-агрегаторах.

Местные рейтинги зависят от количества и постоянства цитирования местных компаний. Google извлекает данные из самых разных источников, постоянно составляя индекс местного бизнеса. Когда Google находит несколько последовательных ссылок на название, местонахождение и номер телефона компании, это укрепляет «доверие» Google к достоверности этих данных, и компания чаще появляется в выдаче. Google также использует информацию из других источников в интернете, например, ссылки и статьи.

  • Органический рейтинг. Лучшие методы SEO также применимы к локальному поиску, поскольку Google также учитывает позицию сайта в обычных результатах при определении местного рейтинга.
  • Взаимодействие и вовлеченность в локальном SEO. В локальной выдаче ПС учитывает время посещения, длительность визита пользователя, а также позволяет задавать вопросы. 
пример данных о посещаемости в Google My Business
вопросы и ответы в Google My Business

Интерактивность и реальные данные – то, что во многом формирует локальную выдачу. На эту информацию во многом опирается ПС при демонстрации результатов по запросу. Иначе говоря, в локальном поиске значение имеют не только ключевые слова и ссылки, но и поведение пользователей.

Вывод

Конечно, вы не обязаны знать все тонкости алгоритма поисковой системы (тем более что это нереально). Однако понимать, как работают ПС, какие факторы ранжирования выходят на первый план, каким образом можно улучшить страницу, просто необходимо для достижения результатов по SEO.


Подпишись на рассылку дайджеста новостей от Webline Promotion

Оцените статью
Webline Blog
Добавить комментарий