Как работают поисковые системы

Поисковые системы работают, сканируя Интернет с помощью ботов, называемых пауками. Эти веб-сканеры эффективно переходят по ссылкам со страницы на страницу, чтобы найти новый контент для добавления в поисковый индекс. Когда вы используете поисковую систему, релевантные результаты извлекаются из индекса и ранжируются с использованием алгоритма.

Если это звучит сложно, это потому, что это так. Но если вы хотите повысить рейтинг в поисковых системах, чтобы привлечь больше трафика на свой сайт, вам необходимо базовое понимание того, как поисковые системы находят, индексируют и ранжируют контент.

Это то, что вы узнаете из этого руководства.

Что такое поисковые системы?

Поисковые системы — это инструменты, которые находят и ранжируют веб-контент, соответствующий поисковому запросу пользователя.

Каждая поисковая система состоит из двух основных частей:

  1. Индекс поиска. Электронная библиотека информации о веб-страницах.
  2. Алгоритмы поиска. Компьютерная программа (ы), которая ранжирует результаты сопоставления из поискового индекса.

Примеры популярных поисковых систем включают Google, Bing и DuckDuckGo.

Какова цель поисковых систем?

Каждая поисковая система стремится предоставлять пользователям наилучшие и наиболее релевантные результаты. Именно так они получают или удерживают долю рынка — по крайней мере, теоретически.

Как поисковые системы зарабатывают деньги?

Поисковые системы имеют два типа результатов поиска:

  • Органические результаты из поискового индекса. Вы не можете платить за то, чтобы быть здесь.
  • Платные результаты от рекламодателей. Вы можете заплатить, чтобы быть здесь.

Каждый раз, когда кто-то нажимает на платный результат поиска, рекламодатель платит поисковой системе. Это называется рекламой с оплатой за клик ( PPC ).

Вот почему доля рынка имеет значение. Больше пользователей означает больше кликов по рекламе и больший доход.

Почему вам должно быть важно, как работают поисковые системы?

Понимание того, как поисковые системы находят, индексируют и ранжируют контент, поможет вам повысить рейтинг вашего сайта в обычных результатах поиска по релевантным и популярным ключевым словам.

Если вы сможете занять высокое место по этим запросам, вы получите больше кликов и органический трафик для вашего контента.

Как поисковые системы строят свой индекс

Большинство известных поисковых систем, таких как Google и Bing, содержат триллионы страниц в своих поисковых индексах

Шаг 1. URL-адреса

Все начинается с известного списка URL-адресов. Google обнаруживает их с помощью различных процессов, но наиболее распространенными из них являются:

Из обратных ссылок

У Google уже есть индекс, содержащий триллионы веб-страниц. Если кто-то добавит ссылку на одну из ваших страниц с одной из этих веб-страниц, он сможет найти ее оттуда.

Из файлов Sitemap

В файлах Sitemap перечислены все важные страницы вашего сайта. Если вы отправите карту сайта в Google, это может помочь им быстрее обнаружить ваш сайт.

Из представленных URL

Google также позволяет отправлять отдельные URL-адреса через консоль поиска Google.

Шаг 2. Сканирование

Сканирование — это когда компьютерный бот, называемый пауком (например, робот Google ), посещает и загружает обнаруженные страницы.

Важно отметить, что Google не всегда сканирует страницы в том порядке, в котором они их обнаруживают.

Google ставит URL в очередь для сканирования на основании нескольких факторов, в том числе:

  • PageRank URL
  • как часто меняется URL
  • будь то новое или нет

Это важно, потому что это означает, что поисковые системы могут сканировать и индексировать одни из ваших страниц раньше других. Если у вас большой веб-сайт, поисковым системам может потребоваться некоторое время, чтобы полностью его просканировать.

Шаг 3. Обработка

Обработка — это то место, где Google работает, чтобы понять и извлечь ключевую информацию из просканированных страниц. Никто, кроме Google, не знает всех подробностей об этом процессе, но важными частями для нашего понимания являются извлечение ссылок и сохранение контента для индексации.

Google должен отображать страницы, чтобы полностью обработать их, и именно здесь Google запускает код страницы, чтобы понять, как она выглядит для пользователей.

При этом некоторая обработка происходит до и после рендеринга, как вы можете видеть на диаграмме.

Шаг 4. Индексирование

Индексирование — это когда обработанная информация с просканированных страниц добавляется в большую базу данных, называемую поисковым индексом. По сути, это цифровая библиотека из триллионов веб-страниц, с которых поступают результаты поиска Google.

Это важный момент. Когда вы вводите запрос в поисковую систему, вы не ищите в Интернете соответствующие результаты напрямую. Вы выполняете поиск в индексе веб-страниц поисковой системы. Если веб-страница отсутствует в поисковом индексе, пользователи поисковых систем не найдут ее. Вот почему так важно проиндексировать ваш сайт в основных поисковых системах, таких как Google и Bing.

Как поисковые системы ранжируют страницы

Обнаружение, сканирование и индексирование контента — это лишь первая часть головоломки. Поисковым системам также необходим способ ранжирования результатов соответствия, когда пользователь выполняет поиск. Это работа алгоритмов поисковых систем.

Каждая поисковая система имеет уникальные алгоритмы ранжирования веб-страниц. Но поскольку Google является наиболее широко используемой поисковой системой (по крайней мере, в западном мире), именно на ней мы собираемся сосредоточиться в остальной части этого руководства.

Известно, что у Google более 200 факторов ранжирования.

Никто не знает, что такое все эти факторы ранжирования, но мы знаем о ключевых.

Обсудим некоторые из них.

  • Обратные ссылки
  • Актуальность
  • Свежесть
  • Актуальный авторитет
  • Скорость страницы
  • Мобильность

Обратные ссылки

Обратные ссылки — один из самых важных факторов ранжирования Google.

Ссылки были важным фактором ранжирования в Google с 1997 года, когда они представили PageRank, формулу для оценки ценности веб-страницы на основе количества и качества обратных ссылок, указывающих на нее.

Однако дело не только в количестве, потому что не все обратные ссылки одинаковы. Страница с несколькими обратными ссылками высокого качества вполне может превзойти страницу с большим количеством обратных ссылок более низкого качества.

Давайте подробнее рассмотрим, возможно, два самых важных: авторитет и актуальность.

Ссылка авторитет

Обратные ссылки с авторитетных страниц и веб-сайтов обычно имеют наибольшее влияние на рейтинг.

Как вы определяете власть? В контексте SEO авторитетные страницы и веб-сайты — это те, которые имеют много обратных ссылок или «голосов».

Актуальность ссылки

Ссылки с соответствующих веб-сайтов и веб-страниц обычно являются наиболее ценными.

Если вам интересно, почему важна релевантность, подумайте о том, как все работает в реальном мире. При поиске лучшего итальянского ресторана вы, вероятно, поверите совету друга-шеф-повара, а не совету друга-ветеринара. Но если бы вы искали рекомендации по кормлению кошек, было бы наоборот.

Актуальность

У Google есть много способов определения релевантности страницы.

На самом базовом уровне он ищет страницы, содержащие те же ключевые слова, что и поисковый запрос.

Но релевантность выходит далеко за рамки соответствия ключевых слов.

Google также использует данные о взаимодействии, чтобы оценить, соответствуют ли результаты поиска запросам. Другими словами, находят ли пользователи эту страницу полезной?

Отчасти поэтому все лучшие результаты для «яблока» связаны с технологической компанией, а не с фруктами. Google знает из данных о взаимодействии, что большинство поисковиков ищут информацию о первом, а не втором.

Однако данные о взаимодействии — далеко не единственный способ, которым Google это делает.

Google инвестировал во множество технологий, чтобы помочь понять отношения между такими сущностями, как люди, места и предметы. Сеть знаний — одна из таких технологий, которая, по сути, представляет собой огромную базу знаний об объектах и ​​отношениях между ними.

И яблоко (фрукты), и Apple (технологическая компания) являются объектами в Сети знаний.

Google использует отношения между объектами, чтобы лучше понять релевантность страницы. Соответствующий результат для слова «яблоко», в котором говорится об апельсинах и бананах, явно относится к фруктам. Но тот, в котором говорится об iPhone, iPad и iOS, явно относится к технологической компании.

Отчасти благодаря сети знаний Google может выйти за рамки сопоставления ключевых слов.

Свежесть

Свежесть — это фактор ранжирования, зависящий от запроса, что означает, что для одних результатов он важнее других.

Для такого запроса, как «что нового на Amazon Prime», важна свежесть, потому что поисковики хотят знать о недавно добавленных фильмах и телешоу. Вероятно, поэтому Google ставит недавно опубликованные или обновленные результаты поиска выше.

Для таких запросов, как «лучшие наушники», свежесть имеет значение, но не так много. Технология наушников развивается быстро, поэтому результаты 2015 года не принесут особого успеха, но сообщение, опубликованное 2–3 месяца назад, все равно будет полезно.

Google знает об этом и показывает результаты, которые были обновлены или опубликованы за последние несколько месяцев.

Есть также вопросы, по которым свежесть результатов не имеет значения, например, «как связать галстук». В этом процессе ничего не изменилось за десятилетия, поэтому не имеет значения, были ли результаты поиска за вчерашний день или за 1998 год. Google знает это и не сомневается в ранжировании сообщений, опубликованных много лет назад.

Актуальный авторитет

Google хочет ранжировать контент с веб-сайтов, авторитетных по данной теме. Это означает, что Google может рассматривать веб-сайт как хороший источник результатов для запросов по одной теме, но не по другой.

Скорость страницы

Никто не любит ждать загрузки страниц, и Google это знает. Вот почему они сделали скорость страницы фактором ранжирования для поиска на компьютере в 2010 году и для мобильного поиска в 2018 году.

Многие люди зацикливаются на скорости страницы, поэтому стоит отметить, что ваши страницы не должны быть молниеносными для ранжирования. Google заявляет, что скорость загрузки страниц является проблемой только для страниц, которые «обеспечивают самую медленную работу пользователей».

Другими словами, сокращение на несколько миллисекунд и без того быстрого сайта вряд ли повысит рейтинг. Просто он должен быть достаточно быстрым, чтобы не повлиять на пользователей.

Вы можете проверить скорость любой веб-страницы в PageSpeed ​​Insights , который также генерирует предложения по ускорению страницы.

PageSpeed ​​Insights также показывает, как выглядит ваша страница, когда дело доходит до Core Web Vitals .

Core Web Vitals состоит из трех показателей, которые оценивают производительность загрузки, интерактивность и визуальную стабильность ваших веб-страниц. Google подтвердил, что Core Web Vitals станет сигналом ранжирования с июня 2021 года.

Вы можете увидеть эффективность всех страниц своего веб-сайта с помощью отчета Core Web Vitals в Google Search Console.

Мобильность

65% поисковых запросов в Google происходит на мобильных устройствах. Вот почему с 2015 года мобильность играет важную роль.

С 2019 года удобство для мобильных устройств также является фактором ранжирования для поиска на компьютерах благодаря переходу Google на индексацию, ориентированную на мобильные устройства. Это означает, что Google «преимущественно использует мобильную версию контента для индексации и ранжирования» на всех устройствах.

Другими словами, отсутствие поддержки мобильных устройств может повлиять на рейтинг — везде.

Вы можете проверить удобство использования любой веб-страницы для мобильных устройств с помощью инструмента Google Mobile-Friendly Test или в отчете по удобству использования мобильных устройств в Google Search Console.

Как поисковые системы персонализируют результаты поиска

Поисковые системы понимают, что разные результаты нравятся разным людям. Вот почему они адаптируют свои результаты для каждого пользователя.

Если вы когда-либо искали одно и то же на нескольких устройствах или в разных браузерах, вы, вероятно, видели эффект этой персонализации. Результаты часто отображаются в разных положениях в зависимости от различных факторов.

Именно из-за этой персонализации, если вы занимаетесь SEO , вам лучше использовать специальный инструмент, такой как Rank Tracker от Ahrefs, для отслеживания позиций в рейтинге. Заявленные позиции в этих инструментах, вероятно, будут ближе к истине, потому что они просматривают Интернет таким образом, чтобы поисковые системы не получали много полезной информации для персонализации.

Google заявляет, что «такая информация, как ваше местоположение, история прошлого поиска и настройки поиска, — все это помогает [нам] адаптировать ваши результаты к тому, что является наиболее полезным и актуальным для вас в данный момент».

Давайте подробнее рассмотрим эти три вещи.

Расположение

Если вы введете что-то вроде «итальянский ресторан», все результаты в пакете карт будут местными ресторанами.

Google делает это, потому что вы вряд ли облетите полмира на обед.

Но Google также использует ваше местоположение для персонализации результатов поиска за пределами пакета карт. Если мы прокрутим наш поиск по запросу «итальянский ресторан», даже результаты TripAdvisor будут персонализированными, и мы увидим, что многие из лучших результатов — это веб-сайты местных ресторанов.

Аналогичная история с запросом типа «купить дом». Google возвращает страницы с местными объявлениями вместо национальных, потому что вы, вероятно, не хотите переезжать в другую страну.

Ваше местоположение настолько сильно влияет на результаты локальных запросов, что при поиске одного и того же объекта из двух разных мест практически не происходит совпадения.

Язык

Google знает, что нет смысла показывать результаты на английском испанским пользователям. Вот почему Google оценивает английскую версию нашего руководства по поисковой оптимизации YouTube для поиска на английском языке и испанскую версию для поиска на испанском языке.

Однако в этом Google в некоторой степени полагается на владельцев веб-сайтов. Если у вас есть страницы на нескольких языках, Google может не понять, что это так, если вы им не расскажете.

Вы можете сделать это с помощью атрибута HTML под названием hreflang .

Hreflang немного сложен и выходит за рамки этого руководства, но в основном это небольшой фрагмент кода, указывающий на взаимосвязь между несколькими версиями одной и той же страницы на разных языках.

История поиска

Возможно, наиболее очевидный пример использования Google истории поиска для персонализации результатов — это когда он «ранжирует» ранее выбранный результат выше при следующем запуске того же поиска.

Это не всегда происходит, но кажется довольно частым явлением, особенно если вы нажимаете или посещаете страницу несколько раз за короткий промежуток времени.

Понимание того, как работают поисковые системы, — это первый шаг к более высокому рейтингу в Google и увеличению посещаемости. Если поисковые системы не могут найти, сканировать и проиндексировать ваши страницы, вы мертвы в воде еще до того, как начнете.