Теория фрэгглов в SEO и как она связана с mobile-first индексацией

Термин «фрэгглы» мы позаимствовали у создателя сериала «Гора Фрэгглов» Джима Хенсона. Однака в нашей теории «fraggles» – это комбинация двух слов: «fragment» и «handle». В статье мы поговорим о фрэгглах как о новом элементе, который индексирует Google.

Фрэгглы и mobile-first индексация

Прежде, чем углубиться в теорию фрэгглов, давайте остановимся на mobile-first индексации и о том, что она на самом деле представляет. По нашему мнению, mobile-first индексация имеет больше аспектов, чем те, что называет Google.

Согласно Google, это лишь смена краулера с десктопного на мобильный. Хотя это правда, есть и другие нюансы, о которых компания не упоминает, и мы видим много доказательств в пользу этой теории. По нашему мнению, mobile-first индексация также затрагивает изменения в самом процессе индексирования, что также вытекает из её названия.

Сеть знаний и сущности

Мы считаем, что Google реорганизовал свой индекс вокруг сущностей в Сети знаний (Knowledge Graph).

На рисунке ниже – очень упрощённая схема Сети знаний. В целом она представляет собой совокупность данных о людях, местах, вещах или идеях.

Имена существительные – это сущности. Сеть знаний имеет в своей структуре узлы для всех значимых людей, мест, вещей и идей. Но Google также устанавливает взаимосвязи между этими идеями и вещами. При этом для Google полезным является тот факт, что все эти вещи, концепции и связи остаются верными на всех языках, и это то, как работают сущности, потому что сущности появляются раньше ключевых слов.

Данная концепция может показаться сложной для SEO-специалистов, потому что мы привыкли иметь дело с ключевыми словами. Но если вы подумаете о сущности как о чём-то, что описывается ключевым словом и не зависит от языка, то это то, как воспринимает сущности Google. В Сети знаний сущности не записаны как таковые, а их уникальный идентификатор не является словом. Это число, а числа не зависят от языка.

Например, сущность «мать» - это понятие, которое существует во всех языках, но описывается разными словами. При этом мать связана с отцом, дочерью, дедушкой – и эти связи одинаковы на всех языках.

Поэтому, если Google может использовать то, что он называет «тематическим слоем» и сущности как способ фильтрации информации и понимания мира, то он может делать это в тех языках, где он силён, и быть уверенным, что это верно в 100% случаев.

Затем Google может применять это понимание к тем языкам, где он сталкивается с трудностями при индексации и понимании, где поисковая система не так сильна или алгоритм не позволяет понимать все особенности языка.

Все языки работают по-разному. Но если Google может использовать свои API для перевода и обработки естественного языка для построения Сети знаний в тех регионах, где он силён, то с помощью машинного обучения поисковик также может создавать Сеть знаний и лучше отвечать на вопросы в тех местах и на тех языках, где он слаб. Когда вы это понимаете, вам легче думать о mobile-first индексации как о масштабной работе по формированию Сети знаний.

Мы видим, что это происходит, статистически. В поисковой выдаче Google появляется всё больше результатов из Сети знаний и других вещей, которые также связаны с этими результатами, таких как блоки похожих запросов и т.п. Все они описывают разные элементы или разные узлы в Сети знаний. Таким образом Сеть знаний показывает, как данная тема связана с другими темами.

Запуск mobile-first индексации, вероятно, потому и занял 2,5 года, что Google нужно было переиндексировать весь интернет и организовать его вокруг Сети знаний.

В AMA-сессии накануне запуска Knowledge Graph сотрудник поиска Джон Мюллер ответил на множество вопросов о JavaScript и hreflang. Учитывая этот контекст, становятся понятнее последние изменения. Google хочет понимать сущности и знает, что это действительно важно, поэтому hreflang тоже важен.

Давайте теперь поговорим о фрэгглах.

Fraggles = fragment + handle

Итак, фрэгглы, как мы отмечали ранее, это фрагмент (fragment) плюс маркер (handle). Важно знать, что существует множество вещей, которые можно фрагментировать. Например, нативные приложения, базы данных, сайты, подкасты и видео.

Даже если у них нет URL, они могут быть полезным контентом. Именно поэтому Google говорит, что его цель – организовать всю информацию в мире, а не все веб-сайты. Вероятно, исторически Google был как бы заперт в рамках сканирования и индексирования сайтов и его это беспокоило, поскольу он хотел иметь возможность показывать и другие вещи, но не мог, поскольку ему требовались URL.

Но в случае фрагментов, Google потенциально больше не нужны URL.

Например, возьмём традиционную страницу. Хотя исторически Google сканировал и индексировал именно страницы, иногда им трудно занимать высокие позиции в выдаче, если они охватывают несколько тем.

На рисунке ниже – страница об овощах. Эта страница может быть самой лучшей страницей об овощах и содержать наилучшую информацию о салате, сельдерее и редьке. Однако, поскольку этих тем много, то они «разбавляют» друг друга, и данная страница может столкнуться с проблемами в ранжировании, так как не сфокусирована на одной теме.

Google хочет ранжировать наилучший контент. При этом исторически поисковик как бы подталкивал владельцев сайтов к тому, чтобы они помещали такой контент на отдельные страницы и разбивали его. И это то, что привело к созданию определённой ментальности в SEO: «Контент – король, мне нужно больше контента, создавайте больше страниц». Проблема в том, что каждый может создавать всё больше и больше страниц для каждого ключевого слова, по которому он хочет ранжироваться, но первую позицию может занять лишь одна страница.

Google всё ещё вынужден сканировать все те страницы, который он говорит нам создавать, и это приводит к формированию определённого «персонажа» по типу Марджори Куча мусора в «Горе Фрэгглов» - такого себе всезнающего оракула. Но когда мы создаём контент низкого и среднего качества – просто, чтобы иметь отдельную страницу для каждой темы, это усложняет жизнь Google, да и нам тоже.

Итак, зачем мы делаем всю эту работу? Ответ: потому что Google может индексировать только страницы, и если страница слишком длинная или охватывает слишком много тем, то поисковик может запутаться.

Давайте представим (поскольку это лишь теория и доказать её на данный момент мы не можем), что Google не нужно индексировать полную страницу и он может индексировать лишь её часть. Это бы облегчило ему понимание взаимосвязей между разными темами на странице, а также позволило бы отнести фрагменты страницы в разные части Сети знаний.

Например, страница об овощах, которую мы рассматривали выше, могла быть проиндесирована и отнесена в узел овощей. При этом часть о салате могла быть проиндексирована отдельно и отнесена к узлу, связанному с салатом. Тоже самое касается сельдерея и редьки. И это новый подход, который довольно трудно понять и принять после многих лет работы в традиционном SEO.

Новый подход в индексации

Мы видим, что Google внедряет новые функции, а также увеличивает долю готовых ответов и блоков с похожими запросами в поисковой выдаче.

Поисковик индексирует фрагменты и показывает их в выделенных описаниях (featured snippets) довольно давно. Разница между этими фрагментами и фрэгглами состоит в том, что по клику на фрэггл, который ранжируется в результатах поиска, Google прокручивает страницу до этого места автоматически. Это то, что мы относим к части под названием «handle».

Вы, вероятно, уже слышали о маркерах фрагментов раньше. Мы называем их закладками, якорными ссылками и т.п. Это когда система осуществляет автоматическую прокрутку до нужной части страницы. Нечто похожее наблюдается в случае фрэгглов.

Мы уже видим, как это происходит с определёнными результатами поиска. Что интересно, Google автоматически «накладывает» ссылку. Это значит, что владельцам сайтов не нужно что-то специально настраивать. Так, Google уже делает это в случае избранных сниппетов для AMP-страниц. Когда пользователь кликает на такой результат, Google прокручивает страницу и выделяет нужный фрагмент, чтобы его можно было прочитать с учётом контекста остального контента на странице.

Это также происходит и на других площадках, таких как форумы, где выбирается лучший ответ. Разница между фрэгглами и такими привязками (jump link) состоит в том, что Google добавляет скроллинг. Разница между фрэгглом и ссылкой сайта – в том, что ссылки ведут на другие страницы, а фрэгглы – на разные части одной и той же длинной страницы.

Поэтому стоит перестать создавать страницы низкого и среднего качества, которые затем отправятся в общую «компостную кучу». Нам нужно начать думать о том, может ли Google найти и определить ту часть страницы, которая посвящена определённой теме, и являются ли темы, представленные на странице, достаточно взаимосвязанными, чтобы Google мог их понять при индексации в рамках формирования Сети знаний.

Сеть знаний охватывает разные области

Сейчас мы наблюдаем развитие Сети знаний во многих разных вещах. Выделенные описания, различные блоки, такие как «Похожие запросы» и «Вместе с часто ищут» - это, видимо, отдельные узлы в Сети знаний, которые связаны между собой.

Многие SEO-специалисты расстраиваются, наблюдая увеличение доли таких элементов в поисковой выдаче. Мы также знаем, что на сегодняшний день 61% мобильных запросов больше не заканчиваются переходом на сайт, поскольку пользователи получают то, что они хотят, прямо в SERP.

Это сложно для оптимизаторов, но очень хорошо для Google, поскольку поисковая система предоставляет именно то, что нужно пользователю. Поэтому Google, вероятно, продолжит двигаться в этом направлении.

Мы считаем, что SEO-специалистам нужно изменить своё мышление и думать над тем, как попасть в эти блоки – в тот контент, который Google поднимает и выделяет. Когда Google начнёт это делать для нативных приложений, баз данных, подкастов и т.п., то у вас появятся новые конкуренты, которых не было, когда ранжировались только сайты. И для этого контента Google не будут нужны ссылки, поскольку он сможет найти нужный фрагмент и показать его в результатах поиска.

Поэтому лучше, чтобы контент поднимался, чем вообще не показывался. И это то, над чем определённо стоит работать сегодня.

Синди Крум впервые подробно осветила свою теорию «фрэгглов» на конференции MozCon 2019. Статья является сокращённой версией доклада, подготовленной самим автором.