✔Рендеринг страниц JavaScript (β) и Проверка страницы (β): передавайте поиску контент в полном объёме — «Блог для вебмастеров»
В последнее время мы работали над тем, чтобы сделать роботов Яндекса еще более функциональными и повысить прозрачность их работы. Спешим рассказать вам о нескольких важных обновлениях.
Рендеринг страниц jаvascript (β)
Теперь роботы Яндекса лучше индексируют ваши страницы, дают больше сигналов и технической информации о сайтах, предоставляют возможность управления и настройки jаvascript для получения поиском контента с вашего сайта в полном объеме.
Управление индексацией JS-сайтов
На некоторых сайтах активно используется JS, что приводит к загрузке важного контента уже после открытия страницы пользователем. В таких случаях оптимизаторы обычно настраивали SSR (серверный рендеринг), чтобы поисковый робот гарантированно получил весь контент страницы. Это требует квалификации, ресурсов на стороне сайта и затрат на настройку.
Чтобы упростить задачу владельцам таких сайтов и не терять ценный контент, команда поискового робота использует технологию рендеринга, то есть выполнения JS-кода на стороне поискового робота. Сравните модели индексирования вашего сайта с применением рендеринга и без него в новом разделе Рендеринг страниц jаvascript (β).
Благодаря новому инструменту вы увидите технические данные и содержимое страницы, полученные сразу двумя способами — с исполнением jаvascript и без него. Так вы сможете сравнить результат и проверить, какой контент получает робот и помогает ли технология рендеринга конкретно вашему сайту.
Настройка исполнения JS
Большинство страниц не требуют рендеринга при индексировании и скачиваются без jаvascript. Но если выполнение JS даёт новый ценный контент поиску, алгоритм может рекомендовать использование рендеринга. Это решение принимается автоматически, но вы можете выбрать подходящий вашему сайту статус самостоятельно. Укажите нужные настройки в инструменте Рендеринг страниц jаvascript (β):
«Рекомендую рендерить» — рендеринг страниц будет осуществляться при наличии технической возможности и необходимости.«На усмотрение робота Яндекса» — решение о рендеринге будет принято автоматически поисковой системой по результатам анализа сайта.Если версия страницы с jаvascript содержит больше полезного контента, то Вебмастер рекомендует использовать рендеринг JS для вашего сайта.
«Не рендерить» — рендеринг вашего сайта осуществляться не будет. Такие настройки можно выставить, если контент, получаемый в результате исполнения jаvascript, отличается от желаемого по каким-то причинам.Можно ли узнать, исполняет ли робот jаvascript на конкретных страницах моего сайта?
Да. Мы также запустили новую версию инструмента Проверка страницы (β). В нём можно увидеть контент, который проиндексирован поиском, и в том числе — был ли выполнен jаvascript при сканировании страницы.
Нужно ли дать доступ роботу к вызываемым скриптам?
Да, нужно, иначе робот не сможет корректно выполнить jаvascript на странице. Это можно сделать через директивы Allow, Clean-param или запрещающий http-заголовка noindex.
Мы понимаем, насколько важно анализировать эти технические данные, поэтому в ближайшее время начнём показывать больше диагностической информации, в том числе — о заблокированных ресурсах.
Оказывает ли исполнение jаvascript дополнительную нагрузку на сервер?
При выполнении jаvascript-кода робот может создавать дополнительную нагрузку на ваш сервер.
Если уже реализован пререндеринг/SSR, нужно ли отключить это и выбрать настройку «Рекомендую исполнять JS» в Вебмастере?
Необходимости в этом нет. Такой статус настройки — рекомендация роботу, а не строгое требование. Поскольку робот уже получает полный контент страниц благодаря пререндеру/SSR, весьма вероятно, что робот не использует рендеринг на вашем сайте, это не даёт пользы прямо сейчас. Но при выключении пререндера/SSR робот со временем должен понять, что на сайте стоит выполнять JS. На это может уйти какое-то время, в связи с чем контент определенных страниц может временно быть доступным не в полном объеме. Чтобы снизить вероятность этой проблемы, рекомендуем на всякий случай предупредить поддержку поиска о таком переключении.
Нужно ли делать пререндер/SSR на новом сайте? Или достаточно настройки «Рекомендую исполнять JS» в Вебмастере?
Выбор остаётся за вами. Можно либо сделать пререндер/SSR и выключить рендеринг в Вебмастере, либо наоборот, не делать пререндер/SSR и выбрать опцию «Рекомендую исполнять JS». Эти методы равноценны, исполнение JS на стороне робота не даёт преимуществ. Главное, чтобы робот мог получить контент страниц — выбор конкретного метода не играет роли.
Скорое прекращение поддержки страниц с escaped_fragment
Для индексирования динамических AJAX-сайтов каждой его странице необходима HTML-версия. Ранее о ее наличии поиску можно было сообщить через параметр #! в адресе страницы. Поисковая система определяла соответствие между #! и элементом «?_escaped_fragment_=» и индексировала страницу в HTML (например, страница http://www.example.com/#!blog индексировалась как http://www.example.com/?_escaped_fragment_=blog).
Страницы с параметром #! больше не будут поддерживаться поисковой системой Яндекса. Чтобы контент был доступен пользователям и не пропал из результатов выдачи, необходимо настроить с таких страниц редирект 301 на новые с корректными адресами (а именно — без параметра #!). Настраивать редирект нужно как со страниц по адресам вида http://www.example.com/?_escaped_fragment_=blog, так и со страниц вида http://www.example.com/#!blog.
Страницы с тегом «meta fragment» также скоро перестанут индексироваться, поэтому рекомендуем проверить для них технологию рендеринга и настроить ее в Вебмастере в случае необходимости.
Более подробно о том, что случится с AJAX-страницами в будущем, мы расскажем в отдельном посте.
Проверка страницы (β)
Раньше для получения основных характеристик проиндексированного контента необходимо было открывать сохраненную копию страницы, которая, при этом, могла не вполне соответствовать текущей версии контента по ссылке в поиске. Теперь в Вебмастере появился новый раздел, в котором представлена актуальная сводка базовых данных об индексируемой странице.
Проиндексированное содержимое страницы
Это может быть полезно при отладке сайта, если часть содержимого передается сервером через jаvascript и нужно разобраться, какой именно контент был получен роботом и проиндексирован. Или же если на странице были сделаны изменения и необходимо выяснить, было ли учтено это обновление в текущей версии поисковой базы.
Стало проще отлаживать мобильную версию сайта: можно посмотреть на страницу с мобильным или десктопным типом запроса
Это поможет узнать, какой именно контент получает поисковый робот при сканировании страниц, верно ли указаны редиректы, тег rel=«alternate» и другие технические параметры.
Данные о том, присутствует ли страница в поиске, есть ли запреты индексации
Это упрощает анализ, помогает найти и исправить проблемы при их наличии.
Теперь можно узнать, выполнял ли робот JS при обращении к странице сайта
Робот выполняет jаvascript, если при загрузке содержимого страницы это необходимо. Теперь статус теперь доступен в обновлённом инструменте.
Технические данные страницы в одном разделе
Все они собраны в одном разделе и представлены в детальном и понятном виде.
Если у вас возникли вопросы или пожелания — пожалуйста,
