fbpx

Как пользоваться Screaming Frog SEO Spider

Когда вы начнете работать в SEO, вы столкнетесь с мощными инструментами, которые помогут вам найти ценные данные. Важно уметь максимально эффективно пользоваться эти инструменты и ориентироваться в них.

Screaming Frog – это сканер веб-сайтов, который сканирует URL-адреса и возвращает ценные данные, которые мы можем проанализировать для аудита технического и локального SEO.

Как пользоваться Screaming Frog SEO Spider

Как настроить ваше устройство для Screaming Frog и какие настройки необходимо выполнить для сканирования сайта и выполнения сканирования. Все это поможет вам добиться успеха в использовании собственного контрольного списка технического аудита и обеспечит получение данных, необходимых для проведения вашего первого аудита.

Настройка вашего устройства

Когда вы начнете сканировать сайты, вы обнаружите, что некоторые сайты больше других и требуют больше памяти вашей системы для хранения и обработки данных, которые находит Screaming Frog.

Прежде чем вы начнете сканировать сайты, было бы полезно выделить больше оперативной памяти вашей системы для Screaming Frog, что обеспечит большую скорость и гибкость для всего будущего сканирования. Это будет необходимо для сканирования сайтов с более чем 150 тыс. URL.

Конфигурация > Система > Память

Screaming Frog SEO Spider Конфигурация Система Память

Значение по умолчанию для 32-разрядных компьютеров составляет 1 ГБ ОЗУ и 2 ГБ ОЗУ для 64-разрядных компьютеров.

Рекомендую использовать 8 ГБ, что позволяет Screaming Frog сканировать до 5 миллионов URL-адресов. Screaming Frog рекомендует использовать на 2 ГБ меньше общей оперативной памяти, но будьте осторожны, если вы выделите общую оперативную память, ваша система может столкнуться с ошибкой.

Screaming Frog рекомендует использовать на 2 ГБ

Когда вы закончите выделять больше оперативной памяти для Screaming Frog, вам нужно будет перезапустить программное обеспечение, чтобы изменения вступили в силу.

Screaming Frog SEO Spider рекомендую использовать 8 ГБ

Конфигурации

Как только вы начнете сканировать сайты, важно соответствующим образом настроить свои конфигурации, чтобы убедиться, что Screaming Frog сканирует максимально эффективно.

Конфигурация > Spider > Basic

Screaming Frog SEO Spider Конфигурация Spider Basic

Это настройки по умолчанию, которые Screaming Frog имеет для каждого сканирования.

Screaming Frog SEO Spider настройки по умолчанию

Вот основные настройки для проведения технического аудита:

  • Отслеживать внутренний «nofollow»: позволяет нам сканировать внутренние ссылки с «атрибутами nofollow», чтобы проверить, реализует ли наш сайт этот тег для отображения контента, который мы делаем / не хотим обнаруживать или индексировать.
  • Сканирование канонических файлов: позволяет сканировать элементы канонических ссылок, чтобы проверить, указываем ли мы, какие страницы мы хотим ранжировать.
  • Crawl Next / Prev : позволяет сканировать элементы rel = ”next” и rel = ”prev”, чтобы дать нам представление о том, четко ли наш сайт отображает связь между страницами.
  • Извлечь hreflang : отображает язык hreflang, коды регионов и URL, чтобы проверить, что мы сообщаем о различных вариантах нашего сайта.
  • Сканирование связанных XML- файлов Sitemap : позволяет нам находить URL-адреса в XML- файлах Sitemap.
  • Автоматическое обнаружение XML-файлов Sitemap с помощью robots.txt: позволяет нам находить карты сайта, обнаруживаемые с помощью robots.txt

Screaming Frog SEO Spider основные настройки для проведения технического аудита

Если вы имеете дело с сайтом, который использует JavaScript и хотите выполнить выборочную проверку внутренней навигации, вам нужно выполнить отдельный обход с разными конфигурациями для этой конкретной страницы, а не для всего домена. Перейдите на вкладку «рендеринг», чтобы наш сканер мог найти эти экземпляры.

Конфигурация > Spider > Рендеринг

Screaming Frog SEO Spider Конфигурация Spider Рендеринг

После настройки паука нам всегда нужно устанавливать пользовательские фильтры для конкретных вещей, которые мы хотим показать в нашем сканировании.

Конфигурация > Пользовательский > Поиск

Screaming Frog SEO Spider Конфигурация Пользовательский Поиск

Эти фильтры, чтобы включать и исключать то, за чем следить, и чтобы все страницы учитывались:

  • <embed: проверяет любой важный контент
  • <iframe: проверяет любой контент, загруженный в iframe

Screaming Frog SEO Spider фильтры

Теперь, когда у вас настроены конфигурации для начального сканирования, вы можете сохранить эти конфигурации для будущих сканирований, чтобы вам не приходилось каждый раз проходить этот процесс. Просто загрузите необходимые конфигурации перед запуском каждого сканирования.

Файл > Конфигурация > Сохранить как

Screaming Frog SEO Spider Файл Конфигурация Сохранить как

Файл > Конфигурация > Загрузить

Screaming Frog SEO Spider Файл Конфигурация Загрузить

Сканирование вашего первого сайта

Теперь, когда мы настроили нашу систему и выполнили настройки, нам осталось только начать сканирование нашего сайта.

Чтобы сканировать веб-сайт, вы захотите использовать режим «Spider» Screaming Frog по умолчанию. Это позволит нам сканировать сайт и собирать ссылки на основе созданных нами конфигураций и фильтров.

Для нашего примера мы будем сканировать https://lezhnyov.ru

Режим > Паук

Screaming Frog SEO Spider Режим Паук

Введите URL > Нажмите Старт

Screaming Frog SEO Spider Введите URL Нажмите Старт

В дополнение к режиму «Паук» также используют режим «Список», который будет сканировать список URL-адресов, которые могут быть взяты из файла или простого копирования и вставки.

В этом примере мы будем использовать URL-адрес карты сайта https://lezhnyov.ru/sitemap.xml

Режим > Список

Screaming Frog SEO Spider Режим Список

Загрузить > Загрузить карту сайта

Screaming Frog SEO Spider Загрузить карту сайта

Screaming Frog SEO Spider URL адрес карты сайта

Важные вещи, которые следует учитывать при сканировании:

  • Вы можете остановить и возобновить сканирование по мере необходимости.
  • Выключение вашей системы или выход из Screaming Frog приведет к потере ваших данных.
  • Вы всегда можете сохранить сканирование и возобновить его, чтобы закончить позже.

Screaming Frog SEO Spider остановить сканирование

Screaming Frog SEO Spider возобновить сканирование

После сканирования нашего сайта пришло время использовать собранные нами данные.