Перейти к содержанию
Get Ranked On TopИллюстративный кейсТариф Signal

Вымышленный бизнес. Цифры — смоделированный сценарий, а не результат клиента.

Granitefold Insurance · Страховой брокер: жильё и авто, 35 агентов · Берлингтон

Как страховой брокер из Вермонта не дал калькулятору полисов съедать краулинговый бюджет Google

Новые страницы в индексе за 4 дня вместо 74 и +62% органических заявок на расчёт

11 месяцев · Северная Америка · тариф Signal · Краулинговый бюджет · Обработка URL-параметров · Анализ логов · XML-карты сайта

Месяц 1
12 %Буря
Месяц 11
90 %Ясно

запросов Googlebot доходят до настоящих страниц

Барометр обхода · Берлингтон

01Задача

Калькулятор, который сам делал погоду.

Калькулятор полисов плодил бесконечные URL с параметрами и съедал краулинговый бюджет, поэтому новые страницы о страховании месяцами не попадали в индекс.

Для клиентов калькулятор полисов Granitefold был лучшим, что есть на сайте, а для Googlebot — худшим. Каждый почтовый индекс, автомобиль, уровень покрытия и франшиза превращались в ссылку для обхода, а каждый визит добавлял ещё и идентификатор сессии. Googlebot без конца ходил по комбинациям и редко добирался до страниц, которые имели значение: новые руководства о страховых случаях из-за наледи на крыше, о водителях-подростках и о домиках у озера неделями оставались ненайденными, а потом ещё неделями ждали индексации.

Одна форма расчёта, умноженная

  1. 1 180почтовых индексов
  2. 30годов выпуска
  3. 46марок авто
  4. 5уровней покрытия
  5. 4варианта франшизы

= 32 568 000

возможных URL расчёта

А с новым идентификатором сессии на каждый визит у этого числа нет потолка.

Что мог найти Googlebot · логарифмическая шкала

02Диагностика

Сначала снять показания, потом трогать стекло.

Логи сервера

81 %

запросов Googlebot уходило на URL с параметрами

Двенадцать недель серверных логов, 538 000 обращений Googlebot. Одни только идентификаторы сессий съедали почти четверть обхода, а 148 страниц, которые Granitefold действительно хотела продвигать, делили между собой 12%.

Находка 1 из 4

Обнаружение

412 000

URL с параметрами известны Google

Статистика сканирования и отчёт об индексировании страниц в Search Console показывали сотни тысяч URL расчётов и календаря как просканированные или обнаруженные — против 148 настоящих страниц.

Находка 2 из 4

Индексация

74

дня — медиана до индексации новой страницы

В индексе было только 63 из 148 страниц о страховании и местных офисах. Руководство по наледи на крыше, опубликованное в декабре, впервые просканировали в конце февраля.

Находка 3 из 4

Внутренние ссылки

2 340

ссылок на калькулятор, доступных для обхода

Виджет «Расчёт по вашему индексу» в подвале, быстрые ссылки по автомобилям и календарь записи с бесконечной ссылкой «следующий месяц» ставили GET-ссылки на каждый шаблон.

Находка 4 из 4

Куда уходили запросы Googlebot

Месяц 1
  • Живые страницы 12 %
  • URL с параметрами 81 %
  • Редиректы и ошибки 7 %
Месяц 11
  • Живые страницы 90 %
  • URL с параметрами 6 %
  • Редиректы и ошибки 4 %

03Стратегия

Заделать утечки — и дать давлению подняться.

На основе нашего тарифа Signal: техническое сопровождение для сайтов, где исход решают обход, рендеринг и архитектура.

Инструмент «Параметры URL» в Search Console отключили в 2022 году, поэтому всё управление пришлось перенести на сам сайт: robots.txt, формы, ссылки, canonical и карты сайта.

  1. I

    Краулинговый бюджет

    Правила robots.txt для калькулятора и календаря, написанные только после того, как логи показали, какие семейства тратят обход впустую. Disallow останавливает запрос; noindex бы не помог: чтобы его прочитать, Googlebot должен сначала просканировать страницу.

    User-agent: *
    Disallow: /quote?
    Disallow: /*?*date=
  2. II

    Обработка URL-параметров

    Форма расчёта теперь отправляется методом POST, индекс и автомобиль выбираются внутри формы, ссылки сортировки стали кнопками, а внутренние метки отслеживания убраны. Сессии переехали в cookie, а старые URL с сессией отдают 301 на свои чистые копии.

    <form method="post" action="/quote">
    <link rel="canonical" href="/coverage/home/">
  3. III

    Анализ логов

    Ежедневная загрузка логов на протяжении всего проекта. Каждую закрытую ловушку проверяли в течение недели: запросов к этому семейству становится меньше, к страницам о страховании — больше. Именно это показание двигает стрелку барометра ниже.

    66.249.66.1 "GET /quote?zip=05401&sessionid=8f3a2c91"
      200 "Googlebot/2.1"
  4. IV

    XML-карты сайта

    По карте сайта на каждый раздел (страхование, местные офисы, руководства) — только канонические URL с ответом 200 и честными датами lastmod, плюс ссылки с хаба страхования, так что новую страницу находили в течение суток после публикации.

    <loc>https://granitefold.example/coverage/auto/teen-drivers/</loc>
    <lastmod>2026-04-14</lastmod>

04Барометр

Закрывайте ловушки одну за другой и смотрите, как стрелка уходит от «Бури» к «Ясно».

Каждый переключатель закрывает одно семейство URL с параметрами — в том порядке, в каком шла работа. Синяя стальная стрелка показывает долю запросов Googlebot, которые доходят до живых страниц; латунная остаётся там, где стояла в первый месяц.

Показание

Буря

Латунная стрелка · месяц 1 · 12 %

Обход живых страниц
12 %
← 12 %
Обход URL с параметрами
81 %
← 81 %
Запросов в день к живым страницам
770
← 768
Дней до индексации новой страницы
74
← 74
Структура обхода
  • Живые страницы
  • URL с параметрами
  • Редиректы и ошибки

Буря: 12 % обхода приходится на живые страницы, новая страница попадает в индекс примерно за 74 дня.

  • Идентификаторы сессий в ссылках24 % обхода

    /quote?zip=05401&sessionid=8f3a2c91

    РешениеСессии переехали в cookie; каждый старый URL с sessionid отдаёт 301 на чистую копию, и Googlebot отвыкает их запрашивать.

  • Ссылки на расчёт с готовым индексом19 % обхода

    /quote?zip=05452

    РешениеВиджет «Расчёт по вашему индексу» стал формой с отправкой методом POST, а /quote? закрыт в robots.txt.

  • Комбинации автомобилей14 % обхода

    /quote/auto?year=2019&make=subaru&model=outback

    РешениеГод, марка и модель выбираются внутри формы и больше не появляются как ссылки для обхода.

  • Бесконечный календарь записи9 % обхода

    /agents/book?date=2031-02-01

    РешениеКалендарь заканчивается через 60 дней, «следующий месяц» стал кнопкой, а URL с date= закрыты от обхода.

  • Сортировка и пагинация отзывов8 % обхода

    /reviews?sort=oldest&page=212

    РешениеВарианты сортировки стали кнопками; у страниц отзывов простые URL с ?page= и canonical на самих себя.

  • Метки отслеживания во внутренних ссылках7 % обхода

    /coverage/home/?utm_source=newsletter&ref=footer

    РешениеМетки UTM и ref убраны из внутренних ссылок; canonical указывает на чистый URL.

05Месяц за месяцем

11 месяцев от бури до ясной погоды.

Показания барометра по месяцам
БуряДождьПеременноЯсноМ1М2М3М4М5М6М7М8М9М10М1112 %90 %
Медиана дней до индексации страниц, опубликованных в этом месяце
74М171М258М339М424М515М610М77М85М94М104М11
  1. Месяцы 1–2

    Замер

    Двенадцать недель логов, статистика сканирования Search Console, полный обход сайта и опись параметров: 41 имя в шести семействах.

  2. Месяцы 3–4

    Герметизация

    Ссылки на расчёт и автомобили превратились в формы, идентификаторы сессий — в cookie, а калькулятор и календарь получили правила в robots.txt.

  3. Месяцы 5–6

    Чистка

    Метки отслеживания убраны из внутренних ссылок, ссылки сортировки стали кнопками, canonical проверен на каждом шаблоне, 1 960 цепочек редиректов сведены к одному переходу.

  4. Месяцы 7–8

    Указатели

    XML-карты сайта по разделам с честными датами lastmod, хаб страхования со ссылками на все руководства и новые руководства, опубликованные уже при спокойном обходе.

  5. Месяцы 9–11

    Удержание

    Еженедельная проверка логов, чтобы новый параметр не открыл новую утечку; всю зимнюю пору расчётов стрелка держалась на «Ясно».

06Результаты

Распогодилось — и заявки на расчёт пошли следом.

Органические заявки на расчёт

+62%

Органические заявки на расчёт в месяц: 410 → 664

Доля обхода на URL с параметрами

81% → 6%

Доля запросов Googlebot, месяц 1 → месяц 11

Медиана дней до индексации новой страницы

74 → 4

Медиана для страниц, опубликованных в этом месяце

Страниц о страховании в индексе (из 148)

63 → 146

ещё 2 ждут индексации

Смоделированный сценарий для вымышленной компании — не результат клиента. Позиции и трафик никогда не гарантируются; см. наши Условия.

Органические заявки на расчёт по месяцам
Ловушки закрыты400500600700М1М2М3М4М5М6М7М8М9М10М11664410
148 страниц, по клетке на каждую
  • В индексе с самого начала 63
  • Попали в индекс за время работы 83
  • Пока не в индексе 2

Получите такой же прогноз

Фильтр, календарь или калькулятор съедает ваш обход? Начните с тарифа Signal или расскажите, что показывают ваши логи.

← Все кейсы