跳至正文
Get Ranked On Top示意性案例研究Signal 方案

虚构的企业。数据为模拟情景,并非客户的实际结果。

Granitefold Insurance · 拥有 35 名经纪人的家财险与车险经纪公司 · 伯灵顿

佛蒙特州一家保险经纪公司,如何不再让报价工具吞掉 Google 的抓取预算

新页面 4 天收录(原来要 74 天),自然报价请求增长 62%

11 个月 · 北美 · Signal 方案 · 抓取预算 · URL 参数处理 · 日志文件分析 · XML 站点地图

第 1 个月
12%暴风雨
第 11 个月
90%晴朗

的 Googlebot 请求落在真正的页面上

抓取气压计 · 伯灵顿

01挑战

一个自己会“制造天气”的报价工具。

报价工具源源不断地生成带参数的 URL,把抓取预算消耗殆尽,新的保障页面要等上几个月才能进入 Google 索引。

对客户来说,Granitefold 的报价工具是网站上最好用的功能;对 Googlebot 来说,却是最糟糕的。每一个邮政编码、每一款车型、每一档保障和免赔额都是可抓取的链接,每次访问还会再附上一个会话 ID。Googlebot 不停地追着这些组合跑,很少抵达真正重要的页面:关于冰坝理赔、青少年驾驶和湖边小屋的新指南,先是几周无人发现,之后又要再等几周才被收录。

一张报价表单,被无限放大

  1. 1,180邮政编码
  2. 30车型年份
  3. 46汽车品牌
  4. 5保障级别
  5. 4免赔额档位

= 32,568,000

可能的报价 URL

再加上每次访问都会生成新的会话 ID,数量就没有上限了。

Googlebot 能找到什么 · 对数刻度

02诊断

先读懂气压,再去碰那块玻璃。

日志文件

81%

的 Googlebot 请求落在参数 URL 上

十二周的服务器日志,共 538,000 次 Googlebot 访问。光是会话 ID 就占了将近四分之一的抓取;Granitefold 真正想要排名的 148 个页面,加起来只分到 12%。

发现 1 / 4

发现

412,000

个参数 URL 已被 Google 知晓

Search Console 的抓取统计和网页索引报告里,数十万个报价和日历 URL 被列为“已抓取”或“已发现”,而真正的页面只有 148 个。

发现 2 / 4

收录

74

天(新页面收录时间中位数)

148 个保障和本地页面中,只有 63 个被收录。12 月发布的冰坝理赔指南,直到 2 月下旬才第一次被抓取。

发现 3 / 4

内部链接

2,340

个指向报价工具的可抓取链接

页脚的“按邮编报价”小组件、车型快捷入口,以及一个“下个月”链接点不到头的预约日历,让每个模板上都布满了 GET 链接。

发现 4 / 4

Googlebot 的请求都去了哪里

第 1 个月
  • 真实页面 12%
  • 参数 URL 81%
  • 重定向与错误 7%
第 11 个月
  • 真实页面 90%
  • 参数 URL 6%
  • 重定向与错误 4%

03策略

先堵住漏气的地方,再让气压回升。

基于我们的 Signal 方案:专为抓取、渲染和架构决定成败的网站打造的技术服务。

Search Console 的“URL 参数”工具已于 2022 年停用,所以每一项控制都必须落在网站本身:robots.txt、表单、链接、canonical 和站点地图。

  1. I

    抓取预算

    等日志证明了哪些参数家族在浪费抓取之后,才为报价工具和日历写下 robots.txt 规则。disallow 能直接阻止抓取;noindex 做不到,因为 Googlebot 必须先抓取页面才能读到它。

    User-agent: *
    Disallow: /quote?
    Disallow: /*?*date=
  2. II

    URL 参数处理

    报价表单改为 POST 提交,邮编和车型的选择都放进表单内部,排序链接改成按钮,内部链接上的跟踪参数全部去掉。会话 ID 改存到 Cookie,旧的会话 URL 一律 301 到对应的干净地址。

    <form method="post" action="/quote">
    <link rel="canonical" href="/coverage/home/">
  3. III

    日志文件分析

    整个项目期间每天导入日志。每堵住一个陷阱,一周内就核查一次:该参数家族的请求在下降,保障页面的请求在上升。下方气压计的指针,就是这个读数。

    66.249.66.1 "GET /quote?zip=05401&sessionid=8f3a2c91"
      200 "Googlebot/2.1"
  4. IV

    XML 站点地图

    每个版块(保障、本地办公室、指南)各一份站点地图,只收录 canonical 且返回 200 的 URL,lastmod 日期如实填写;再加上保障总览页的链接,新页面上线一天之内就能被发现。

    <loc>https://granitefold.example/coverage/auto/teen-drivers/</loc>
    <lastmod>2026-04-14</lastmod>

04气压计

逐个关闭陷阱,看指针从“暴风雨”转向“晴朗”。

每个开关封住一类参数 URL,顺序与实际工作一致。蓝钢指针显示 Googlebot 请求中落在真实页面上的比例;黄铜指针停在第 1 个月的位置。

读数

暴风雨

黄铜指针 · 第 1 个月 · 12%

真实页面抓取占比
12%
← 12%
参数 URL 抓取占比
81%
← 81%
每天抓取真实页面次数
770
← 768
新页面收录天数
74
← 74
抓取构成
  • 真实页面
  • 参数 URL
  • 重定向与错误

暴风雨:12% 的抓取落在真实页面上,新页面大约 74 天即可收录。

  • 链接里的会话 ID占抓取 24%

    /quote?zip=05401&sessionid=8f3a2c91

    修复会话改存到 Cookie;每个旧的 sessionid URL 都 301 到对应的干净地址,Googlebot 逐渐学会不再抓取它们。

  • 预填邮编的报价链接占抓取 19%

    /quote?zip=05452

    修复“按邮编报价”小组件改成以 POST 提交的表单,/quote? 在 robots.txt 中被禁止抓取。

  • 车型组合占抓取 14%

    /quote/auto?year=2019&make=subaru&model=outback

    修复年份、品牌和型号都在表单内选择,不再以可抓取的链接出现。

  • 没有尽头的预约日历占抓取 9%

    /agents/book?date=2031-02-01

    修复日历只显示 60 天,“下个月”改成按钮,date= URL 禁止抓取。

  • 排序和分页的评价占抓取 8%

    /reviews?sort=oldest&page=212

    修复排序选项改成按钮;评价分页保留简洁的 ?page= URL,并使用自引用 canonical。

  • 内部链接上的跟踪参数占抓取 7%

    /coverage/home/?utm_source=newsletter&ref=footer

    修复内部链接去掉 UTM 和 ref 参数;canonical 指向干净的 URL。

05逐月进展

11 个月,从暴风雨到晴天。

每月气压计读数
暴风雨有雨多变晴朗1月2月3月4月5月6月7月8月9月10月11月12%90%
当月发布页面的收录天数中位数
741月712月583月394月245月156月107月78月59月410月411月
  1. 第 1–2 个月

    读数

    十二周日志、Search Console 抓取统计、全站抓取和参数清单:六个家族共 41 个参数名。

  2. 第 3–4 个月

    封堵

    报价和车型链接改成表单,会话 ID 改存 Cookie,并为报价工具和日历写好 robots.txt 规则。

  3. 第 5–6 个月

    清理

    内部链接去掉跟踪参数,排序链接改成按钮,逐个模板核查 canonical,1,960 条重定向链压缩为一跳。

  4. 第 7–8 个月

    指路

    按版块拆分的 XML 站点地图、如实的 lastmod 日期、链接所有指南的保障总览页,新指南在平稳的抓取中上线。

  5. 第 9–11 个月

    守住

    每周检查日志,不让新参数再开出新的漏洞;整个冬季报价旺季,指针一直停在“晴朗”。

06成果

天气转晴,报价请求随之而来。

自然报价请求

+62%

每月自然报价请求 410 → 664

消耗在参数 URL 上的抓取

81% → 6%

Googlebot 请求占比,第 1 个月 → 第 11 个月

新页面收录天数(中位数)

74 → 4

当月发布页面的中位数

已收录的保障页面(共 148 个)

63 → 146

还有 2 个等待收录

这是为虚构企业建模的情景,并非真实客户成果。我们从不保证排名和流量,详见我们的服务条款。

每月自然报价请求
封堵陷阱4005006007001月2月3月4月5月6月7月8月9月10月11月664410
148 个页面,每格一个
  • 开始时已收录 63
  • 项目期间收录 83
  • 尚未收录 2

为您的网站做一份这样的预报

筛选器、日历或报价工具是否正在吞噬您的抓取预算?从 Signal 方案开始,或者告诉我们您的日志里有什么。

← 全部案例