81%
的 Googlebot 请求落在参数 URL 上
十二周的服务器日志,共 538,000 次 Googlebot 访问。光是会话 ID 就占了将近四分之一的抓取;Granitefold 真正想要排名的 148 个页面,加起来只分到 12%。
发现 1 / 4
Granitefold Insurance · 拥有 35 名经纪人的家财险与车险经纪公司 · 伯灵顿
新页面 4 天收录(原来要 74 天),自然报价请求增长 62%
11 个月 · 北美 · Signal 方案 · 抓取预算 · URL 参数处理 · 日志文件分析 · XML 站点地图
的 Googlebot 请求落在真正的页面上
抓取气压计 · 伯灵顿
01挑战
报价工具源源不断地生成带参数的 URL,把抓取预算消耗殆尽,新的保障页面要等上几个月才能进入 Google 索引。
对客户来说,Granitefold 的报价工具是网站上最好用的功能;对 Googlebot 来说,却是最糟糕的。每一个邮政编码、每一款车型、每一档保障和免赔额都是可抓取的链接,每次访问还会再附上一个会话 ID。Googlebot 不停地追着这些组合跑,很少抵达真正重要的页面:关于冰坝理赔、青少年驾驶和湖边小屋的新指南,先是几周无人发现,之后又要再等几周才被收录。
一张报价表单,被无限放大
= 32,568,000
可能的报价 URL
再加上每次访问都会生成新的会话 ID,数量就没有上限了。
02诊断
81%
的 Googlebot 请求落在参数 URL 上
十二周的服务器日志,共 538,000 次 Googlebot 访问。光是会话 ID 就占了将近四分之一的抓取;Granitefold 真正想要排名的 148 个页面,加起来只分到 12%。
发现 1 / 4
412,000
个参数 URL 已被 Google 知晓
Search Console 的抓取统计和网页索引报告里,数十万个报价和日历 URL 被列为“已抓取”或“已发现”,而真正的页面只有 148 个。
发现 2 / 4
74
天(新页面收录时间中位数)
148 个保障和本地页面中,只有 63 个被收录。12 月发布的冰坝理赔指南,直到 2 月下旬才第一次被抓取。
发现 3 / 4
2,340
个指向报价工具的可抓取链接
页脚的“按邮编报价”小组件、车型快捷入口,以及一个“下个月”链接点不到头的预约日历,让每个模板上都布满了 GET 链接。
发现 4 / 4
03策略
基于我们的 Signal 方案:专为抓取、渲染和架构决定成败的网站打造的技术服务。
Search Console 的“URL 参数”工具已于 2022 年停用,所以每一项控制都必须落在网站本身:robots.txt、表单、链接、canonical 和站点地图。
I
等日志证明了哪些参数家族在浪费抓取之后,才为报价工具和日历写下 robots.txt 规则。disallow 能直接阻止抓取;noindex 做不到,因为 Googlebot 必须先抓取页面才能读到它。
User-agent: *
Disallow: /quote?
Disallow: /*?*date=II
报价表单改为 POST 提交,邮编和车型的选择都放进表单内部,排序链接改成按钮,内部链接上的跟踪参数全部去掉。会话 ID 改存到 Cookie,旧的会话 URL 一律 301 到对应的干净地址。
<form method="post" action="/quote">
<link rel="canonical" href="/coverage/home/">III
整个项目期间每天导入日志。每堵住一个陷阱,一周内就核查一次:该参数家族的请求在下降,保障页面的请求在上升。下方气压计的指针,就是这个读数。
66.249.66.1 "GET /quote?zip=05401&sessionid=8f3a2c91"
200 "Googlebot/2.1"IV
每个版块(保障、本地办公室、指南)各一份站点地图,只收录 canonical 且返回 200 的 URL,lastmod 日期如实填写;再加上保障总览页的链接,新页面上线一天之内就能被发现。
<loc>https://granitefold.example/coverage/auto/teen-drivers/</loc>
<lastmod>2026-04-14</lastmod>04气压计
每个开关封住一类参数 URL,顺序与实际工作一致。蓝钢指针显示 Googlebot 请求中落在真实页面上的比例;黄铜指针停在第 1 个月的位置。
读数
暴风雨
黄铜指针 · 第 1 个月 · 12%
暴风雨:12% 的抓取落在真实页面上,新页面大约 74 天即可收录。
链接里的会话 ID占抓取 24%
/quote?zip=05401&sessionid=8f3a2c91
修复会话改存到 Cookie;每个旧的 sessionid URL 都 301 到对应的干净地址,Googlebot 逐渐学会不再抓取它们。
预填邮编的报价链接占抓取 19%
/quote?zip=05452
修复“按邮编报价”小组件改成以 POST 提交的表单,/quote? 在 robots.txt 中被禁止抓取。
车型组合占抓取 14%
/quote/auto?year=2019&make=subaru&model=outback
修复年份、品牌和型号都在表单内选择,不再以可抓取的链接出现。
没有尽头的预约日历占抓取 9%
/agents/book?date=2031-02-01
修复日历只显示 60 天,“下个月”改成按钮,date= URL 禁止抓取。
排序和分页的评价占抓取 8%
/reviews?sort=oldest&page=212
修复排序选项改成按钮;评价分页保留简洁的 ?page= URL,并使用自引用 canonical。
内部链接上的跟踪参数占抓取 7%
/coverage/home/?utm_source=newsletter&ref=footer
修复内部链接去掉 UTM 和 ref 参数;canonical 指向干净的 URL。
05逐月进展
第 1–2 个月
十二周日志、Search Console 抓取统计、全站抓取和参数清单:六个家族共 41 个参数名。
第 3–4 个月
报价和车型链接改成表单,会话 ID 改存 Cookie,并为报价工具和日历写好 robots.txt 规则。
第 5–6 个月
内部链接去掉跟踪参数,排序链接改成按钮,逐个模板核查 canonical,1,960 条重定向链压缩为一跳。
第 7–8 个月
按版块拆分的 XML 站点地图、如实的 lastmod 日期、链接所有指南的保障总览页,新指南在平稳的抓取中上线。
第 9–11 个月
每周检查日志,不让新参数再开出新的漏洞;整个冬季报价旺季,指针一直停在“晴朗”。
06成果
自然报价请求
+62%
每月自然报价请求 410 → 664
消耗在参数 URL 上的抓取
81% → 6%
Googlebot 请求占比,第 1 个月 → 第 11 个月
新页面收录天数(中位数)
74 → 4
当月发布页面的中位数
已收录的保障页面(共 148 个)
63 → 146
还有 2 个等待收录
这是为虚构企业建模的情景,并非真实客户成果。我们从不保证排名和流量,详见我们的服务条款。