1.2 KB
渲染
全部 640 个 URL 返回同一个空壳:一个空的 root div、一行 noscript 提示和脚本包。标题、meta 描述和 canonical 标签都由 JavaScript 注入,所以在原始 HTML 里,每个页面的 canonical 都指向首页。
KP-DUB 台站 · 都柏林
抓取记录 · 第 1–9 个月
Kernelpost · 快递调度 SaaS,60 名员工 · 都柏林
已收录页面 118 → 596
9 个月 · 英国和爱尔兰 · Signal 方案
抓取震级
M 5.2 → M 2.7
第 9 个月已收录页面
596 / 640
Kernelpost 的 React 营销网站只在浏览器端渲染,功能页和集成页到了爬虫那里是一片空白,640 个页面中有 522 个从未被收录。
Kernelpost 为爱尔兰和英国的快递公司提供调度与路线规划软件。它的营销网站是一个 React 单页应用:开发快,在浏览器里看着也不错,可在爬虫眼里几乎是一张白纸。每个 URL 返回的都是同一个 1.2 KB 的空壳,外加一个 1.9 MB 的脚本。Googlebot 只能把每个页面排进渲染队列;而潜在客户会按名字搜索的集成页,还要等一个经常响应太慢的目录 API。销售团队一再听到同一句话:“搜 Shopify 集成的时候没找到你们。”
爬虫第一眼收到的内容
<!doctype html><title>Kernelpost</title><div id="root"></div><noscript>You need to enable JavaScript to run this app.</noscript><script src="/static/js/main.4f9c1e.js"></script>640 个页面中有 522 个从未被收录
1.2 KB
全部 640 个 URL 返回同一个空壳:一个空的 root div、一行 noscript 提示和脚本包。标题、meta 描述和 canonical 标签都由 JavaScript 注入,所以在原始 HTML 里,每个页面的 canonical 都指向首页。
18%
Search Console 显示,412 个 URL 处于“已发现 - 尚未编入索引”,110 个处于“已抓取 - 尚未编入索引”。真正进入索引的只有 118 个页面,大多是首页、价格页和较早的博客文章。
66%
按 Googlebot 的限制模拟渲染抓取,640 个页面中有 422 个失败:307 个渲染结果为空白,115 个超时,因为合作伙伴目录 API 要 6–9 秒才响应。
312
导航用的是点击事件而不是真正的链接,集成目录的卡片由筛选脚本生成。在爬虫看来,312 个集成页没有任何指向它们的 <a href>,而唯一的站点地图只列了 140 个 URL。
通道 1
营销网站沿用原有的 React 组件改为服务端渲染:不改版,不改 URL。功能页、行业页和指南页在构建时预渲染;312 个集成页根据合作伙伴目录生成、每小时更新,因此在任何脚本运行之前,HTML 就已经完整。
通道 2
每个 URL 都抓取两次:一次取原始 HTML,一次按 Googlebot 的超时限制渲染,再逐项对比缺失的标题、canonical、标题层级、链接和正文。这份对比成了重构的验收标准:只有原始 HTML 与渲染结果一致的页面才能上线。
通道 3
CDN 日志显示了切换前后 Googlebot 把抓取花在了哪里。对脚本包和 API 的请求下降,对集成页 HTML 的请求上升;一个在移动端让价格表变空白的 hydration 错误,第一周就被发现了。
通道 4
点击事件改成了真正的 <a href> 链接,集成目录有了可抓取的分类页;原来只有 140 个 URL 的一份站点地图,拆成了按栏目划分的五份,lastmod 日期取自 CMS。从此再没有孤立页面。
鼓面上的每一行代表网站的一个栏目,记录的是爬虫抓取这些页面时的情况。红色的震颤是渲染为空白的页面,黑色的震颤是渲染超时。在客户端渲染和服务端渲染之间切换,再选一行细看。
CSR · 整个网站
HTML 1.2 KB
服务端渲染不会改变页面说了什么,它改变的是爬虫何时能读到:在第一次响应里,而不是排完队、跑完 1.9 MB 脚本、等完 API 之后。
抓取震级
M 5.2
这是我们按渲染失败数自定的对数刻度,不是里氏震级。
Googlebot 第一次抓取时拿到的内容
<!doctype html><title>Kernelpost</title><div id="root"></div><noscript>You need to enable JavaScript to run this app.</noscript><script src="/static/js/main.4f9c1e.js"></script>服务器只发来一个空壳。Googlebot 得先排队,再运行脚本包,再等 API;一旦卡住,留下的就是空白页面,或者什么都没有。
客户端渲染 · 整个网站:422 次渲染失败,640 个页面中已收录 118 个。
第 1 个月
对全部 640 个 URL 做原始与渲染对比抓取,分析 12 周的 CDN 日志和 Search Console 索引覆盖,并整理出销售被问到过的每一个集成名称。
第 2–3 个月
组件不变,改在服务器上渲染。标题、canonical 和结构化数据写进 HTML,链接变回真正的链接,集成页根据合作伙伴目录自动生成。
第 4 个月
一个晚上就在原有 URL 上发布完成,回滚方案随时待命。无需任何重定向;五份新的站点地图当晚提交。
第 5–6 个月
Googlebot 重新抓取全站期间,每天盯着日志。修复了两个 hydration 错误;集成页的移动端 LCP 从 3.8 秒降到 1.6 秒。
第 7–9 个月
收录问题解决后,最单薄的集成页补上了真正的配置指南和交叉链接;每个新页面约两天就被收录,而不是三周。
已收录页面
118 → 596
第 9 个月,共 640 个页面
每月自然渠道演示申请
+174%
每月 38 → 104
每月非品牌自然点击
+252%
每月 3,100 → 10,900
新页面收录用时
23 → 2 天
中位数,从发布到被收录
这是为虚构企业建模的情景,并非客户的真实成果。我们从不保证排名和流量;详见我们的服务条款。
| 搜索词 | 栏目 | 第 1 个月 | 第 9 个月 |
|---|---|---|---|
| courier dispatch software | 首页与价格 | #34 | #6 |
| shopify courier integration | 集成 | 100+ | #4 |
| route planning software ireland | 功能 | #19 | #3 |
| pharmacy delivery software | 行业方案 | #61 | #7 |
| multi drop route planner | 指南与博客 | #27 | #5 |
Google 爱尔兰的建模排名。搜索词保留用户输入的原文。
如果您的页面依赖客户端渲染,可以从 Signal 方案开始,或者告诉我们爬虫在您的网站上看到了什么。