跳至正文
Get Ranked On Top示意性案例研究Signal 方案

虚构的企业。数据为模拟情景,并非客户的实际结果。

KP-DUB 台站 · 都柏林

抓取记录 · 第 1–9 个月

Kernelpost · 快递调度 SaaS,60 名员工 · 都柏林

一家调度 SaaS 如何改用服务端渲染,让 478 个“隐形”页面被收录

已收录页面 118 → 596

9 个月 · 英国和爱尔兰 · Signal 方案

  • 服务端渲染
  • JavaScript 渲染审计
  • 日志文件分析
  • 内部链接与站点地图

抓取震级

M 5.2 → M 2.7

第 9 个月已收录页面

596 / 640

01挑战

一个要等 JavaScript 跑完才“存在”的网站。

Kernelpost 的 React 营销网站只在浏览器端渲染,功能页和集成页到了爬虫那里是一片空白,640 个页面中有 522 个从未被收录。

Kernelpost 为爱尔兰和英国的快递公司提供调度与路线规划软件。它的营销网站是一个 React 单页应用:开发快,在浏览器里看着也不错,可在爬虫眼里几乎是一张白纸。每个 URL 返回的都是同一个 1.2 KB 的空壳,外加一个 1.9 MB 的脚本。Googlebot 只能把每个页面排进渲染队列;而潜在客户会按名字搜索的集成页,还要等一个经常响应太慢的目录 API。销售团队一再听到同一句话:“搜 Shopify 集成的时候没找到你们。”

爬虫第一眼收到的内容

原始 HTML1.2 KB · 9 个词
<!doctype html><title>Kernelpost</title><div id="root"></div><noscript>You need to enable JavaScript to run this app.</noscript><script src="/static/js/main.4f9c1e.js"></script>
渲染后的 DOM(如果渲染完成)41 KB · 610 个词

640 个页面中有 522 个从未被收录

02诊断

记录在案的四次震动。

事件 1 / 4

1.2 KB

渲染

全部 640 个 URL 返回同一个空壳:一个空的 root div、一行 noscript 提示和脚本包。标题、meta 描述和 canonical 标签都由 JavaScript 注入,所以在原始 HTML 里,每个页面的 canonical 都指向首页。

事件 2 / 4

18%

收录

Search Console 显示,412 个 URL 处于“已发现 - 尚未编入索引”,110 个处于“已抓取 - 尚未编入索引”。真正进入索引的只有 118 个页面,大多是首页、价格页和较早的博客文章。

事件 3 / 4

66%

渲染失败

按 Googlebot 的限制模拟渲染抓取,640 个页面中有 422 个失败:307 个渲染结果为空白,115 个超时,因为合作伙伴目录 API 要 6–9 秒才响应。

事件 4 / 4

312

内部链接

导航用的是点击事件而不是真正的链接,集成目录的卡片由筛选脚本生成。在爬虫看来,312 个集成页没有任何指向它们的 <a href>,而唯一的站点地图只列了 140 个 URL。

Search Console 索引覆盖
  • 已编入索引
  • 已发现 - 尚未编入索引
  • 已抓取 - 尚未编入索引
03策略

四个通道,一条更平静的曲线。

基于我们的 Signal 方案:专为抓取、渲染和架构决定能否被搜到的网站打造的技术服务。

  1. 通道 1

    服务端渲染

    营销网站沿用原有的 React 组件改为服务端渲染:不改版,不改 URL。功能页、行业页和指南页在构建时预渲染;312 个集成页根据合作伙伴目录生成、每小时更新,因此在任何脚本运行之前,HTML 就已经完整。

  2. 通道 2

    JavaScript 渲染审计

    每个 URL 都抓取两次:一次取原始 HTML,一次按 Googlebot 的超时限制渲染,再逐项对比缺失的标题、canonical、标题层级、链接和正文。这份对比成了重构的验收标准:只有原始 HTML 与渲染结果一致的页面才能上线。

  3. 通道 3

    日志文件分析

    CDN 日志显示了切换前后 Googlebot 把抓取花在了哪里。对脚本包和 API 的请求下降,对集成页 HTML 的请求上升;一个在移动端让价格表变空白的 hydration 错误,第一周就被发现了。

  4. 通道 4

    内部链接与站点地图

    点击事件改成了真正的 <a href> 链接,集成目录有了可抓取的分类页;原来只有 140 个 URL 的一份站点地图,拆成了按栏目划分的五份,lastmod 日期取自 CMS。从此再没有孤立页面。

04读一读记录鼓

拨动渲染开关,看震动慢慢平息。

鼓面上的每一行代表网站的一个栏目,记录的是爬虫抓取这些页面时的情况。红色的震颤是渲染为空白的页面,黑色的震颤是渲染超时。在客户端渲染和服务端渲染之间切换,再选一行细看。

渲染方式
  • 空白渲染
  • 渲染超时
  • 正常抓取

CSR · 整个网站

HTML 1.2 KB

服务端渲染不会改变页面说了什么,它改变的是爬虫何时能读到:在第一次响应里,而不是排完队、跑完 1.9 MB 脚本、等完 API 之后。

抓取震级

M 5.2

这是我们按渲染失败数自定的对数刻度,不是里氏震级。

页面
640
已收录
118 / 640
空白渲染
307
超时
115
原始 HTML 中的词数 · 每页平均9

Googlebot 第一次抓取时拿到的内容

<!doctype html><title>Kernelpost</title><div id="root"></div><noscript>You need to enable JavaScript to run this app.</noscript><script src="/static/js/main.4f9c1e.js"></script>

服务器只发来一个空壳。Googlebot 得先排队,再运行脚本包,再等 API;一旦卡住,留下的就是空白页面,或者什么都没有。

客户端渲染 · 整个网站:422 次渲染失败,640 个页面中已收录 118 个。

05逐月进展

9 个月,从剧烈震动到风平浪静。

  1. 1 月422 次失败已收录 118
  2. 2 月418 次失败已收录 124
  3. 3 月409 次失败已收录 131
  4. 4 月61 次失败已收录 236SSR 上线
  5. 5 月24 次失败已收录 401
  6. 6 月15 次失败已收录 512
  7. 7 月12 次失败已收录 556
  8. 8 月11 次失败已收录 581
  9. 9 月10 次失败已收录 596
  1. 第 1 个月

    审计

    对全部 640 个 URL 做原始与渲染对比抓取,分析 12 周的 CDN 日志和 Search Console 索引覆盖,并整理出销售被问到过的每一个集成名称。

  2. 第 2–3 个月

    重构

    组件不变,改在服务器上渲染。标题、canonical 和结构化数据写进 HTML,链接变回真正的链接,集成页根据合作伙伴目录自动生成。

  3. 第 4 个月

    切换

    一个晚上就在原有 URL 上发布完成,回滚方案随时待命。无需任何重定向;五份新的站点地图当晚提交。

  4. 第 5–6 个月

    重新抓取

    Googlebot 重新抓取全站期间,每天盯着日志。修复了两个 hydration 错误;集成页的移动端 LCP 从 3.8 秒降到 1.6 秒。

  5. 第 7–9 个月

    持续增长

    收录问题解决后,最单薄的集成页补上了真正的配置指南和交叉链接;每个新页面约两天就被收录,而不是三周。

06成果

指针安静了,销售线索却热闹起来。

已收录页面

118 → 596

第 9 个月,共 640 个页面

每月自然渠道演示申请

+174%

每月 38 → 104

每月非品牌自然点击

+252%

每月 3,100 → 10,900

新页面收录用时

23 → 2 天

中位数,从发布到被收录

这是为虚构企业建模的情景,并非客户的真实成果。我们从不保证排名和流量;详见我们的服务条款。

每月已收录页面Kernelpost不做 SSR 的预测
0160320480640SSR 上线5961181 月2 月3 月4 月5 月6 月7 月8 月9 月
每月自然渠道演示申请
381 月372 月413 月494 月635 月786 月897 月978 月1049 月

潜在客户真正会搜的词,排名如何

搜索词栏目第 1 个月第 9 个月
courier dispatch software首页与价格#34#6
shopify courier integration集成100+#4
route planning software ireland功能#19#3
pharmacy delivery software行业方案#61#7
multi drop route planner指南与博客#27#5

Google 爱尔兰的建模排名。搜索词保留用户输入的原文。

您的网站是不是要等 JavaScript 跑完才有内容?

如果您的页面依赖客户端渲染,可以从 Signal 方案开始,或者告诉我们爬虫在您的网站上看到了什么。

← 全部案例