跳至正文
Get Ranked On Top示意性案例研究Signal 方案

虚构的企业。数据为模拟情景,并非客户的实际结果。

Ferrovane · 可观测性与日志平台 · 柏林

一家可观测性平台如何让 6,000 个由 JavaScript 渲染的文档页面被 Google 看见

+341%已收录文档页面
8 个月内 · Signal
6,040 个文档 URLM0 · 1,120M8 · 4,940
CH1 · 已收录文档
扫描 = 8 个月
触发 · 就绪

输入信号 · 挑战

六千页文档,Google 几乎一页也读不到。

Ferrovane 的文档是一个客户端渲染的单页应用,Google 只收录了其中不到五分之一,开发者搜索时找到的反而是竞争对手的指南。

从纸面上看,文档是 Ferrovane 最好的获客渠道:6,040 篇指南、采集器配置示例和 API 参考,全部出自打造这款产品的工程师之手。可整个文档站是一个客户端渲染的单页应用。Googlebot 抓到的只是一个空壳,先排进渲染队列,往往等不到内容加载就放弃了。开发者搜索确切的报错信息和配置片段时,看到的是竞争对手的教程,其中不少讲的恰恰是如何接入 Ferrovane。

18.5%的文档 URL 在开始时被收录(6,040 个中仅 1,120 个)。
Googlebot 抓到的
<html>
  <body>
    <div id="root"></div>
    <script src="/app.9f3c.js">
    <!-- 1.9 MB -->
  </body>
</html>
开发者看到的
# Configure the OTel collector

exporters:
  ferrovane:
    endpoint: ingest.eu.ferrovane.example
    compression: zstd

诊断 · 故障日志

文档与索引之间的七处故障。

我们读了 30 天的服务器日志,逐个 URL 对比原始 HTML 与渲染后的 HTML,并在关闭 JavaScript 的情况下抓取了整个网站。故障分为四类:渲染、架构、抓取预算和国际化。

  1. E-101严重渲染

    文档上线时只是一个空的 <div id="root"> 加一个 1.9 MB 的脚本包。Googlebot 的渲染队列要晚好几天才轮到大多数页面;那些在 hydration 之后才拉取内容的 API 参考页面则直接超时。

    > 原始 HTML 字数:6,040 个 URL 中有 5,880 个为 0

  2. E-102严重渲染

    导航靠 <span> 元素上的 onClick 处理函数实现,爬虫在各版块之间找不到任何 <a href> 链接。大部分指南都成了孤立页面。

    > 原始 HTML 中的内部链接:平均每页 3 个

  3. E-207重要架构

    六个发布版本(v3.0 至 v3.5)分别放在不同路径下,没有任何 canonical。Google 一再把旧的 v3.1 页面选为代表性 URL。

    > 重复内容簇:6 个版本共 2,310 个 URL

  4. E-214重要架构

    哈希片段路由(/docs#/collectors/otel)让成千上万个页面在搜索引擎眼里合并成了同一个 URL。

    > 可抓取的唯一 URL:6,040 个中仅 412 个

  5. W-318重要抓取预算

    API 浏览器的分面参数和会话令牌制造出几乎无限的 URL 空间,Googlebot 71% 的请求都耗在了这里。

    > 花在非规范 URL 上的抓取:71%

  6. W-322次要抓取预算

    改名后的页面出现软 404:返回 200 状态码,却显示一个“未找到”组件。站点地图里列着 1,400 个会被重定向的 URL。

    > 每周记录的抓取错误:3,840 个

  7. W-405重要Hreflang

    德语和日语文档在客户端注入,与英文共用同一个 URL,因此根本没有可供标注的语言版本 URL,德语页面也从未被收录。

    > 已收录的德语/日语文档页面:0

校准 · 策略

四个通道,逐一单独调校。

这项工作基于我们面向技术 SEO 的 Signal 方案。每项策略消除一个噪声来源,并且都配有一项检查,确保修复不会在下一次发版时悄悄倒退。

CH1

JavaScript 渲染

把文档从纯客户端单页应用改为构建时静态预渲染,并在每次发版时增量重新生成。现在每个页面在第一个 HTML 响应里就带着完整的正文、标题和代码示例;JavaScript 只负责增加交互。

在 CI 中运行原始 HTML 一致性检查:渲染后文本与原始文本相差超过 2%,构建即失败。

CH2

文档架构

用真实路径(/docs/collectors/otel)取代哈希路由,把 span 导航改为锚链接,并设立一个“latest” canonical,让各版本页面都指向它。加上面包屑导航,任何指南最多点击 3 次即可到达。

孤立页面:4,100 → 0。点击深度中位数:7 → 3。

CH3

抓取预算

在 robots.txt 中屏蔽浏览器分面和会话参数,去掉链接里的令牌,返回真实的 404/410 状态码,并按版块拆分站点地图,lastmod 日期直接取自文档仓库,准确无误。

规范文档 URL 在抓取中的占比:29% → 94%。

CH4

Hreflang

为每种语言单独设立子目录(/de/、/ja/)并做服务端渲染,再在 HTML head 和站点地图里同时加上互相指向的 hreflang 与 x-default,全部由翻译清单自动生成,不会彼此脱节。

Hreflang 回链标记错误:1,960 → 0。

时基 · 1 格 = 1 个月

8 个月,从探测到锁定。

  1. M01 · 探测

    抓取与渲染审计

    分析 30 天的 Googlebot 访问日志,逐个 URL 比对原始与渲染后的 HTML,并确立 1,120 个已收录文档页面的基线。

  2. M02 · 探测

    预渲染试点

    采集器指南(420 页)通过功能开关先行预渲染。五周内,该版块的收录数从 61 升至 388。

  3. M03 · 校准

    全面上线渲染

    全部 6,040 个页面改为静态渲染,加入 CI 一致性检查,span 导航重建为真正的链接。

  4. M04 · 校准

    URL 迁移

    哈希路由换成路径,设置 6,000 多条一对一 301 重定向,各版本的 canonical 指向“latest”。

  5. M05 · 滤波

    清理抓取预算

    屏蔽分面与令牌参数,修复软 404,站点地图按版块拆分并使用真实的 lastmod。

  6. M06 · 滤波

    语言子目录

    德语和日语文档迁至 /de/ 和 /ja/,改为服务端渲染,并配上互相指向的 hreflang。

  7. M07 · 锁定

    补齐内容缺口

    针对 140 个开发者查询撰写对比页和操作指南:这些查询下排名的都是竞争对手的教程,而 Ferrovane 连一个页面都没有。

  8. M08 · 锁定

    监控与交接

    把渲染、收录和 hreflang 检查接入发布流水线,一旦出现问题就向文档团队告警。

读数 · 结果

逐个调准通道,信号其实一直都在。

  • 已收录文档页面
    1,120 → 4,940
  • 自然注册
    +88%
  • 抓取错误
    -93%
  • 开发者查询前 10 名
    +620

虚构企业的模拟情景,并非客户结果。排名和流量从无保证,详见我们的条款。

已锁定通道:0/4

CH1 · 已收录页面噪声

已收录文档页面

1,120 → 4,940

CH2 · 自然注册,指数 = 100噪声

自然注册

+88%

CH3 · 每周抓取错误噪声

抓取错误

-93%

CH4 · 新增开发者查询前 10 名噪声

开发者查询前 10 名

+620

转动旋钮(拖动,或选中后用方向键),把每项指标从噪声中拉出来。

开发者查询:前后对比

Google 排名,模拟数据。“—”表示未进入前 100 名。

查询词语言月搜索量M0M8
opentelemetry collector configEN660048#3
structured logging kubernetesEN2900—#6
fluent bit json parserEN340022#4
trace sampling strategiesEN1600—#8
promql vs logqlEN130067#5
log retention policy gdprEN88031#2
log management dsgvoDE1100—#1
opentelemetry exporter einrichtenDE590—#3
ログ 監視 ツール 比較JA1900—#7

同一个搜索结果页:前后对比

“opentelemetry collector config”,模拟数据。

M0 · #48

  1. 1. 竞争对手教程:OTel 采集器设置
  2. 2. 社区 wiki:采集器配置参考
  3. 3. 博客:用采集器发送日志

…… Ferrovane 排在第 5 页

M8 · #3

  1. 1. OpenTelemetry 项目官方文档
  2. 2. 竞争对手教程:OTel 采集器设置
  3. 3. Ferrovane Docs › Collectors › Configure the OTel collector

曲线结束

为您制定这样的方案

如果搜索引擎看不到您的用户所看到的内容,Signal 会先做一次渲染与抓取审计,再把发现的问题变成您的工程师可以直接上线的修复。