THORNRAIL TRANSLOAD · 铁路转公路转运,26 座站场 · 堪萨斯城
堪萨斯城一家铁路转运商如何让旗下 26 座站场全部被 Google 找到
26/26
个站场页面已收录,此前仅 5 个
堪萨斯城,美国 · 10 个月 · 工业、能源与出行
读图方法:车厢从首页出发,翻过驼峰,再经道岔分入各州的股道。信号灯变绿,说明爬虫顺着链接就能抵达这条股道。模拟数据。
编组场看板第 0 个月 → 第 10 个月
- 已收录
- 5/2626/26
- 孤立页面
- 210
- 站点地图
- 214 天未更新每晚更新
01挑战
地面上有 26 座站场,Google 读得懂的地图上只有 5 座。
站场页面藏在一张没有真实链接的 JavaScript 地图后面,站点地图也已数月未更新:26 座站场只有 5 座被收录。
货主要在威奇托或塔尔萨找转运站,搜的就是这几个词,而 Thornrail 在这两座城市都有站场。可“站点分布”页是一张 JavaScript 地图:对拿着鼠标的访客很友好,对爬虫却是一堵白墙。每座站场都有自己的页面,却几乎没有任何链接指向它们。
解决办法不是再写内容,而是铺轨:真正的链接、爬虫走得通的层级结构,以及一份如实反映现状的站点地图。
编组场巡检 · 第 0 个月
故障车 · 01
5/26
26 座站场仅收录 5 座
被收录的 5 座,恰好就是旧“服务”页链接过的那 5 座。其余 21 座要么 Google 根本不知道,要么一直卡在“已发现,尚未编入索引”。
故障车 · 02
21
孤立的站场页面
从首页开始爬取,只能到达 5 座站场。另外 21 个页面在服务器上好好的,却没有任何页面用真正的 <a href> 指向它们。
故障车 · 03
214 天
手工维护、早已过期的站点地图
网站上线时只有 8 座站场,地图是手写的。其中 3 座后来关闭,之后新开的 21 座从未加进去。
故障车 · 04
0
“站点分布”页上可抓取的链接
地图用 JavaScript 画出图钉,靠点击事件打开站场页。Googlebot 渲染后的 HTML 里只有一个地图容器,没有一条指向站场的链接。
故障车 · 05
3
站点地图里的失效网址
已关闭的站场仍在列表里,返回 404,每次抓取都在已不存在的页面上白白消耗请求。
故障车 · 06
1.8 MB
先加载的地图脚本
地图脚本加载完,站场名称才会出现。即使渲染出来,页面给爬虫的也只是图钉,而不是路径。
02调车场
扳动道岔,看爬虫如何找到路。
每节车厢代表一个站场页面,车上的数字是它距首页的点击深度。按任意顺序扳动我们实际拉下的四根道岔杆,再点选一座站场,追踪爬虫的路线。
- 3 次点击以内
- 4 次点击及以上
- 仅在站点地图中
- 孤立
- 经链接到达
- 5 / 26
- 孤立页面
- 21
- 最深路线
- 2 次点击
- 列入站点地图
- 5 / 26
站场看板 · 点选一座,追踪爬虫路线
- MO
- IA
- NE
- KS
- OK
- TX
通往 NE-02 的路线
点击深度:无路线
没有页面链接到这里,站点地图里也没有它:对爬虫来说,这座站场根本不存在。
26 座站场中有 5 座可经链接到达。最深路线:2 次点击。
03四根道岔杆
四个道岔,依次扳动。
基于我们的 Signal 方案:面向抓取与网站架构决定内容能否被找到的技术 SEO。
01道岔杆 1 · 内部链接
地图下方的真实链接
“站点分布”页如今在地图下方由服务器渲染出全部 26 座站场的 A–Z 列表,都是普通的 <a href> 链接。访客照样用地图,爬虫则有了路。
孤立页面 21 → 0
02道岔杆 2 · 枢纽页与面包屑导航
六个州枢纽页
主菜单里每个州一个枢纽页,列出本州站场及其服务的铁路线、货类和卡车通道。每个站场页的面包屑都链回枢纽页和“站点分布”页。
所有站场 ≤ 2 次点击
03道岔杆 3 · XML 站点地图
自动生成的站点地图
每晚从站场数据库生成,lastmod 如实标注。已关闭的站场自动移除,并 301 到最近的在营站场;文件已在 Search Console 提交。
26 个网址 · 0 失效
04道岔杆 4 · 日志文件分析
用日志来验证
每周检查服务器日志,确认 Googlebot 确实请求了每座站场,以及多久一次。14 天没被抓取的站场,就从更热门的页面给它加一条链接。
26 座全部被抓取
04运行日志
十个月,一个里程标接一个里程标。
第 1 个月1月
编组场巡检
从首页完整爬取一遍,查看 Search Console 网页报告和十二周的服务器日志。发现 21 个孤立页面、3 个失效的站点地图网址。
- 已收录
- 5/26
- 孤立
- 21
第 2 个月2月
试点列表:密苏里与堪萨斯
地图下方的 HTML 列表先在两个州上线,以便衡量效果。8 个孤立页面有了链接。
- 已收录
- 5/26
- 孤立
- 13
第 3 个月3月
所有州上线,站点地图重建
26 座站场全部从“站点分布”页获得链接。站点地图改为每晚从站场数据库生成,并重新提交。
- 已收录
- 9/26
- 孤立
- 0
第 4 个月4月
州枢纽页
主菜单新增六个枢纽页,每个站场页都有面包屑导航。任何站场距首页都不超过两次点击。
- 已收录
- 16/26
- 孤立
- 0
第 5 个月5月
邻近站场链接
每座站场链接到线路上的相邻站场,链接信号得以横向流动,而不只是从枢纽页往下传。
- 已收录
- 21/26
- 孤立
- 0
第 6 个月6月
日志确认
本月 Googlebot 请求了 26 个站场页面中的 24 个。漏掉的两个,从最热门的枢纽页加了链接。
- 已收录
- 23/26
- 孤立
- 0
第 7 个月7月
值得收录的页面
每个站场模板补充了服务的铁路线、股道容量、货类和卡车闸口时间:既能到达,也值得一读。
- 已收录
- 25/26
- 孤立
- 0
第 8 个月8月
26 座全部收录
所有站场页面都进入了 Google 索引。站场页上的询价表单已加标记,以便统计自然搜索询价。
- 已收录
- 26/26
- 孤立
- 0
第 9 个月9月
关闭失效网址
三座已关闭站场的网址现在 301 到最近的在营站场,旧的外部链接价值得以保留。
- 已收录
- 26/26
- 孤立
- 0
第 10 个月10月
编组场报告
孤立页面清零,站场页面每月自然访问 4,900 次,每月自然搜索询价 39 次,此前为 14 次。
- 已收录
- 26/26
- 孤立
- 0
05编组场报告 · 第 10 个月
每条股道都亮了。
5 → 26
21 → 0
+179%
420 → 4,900
虚构企业的模拟情景,并非客户结果。排名和流量从无保证,详见我们的条款。
逐条股道 · 各州站场
| 州 | 站场数 | 已收录,第 0 个月 | 已收录,第 10 个月 | 孤立,第 0 个月 | 最深,第 10 个月 |
|---|---|---|---|---|---|
| MO | 6 | 2 | 6 | 4 | 2 次点击 |
| IA | 4 | 0 | 4 | 4 | 2 次点击 |
| NE | 4 | 0 | 4 | 4 | 2 次点击 |
| KS | 5 | 1 | 5 | 4 | 2 次点击 |
| OK | 4 | 1 | 4 | 3 | 2 次点击 |
| TX | 3 | 1 | 3 | 2 | 2 次点击 |