跳至正文
Get Ranked On Top示意性案例研究Signal 方案

虚构的企业。数据为模拟情景,并非客户的实际结果。

FARWANDER TRAVEL — 在线旅行社,200 万+ 页面 · 西雅图

一个拥有 200 万页面的旅游平台,如何让 Google 去抓取真正赚钱的页面

收入页面抓取占比

30% → 78%

16 个月,Signal 方案:把 Googlebot 从垃圾空域引导到真正带来预订的页面。

管制台 · 选择阶段

第 1 个月 · 管制 → GOOGLEBOT

GOOGLEBOT,雷达已识别。你正在筛选搜索空域上空盘旋等待。每十次请求就有七次落在垃圾页面上。

复诵:正在等待。目的地页面上次被访问是 19 天前。

收入页抓取占比
30%
关键页重新抓取
19天

收入页面垃圾 · 70%

飞行简报 · FARWANDER TRAVEL美国 西雅图

01挑战

两百万个页面,爬虫却总在错误的页面上空盘旋。

Googlebot 把 70% 的抓取花在过期优惠和筛选搜索页上。高利润的目的地页面在调价后,要等上好几周才会被重新抓取。

对旅游平台来说,信息新鲜就是收入。里斯本套餐降价 120 美元,Google 却还显示上个月的价格,点击自然流向了别家。Farwander 的搜索筛选、排序选项和已结束的优惠,把整个网站变成了拥堵的空域:Googlebot 一直很忙,却从不飞经那些能带来预订的页面。

按 URL 类型统计的 GOOGLEBOT 抓取 · 30 天日志样本,第 0 个月

  • 筛选与排序后的搜索页41%
  • 已过期优惠(200 OK)22%
  • 会话与打印参数7%
  • 收入页面30%

02诊断 · 航行通告

航图上的六处隐患,在动任何一个模板之前,就已从日志里全部找出。

  1. NOTAM 01日志文件

    30 天样本中共有 1,180 万次 Googlebot 请求,其中 830 万次落在分面搜索、过期优惠和带参数的重复页面上。

  2. NOTAM 02分面筛选

    140 万个可被抓取的筛选组合(价格 × 星级 × 餐食 × 日期),每个都把规范网址指向自己,而且每个结果页都链接到它们。

  3. NOTAM 03过期优惠

    212,000 个已结束的优惠仍返回 200 OK,只挂一条“优惠已结束”横幅——这些软 404 被 Google 反复回访。

  4. NOTAM 04站点地图

    站点地图中有 380,000 个 URL 是非规范网址或已被重定向;每次构建都会刷新 lastmod,因此它传递不了任何信号。

  5. NOTAM 05网站架构

    9% 的目的地页面是孤立页面,收入页面距首页的点击深度中位数高达 7 次。

  6. NOTAM 06模板

    428,000 个程序化生成的“X 附近的酒店”页面,独特内容不足 80 个词,也没有任何可售库存——怎么看都是薄内容。

03策略 · 已提交的飞行计划

先关闭垃圾空域,再开辟航道。

基于我们的 Signal 方案,按顺序执行四个引导航向:先测量,再清除浪费,最后给爬虫一条更短、标识更清楚的航线,直达每一个能接受预订的页面。

  1. VEC-1航向 030

    日志文件分析

    服务器日志每天汇入一份 Googlebot 报告,并通过反向 DNS 验证真伪。每类 URL 都有自己的抓取占比、状态码分布和最近抓取日期,之后的每项改动都用抓取次数来衡量,而不是靠猜。

  2. VEC-2航向 060

    抓取预算

    在 robots.txt 中屏蔽排序、会话和打印参数;超过两个筛选条件的分面页不再生成链接;过期优惠返回 410,并链接到仍在售的目的地页面;站点地图按模板拆分,只有价格真正变动时才更新 lastmod。

  3. VEC-3航向 090

    程序化 SEO

    围绕实时库存重建模板:只有至少 12 个可预订选项、并有独有价格数据时才生成页面。640,000 个薄内容页面被合并或删除;保留下来的页面新增了票价表和季节指南。

  4. VEC-4航向 120

    内部链接

    搭建“地区 → 国家 → 城市”三级枢纽页,并用价格变动模块从首页和枢纽页链接刚更新的优惠。收入页面的点击深度中位数从 7 降到 3。

04时间线 · 飞行进程单

16 个月,每月一张进程单。

  1. 01LOG抓取 30%日志管道上线;采集 30 天 Googlebot 基线
  2. 02AUD抓取 31%URL 类型审计:140 万个分面组合,21.2 万个过期优惠
  3. 03ROB抓取 33%屏蔽排序、会话和打印参数
  4. 04410抓取 36%过期优惠从 200 OK 改为 410 Gone
  5. 05FAC抓取 41%超过两个筛选条件的分面不再生成链接
  6. 06MAP抓取 47%站点地图按模板拆分;lastmod 与价格变动挂钩
  7. 07PRG抓取 53%程序化模板加入库存门槛
  8. 08PRN抓取 58%首批 45 万个薄内容页面被合并或删除
  9. 09HUB抓取 62%上线“地区 → 国家 → 城市”枢纽页
  10. 10LNK抓取 66%首页和枢纽页加入价格变动模块
  11. 11TPL抓取 69%保留页面加入票价表和季节指南
  12. 12PRN抓取 72%清理完成,共 62 万个页面;重定向映射完毕
  13. 13QA抓取 74%软 404 排查;孤立页面比例降至 1% 以下
  14. 14MON抓取 76%为前 5,000 个页面设置重新抓取延迟告警
  15. 15TUN抓取 77%最后 2 万个薄内容页面下线;累计 64 万个
  16. 16HLD抓取 78%进入稳定状态:抓取占比 78%,2 天内重新抓取

05结果 · 着陆报告

如今,爬虫把燃料花在了有预订的地方。

此为虚构企业的模拟情景,并非真实客户成果。我们从不保证排名和流量;详见我们的服务条款。

  • 收入页面抓取占比

    30% → 78%

  • 平均重新抓取时间(关键页面)

    19 天 → 2 天

  • 自然预订

    +41%

  • 清理的薄内容页面

    640,000

收入页面抓取占比 · 第 1–16 个月柱形:关键页面重新抓取天数
0%25%50%75%100%第1月第4月第7月第10月第13月第16月
目的地排名 · GOOGLE 美国,第 1 → 16 个月▲ 提升名次
搜索词着陆页之前之后Δ
lisbon city break deals/destinations/lisbon#14#3▲11
kyoto ryokan packages/hotels/kyoto#22#5▲17
last minute greece holidays/deals/greece-live#18#4▲14
iceland northern lights tours/destinations/iceland#11#2▲9
all inclusive cancun from seattle/packages/cancun#27#6▲21
patagonia trekking tour/tours/patagonia#24#4▲20
amalfi coast hotels with pool/hotels/amalfi#19#7▲12
costa rica family vacation package/packages/costa-rica#31#8▲23

06您的放行许可

为您定制同样的方案

产品目录庞大、重新抓取缓慢、爬虫困在筛选页里?我们会和对待 Farwander 一样,从日志开始。