FARWANDER TRAVEL — 在线旅行社,200 万+ 页面 · 西雅图
一个拥有 200 万页面的旅游平台,如何让 Google 去抓取真正赚钱的页面
收入页面抓取占比
30% → 78%
16 个月,Signal 方案:把 Googlebot 从垃圾空域引导到真正带来预订的页面。
管制台 · 选择阶段
第 1 个月 · 管制 → GOOGLEBOT
GOOGLEBOT,雷达已识别。你正在筛选搜索空域上空盘旋等待。每十次请求就有七次落在垃圾页面上。
复诵:正在等待。目的地页面上次被访问是 19 天前。
- 收入页抓取占比
- 30%
- 关键页重新抓取
- 19天
收入页面垃圾 · 70%
01挑战
两百万个页面,爬虫却总在错误的页面上空盘旋。
Googlebot 把 70% 的抓取花在过期优惠和筛选搜索页上。高利润的目的地页面在调价后,要等上好几周才会被重新抓取。
对旅游平台来说,信息新鲜就是收入。里斯本套餐降价 120 美元,Google 却还显示上个月的价格,点击自然流向了别家。Farwander 的搜索筛选、排序选项和已结束的优惠,把整个网站变成了拥堵的空域:Googlebot 一直很忙,却从不飞经那些能带来预订的页面。
按 URL 类型统计的 GOOGLEBOT 抓取 · 30 天日志样本,第 0 个月
- 筛选与排序后的搜索页41%
- 已过期优惠(200 OK)22%
- 会话与打印参数7%
- 收入页面30%
02诊断 · 航行通告
航图上的六处隐患,在动任何一个模板之前,就已从日志里全部找出。
NOTAM 01日志文件
30 天样本中共有 1,180 万次 Googlebot 请求,其中 830 万次落在分面搜索、过期优惠和带参数的重复页面上。
NOTAM 02分面筛选
140 万个可被抓取的筛选组合(价格 × 星级 × 餐食 × 日期),每个都把规范网址指向自己,而且每个结果页都链接到它们。
NOTAM 03过期优惠
212,000 个已结束的优惠仍返回 200 OK,只挂一条“优惠已结束”横幅——这些软 404 被 Google 反复回访。
NOTAM 04站点地图
站点地图中有 380,000 个 URL 是非规范网址或已被重定向;每次构建都会刷新 lastmod,因此它传递不了任何信号。
NOTAM 05网站架构
9% 的目的地页面是孤立页面,收入页面距首页的点击深度中位数高达 7 次。
NOTAM 06模板
428,000 个程序化生成的“X 附近的酒店”页面,独特内容不足 80 个词,也没有任何可售库存——怎么看都是薄内容。
03策略 · 已提交的飞行计划
先关闭垃圾空域,再开辟航道。
基于我们的 Signal 方案,按顺序执行四个引导航向:先测量,再清除浪费,最后给爬虫一条更短、标识更清楚的航线,直达每一个能接受预订的页面。
- VEC-1航向 030
日志文件分析
服务器日志每天汇入一份 Googlebot 报告,并通过反向 DNS 验证真伪。每类 URL 都有自己的抓取占比、状态码分布和最近抓取日期,之后的每项改动都用抓取次数来衡量,而不是靠猜。
- VEC-2航向 060
抓取预算
在 robots.txt 中屏蔽排序、会话和打印参数;超过两个筛选条件的分面页不再生成链接;过期优惠返回 410,并链接到仍在售的目的地页面;站点地图按模板拆分,只有价格真正变动时才更新 lastmod。
- VEC-3航向 090
程序化 SEO
围绕实时库存重建模板:只有至少 12 个可预订选项、并有独有价格数据时才生成页面。640,000 个薄内容页面被合并或删除;保留下来的页面新增了票价表和季节指南。
- VEC-4航向 120
内部链接
搭建“地区 → 国家 → 城市”三级枢纽页,并用价格变动模块从首页和枢纽页链接刚更新的优惠。收入页面的点击深度中位数从 7 降到 3。
04时间线 · 飞行进程单
16 个月,每月一张进程单。
- 01LOG抓取 30%日志管道上线;采集 30 天 Googlebot 基线
- 02AUD抓取 31%URL 类型审计:140 万个分面组合,21.2 万个过期优惠
- 03ROB抓取 33%屏蔽排序、会话和打印参数
- 04410抓取 36%过期优惠从 200 OK 改为 410 Gone
- 05FAC抓取 41%超过两个筛选条件的分面不再生成链接
- 06MAP抓取 47%站点地图按模板拆分;lastmod 与价格变动挂钩
- 07PRG抓取 53%程序化模板加入库存门槛
- 08PRN抓取 58%首批 45 万个薄内容页面被合并或删除
- 09HUB抓取 62%上线“地区 → 国家 → 城市”枢纽页
- 10LNK抓取 66%首页和枢纽页加入价格变动模块
- 11TPL抓取 69%保留页面加入票价表和季节指南
- 12PRN抓取 72%清理完成,共 62 万个页面;重定向映射完毕
- 13QA抓取 74%软 404 排查;孤立页面比例降至 1% 以下
- 14MON抓取 76%为前 5,000 个页面设置重新抓取延迟告警
- 15TUN抓取 77%最后 2 万个薄内容页面下线;累计 64 万个
- 16HLD抓取 78%进入稳定状态:抓取占比 78%,2 天内重新抓取
05结果 · 着陆报告
如今,爬虫把燃料花在了有预订的地方。
此为虚构企业的模拟情景,并非真实客户成果。我们从不保证排名和流量;详见我们的服务条款。
收入页面抓取占比
30% → 78%
平均重新抓取时间(关键页面)
19 天 → 2 天
自然预订
+41%
清理的薄内容页面
640,000
| 搜索词 | 着陆页 | 之前 | 之后 | Δ |
|---|---|---|---|---|
| lisbon city break deals | /destinations/lisbon | #14 | #3 | ▲11 |
| kyoto ryokan packages | /hotels/kyoto | #22 | #5 | ▲17 |
| last minute greece holidays | /deals/greece-live | #18 | #4 | ▲14 |
| iceland northern lights tours | /destinations/iceland | #11 | #2 | ▲9 |
| all inclusive cancun from seattle | /packages/cancun | #27 | #6 | ▲21 |
| patagonia trekking tour | /tours/patagonia | #24 | #4 | ▲20 |
| amalfi coast hotels with pool | /hotels/amalfi | #19 | #7 | ▲12 |
| costa rica family vacation package | /packages/costa-rica | #31 | #8 | ▲23 |
06您的放行许可
为您定制同样的方案
产品目录庞大、重新抓取缓慢、爬虫困在筛选页里?我们会和对待 Farwander 一样,从日志开始。