RUANG RUMAH · 房产信息门户,180,000 条房源 · 雅加达
雅加达一家房产门户如何不再把抓取浪费在失效房源上,让各个街区页面及时被 Google 抓取
+146%
自然询盘增长,抓取预算一分没加
雅加达,印度尼西亚 · 22 个月 · 家居与房地产
把这片山坡看作整个门户网站:Googlebot 每天的访问是水,每一层梯田是一类值得争取排名的页面。流进失效房源和低质筛选页的水,永远到不了稻田。模拟数据。
旱季
水并不缺,只是几乎没有流进稻田。
数以百万计的低质筛选页和 41,300 条过期房源吃掉了 Google 四分之三的抓取量,而雅加达新上线的街区页面要等好几周才有人来抓。
Ruang Rumah 汇集了雅加达各区 180,000 条住宅、公寓和合租房源。区域、价格、卧室数和排序方式的每一种组合都是一个可抓取的 URL,于是 Google 看到的是数百万个几乎一模一样的页面。几个月前就已售出的房源,依然像在售一样正常返回页面。
Googlebot 每天都来,约 240,000 次请求。其中四分之三流向了本不该有人落地的页面;而人们真正搜索的页面,比如 Tebet 或 Kelapa Gading 这样的街区,要么根本不存在,要么要等上好几周才迎来第一次抓取。
实地勘测 · 第 0 个月
41,300
过期房源仍在线
已售、已租的房源依旧返回 200 OK 和完整页面,还在站点地图里一挂就是几个月。
240万
被收录的筛选 URL
区域 × 价格 × 卧室数 × 排序,组合出数百万个 URL,其中约 240 万个被收录,大多数页面上只有寥寥几条房源。
75%
抓取被浪费的比例
三十天的服务器日志显示,每四次请求就有三次落在过期房源、低质筛选页以及排序或跟踪参数上。
19
新房源等待首次抓取的天数
新房源的中位数是等 19 天才被 Googlebot 抓取。好公寓一周内就会被订走,这样就太迟了。
0
街区页面
雅加达有 267 个 kelurahan(社区),Ruang Rumah 一个对应页面都没有;像“rumah dijual tebet”这样的搜索,只能落到随便哪个筛选 URL 上。
16,200
重复房源
同一套房由两三个中介分别发布,每个副本都在同一个搜索词上互相争抢。
核心互动
为梯田引水
抓取预算就是水。堵住浪费水的渠道,打开通往有用之处的新渠。水从最上层往下灌;页面被抓取并收录之后,那一层梯田就会转绿。
Googlebot · 每天 240,000 次请求
梯田,自上而下
- 城区页面420 个页面已灌溉 100%
- 在售房源180,000 个页面已灌溉 58%
- 近 7 天新房源16,800 个页面已灌溉 0%
- 街区聚合页1,602 个页面尚未修建
- 精选筛选页4,800 个页面尚未修建
抓取的梯田模型。Googlebot 的请求中有 25% 落在有价值的页面上;5 层梯田中有 1 层已转绿。
落在有价值页面上的抓取
25%
每天有 60,000 次请求流进梯田
白白流失:75%
- 每月自然询盘
- 9,400
- 新房源首次被抓取
- 19 天
- 被收录的有价值页面
- 105,420
- 被收录的低质与过期 URL
- 2,400,000
5 层梯田中有 1 层已转绿 · 可用于重新抓取的余量:每天 0 次
这是对抓取分配方式的简化模型,并非 Google 实际的调度机制。数据均为模拟。
我们截断的渠道
山坡上的四项工程。
项目基于我们的 Commerce SEO 方案:让 Google 少蹚无用的页面,多看对的页面,让抓取跟着市场走,而不是在旧档案里打转。
01 · 分面导航管控
两个维度,之后就是一堵墙
“区域 + 房产类型”或“区域 + 卧室数”,只要有人搜索就保持可收录。更深的组合一律 noindex, follow;等它们退出索引后,再用 robots.txt 停止抓取。排序和跟踪参数统一 canonical 到干净的 URL。
浪费的抓取减少 36 个百分点
02 · 过期房源生命周期
给售出的房子一个体面的收尾
房源售出或租出后,30 天内显示“已下架”页面并推荐附近的相似房源,当天就移出站点地图,之后返回 410。同一套房的重复副本统一指向主房源。
41,300 个过期 URL 退役
03 · 街区聚合页
每个 kelurahan 一层梯田
1,602 个聚合页,每个街区、每种房产类型一页,包含实时房源、每平方米中位价、最近的 MRT 或 KRL 车站以及一段简短的社区介绍。聚合页优先链接最新房源。
1,602 个聚合页被收录
04 · 抓取预算日志分析
看懂水往哪里流
靠服务器日志,而不是猜测:每周把每一次 Googlebot 请求按页面类型归类,这样每做一次改动,都能看到水流向了哪里、哪一层梯田还干着。
每周抓取报告
一季接一季
沿着山坡往下走的二十二个月。
第 1–2 个月
勘测山坡
对三十天的服务器日志做分类:720 万次 Googlebot 请求按页面类型归档,画出浪费分布图。
26%第 3–5 个月
关闭死渠
过期房源先显示 30 天“已售出”页面,再返回 410。站点地图重建,只列在售房源。
47%第 5–8 个月
给低质筛选页筑墙
为分面 URL 制定收录规则:最多两个维度,且只保留有人搜索的组合。先 noindex,退出索引后再用 robots.txt 屏蔽。
71%第 8–12 个月
修建街区梯田
1,602 个 kelurahan 聚合页按城区分批上线,每一页都从所属城区页面和区内每条房源获得链接。
84%第 12–15 个月
打开新鲜水渠
上线 lastmod 准确的新房源站点地图,并在每个聚合页加入“本周新上”模块。首次抓取缩短到一周以内。
89%第 16–22 个月
照看与收获
每周复盘日志,合并重复房源,在出现搜索需求的地方增加精选筛选页。询盘持续攀升。
92%
收成
同样的水,更绿的山坡。
+146%
25% → 92%
19 → 1
240万 → 6.1万
虚构企业的模拟情景,并非真实客户成果。我们从不保证排名或流量,详见我们的服务条款。
雅加达用户的原样搜索词 · 排名
| 搜索词 | 月搜索量 | 第 0 个月 | 第 22 个月 | 获得排名的页面 |
|---|---|---|---|---|
| rumah dijual jakarta selatan | 12,100 | 17 | 5 · 上升 12 位 | 城区页面 |
| rumah dijual tebet | 4,400 | 38 | 3 · 上升 35 位 | 街区聚合页 |
| rumah dijual kelapa gading | 3,600 | 29 | 3 · 上升 26 位 | 街区聚合页 |
| apartemen disewakan kemang | 2,900 | 44 | 4 · 上升 40 位 | 街区聚合页 |
| kost dekat mrt blok m | 2,400 | 72 | 6 · 上升 66 位 | 精选筛选页 |
| rumah sewa menteng | 1,900 | 35 | 4 · 上升 31 位 | 街区聚合页 |
| apartemen dijual pluit | 1,600 | 52 | 5 · 上升 47 位 | 街区聚合页 |
| apartemen 2 kamar kalibata | 1,300 | 61 | 2 · 上升 59 位 | 精选筛选页 |