41,600
个 URL 变体
参数爆炸
排序、页码、价格和筛选参数随意组合,把 96 个街区变成了数万个可抓取、几乎一模一样、而且没有 canonical 的 URL。
Varanda Imóveis · 房产门户 · 圣保罗
第 0 个月收录 140 个页面,第 13 个月收录 2,300 个页面。每层实心楼层 ≈ 25 个已收录页面;虚线楼层表示页面已存在,但尚未被收录。
查看街区集群
Pinheiros:12 个街区,290 个页面中已收录 290 个(12 层中已建成 12 层)。模板:/imoveis/sp/pinheiros/aluguel/
挑战
街区搜索页由 URL 参数批量生成,大量重复、加载缓慢,基本被 Google 忽视。
Varanda Imóveis 发布圣保罗全城的租房与售房房源,但它的街区页面只以搜索结果的形式存在。排序方式、价格区间和页码的每一种组合都会生成一个新地址,于是 Google 在数百个 URL 下反复看到同一批 Pinheiros 房源,结果一个也不信任。只有 140 个街区页面进入了索引,而这些页面加载还要 1.4 秒。
上周抓取记录 · 一个街区
诊断
41,600
个 URL 变体
排序、页码、价格和筛选参数随意组合,把 96 个街区变成了数万个可抓取、几乎一模一样、而且没有 canonical 的 URL。
91%
的 Googlebot 请求
日志分析显示,爬虫每十次请求就有九次落在参数变体上;核心街区页面平均每 19 天才被重新抓取一次。
0
个可抓取的第 2 页链接
一个 JavaScript 的“ver mais”(查看更多)按钮负责加载第 21 条以后的房源,却没有 href,大型街区的大部分房源从未被发现。
1.4 秒
TTFB 中位数
每个请求都会实时查询一次房源。爬虫和用户都要等同样的 1.4 秒,才能拿到第一个字节。
38
个独特词 / 页
所有街区页面共用同一段文字,只是换了个名字。没有价格、交通、学校或房源数量,买家用得上的信息一样也没有。
0
种结构化数据类型
没有 BreadcrumbList、ItemList 或房源标记;Google 无法以机器可读的方式把页面与其所属街区和区域联系起来。
策略
基于我们的 Signal 方案:先打好技术地基,让发布的每一个页面都落在干净、快速、可抓取的地面上。四项策略,按城市需要它们的顺序依次展开。
/imoveis/sp/{bairro}/{intent}/每个街区 × 意图(venda、aluguel、apartamento、casa、2-quartos、perto-do-metrô)只用一个干净的模板,且仅在实时房源不少于 12 套时才发布,页面写入真实的价格中位数、交通线路和房源数量。
<a href="?pagina=2" rel="next">用普通的链接分页取代 JS 按钮:每页自引用 canonical,“查看全部”最多显示 60 套房源,排序变体设为 noindex,让深层房源可被抓取,又不产生重复。
Disallow: /*?ordem=为排序与筛选组合设置 robots 规则并剥离参数,按区域拆分 XML 站点地图、根据房源变动更新 lastmod,再加上边缘缓存,把 TTFB 从 1.4 秒降到 0.3 秒。
"@type": "ItemList"从区域到街区再到意图的 BreadcrumbList,房源列表使用 ItemList,每个街区配上 Place 数据;每次发布前都会针对所有模板逐一验证。
13 个月,13 层楼
将 30 天的服务器日志与已发现的 41,600 个 URL 逐一对照。
按房源深度、需求和重复程度为 96 个街区打分。
剥离或屏蔽排序与筛选变体;设置 canonical。
房源在边缘节点缓存;TTFB 降到 0.8 秒以下。
需求最高的集群率先按新 URL 结构发布。
第 2 页及以后的链接上线;深层房源开始被抓取。
所有模板都加上 Breadcrumb、ItemList 和 Place 标记。
其余集群全部发布;提交按区域划分的站点地图。
在房源充足的地方推出 casa、cobertura 和 2-quartos 变体。
为地铁沿线的 31 个街区推出 perto-do-metrô 页面。
148 个低于房源门槛的页面并入上级页面。
“相邻街区”模块补上了最后一批孤立页面。
已收录 2,300 个页面;抓取浪费低于 12%。
柱条:每月月底已收录的街区页面数。
成果
这是为虚构企业建模的情景,并非真实客户成果。我们从不保证排名和流量;详见我们的服务条款。
| 搜索词(pt-BR) | 街区 | 月搜索量 | 之前 | 之后 |
|---|---|---|---|---|
| apartamento para alugar pinheiros | Pinheiros | 9,900 | 41 | 3 |
| imóveis moema | Moema | 6,600 | 24 | 2 |
| casa à venda vila mariana | Vila Mariana | 4,400 | 52 | 4 |
| apartamento 2 quartos mooca | Mooca | 3,600 | 未进前 100 | 5 |
| studio para alugar república | República | 2,900 | 67 | 6 |
| casa à venda butantã | Butantã | 2,400 | 44 | 3 |
| cobertura santana | Santana | 1,300 | 未进前 100 | 7 |
| apartamento perto do metrô lapa | Lapa | 1,000 | 未进前 100 | 4 |
varanda-imoveis.example › busca?bairro=pinheiros&ordem=preco&pagina=3
Busca de imóveis - Varanda
Encontre imóveis. Resultados da busca para pinheiros ordenados por preço…
varanda-imoveis.example › imoveis › sp › pinheiros › aluguel
Apartamentos para alugar em Pinheiros, SP | Varanda Imóveis
412 apartamentos disponíveis · aluguel mediano R$ 4.300 · linha 4-Amarela e 2 estações de metrô.
针对搜索词“apartamento para alugar pinheiros”的示意性搜索结果页模拟。排名、页面文案和房源数量均为示意用途的建模数据。
重建您的城市
有数百个地点或分类页面被 Google 忽视?Signal 先把地基修好,再在上面盖楼。