重复内容
54
个近乎重复的 URL
每个校区九个招生页面、两种语言,每一页都是雷姆岛页面的翻版,只改了一个词。Google 把它们归为一组,并把雷姆岛选作三个校区共同的规范页。
UFUQ ACADEMY · K-12 国际学校集团,3 个校区 · 阿布扎比
9 个月内自然搜索招生咨询增长 64%
9 个月 · 中东和非洲 · Signal 方案 · Robots.txt 与抓取控制 · 校区页面与 canonical · Hreflang(英语/阿拉伯语) · HTML 学费页与结构化数据
自然搜索招生咨询 · 第 9 个月
每月 118 → 194
+64%
01任务书
各校区的招生页面互相复制,robots.txt 屏蔽了阿拉伯语目录,学费表只有 PDF 版本,家长始终找不到具体校区的信息。
家长是一个校区一个校区地挑学校的:通勤距离、学段、明年九月四年级的学费。Ufuq 的网站给他们的,却是同一张招生页面复制三遍、只换了校区名;一个被明令禁止搜索引擎访问的阿拉伯语版本;以及只能以 PDF 下载的学费表。Google 保留了雷姆岛的页面,悄悄过滤掉另外两个,于是搜索哈利法城或萨迪亚特岛的家庭,不是落到了错误的校区,就是去了竞争对手那里。
雷姆岛
1,050 名学生
原版
哈利法城
780 名学生
94% 相同
萨迪亚特岛
570 名学生
96% 相同
User-agent: *
Disallow: /ar/
Disallow: /search?一行代码藏起了整个阿拉伯语网站
没有一处能被搜索引擎引用
02测量
重复内容
54
个近乎重复的 URL
每个校区九个招生页面、两种语言,每一页都是雷姆岛页面的翻版,只改了一个词。Google 把它们归为一组,并把雷姆岛选作三个校区共同的规范页。
robots.txt
312
个阿拉伯语 URL 被屏蔽
一行 Disallow: /ar/,是两年前测试环境上线时遗留下来的。阿拉伯语页面早已完成并有链接指向,却没有任何爬虫被允许读取。
学费表
18
份只有 PDF 的学费文件
每个校区的幼儿园、小学和中学学费,英文和阿拉伯文各一份,全是扫描版 PDF。没有任何 HTML 页面回答“学费是多少”——这恰恰是招生方面搜索量最大的问题。
规范页选择
1 / 3
个校区可见
Search Console 在 34 个哈利法城和萨迪亚特岛的 URL 上显示“重复网页,Google 选择的规范网页与用户指定的不同”。搜它们自己的名字,结果却指向雷姆岛。
重写 robots.txt,只屏蔽真正不值得抓取的内容(日历订阅源、站内搜索),绝不屏蔽正文内容。删除 /ar/ 的 Disallow,按语言分别提交 XML 站点地图,每次改动上线前都在 robots.txt 报告中核对。
每个校区都有了自己的招生页面,内容真正因地而异:校车路线、各学段招生名额、开放日、校区校长、校区自己的照片。每个页面都以自身为规范页,没有任何跨校区的 canonical。
每个页面的英文版和阿拉伯文版现在通过 hreflang en-AE 与 ar-AE 互相指向,并设有 x-default。阿拉伯语模板从右到左排版,拥有独立的标题和元描述。
18 份 PDF 变成 6 个 HTML 学费页面,每个校区每种语言各一个,配有逐年级学费表、付款条款以及 School 和 Offer 结构化数据。PDF 仍可下载,从页面上链接过去。
04Robots 量角器
把量角臂转到一个目录,再给它一条规则。内弧是 robots.txt:它决定爬虫能去哪里。外弧是索引:noindex 和 canonical 决定索引保留什么,而爬虫只有在被允许读取的页面上才能遵守它们。
robots.txt · 抓取控制
Disallow 把爬虫挡在门外,但不会把页面从搜索结果中移除:被屏蔽却有链接指向的 URL 仍可能出现在结果里,只是没有摘要。
noindex · canonical · 索引控制
noindex 让页面退出索引;canonical 把它并入另一个页面。两者都写在页面本身,所以页面必须能被抓取,规则才会生效。
方向键可转动量角臂。
目录
雷姆岛 · 阿拉伯语
未抓取只有 URL,无摘要
雷姆岛 · 阿拉伯语:未抓取,只有 URL,无摘要。 爬虫止步于 robots.txt,从未读取页面。有链接指向的 URL 仍可能出现,但光秃秃的,没有描述。
User-agent: * Disallow: /ar/al-reem/ Disallow: /ar/khalifa-city/ Disallow: /ar/saadiyat/ Disallow: /search? Sitemap: https://ufuqacademy.example/sitemap-en.xml Sitemap: https://ufuqacademy.example/sitemap-ar.xml
无论这里写了什么,爬虫都读不到。
爬虫读不到的规则,就是它无法遵守的规则。
05逐月进展
1 · 第 1 个月
全面抓取两种语言版本,分析服务器日志、Search Console 覆盖率,并按校区标记招生转化漏斗。
2 · 第 2 个月
删除 Disallow: /ar/,按语言提交站点地图,所有模板上线 hreflang en-AE / ar-AE。
3 · 第 3–4 个月
与各校区团队一起重写招生内容:每种语言 27 个页面,每页都有自己的 canonical。
4 · 第 5–6 个月
六个学费页面,配逐年级学费表和结构化数据;18 份 PDF 作为下载从页面链接。
5 · 第 7–9 个月
从各校区主页加入内链,每月检查覆盖率,并在部署流程中加入上线前的 robots.txt 测试。
06成果
自然搜索招生咨询
+64%
每月咨询 118 → 194
已收录的阿拉伯语 URL
0 → 312
三个校区都有阿拉伯语页面
近乎重复的招生 URL
54 → 0
54 个招生页面,每页只为一个校区而写
学费页面每月自然点击
90 → 1,240
6 个 HTML 学费页面取代 PDF
这是为虚构企业建模的情景,并非客户成果。排名、流量和咨询量从不保证;详见我们的条款。
| 原样搜索词 | 校区 | 第 0 个月 | 第 9 个月 |
|---|---|---|---|
| international school al reem island | 雷姆岛 | #9 | #2 |
| khalifa city school fees | 哈利法城 | 50+ | #4 |
| saadiyat school admissions | 萨迪亚特岛 | #31 | #3 |
| تسجيل مدرسة جزيرة الريم | 雷姆岛 | 50+ | #2 |
| رسوم المدارس مدينة خليفة | 哈利法城 | 50+ | #5 |
| مدرسة دولية جزيرة السعديات | 萨迪亚特岛 | 50+ | #3 |
家长实际输入的英文和阿拉伯文搜索词;阿布扎比的排名位置,为建模数据。