FARWANDER TRAVEL — Online travel agency, 2M+ page · Seattle
Paano napa-crawl ng isang 2-milyong-page na travel marketplace sa Google ang mga page na kumikita
CRAWL SHARE NG REVENUE PAGE
30% → 78%
Sa loob ng 16 buwan sa Signal plan: inilipat ang Googlebot mula sa junk na airspace papunta sa mga page na nagbu-book.
CONTROLLER CONSOLE · PUMILI NG PHASE
BUWAN 1 · ATC → GOOGLEBOT
GOOGLEBOT, RADAR CONTACT. NAKA-HOLDING KAYO SA IBABAW NG FILTERED-SEARCH NA AIRSPACE. PITO SA BAWAT SAMPUNG REQUEST ANG LUMALAPAG SA JUNK.
Readback: Naka-holding. Huling nabisita ang mga destination page 19 araw na ang nakalipas.
- REVENUE CRAWL SHARE
- 30%
- RECRAWL NG KEY PAGE
- 19araw
MGA REVENUE PAGEJUNK · 70%
01Ang hamon
Dalawang milyong page, pero paikot-ikot ang crawler sa mga maling page.
70% ng crawl ng Googlebot ay napupunta sa expired na deal at filtered search page. Ilang linggo ang hinihintay ng mga high-margin na destination page bago ma-recrawl matapos magbago ang presyo.
Sa isang travel marketplace, pera ang sariwang impormasyon. Kapag bumaba nang $120 ang isang Lisbon package pero presyo pa rin noong nakaraang buwan ang ipinapakita ng Google, sa iba napupunta ang click. Ginawang masikip na airspace ng mga search filter, sort order at tapos nang deal ng Farwander ang buong site: abala ang Googlebot, pero hindi kailanman sa mga page na nagbu-book.
GOOGLEBOT HITS AYON SA URL CLASS · 30-ARAW NA LOG SAMPLE, BUWAN 0
- Na-filter at na-sort na search41%
- Expired na deal (200 OK)22%
- Session at print parameter7%
- Mga revenue page30%
02Diagnosis · mga abiso sa piloto
Anim na panganib sa mapa, lahat nakita sa logs bago pa galawin ang kahit isang template.
NOTAM 01LOG FILES
11.8M na Googlebot request sa 30-araw na sample; 8.3M dito ang tumama sa faceted search, expired na deal at mga parameter duplicate.
NOTAM 02FACETS
1.4M na crawlable na kombinasyon ng filter (presyo × stars × board × petsa), bawat isa self-canonical at naka-link mula sa bawat results page.
NOTAM 03EXPIRED NA DEAL
212,000 na tapos nang offer ang sumasagot pa rin ng 200 OK na may banner na “tapos na ang deal” — mga soft 404 na paulit-ulit binabalikan ng Google.
NOTAM 04SITEMAPS
380,000 na URL sa sitemap ang non-canonical o naka-redirect; nilalagyan ng lastmod ang bawat build, kaya wala itong naibibigay na signal.
NOTAM 05ARKITEKTURA
9% ng mga destination page ang orphaned, at 7 click ang layo ng median na revenue page mula sa homepage.
NOTAM 06TEMPLATES
428,000 na programmatic na “hotels near X” page ang may wala pang 80 natatanging salita at walang inventory — thin kahit saan tingnan.
03Ang estratehiya · naka-file na flight plan
Isara muna ang junk na airspace, saka buuin ang mga corridor.
Apat na vector, sunud-sunod na nilipad, sa aming Signal plan. Sukatin muna, tanggalin ang sayang, saka bigyan ang crawler ng mas maikli at mas malinaw na ruta papunta sa bawat page na puwedeng tumanggap ng booking.
- VEC-1HDG 030
Log-file analysis
Ipinapasok araw-araw ang server logs sa isang Googlebot report, na bine-verify sa reverse DNS. Bawat URL class ay may sariling crawl share, status mix at petsa ng huling hit, kaya nasusukat sa hits ang bawat sumunod na pagbabago, hindi sa hula.
- VEC-2HDG 060
Crawl budget
Naka-disallow sa robots.txt ang sort, session at print parameter; hindi na nali-link ang mga facet na lampas sa dalawang filter; 410 na ang ibinabalik ng expired na deal, may link sa live na destinasyon; hinati ang sitemaps ayon sa template, at may lastmod lang kapag totoong nagbago ang presyo.
- VEC-3HDG 090
Programmatic SEO
Binuo ulit ang mga template batay sa live na inventory: gagawa lang ng page kung may hindi bababa sa 12 bookable na opsyon at sariling price data. 640,000 na thin page ang pinagsama o tinanggal; nagkaroon ng fare table at seasonal guide ang mga natira.
- VEC-4HDG 120
Internal linking
Mga hub na rehiyon → bansa → lungsod, kasama ang mga price-change module na nagli-link sa mga bagong update na deal mula sa homepage at mga hub. Bumaba mula 7 hanggang 3 ang median na click depth ng mga revenue page.
04Timeline · mga flight progress strip
16 buwan, isang strip bawat buwan.
- 01LOGCRAWL 30%Live na ang log pipeline; nakuha ang 30-araw na Googlebot baseline
- 02AUDCRAWL 31%URL-class audit: 1.4M na facet combo, 212k na expired na deal
- 03ROBCRAWL 33%Na-disallow ang sort, session at print parameter
- 04410CRAWL 36%Expired na deal: mula 200 OK, naging 410 Gone
- 05FACCRAWL 41%Hindi na nali-link ang mga facet na lampas sa dalawang filter
- 06MAPCRAWL 47%Hinati ang sitemaps ayon sa template; nakatali ang lastmod sa pagbabago ng presyo
- 07PRGCRAWL 53%May inventory threshold na ang mga programmatic template
- 08PRNCRAWL 58%Unang 450k na thin page, pinagsama o tinanggal
- 09HUBCRAWL 62%Inilunsad ang mga hub na rehiyon → bansa → lungsod
- 10LNKCRAWL 66%Price-change module sa homepage at mga hub
- 11TPLCRAWL 69%Fare table at seasonal guide sa mga natirang page
- 12PRNCRAWL 72%Tapos ang pruning sa 620k; na-map ang mga redirect
- 13QACRAWL 74%Soft-404 sweep; orphan rate wala pang 1%
- 14MONCRAWL 76%Recrawl latency alert sa top 5,000 na page
- 15TUNCRAWL 77%Tinanggal ang huling 20k na thin page; 640k lahat
- 16HLDCRAWL 78%Steady state: 78% crawl share, recrawl sa loob ng 2 araw
05Resulta · landing report
Ngayon, ginagastos na ng crawler ang gasolina nito kung nasaan ang booking.
Modelled na senaryo para sa isang kathang-isip na negosyo — hindi resulta ng totoong kliyente. Hindi kailanman garantisado ang ranking at traffic; tingnan ang aming Terms.
CRAWL SHARE SA MGA REVENUE PAGE
30% → 78%
AVG. NA RECRAWL TIME (KEY PAGE)
19 araw → 2 araw
ORGANIC BOOKING
+41%
NA-PRUNE NA THIN PAGE
640,000
| QUERY | LANDING PAGE | BAGO | PAGKATAPOS | Δ |
|---|---|---|---|---|
| lisbon city break deals | /destinations/lisbon | #14 | #3 | ▲11 |
| kyoto ryokan packages | /hotels/kyoto | #22 | #5 | ▲17 |
| last minute greece holidays | /deals/greece-live | #18 | #4 | ▲14 |
| iceland northern lights tours | /destinations/iceland | #11 | #2 | ▲9 |
| all inclusive cancun from seattle | /packages/cancun | #27 | #6 | ▲21 |
| patagonia trekking tour | /tours/patagonia | #24 | #4 | ▲20 |
| amalfi coast hotels with pool | /hotels/amalfi | #19 | #7 | ▲12 |
| costa rica family vacation package | /packages/costa-rica | #31 | #8 | ▲23 |
06Ang inyong clearance
Kumuha ng ganitong plano
Malaking catalog, mabagal na recrawl, crawler na naiipit sa inyong mga filter? Doon kami nagsisimula kung saan nagsimula ang Farwander: sa logs.