驗證碼每出現一次,你的機票比價平台就虧一次錢:旅遊資料團隊的現場筆記

旅遊比價搜尋的生死取決於票價的新鮮度。問題在於,航空公司與 OTA(線上旅遊平台)把最兇悍的反爬蟲防禦,恰恰部署在最有價值的地方——動態定價頁、分地區票價、依連線階段變動的費率。本文整理旅遊資料團隊最常撞上的五種失敗模式、每一種的真實成本,以及能修好它們的採集架構。

這是一份現場筆記,不是白皮書。以下全部來自票價聚合管線在生產環境中真實故障時出現的模式。

筆記一:你顯示的票價,早就死了

比價平台的核心承諾是「你看到的價格,就是訂得到的價格」。這個承諾被打破的次數一多,用戶就流向競品——但要在數百家航空公司、OTA 與飯店平台之間維持價格新鮮,是一個沒有天然上限的採集問題。

算一下「過期」的帳。每 6 小時刷新一次的飯店價格頁,最多可能錯 6 小時。在需求高峰——連假、大型活動、限時特價——房價與票價是逐分鐘在變的。認真量測過的團隊通常會發現:N 小時的過期窗口,會直接換算成可量測的訂單流失率,因為最先顯示新價格的聚合器,拿走那一次點擊。

不舒服的結論是:新鮮度是採集頻率的問題,採集頻率是成本的問題,而大多數新鮮度策略,最後都靜靜死在成本這一關。

筆記二:五種失敗模式,各自燒掉什麼

失敗模式使用者看到什麼你付出什麼代價
飯店頁出現驗證碼牆「價格無法取得」點擊流向查得到價格的競品
地理位置不符的票價(市場錯置)顯示價 ≠ 結帳價信任受損、客服案件、退款糾紛
漏抓連線階段定價轉跳後價格跳漲轉跳步驟的轉換率下滑
資料中心 IP 被封某地區資料默默出現缺口區域涵蓋破洞,「比遍全網」的承諾失守
OTA 頁面改版解析器回傳空值工程師修好幾天、髒資料累積好幾週

這五種裡,兩種是純基礎設施問題(IP 品質、地理定位),兩種是解析問題,一種兩者皆是。整個產業慢慢想通的一件事是:不該用解析的力氣去解基礎設施的問題,也不該反過來。

筆記三:最後勝出的架構長這樣

不再逐項硬碰硬的旅遊團隊,收斂出了一套分層做法:

第一層——對大型目標用現成爬蟲。 主要 OTA 與飯店平台是高度標準化的目標。Thordata 的 Web Scraper API 內建超過 120 個現成爬蟲,涵蓋 Booking.com 等主要旅遊平台,驗證碼破解、JavaScript 渲染與結構化 JSON 輸出全部包含。計費約為入門量每 1,000 筆結果 $1.00、量價約 每 1,000 筆 $0.50,且按交付結果計費而非按嘗試計費。驗證碼出現時在上游就解決,永遠不會以「失敗嘗試」的名義進到你的帳單。

第二層——對難纏的中型目標用解鎖器。 有自建反爬機制的區域性航空公司與中型 OTA,不值得為它們寫專用爬蟲,但一般流量又會被擋。Thordata 的 Web Unlocker 處理 IP 輪替、指紋管理與重試邏輯,約 每 1,000 次回應 $1.00–$1.30——對更新頻率沒那麼高的目標,這是正確的價格帶。

第三層——對長尾用原始住宅代理。 小型航空公司官網與利基訂房引擎,只需要來自正確地理位置的可信住宅流量。Thordata 的住宅池涵蓋 190 多個國家,支援城市與 ASN 層級定位,價格採透明滑桿:1 GB 時 $2.00/GB,5,000 GB 時降至 $0.65/GB。

第一層的最小呼叫長這樣:

from thordata import Thordata

client = Thordata(api_key="YOUR_API_KEY")

def get_fare(hotel_id: str, market: str):
    task = client.scrape(
        scraper="booking_hotel",        # 現成目標
        query=hotel_id,
        domain=market,                  # 例如 "com"、"de"、"co.jp"
        geo=market,                     # 從正確的市場採集
        output_format="json",
    )
    return {
        "hotel": hotel_id,
        "nightly_rate": task.result.get("price"),
        "currency": task.result.get("currency"),
        "rooms_left": task.result.get("availability"),
        "fetched_at": task.created_at,
    }

旅遊團隊最在乎的是 geo 參數:柏林市場的房價就是透過柏林連線採回來的,而不是事後推估。

筆記四:別忘了旅遊本質上是搜尋生意

票價只是半張圖。另外半張是你的頁面排名——排名第八頁上的完美價格,拿到的流量遠少於排名第二頁上的普通價格。旅遊關鍵字(「東京機票」「澀谷飯店」)是搜尋世界裡最有價值也最善變的一批,隨季節需求與廣告版位持續洗牌。

所以成熟的旅遊資料架構,會把票價採集與持續排名監控配成一對。Thordata 的 SERP 監控解決方案按排程交付結構化的 Google 與 Bing 結果——自然排名、精選摘要、廣告——量價約 每 1,000 次回應 $0.70,內建驗證碼處理。票價新鮮度與排名新鮮度,從此不再是兩筆各自為政的預算。

筆記五:把預算會議變成一道算術題

以下是我們會跟任何旅遊資料團隊一起做的練習。把目標數量乘上更新頻率,按「按結果計費」逐一計價:

組件規模假設每月大約成本
飯店/OTA 票價(現成爬蟲)30,000 間房源 × 每日 4 次360 萬筆 ≈ $1,800–3,600
中型目標解鎖流量每月 50 萬次回應≈ $500–650
長尾住宅流量每月 200 GB≈ $200–280
排名監控(SERP API)5 萬組關鍵字 × 每日150 萬次回應 ≈ $1,050

你的數字會不同;重點是每一行都變得可預測、與封鎖率脫鉤,而且擺脫了「失敗嘗試到底燒了多少流量」這種讓代理預算預測變成玄學的模糊地帶。Scraper 與 SERP API 的免費試用額度,讓你可以先驗證最大的兩行,再花任何一毛錢。

旅遊團隊最常問的三個問題

連線階段定價怎麼處理——那種一點進去就變動的票價? 用黏性連線採集(Thordata 支援最長 30–90 分鐘的連線階段),讓你抓價的連線與使用者轉跳的連線共享階段上下文。無法完全消除轉跳落差——那是 OTA 的設計——但相較單次請求採集,能明顯縮小差距。

我們已經為前 20 大 OTA 寫好解析器了,要丟掉嗎? 不用。評估期間平行運行,比較成功率與「每筆交付票價的成本」。多數團隊最後保留一兩個高價值目標的自建解析器,其餘移往受管採集,把工程時間釋放到真正差異化的分析層。

這對旅遊 SEO 也適用嗎——不只票價資料? 適用,而且通常是相對於票價採集被嚴重低估的一塊。旅遊關鍵字隨季節與廣告支出波動;持續 SERP 資料爬取服務追蹤自然與付費排名的時間序列,讓你逐週看清哪些目的地的頁面正在贏得或失去能見度。

最重要的一則筆記

在旅遊聚合這行勝出的團隊,早已不再把資料採集視為背景成本中心,而是把它當產品本身經營:票價新鮮度是有負責人的儀表板指標;SERP 能見度與轉換率用同一種嚴謹度追蹤;採集成本是每千筆票價一個已知數字,而不是月底的驚喜。從免費試用額度開始,把一個市場端到端地布建起來,讓新鮮度的數字自己說服你擴大到其他市場。