Context.dev 網頁爬蟲 API：擷取 AI 需要的網站資料

白話介紹：這個網站到底能做什麼？

Context.dev 是供應用程式呼叫的網頁爬蟲 API。開發者送出網址後，它會讀取網頁，將內容轉成 Markdown、HTML、截圖或指定欄位，讓自己的程式接著處理。你可以把它想成替 AI 蒐集網路資料的服務，省下維護瀏覽器、代理與重試系統的部分工作。

服務由 Context Dev Inc. 營運，適合 AI Agent、網站資料匯入、研究工具及變更追蹤。Markdown 是保留標題、清單等結構的文字格式；RAG 則是讓 AI 先查資料再回答。Context.dev 負責取得來源內容，資料庫、索引與最終回答仍由你的應用安排。

網頁擷取與整站爬取怎麼選？

有明確網址時，用 Scrape 取得正文、渲染後 HTML、畫面截圖、圖片或符合 JSON Schema 的結構化欄位。需要提供模型閱讀時可選 Markdown；需要視覺紀錄時可選截圖。同一個請求能指定多種輸出，但每個輸出都要分別檢查是否成功。

如果還不知道網站有哪些頁面，先用 Map 找出網址，再篩選文件、產品等有用路徑。Crawl 會從起始頁沿連結讀取內容，一次最多回傳 500 頁 Markdown，可控制頁數、深度與路徑。更大型的採集則使用 Batches 背景執行，透過輪詢或 webhook 取得結果。

建議先測試少量代表性頁面，確認正文、程式碼與來源連結都符合需求，再交給自己的知識庫索引流程。Scrape 預設可能沿用三天內的快取；需要重新取得頁面時設定 maxAgeMs: 0。

搜尋、研究答案與持續追蹤變更

Search 從查詢詞找出網址、標題和摘要，也能附帶 Markdown。Answers 則接受研究任務與範例 JSON，整理答案並附上來源網址。前者協助找資料，後者協助彙整研究結果；重要結論仍應回到來源核對。

Monitors 適合追蹤更新日誌、定價頁或站點地圖的變化。服務先建立基準，再依排程比較後續內容，支援文字差異及依指示判斷相關變更。接收通知時要驗證簽章、去除重複事件並檢查失敗執行；第一次基準擷取不會直接發出變更通知。

另外，Brand 可依網域取得公司資訊、Logo 與品牌色，Styleguide 能擷取字體、間距和元件樣式，可用於產品導入與品牌個人化。

串接流程：先完成一次成功擷取

1. 註冊並取得 API 密鑰，放在伺服器端保管。
2. 依官方快速入門選用 cURL 或 TypeScript、Python、Ruby、Go、PHP SDK。
3. 向 https://api.context.dev/v1/web/scrape 發送 POST，使用 Bearer 驗證，提供 url 與 formats: { "markdown": true }；可用 sharedParams.mainContentOnly 聚焦主內容。
4. 先查看 markdown.success，再使用 markdown.data；HTTP 200 仍可能包含失敗的個別輸出。
5. 檢查樣本與來源後，再擴大爬取範圍。

支援遠端 MCP 的工具可依MCP 串接說明，連線至 https://mcp.context.dev/mcp 並以 OAuth 登入；工具呼叫會消耗所連結組織的點數。

免費方案、美元價格與點數限制

2026 年 10 月 15 日核實的公開美元月付價格為：Developer 19 美元／月、Pro 99 美元／月、Growth 299 美元／月、Scale 499 美元／月，對應每月 7,500、125,000、500,000、1,000,000 API 點數。Enterprise 另行報價；年繳、稅費及實際結帳條件請查官方方案頁，這些數字並非新臺幣報價。

Free 每月有 1,000 API 點數，不需信用卡。一般 Scrape 從 1 點起，加入瀏覽器操作後基礎為 2 點，成功的 JSON 擷取另外加 4 點。因此點數不能一律換算成頁數。Logo Link 是獨立配額，免費檔包含一次性 10,000 次。

部分輸出成功與目標 404 仍可能計費。付費方案啟用 Auto-Topup 後可增加收費點數，支出提醒不等於停止消費的硬上限。實際並行與速率權限以組織控制台為準。

資料處理與零保留的適用範圍

隱私政策允許在適用法律、DPA 與個別限制下，將查詢及結果用於服務改進與模型訓練。一般請求並非自動零保留。

ZDR 說明要求先開通組織權限，再於支援的請求中啟用，並確認 X-Context-ZDR: true。Batches、Monitors 與 Brand retrieval 不支援此請求模式，PDF OCR 在 ZDR 下會略過。自己的應用仍須管理儲存與日誌；取得網頁、圖片或 Logo，也不代表獲得第三方內容的再利用授權。

常見問題

免費點數每個月都有嗎？

Free 的 1,000 API 點數按月提供；Logo Link 的免費 10,000 次則是一次性獨立額度，兩者要分開計算。

擷取動態網頁需要另買代理嗎？

官方將 JavaScript 渲染與代理納入基礎擷取價格。不過瀏覽器操作、JSON 提取及其他附加輸出可能提高點數消耗，仍需測試目標網站。

想建立 RAG，是直接拿 Crawl 結果就完成了嗎？

Crawl 提供多頁 Markdown。你仍需檢查內容、保留來源，並在自己的應用處理儲存、切分與索引。

使用 MCP 就會自動啟用 ZDR 嗎？

不會。MCP 是串接方式，ZDR 需要額外的組織權限與請求設定，且不是所有端點都支援。

官方資源與開發者管道

• 官方 SDK 文件：查閱支援語言與接入要求。
• 服務狀態：查看服務可用性。
• 官方聯絡頁：詢問支援或商務條件。
• 官方 X 帳號：產品公告。