AI 网页搜索与抓取 API

AI 网页搜索与抓取 API 为应用提供受管理的实时网页访问能力，可发现来源，把网页转换为干净文本或结构化数据，再将上下文交给智能体。本标签适用于以网页搜索、抓取、爬取或提取为核心的开发者 API；只有浏览器自动化而没有可复用数据接口的工具不在此范围。

按检索任务选择接口

当智能体从一个问题出发并需要发现来源时，应看搜索接口；已经知道 URL，需要 Markdown、元数据或按 schema 输出 JSON 时，应看 scrape 或 extract。需要处理同一站点的多个页面时，crawl 和 map 更重要。还要检查 JavaScript 渲染、PDF、登录与交互页面支持。

比较可靠性、证据和成本

测试来源新鲜度、失败页面处理、去重、来源链接，以及域名、国家和搜索深度筛选。采集前应查看 robots.txt 与目标网站条款。用真实的搜索、动态页面和大型爬取组合比较积分或请求成本。

常见问题

搜索 API 和网页抓取 API 是一回事吗？

不是。搜索负责发现相关 URL，抓取负责读取并清理已知页面。有些平台同时提供两者，但覆盖范围、延迟与计费可能不同。

应该向 AI 智能体提供什么结果？

优先提供可追溯 URL，以及干净的相关内容或结构化字段。保留来源信息，让用户能够检查原始页面，而不是把生成摘要直接当成证据。