当AI公司为训练模型而疯狂抓取网页内容时，站长们面临一个两难：直接屏蔽所有AI爬虫，可能会误伤搜索引擎的正常索引，从而影响SEO排名；放任不管，又会导致服务器带宽被占用，甚至广告页面被“扒走”数据影响变现。Cloudflare 提供了一个“既要…又要…”的解法——不是一刀切拒之门外，而是把AI流量拆成三个篮子，让你对搜索爬虫、Agent爬虫和训练爬虫分别说“是”或“不”。

三类爬虫，三种命运
Cloudflare 的新仪表板将AI爬虫分为：
– 搜索爬虫：来自Google、Bing等主流搜索引擎，用于构建搜索索引。站长通常需要放行，否则网站将从搜索结果中消失。
– 智能体（Agent）爬虫：由AI助手或应用驱动的“主动探针”，例如一些智能客服、RAG系统的后台数据采集。它们可能频繁调用API或抓取最新内容，但不一定用于模型训练。
– 训练爬虫：专为训练大模型而设计的抓取程序，如GPTBot、Claude Crawler等。这类爬虫通常一次性批量抓取海量数据，对服务器负载冲击最大，且不直接受“禁止在robots.txt中抓取”约束（部分遵守）。

过去，站长只能通过robots.txt或IP黑名单模糊处理，但AI爬虫标识参差不齐，效果有限。Cloudflare 的区分方式基于流量特征和已知User-Agent签名，让管理者能为训练爬虫设定严格的速率限制甚至全量屏蔽，同时保留搜索爬虫的自由访问。更重要的是，这种控制可以在边缘节点执行，无需修改源站配置，对性能和运维成本几乎无影响。

广告页面的“护城河”
另一个实用新增功能是保护广告变现页面。很多站长依靠程序化广告赚取收入，而AI爬虫的批量抓取可能导致广告位“虚填”——例如爬虫模拟用户点击或加载广告，造成无效流量并被广告平台惩罚。Cloudflare 允许你指定某些URL路径（如广告落地页、点击统计端点）完全对AI爬虫隐身，甚至返回错误码。这意味着你可以同时维持对普通用户的正常体验，又避免AI机器人“污染”广告数据漏斗。

行业背景与落地建议
这一功能的推出恰逢AI爬虫激增的节点。据Imperva数据，截至2025年中，AI爬虫已占全球Web流量的约8%，且增速远超传统搜索爬虫。但直接屏蔽可能导致“误杀”——例如一些搜索引擎也在使用类AI架构，区分不清会影响收录。Cloudflare 的三分类方案实际上建立了一个信任等级：搜索爬虫继续通行（需支持SEO）、Agent爬虫需审查（可能带来有价值的API流量）、训练爬虫可自由拒绝（无合作价值的纯消耗）。

对于站长而言，建议先开启“监控模式”观察一周，看看各分类爬虫的实际流量占比与对服务器资源的消耗。多数情况下，训练爬虫占比最高但无商业回报，可以直接限制；如果网站依靠AI助手的内容聚合获取用户，则保留Agent爬虫并设置速率阈值。同时，务必测试广告页面的屏蔽效果——确保真实用户点击不受影响，而AI请求被误判的比例低于0.1%。 Cloudflare 提供了按IP、地域、时段的精细化规则，值得花时间调试出一套适合自身业务组合的策略。

最终，这不仅是运维工具，更是一场数据使用权的博弈。当AI公司越来越依赖公开网页训练模型，网站所有者能否用技术手段维护自己的内容价值？Cloudflare 用三类标签给出了一个可落地的答案，但长期来看，行业需要更统一的AI爬虫标识标准和法律框架，而非依赖第三方CDN的“土办法”。在此之前，先抓住这个精细控制的窗口期，总比被动挨打强。