HUIYOU GEO9 月 15 日起，所有新接入 Cloudflare 的域名，在展示广告的页面上会默认拒绝两类 AI 流量：「Training」（抓取内容训练或微调模型）与「Agent」（代表用户实时执行任务），只放行「Search」（为检索建索引的爬虫）。这套三分类控制于 2026 年 7 月 1 日上线，9 月 15 日正式改变默认值——已接入的老域名保留原有设置，需要站主自行去后台逐项确认。Cloudflare 给出的理由很直白：页面挂广告，说明站主本来期待真人到访；训练爬虫和 Agent 读完就走，广告没有任何人看见。Cloudflare CEO Matthew Prince 在 The Verge 播客访谈中提到，其网络上的自动化流量已在 2026 年年中超过人类流量。把默认值从「允许除非禁止」翻转成「禁止除非许可」，等于把谈判筹码交回内容方手中。
但这里有个容易被忽略的陷阱：Cloudflare 采用「最严格规则优先」，一个爬虫若身兼多职，就按最严的那条处理。官方公告点名 Googlebot、Applebot、BingBot 属于多用途爬虫——一旦页面屏蔽了 Training，这些爬虫在该页上也会被一并拦下，等于同时退出传统搜索和 AI 答案。想只拒绝训练、保留搜索，分离动作要落到 robots.txt 层面才安全：谷歌用 Google-Extended 令牌声明「不用于训练」，苹果用 Applebot-Extended，微软对同一偏好的支持仍在推进中。落到企业自己的官网上，这次默认值变更影响有限——产品页、定价页、方案页通常不挂广告；真正被改变的是靠广告变现的评测站、比价站与资讯站，而这些恰恰是 AI 回答里最常被引用的第三方信源。它们若被 Agent 与部分多用途爬虫挡在门外，AI 答案会更依赖仍然可读的内容：企业自己的官网，以及签了授权协议的页面。
Cloudflare Radar 的数据把「该封谁」算得很清楚：2026 年 7 月，Google 每爬取 5 个页面回引荐 1 次访问，OpenAI 是 251:1，Anthropic 是 1917:1。Anthropic 一年前这个数字还是 38744:1，一年改善约 20 倍，仍是规模级运营商里回报最差的一家。换算成直觉就明白：封掉一个 1917:1 的训练爬虫，几乎不损失引荐；而封掉 Google 的搜索爬虫，损失的是每 5 页回来 1 次访问的通道。更细的分工藏在爬虫命名里——OpenAI 至少运行三个爬虫：GPTBot 负责训练、OAI-SearchBot 负责为 ChatGPT 搜索建索引、ChatGPT-User 负责在回答当下实时抓取单个页面，三者里只有后两个可能带来引用与访问，GPTBot 永远不会回链。所以「要不要放行 AI 爬虫」不是一道是非题，至少是三道分开的选择题；混淆它们的代价，是把能带来客户的通道和只带走内容的通道一起关掉。
商业侧几乎同步给出信号：一周之内，谷歌、Cloudflare、微软各自推出了一套 AI 内容补偿模型。谷歌的 AI Contribution Pilot 由谷歌自行判断内容是否对 AI 回答有「重大贡献」并据此付费，计算过程不对外公开；Cloudflare 把此前的 Pay Per Crawl 转向 Pay Per Use——发布者按内容真实出现在 AI 答案中被计价，而不是按被抓取的次数；微软的发布者市场则让发布者自行定义许可与使用条款并附带使用报告。三套模型口径不同，但收口方向一致：计价的锚点从「抓取」移到了「引用」——抓取动作本身不值钱，被 AI 答案引用才值钱。同一时间轴上看，搜索前台的可见性变化也在加速：Comscore 报告显示美国桌面搜索中 AI Overviews 覆盖率已达 39.4%，而宾大与东北大学的随机对照实验发现，强制进入 AI Mode 会让外链点击下降 18.8 个百分点。内容被看见的位置在变少，被引用的位置却在变贵——这正是爬虫政策与 GEO 策略同时收紧的底层原因。
信息来源：Cloudflare 官方博客《Your site, your rules: new AI traffic options for all customers》（2026-07-01）及 9 月 15 日 AI 爬虫默认值公告、Cloudflare AI Crawl Control 文档；Search Engine Journal 独立分析（经 Linkloot、Presenc AI 汇总，含 Google-Extended / Applebot-Extended 实现差异）；TechCrunch；Cloudflare Radar 爬取-引荐比数据（2026 年 7 月，经 Resourcera《Claude AI Statistics 2026》汇总）；The Verge《Decoder》播客 Matthew Prince 访谈；RebelMouse 与 Fruition Weekly Brief（2026-09-23）关于三家平台内容补偿模型的汇总报道；Comscore Q2 2026 报告与宾夕法尼亚大学、东北大学随机对照实验（arXiv，2026-08-18，经 Search Engine Journal 2026-09-21 报道）。
爬虫政策看起来是技术运维的事，实质是 GEO 的前提条件：内容写得再好，检索类爬虫进不来，就永远进不了 AI 的候选池。这次默认值变更给品牌的提醒是——先分清三类爬虫，再决定放行谁；同时别忘了，AI 引用大量来自第三方评测站与行业媒体，如果这些信源被大面积关闭，AI 答案会进一步向「谁的内容可读、谁被授权」倾斜。这正是广州汇有信息科技做 GEO 搜索推广的日常起点：先看品牌在 DeepSeek、豆包、ChatGPT 里被不被引用、被谁抢走了位置，再决定内容投在哪、信源怎么布。想知道自己现在的真实处境，可以先用免费《品牌 AI 可见性诊断报告》拿基线——窗口收窄的时候，先看清位置比先加大预算更重要。
