HUIYOU GEO10 月 30 日，OpenAI、谷歌、微软、Anthropic 四家同步表态，支持一项写进 robots.txt 的共享「策略令牌」：网站只要放一条规则，就能一次性对多家 AI 公司声明内容能否用于模型训练，不必再逐家去写 GPTBot、ClaudeBot、Google-Extended 那几串名字。草案由 Anthropic 标准化技术负责人 Kevin Kelley 提交给 IETF 的 AIPREF 工作组，编号 draft-kelley-aipref-training-preference-signal-00；国内 IT 之家 11 月 1 日晚间跟进报道。机制本身很克制——没有发明新语法，只在 robots.txt 的 User-Agent 行里加一个令牌 __usage_ai-training，再用大家熟悉的 Disallow / Allow 按路径表达意愿。但落地节奏差得很远：Anthropic 已经采纳；OpenAI 说「未来几个月」；谷歌计划 2027 年早期支持；微软必应定在 2027 年 2 月 1 日起执行新偏好，旧的 NoArchive / NoCache 指令到 2027 年 3 月 1 日后不再被当作训练或引用偏好来读；Meta 发言人只说「支持建立这类通用信号」，没给任何时间表。换句话说，今天你把这条规则写上去，还没有一家会真的照做——它是一张 2027 年才陆续生效的期票。
这件事在国内被普遍读成「四巨头给了网站一个退出键」，但按草案原文，这个键只管一件事：训练。它不碰抓取，爬虫照样来取页面；它也不碰「引用」——也就是 AI 回答用户提问时，实时把你网页里的内容拽进来当依据的 grounding。微软把这两件事干脆拆成了两个开关：AI Training 与 AI Grounding，而后者默认是开着的。它还留了一个中间档 DisallowExtended：只允许微软自家的 Copilot、Microsoft 365 引用你的内容，不允许转售给第三方的引用服务。微软的说明写得很直白——退出训练抓取，不等于从必应搜索结果里消失。谷歌那套更绕：你用令牌退出训练、又没单独提 Google-Extended，谷歌就视为你已经禁止 Google-Extended；可你若明确放行 Google-Extended，反而能继续出现在 Gemini 等基于网页 grounding 的回答里，还能拿到点击。两个开关不是各管各的，它们会互相改写对方的默认含义。所以看清楚了：所谓「退出 AI」其实是两道选择题——退训练、退引用。行业默认只帮你勾了前一道，后一道默认给你留着。
这对品牌来说既是好消息，也是个陷阱。好消息在于，过去内容方只有一刀切：要么全封，连转载、连引用一起没有；要么全放，语料白送。现在第一次可以把「不许拿去训练」和「希望被引用」分开表达。陷阱在于，robots.txt 是一个全站级文件，一条粗暴的 Disallow 会把产品页、参数页、案例页一起切掉，而这些恰恰是客户问 AI 时最该被摘到的内容。更要紧的是默认值：草案写的是「允许，除非你声明退出」，举证责任落在内容方，主动方在 AI 公司；而且令牌不产生任何授权合同或分成机制——它是一份请求，不是一项权利。所以品牌真正该问的不是「要不要退出 AI」，而是「哪些目录要留、哪些要关」。可行的划法是按用途切：对外的事实页、参数页、认证页、公开案例页，训练可以谈、引用必须留；内部资料、未公开报价、客户名单、工艺图纸，训练和引用一起关。草案给的示例正好是这种分层的模板——整站拒绝训练，单独放行 press-kit 目录。
更现实的一层是：这套机制只约束愿意守规矩的爬虫。伪造 User-Agent、绕第三方代理来抓的，令牌管不着。所以别把它当护身符，真要确权靠的还是合同和法律。但眼下这段窗口期值得用起来——谷歌和微软都要等到 2027 年，OpenAI 还要「几个月」，在它们真正照做之前，改 robots.txt 的成本几乎为零，收益是把意愿留成证据。三件事现在就能做。第一，先审计现有 robots.txt：如果只写了 Googlebot 和 Bingbot，等于对 AI 爬虫完全没表态；GPTBot、ClaudeBot、Google-Extended 这些既有规则在令牌生效前继续有效，令牌是叠加层、不是替代层，别急着删。第二，把「训练」和「引用」当两个问题分别回答，别用一条 Disallow 同时应付，否则你关掉的往往是自己更需要的那个。第三，把「允许被引用」的那部分内容做扎实——AI 愿意引用的从来不是形容词，是产能、公差、认证编号、交付周期这些能被逐项核对的字段。广州汇有信息科技在给工厂与品牌主做 GEO 搜索推广时，判断顺序也是这样：先定哪些问题必须出现在答案里，再定哪些页面该放行给检索，最后才去谈内容怎么写。
信息来源：IT 之家（2026-11-01）；腾讯新闻（转 Search Engine Roundtable，2026-11-02）；今日头条（2026-11-01，引 Google Search Central、OpenAI News、Search Engine Land 与微软必应官方博客，2026-10-30）；IETF Datatracker（草案原文）。
这个开关真正暴露的，是「被训练」和「被引用」本来就是两件事，而后者才是 GEO 的战场。很多品牌一听 AI 抓取就如临大敌，一条 Disallow 把整站封死，等于亲手把自己从答案里删掉——语料是保住了，询盘也没了。反过来，只想着「让 AI 多抓点」而不区分页面，把未公开报价、客户名单一起放出去，风险同样实在。广州汇有信息科技做 GEO 搜索推广时，会先把客户的站点按用途分层：哪些页是给客户核验的事实层、必须留引用，哪些是内部资产、连训练一起关，再逐条检查各家 AI 平台里的品牌问答，标出缺席、错述和竞品占位。这套底稿不做，谈「要不要退出」就是空谈。如果还没摸过底，可以先约一份免费的《品牌 AI 可见性诊断报告》，看清自己在 DeepSeek、豆包、元宝、ChatGPT 的答案里到底是什么位置，再决定开关怎么拨。
