11月2日，据报道，OpenAI、谷歌、微软以及 Anthropic 近日宣布将采用一项新标准，内容发布方可以借助该标准选择拒绝 AI 抓取自家网站内容。借助这项管控机制，发布方可以一次性向多家 AI 企业统一申明自身针对模型训练的内容使用偏好，不必再为每家企业单独设置规则。
该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并将集成在网站的 robots.txt 文件中。
长期以来，robots.txt 用于告知网络爬虫哪些内容允许抓取、哪些禁止，适用场景包括搜索索引、网页归档以及 AI 模型训练。目前网站在 AI 训练偏好上必须逐家单独声明，而在各类 AI 爬虫持续抓取、网页素材被输入模型训练的背景下，内容发布方为此疲于应付。
新标准正是为简化这一流程而生。Anthropic 已率先采纳，OpenAI 计划在未来几个月内落实，谷歌和微软预计明年支持。Meta 发言人 Andy Stone 也表示支持建立此类通用信号，但未明确具体落地计划。
原创文章，作者：lehu，如若转载，请注明出处：https://www.kejixun.co/article/766709.html
