当全世界的新闻机构还在为“AI偷内容”而哀嚎时,百年老店《时代》周刊却悄悄换了个姿势:既然你们要爬,我就给你们开个“VIP通道”——只不过,这条通道里塞满了广告。
当全世界的新闻机构还在为“AI偷内容”而哀嚎时,百年老店《时代》周刊却悄悄换了个姿势:既然你们要爬,我就给你们开个“VIP通道”——只不过,这条通道里塞满了广告。
这可能是2024年AI与内容产业博弈中最具黑色幽默的一幕。科技开发者文森特·施马尔巴赫在测试中发现,当你以AI爬虫的身份访问《时代》杂志的同一篇文章时,你看到的不是那个充满图片、菜单和弹窗的现代网页,而是一份干净得近乎诡异的Markdown纯文本——里面还整整齐齐地内嵌着广告。
这算什么?是投降,还是宣战?
要理解这个操作的精妙之处,你得先明白一个基础概念:User-Agent。这是每个浏览器或爬虫在访问网站时自报家门的一串字符。普通人类用Chrome或Safari访问,User-Agent会标明自己是浏览器;而GPTBot、ClaudeBot等AI训练爬虫,也会老老实实地亮明身份。
施马尔巴赫的测试正是利用了这一点。他发现,当你把User-Agent伪装成GPTBot时,TIME服务器返回的并非常规HTML页面,而是一个专门为AI优化的Markdown版本。这个版本剔除了所有视觉噪音,只保留文章正文、链接结构——以及,广告。
这就像一家高档餐厅,看到食客是美食评论家,特意端出一份没有摆盘装饰、但食材标注得清清楚楚的“后厨特供版”,而且账单上还印着赞助商logo。
从技术逻辑上看,TIME的选择堪称精巧。Markdown是一种轻量级标记语言,它去除了HTML的繁琐标签,保留了标题层级、加粗、链接等核心语义信息。对于大语言模型而言,解析Markdown的token消耗远低于解析完整HTML,这意味着AI可以更高效地“阅读”文章内容。
但真正的杀招在于广告。传统的网页广告依赖JavaScript渲染和视觉呈现,而AI爬虫往往不执行JS,这就导致媒体网站对AI访客的广告曝光几乎为零。TIME的做法是将广告直接以文本形式嵌入Markdown,用文字链或赞助商段落的形式呈现。这样一来,即便AI不渲染图片,广告信息也作为纯文本被“阅读”和“理解”了。
这背后是一个大胆的假设:如果AI必须读我的内容,那么它也得读我的广告。更进一步,如果AI在回答用户问题时引用了TIME的内容,那么这些内嵌的广告文本是否会被一并“引用”?这相当于把广告植入到了AI的认知底层。
TIME的这一做法,恰好出现在全球新闻业对AI的集体焦虑期。此前,《纽约时报》起诉OpenAI未经授权使用其内容训练模型;美联社与OpenAI达成授权协议;而更多的小型媒体则选择在robots.txt中屏蔽所有AI爬虫。
TIME显然选择了第三条路:不拒绝,但重新定义规则。它没有把AI视为盗贼,而是看作一种新型的、高价值的流量来源。只是这种流量的变现方式不再是CPM(千次展示成本),而是变成了“每次被引用成本”或“每次被学习成本”。
这其实开启了一种新的博弈论视角:当内容不可避免地被AI消费时,内容生产者能否通过改变内容的“包装形式”来重构自己的议价能力?TIME的Markdown+广告实验,本质上是在尝试将AI爬虫从“内容掠夺者”转化为“广告受众”。
施马尔巴赫的测试还揭示了这个系统的运作机制。TIME并非简单地对所有AI爬虫一视同仁,而是根据不同的User-Agent进行了细分。例如,对GPTBot返回的Markdown版本中,广告可能以“赞助商链接”的形式出现;而对其他爬虫,则可能返回略有差异的版本。
这种“内容双轨制”在技术上并不复杂,却需要极高的产品策略智慧。它要求媒体在内容管理层面同时维护两套输出逻辑:一套面向人类的视觉体验,一套面向机器的语义效率。而TIME的尝试表明,这两者并非不可兼容——只是需要把广告文案写得足够清晰,让AI和人都能看懂。
TIME的这步棋,可能开启一个全新的广告品类:“语义广告”。传统广告追求视觉冲击力,而语义广告追求的是被AI“理解”和“转述”。想象一下,未来的品牌投放可能会要求:“请确保我们的产品描述能被GPT-5在回答相关问题时自然引用。”
这对于广告文案的写作范式也将产生深远影响。如果一条广告语能被AI在总结文章时自然而然地提及,其传播效率将远超任何视觉横幅。TIME的Markdown页面,本质上是在为这个未来做预演。
当然,这个模式也面临挑战。如果AI爬虫开始学会识别并忽略Markdown中的广告文本,或者搜索引擎调整算法惩罚这种伪装式广告,TIME的策略就需要再次进化。但至少,它已经向这个混乱的AI内容生态投下了一枚有趣的棋子。
当所有媒体都在抱怨AI吸血时,TIME选择给AI递上一杯加了糖的毒药。这杯毒药的名字叫“Markdown”,糖衣是“纯文本效率”,而真正的药效,是让每一个AI在吞咽内容时,都得先尝到广告的味道。
IT之家(https://www.ithome.com/0/986/506.htm),原作者博文(vincentschmalbach)
标签:AI爬虫, #时代杂志, #内容商业化, #Markdown, #广告技术当全世界的新闻机构还在为“AI偷内容”而哀嚎时,百年老店《时代》周刊却悄悄换了个姿势:既然你们要爬,我就给你们开个“VIP通道”——只不过,这条通道里塞满了广告。
当全世界的新闻机构还在为“AI偷内容”而哀嚎时,百年老店《时代》周刊却悄悄换了个姿势:既然你们要爬,我就给你们开个“VIP通道”——只不过,这条通道里塞满了广告。
这可能是2024年AI与内容产业博弈中最具黑色幽默的一幕。科技开发者文森特·施马尔巴赫在测试中发现,当你以AI爬虫的身份访问《时代》杂志的同一篇文章时,你看到的不是那个充满图片、菜单和弹窗的现代网页,而是一份干净得近乎诡异的Markdown纯文本——里面还整整齐齐地内嵌着广告。
这算什么?是投降,还是宣战?
要理解这个操作的精妙之处,你得先明白一个基础概念:User-Agent。这是每个浏览器或爬虫在访问网站时自报家门的一串字符。普通人类用Chrome或Safari访问,User-Agent会标明自己是浏览器;而GPTBot、ClaudeBot等AI训练爬虫,也会老老实实地亮明身份。
施马尔巴赫的测试正是利用了这一点。他发现,当你把User-Agent伪装成GPTBot时,TIME服务器返回的并非常规HTML页面,而是一个专门为AI优化的Markdown版本。这个版本剔除了所有视觉噪音,只保留文章正文、链接结构——以及,广告。
这就像一家高档餐厅,看到食客是美食评论家,特意端出一份没有摆盘装饰、但食材标注得清清楚楚的“后厨特供版”,而且账单上还印着赞助商logo。
从技术逻辑上看,TIME的选择堪称精巧。Markdown是一种轻量级标记语言,它去除了HTML的繁琐标签,保留了标题层级、加粗、链接等核心语义信息。对于大语言模型而言,解析Markdown的token消耗远低于解析完整HTML,这意味着AI可以更高效地“阅读”文章内容。
但真正的杀招在于广告。传统的网页广告依赖JavaScript渲染和视觉呈现,而AI爬虫往往不执行JS,这就导致媒体网站对AI访客的广告曝光几乎为零。TIME的做法是将广告直接以文本形式嵌入Markdown,用文字链或赞助商段落的形式呈现。这样一来,即便AI不渲染图片,广告信息也作为纯文本被“阅读”和“理解”了。
这背后是一个大胆的假设:如果AI必须读我的内容,那么它也得读我的广告。更进一步,如果AI在回答用户问题时引用了TIME的内容,那么这些内嵌的广告文本是否会被一并“引用”?这相当于把广告植入到了AI的认知底层。
TIME的这一做法,恰好出现在全球新闻业对AI的集体焦虑期。此前,《纽约时报》起诉OpenAI未经授权使用其内容训练模型;美联社与OpenAI达成授权协议;而更多的小型媒体则选择在robots.txt中屏蔽所有AI爬虫。
TIME显然选择了第三条路:不拒绝,但重新定义规则。它没有把AI视为盗贼,而是看作一种新型的、高价值的流量来源。只是这种流量的变现方式不再是CPM(千次展示成本),而是变成了“每次被引用成本”或“每次被学习成本”。
这其实开启了一种新的博弈论视角:当内容不可避免地被AI消费时,内容生产者能否通过改变内容的“包装形式”来重构自己的议价能力?TIME的Markdown+广告实验,本质上是在尝试将AI爬虫从“内容掠夺者”转化为“广告受众”。
施马尔巴赫的测试还揭示了这个系统的运作机制。TIME并非简单地对所有AI爬虫一视同仁,而是根据不同的User-Agent进行了细分。例如,对GPTBot返回的Markdown版本中,广告可能以“赞助商链接”的形式出现;而对其他爬虫,则可能返回略有差异的版本。
这种“内容双轨制”在技术上并不复杂,却需要极高的产品策略智慧。它要求媒体在内容管理层面同时维护两套输出逻辑:一套面向人类的视觉体验,一套面向机器的语义效率。而TIME的尝试表明,这两者并非不可兼容——只是需要把广告文案写得足够清晰,让AI和人都能看懂。
TIME的这步棋,可能开启一个全新的广告品类:“语义广告”。传统广告追求视觉冲击力,而语义广告追求的是被AI“理解”和“转述”。想象一下,未来的品牌投放可能会要求:“请确保我们的产品描述能被GPT-5在回答相关问题时自然引用。”
这对于广告文案的写作范式也将产生深远影响。如果一条广告语能被AI在总结文章时自然而然地提及,其传播效率将远超任何视觉横幅。TIME的Markdown页面,本质上是在为这个未来做预演。
当然,这个模式也面临挑战。如果AI爬虫开始学会识别并忽略Markdown中的广告文本,或者搜索引擎调整算法惩罚这种伪装式广告,TIME的策略就需要再次进化。但至少,它已经向这个混乱的AI内容生态投下了一枚有趣的棋子。
当所有媒体都在抱怨AI吸血时,TIME选择给AI递上一杯加了糖的毒药。这杯毒药的名字叫“Markdown”,糖衣是“纯文本效率”,而真正的药效,是让每一个AI在吞咽内容时,都得先尝到广告的味道。
这个事件/技术的核心价值在于它推动了一个重要方向的发展。作为从业者/关注者,我们既要看到短期的影响,也要理解其长期意义。
IT之家(https://www.ithome.com/0/986/506.htm),原作者博文(vincentschmalbach)
原文链接:https://www.ithome.com/0/986/506.htm【开场 Hook(0-5秒)】
当全世界的新闻机构还在为“AI偷内容”而哀嚎时,百年老店《时代》周刊却悄悄换了个姿势:既然你们要爬,我就给你们开个“VIP通道”——只不过,这条通道里塞满了广告。
【核心内容(5-45秒)】
《时代》杂志的反向操作:给AI爬虫喂“加料”Markdown,广告收入新蓝海?
(根据文章正文提炼 3-5 个关键点,口语化表达)【结尾引导(45-60秒)】
如果你觉得有用,点赞收藏,评论区告诉我你的看法!
《时代》杂志的反向操作:给AI爬虫喂“加料”Markdown,广告收入新蓝海? 🔥
当全世界的新闻机构还在为“AI偷内容”而哀嚎时,百年老店《时代》周刊却悄悄换了个姿势:既然你们要爬,我就给你们开个“VIP通道”——只不过,这条通道里塞满了广告。
💡 关键信息:
#AI爬虫 ##时代杂志 ##内容商业化 ##Markdown ##广告技术
#科技资讯 #前沿技术
点击「复制」获取平台专属文案,到各平台编辑器(App/网页)粘贴即可发布。
有密钥的 4 个平台(微信服务号 / 头条 / 百家号 / 微博)可自动发布,密钥填好后自动点亮。
| 平台 | 状态 | 操作 |
|---|---|---|
| 公众号 | 🔑 待配置密钥 | |
| 知乎 | 📋 手动复制 | |
| 抖音 | 📋 手动复制 | |
| 小红书 | 📋 手动复制 |