📋 多平台草稿预览（12平台差异化改编）

我加了llms.txt，但没人来抓取——AI时代的内容优化，是一场自嗨吗？

当一位开发者精心为AI准备了“内容菜单”，却发现根本无人问津。这背后，是AI内容生态的残酷现实，还是我们理解错了方向？

当一位开发者精心为AI准备了“内容菜单”，却发现根本无人问津。这背后，是AI内容生态的残酷现实，还是我们理解错了方向？

几个月前，开发者Marcio Florindo在他的个人网站上做了一件“正确”的事：为每篇博客生成了Markdown副本，并在站点根目录添加了llms.txt文件——一个指向所有内容的纯文本索引。这是当下被广泛推崇的AI内容优化标准，理论上，当聊天机器人被问及相关问题时，他的文章就能被检索到。

Cover image for Nobody fetched my llms.txt

但结果是残酷的：Nobody fetched my llms.txt。

他的网站访问日志清晰地显示，没有任何AI爬虫来抓取这个精心准备的文件。零访问，零收录，零存在感。

为什么llms.txt无人问津？

llms.txt的核心理念很简单：为AI提供一个结构化的站点地图，让它能高效地理解网站内容。但Florindo的遭遇揭示了一个关键问题——AI公司根本不按这套规则玩。

目前AI爬虫的主流逻辑是“广度优先抓取”，它们像传统搜索引擎一样，沿着链接爬行整个网络。OpenAI的GPTBot、Anthropic的ClaudeBot、Google的Google-Extended，这些爬虫会遍历你的整个站点，而不是只看一个索引文件。

换句话说，llms.txt是为“理想中的AI”设计的，而非“现实中的AI”。现实中的AI更加“野蛮”，它们更倾向于抓取整站内容，而非依赖一个手动维护的索引。

# 一个简单的示例：如何检查你的站点是否被AI爬虫访问
import re
from collections import Counter

def analyze_access_log(log_file):
ai_crawlers = {
'GPTBot': r'GPTBot',
'ClaudeBot': r'ClaudeBot',
'Google-Extended': r'Google-Extended',
'CCBot': r'CCBot'  # Common Crawl
}

crawler_hits = Counter()

with open(log_file, 'r') as f:
for line in f:
for crawler, pattern in ai_crawlers.items():
if re.search(pattern, line, re.IGNORECASE):
crawler_hits[crawler] += 1

return crawler_hits

运行分析
hits = analyze_access_log('access.log')
for crawler, count in hits.most_common():
print(f"{crawler}: {count} 次访问")

内容生态的“黑暗森林”法则

Florindo的遭遇折射出一个更深层的问题：AI内容生态已经形成了新的“黑暗森林”法则。

在这个生态中，内容生产者和AI公司之间存在严重的信息不对称。AI公司不会公开它们的抓取算法、排序逻辑或内容偏好。内容生产者只能猜测“AI喜欢什么”，而这种猜测往往基于过时的SEO经验或一厢情愿的想象。

更令人沮丧的是，头部内容平台的马太效应在AI时代被进一步放大。当ChatGPT被问到某个技术问题时，它引用的往往是Stack Overflow、GitHub Docs或知名技术博客的内容——这些内容在训练数据中出现了成千上万次。而一个个人博客的llms.txt，即便被正确抓取，在模型推理时被选中的概率也微乎其微。

那么，个人站点还有机会吗？

虽然llms.txt的“理想主义”遭遇了现实打击，但这并不意味着个人内容创作者在AI时代毫无机会。相反，Florindo的实验揭示了几条更实际的路：

第一，内容质量依然是王道。AI模型的训练数据来自网络公开内容，高质量、独特、深度足够的内容仍然会被抓取和引用。关键在于，你的内容是否值得被引用。 第二，结构化数据的重要性被低估了。虽然llms.txt无人问津，但Schema.org的结构化标记、清晰的HTML语义化标签，这些技术反而更容易被AI爬虫理解和利用。

<!-- 一个AI友好的文章结构示例 -->
<article itemscope itemtype="http://schema.org/TechArticle">
<h1 itemprop="headline">为什么llms.txt可能是一个伪需求？</h1>
<meta itemprop="datePublished" content="2024-01-15">
<div itemprop="author" itemscope itemtype="http://schema.org/Person">
<span itemprop="name">Marcio Florindo</span>
</div>
<div itemprop="articleBody">
<p>这篇文章探讨了AI内容抓取的实际机制...</p>
<!-- 使用清晰的段落结构和语义化标签 -->
<section>
<h2>AI爬虫的实际行为</h2>
<p>根据访问日志分析...</p>
</section>
</div>
</article>

第三，社区和分发渠道比技术优化更重要。Florindo的文章在Dev.to上获得了关注，这并非因为llms.txt，而是因为Dev.to本身的社区分发机制。在AI时代，内容被发现的关键，仍然是“人在传播”，而非“机器在索引”。

反思：我们是不是过度工程化了？

Florindo的llms.txt实验失败，某种程度上反映了技术圈的“过度工程化”倾向。我们热衷于创造各种标准、协议和最佳实践，却忽略了最基本的问题：这些努力是否真的为用户或客户创造了价值？

llms.txt的初衷是好的——让AI更好地理解网站内容。但在实践中，它变成了一个“安慰剂”：内容创作者觉得“我做了AI优化”，而AI公司根本不在乎这个标准。

与其追逐不断变化的“AI优化”标准，不如回归内容创作的本质：写有价值的东西，让它们易于访问，然后通过社区和社交网络分享出去。这才是永恒的内容策略。

未来：AI内容生态的演变

尽管llms.txt目前遭遇冷遇，但这不意味着AI内容优化是个伪命题。随着AI技术的演进，我们可能会看到：

AI公司开始支持更标准化的内容协议，降低抓取成本
内容授权和付费机制的成熟，让内容生产者获得直接收益
更智能的内容发现算法，不再依赖简单的爬虫逻辑

Florindo的实验虽然“失败”了，但它提供了一个有价值的样本：在AI时代，内容生产者和平台之间的博弈才刚刚开始。那些愿意实验、反思和迭代的创作者，终将找到适合自己的AI内容策略。