LLMs.txt是什么？——AI爬虫时代的入门基建
最后更新：2026-07-16 · 返回第一章
一句话定义：
LLMs.txt 是一个放在网站根目录下的纯文本文件（如 example.com/llms.txt），专门给大语言模型看的"网站使用说明书"，告诉AI哪些页面最重要、分别讲什么内容。
一、GEO 基础层：所有优化的"0号前提"
很多人做 GEO 容易犯一个错误：一来就直接干内容。 翻资料、写文章、加上 Schema 标记——然后发现AI还是没反应。
他们忽略了一个最基本的问题：AI能不能"看到"你的内容？
GEO基础层要过三关：
- 爬取（Crawl）——AI能连上你的服务器吗？
- 解析（Parse）——AI能读懂你的页面吗？
- 索引（Index）——AI记住了你的内容吗？
二、LLMs.txt 和 sitemap.xml 的区别
| 维度 | sitemap.xml | LLMs.txt |
|---|---|---|
| 面向对象 | 传统搜索引擎（Googlebot等） | AI大语言模型（ChatGPT、Perplexity等） |
| 格式 | XML，机器可读 | Markdown，人也可读 |
| 语义 | 只有URL和更新频率 | 带一句话描述，帮助AI理解每个页面内容 |
| 优先级提示 | priority字段（但Google基本忽略） | 自然语言排序（最重要的放最前面） |
| 排除规则 | 通常不做排除 | 可以直接说"这些页面不需要被引用" |
两者不是替代关系，是互补关系。
三、LLMs.txt 格式示例
格式非常简单，用 Markdown 写就行：
# 品牌名
## 核心产品
- [产品A - 面向中小企业的CRM系统](https://example.com/product-a)
## 常见问题
- [如何开始使用产品A](https://example.com/faq/get-started)
## 不推荐
- https://example.com/internal（内部文档，不需要被引用）
四、AI爬虫 vs Googlebot：四个关键区别
- JS渲染能力不同——AI爬虫的JS引擎可能无法完整渲染所有内容
- 超时时间更短——AI爬虫可能几百毫秒没响应就跳过了
- robots.txt规则不同——需要检查是否对所有AI爬虫开放
- 类型更多样——GPTBot、ClaudeBot、Google-Extended、PerplexityBot、CCBot
五、30分钟操作指南
- 检查robots.txt（5分钟）——确保对AI爬虫开放
- 创建LLMs.txt（10分钟）——列出最重要的页面和描述
- 测试AI爬取能力（10分钟）——在Perplexity上搜索品牌关键词测试
- 检查服务器响应（5分钟）——确保关键页面500ms内返回
六、深入阅读
- 第一章 基础概念——LLMs.txt在GEO中的完整角色
- GEO生成式引擎优化——LLMs.txt是GEO基础层最高效的动作
- RAG检索增强生成——AI爬虫如何抓取和使用LLMs.txt