llms.txt是专为AI大模型设计的站点摘要文件,帮助AI快速理解网站核心内容和结构。
llms.txt是一种放置在网站根目录的纯文本文件,为AI大模型提供网站的结构化摘要信息。它类似于robots.txt服务搜索引擎爬虫,但llms.txt专门服务AI模型的训练和推理需求,帮助AI更准确地理解和引用网站内容。
llms.txt采用Markdown格式,包含网站名称、简介、核心页面列表和关键信息。
# Your Brand Name > 一句话描述你的品牌/产品核心价值 ## 核心产品 - 产品A:简要描述 - 产品B:简要描述 ## 关键页面 - [关于我们](/about):公司介绍 - [产品文档](/docs):技术文档 ## 联系方式 - 官网:https://example.com
llms.txt与robots.txt虽然都位于网站根目录,但功能定位完全不同。
| 维度 | robots.txt | llms.txt |
|---|---|---|
| 服务对象 | 搜索引擎爬虫 | AI大模型 |
| 核心功能 | 控制爬取权限 | 提供内容摘要 |
| 文件格式 | 纯文本指令 | Markdown |
| 作用机制 | 允许/禁止 | 引导理解 |
| 对AI的影响 | 间接(影响爬取) | 直接(影响理解) |
| 标准化程度 | 高度标准化 | 社区标准 |