// TABLE OF CONTENTS
  1. 定义
  2. 文件格式
  3. 与robots.txt区别
CHAPTER 01

定义

llms.txt是一种放置在网站根目录的纯文本文件,为AI大模型提供网站的结构化摘要信息。它类似于robots.txt服务搜索引擎爬虫,但llms.txt专门服务AI模型的训练和推理需求,帮助AI更准确地理解和引用网站内容。

CHAPTER 02

文件格式

llms.txt采用Markdown格式,包含网站名称、简介、核心页面列表和关键信息。

llms.txt MARKDOWN
# Your Brand Name

> 一句话描述你的品牌/产品核心价值

## 核心产品
- 产品A:简要描述
- 产品B:简要描述

## 关键页面
- [关于我们](/about):公司介绍
- [产品文档](/docs):技术文档

## 联系方式
- 官网:https://example.com
CHAPTER 03

与robots.txt区别

llms.txt与robots.txt虽然都位于网站根目录,但功能定位完全不同。

维度 robots.txt llms.txt
服务对象 搜索引擎爬虫 AI大模型
核心功能 控制爬取权限 提供内容摘要
文件格式 纯文本指令 Markdown
作用机制 允许/禁止 引导理解
对AI的影响 间接(影响爬取) 直接(影响理解)
标准化程度 高度标准化 社区标准