llms.txt验证器：提升网站AI可发现性的实用工具

llms-txt-validator是由Citability.ai开发的开源验证工具，帮助网站管理员检查llms.txt文件是否符合规范，评分0-100分，标记错误和改进建议，提升网站在ChatGPT、Claude、Perplexity等AI工具中的可见性。

随着ChatGPT、Claude、Perplexity、Gemini等大语言模型工具成为用户获取信息的主要渠道，网站的流量来源正在发生根本性转变。传统SEO关注搜索引擎的排名，但在AI时代，一个新的问题浮现出来：AI助手能否准确理解、引用和推荐你的网站内容？

这个问题催生了llms.txt标准的诞生。llms.txt是一个由llmstxt.org提出的开放规范，旨在为LLM和AI Agent提供关于网站的结构化上下文信息。它帮助AI工具更好地理解和引用网站内容，类似于robots.txt之于搜索引擎，但专门为AI消费而设计。

然而，仅仅在网站根目录放置一个llms.txt文件是不够的。如果文件格式不规范、缺少关键信息或结构混乱，AI工具可能无法正确解析，导致网站在AI搜索结果中的可见性大打折扣。这正是llms-txt-validator工具的价值所在。

llms-txt-validator是由Citability.ai开发的开源验证工具，专门用于检查llms.txt文件的规范性和完整性。它能够自动分析llms.txt文件的结构和内容，给出0-100分的评分，并详细标记错误项和推荐改进项，帮助网站管理员优化AI可发现性。

Citability.ai本身是一个AI可见性评分平台，专注于帮助网站提升在AI时代的曝光度。llms-txt-validator作为其开源工具之一，体现了团队对AI生态开放性的承诺，让任何网站都能免费获得专业的llms.txt验证能力。

llms-txt-validator采用结构化的评分体系，从多个维度评估llms.txt文件的质量：

H1标题（30分）

每个有效的llms.txt文件必须包含一个H1级别的标题，用于明确标识网站或服务的名称。这是AI工具识别内容来源的首要信号，缺失或格式错误的H1标题会严重影响AI对内容的理解。

摘要引用块（20分）

在标题下方，llms.txt应该包含一个blockquote格式的摘要段落，简要描述网站的核心价值主张和主要内容。这个摘要会被AI工具用于快速了解网站定位，是推荐算法的重要输入。

H2章节标题（最高30分）

良好的llms.txt文件应该使用H2标题组织内容，将不同类型的信息分门别类。例如，可以将"文档"、"API参考"、"博客"、"资源"等内容分组，帮助AI工具快速定位所需信息。

Markdown链接（最高20分）

llms.txt的核心价值在于提供高质量的内容链接。验证器会检查链接数量、格式和可访问性，确保AI工具能够通过这些链接获取到完整的内容。使用绝对URL而非相对URL是最佳实践。

URL格式警告

验证器会特别标记使用相对URL的情况。虽然相对URL在网站内部导航中很常见，但对于需要独立解析llms.txt文件的AI工具来说，绝对URL更加可靠，能够确保链接在任何上下文中都能正确解析。

llms-txt-validator提供了灵活的使用方式，既可以通过命令行快速验证，也可以集成到Python工作流中进行自动化检查。

命令行使用

# 安装
pip install llms-txt-validator

# 验证远程网站（自动获取/llms.txt）
llms-txt-validate example.com

# 验证指定URL
llms-txt-validate https://example.com/llms.txt

# 验证本地文件
llms-txt-validate ./llms.txt

Python API集成

from llms_txt_validator import validate_llms_txt, fetch_and_validate

# 验证字符串内容
result = validate_llms_txt(open("llms.txt").read())
print(f"Score: {result.score}/100")
print(f"Valid: {result.valid}")
print(f"Sections: {result.sections}")

# 从URL获取并验证
result = fetch_and_validate("citability.ai")

返回的结果对象包含详细的评分、有效性状态、章节列表以及具体的错误和建议信息，便于程序化处理和报告生成。

理解llms.txt的重要性，需要认识到AI工具正在改变用户获取信息的方式：

从搜索到对话的转变

传统搜索引擎返回的是链接列表，用户需要点击进入网站阅读内容。而AI助手直接提供答案，如果AI能够准确引用和链接到你的内容，你的网站就能在对话式交互中获得曝光，即使最终答案由AI生成。

AI推荐的影响力

当用户询问"推荐一些学习Python的资源"或"有哪些好的设计工具"时，AI助手的推荐列表直接影响用户的下一步行动。如果你的网站被AI纳入知识库并正确引用，就能获得这种高意向流量的转化机会。

内容可信度的建立

llms.txt不仅帮助AI发现内容，还通过结构化的方式建立内容的可信度。清晰的摘要、分门别类的链接、规范的格式，都在向AI工具传递一个信号：这是一个维护良好、值得信赖的内容源。

未来搜索生态的入场券

随着AI搜索和Agent技术的演进，llms.txt很可能成为AI时代的基础协议之一。早期采用并正确实施这一标准，能够让网站在未来的AI生态中占据有利位置，避免因技术滞后而被边缘化。

llms-txt-validator专注于llms.txt文件的验证，但网站的AI可见性远不止于此。Citability.ai提供的完整扫描服务涵盖了更广泛的AI发现信号：

• robots.txt AI规则：检查是否允许AI爬虫访问
• Schema.org结构化数据：帮助AI理解页面内容的语义
• MCP端点：Model Context Protocol服务端点，支持更深入的AI集成
• 引用就绪度：内容是否易于被AI引用和归因
• 51+其他AI发现信号：涵盖技术、内容、社交等多个维度

对于希望全面提升AI可见性的网站，Citability.ai的免费扫描工具（citability.ai/scan）提供了一个快速诊断入口，而llms-txt-validator则是其中llms.txt专项优化的开源实现。

基于llms-txt-validator的评分标准，以下是创建高质量llms.txt文件的建议：

保持简洁但完整

llms.txt不是网站的完整镜像，而是精选内容的索引。优先包含最有价值、最常被引用的页面，而不是罗列所有URL。

使用绝对URL

始终使用https://example.com/path格式的绝对URL，避免相对路径。这确保AI工具在任何上下文中都能正确解析链接。

定期更新

网站内容会不断变化，llms.txt也应该定期维护。移除失效链接，添加新发布的重要内容，保持信息的时效性。

结合验证器迭代优化

使用llms-txt-validator检查现有文件，根据评分和建议逐项改进。目标是达到90分以上的评分，确保文件质量达到优秀水平。

监控AI引用效果

除了技术验证，还应该关注实际效果。在不同的AI工具中测试对你网站的引用情况，根据反馈进一步优化llms.txt的内容和结构。