# Adam's Law：文本频率定律揭示LLM更偏爱"常见表达"，改写输入可提升性能

> 研究提出文本频率定律(TFL)，发现LLM对高频文本表达更敏感，通过输入改写、频率蒸馏和课程训练三步框架，在数学推理、翻译等任务上验证有效。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-04-02T15:39:25.000Z
- 最近活动: 2026-04-03T01:23:23.163Z
- 热度: 152.3
- 关键词: 文本频率, Adam's Law, TFL, LLM优化, 提示工程, 课程学习, 输入改写, 频率蒸馏, TFPD
- 页面链接: https://www.zingnex.cn/forum/thread/adam-s-law-llm
- Canonical: https://www.zingnex.cn/forum/thread/adam-s-law-llm
- Markdown 来源: ingested_event

---

## 一个被忽视的因素：文本频率

在LLM研究领域，研究者通常关注模型架构、训练数据规模、上下文长度等因素对性能的影响。然而，有一个看似简单却长期被忽视的因素——文本频率(Textual Frequency)。

文本频率在人类认知研究中已有充分验证。心理学研究表明，人们阅读高频词汇的速度明显快于低频词汇。这种"熟悉度效应"是语言处理的基本特征。那么，LLM是否也表现出类似的模式？

"Adam's Law"这项研究正是要回答这个问题。研究团队提出了文本频率定律(Textual Frequency Law, TFL)，系统性地探索了文本频率对LLM性能的影响，并构建了一套完整的优化框架。

## 文本频率定律(TFL)：核心发现

TFL的核心论断简洁而有力：对于LLM的提示词(prompting)和微调(fine-tuning)，高频的文本表达应该被优先使用。

这一论断背后的直觉是：LLM在预训练阶段接触了大量文本，高频表达在训练数据中出现更多次，模型对它们的"理解"更充分、"记忆"更牢固。因此，当输入使用高频表达时，模型能够更准确地捕捉意图、生成更相关的输出。

为了验证和应用这一定律，研究团队需要解决一个关键问题：如何估计文本频率？由于大多数LLM的训练数据是闭源的，我们无法直接统计词频。研究团队提出了一个巧妙的解决方案：利用在线资源进行频率估计。

## 三步框架：从理论到实践

基于TFL，研究团队构建了一个包含三个核心组件的优化框架：

### 第一步：输入改写(Input Paraphrasing)

既然高频表达更有效，那么一个简单的优化策略就是将用户的输入改写为更频繁的表达方式。研究团队设计了一个输入改写器(Input Paraphraser)，它能够：

1. 分析原始输入的句子级频率
2. 生成语义等价但频率更高的改写版本
3. 将改写后的输入送入LLM进行处理

这种方法的优势在于无需修改模型本身，仅通过输入预处理就能提升性能。它类似于人类交流中的"用更通俗的话再说一遍"——当对方没有理解时，我们往往会换用更常见的表达方式。

### 第二步：文本频率蒸馏(TFD)

频率估计的准确性直接影响优化效果。研究团队提出了文本频率蒸馏(Textual Frequency Distillation, TFD)来改进初始的频率估计。

TFD的核心思想是利用LLM自身的生成能力来校准频率估计。具体流程是：

1. 从数据集中采样句子
2. 让LLM进行故事续写，自然延伸这些句子
3. 收集生成的语料，分析其中的表达模式
4. 用这些新语料调整初始的频率估计

这种方法的巧妙之处在于，它利用了LLM对训练数据的"记忆"。如果某些表达在LLM的预训练数据中确实高频出现，LLM在续写时就更倾向于使用这些表达。因此，生成语料的分布可以反映原始训练数据的频率特征。

### 第三步：课程频率训练(CTFT)

对于微调场景，研究团队提出了课程文本频率训练(Curriculum Textual Frequency Training, CTFT)。这一方法借鉴了课程学习(Curriculum Learning)的思想：按照句子级频率从低到高的顺序进行微调。

直觉上，这种渐进式的训练让模型先从简单的(高频的)样本学习基础模式，再逐步适应复杂的(低频的)样本。这与人类学习语言的过程类似——先掌握常用表达，再学习生僻用法。

## 实验验证：多任务全面测试

为了验证框架的有效性，研究团队构建了一个专门的数据集TFPD(Textual Frequency Paired Dataset)，并在四个代表性任务上进行了测试：

**数学推理(Math Reasoning)**：测试模型解决数学问题的能力。高频改写后的提示词帮助模型更准确地理解数学问题的表述。

**机器翻译(Machine Translation)**：测试跨语言转换能力。使用目标语言中更常见的表达方式，翻译结果更加地道流畅。

**常识推理(Commonsense Reasoning)**：测试模型的世界知识和逻辑推理能力。高频表达减少了理解歧义，提升了推理准确性。

**智能体工具调用(Agentic Tool Calling)**：测试模型调用外部工具的能力。清晰的、常见格式的指令让工具调用更加可靠。

实验结果表明，三步框架在所有任务上都取得了显著提升，验证了TFL的普适性和框架的有效性。

## 技术细节与实现考量

实现这一框架需要考虑几个关键的技术细节：

**频率估计的粒度**：研究团队在句子级别进行频率估计，这比词级别更能捕捉表达的完整语义。但句子级别的估计也面临数据稀疏性问题，需要在准确性和覆盖度之间权衡。

**改写质量的保证**：输入改写必须保持语义等价，否则可能引入噪声。研究团队可能使用了语义相似度模型或人工审核来确保改写质量。

**在线资源的选取**：用于频率估计的在线资源应该与LLM的训练数据分布尽可能接近。研究团队可能选择了通用的网络文本语料，如Common Crawl的子集。

**课程安排的策略**：CTFT中频率阈值的设定、训练阶段的划分都需要仔细调优。过于激进的课程可能让模型过早接触困难样本，过于保守则可能浪费计算资源。

## 对LLM应用的启示

"Adam's Law"的研究成果对LLM的实际应用具有重要指导意义：

### 提示工程的新维度

传统的提示工程关注提示的结构、示例的选择、指令的明确性等。TFL增加了一个新的优化维度：表达的频率。在编写提示词时，考虑使用更常见、更标准的表达方式，可能带来意想不到的性能提升。

### 数据预处理的策略

在准备微调数据时，可以按照文本频率进行筛选或重排。优先使用高频表达的数据进行初始训练，再逐步引入低频样本。这种课程式的数据组织可能提升微调效率和最终性能。

### 输入优化的自动化

输入改写器可以作为一个通用的预处理模块，应用于各种LLM应用。无论是聊天机器人、代码生成还是文档分析，先用改写器优化输入都可能带来性能增益。

## 局限与未来方向

尽管"Adam's Law"提供了有价值的洞察，但仍有一些局限和开放问题：

**频率与质量的权衡**：高频表达往往更通用、更标准化，但某些专业领域可能需要特定的低频术语。过度追求频率可能导致表达的同质化，损失专业性和精确性。

**跨语言的适用性**：不同语言的频率分布特征可能不同，TFL在非英语语言上的有效性需要进一步验证。

**模型规模的影响**：TFL在超大模型(如GPT-4级别)上是否仍然显著？随着模型规模增加，模型对低频表达的处理能力可能提升，频率效应可能减弱。

**与其他优化技术的结合**：TFL与链式思维(CoT)、少样本学习(Few-shot Learning)等技术如何结合？是否存在协同效应或冲突？

## 结语

"Adam's Law"从一个新颖的角度揭示了LLM的行为特征：它们像人类一样，对熟悉的、高频的表达更加敏感。这一发现不仅具有理论意义，更提供了实用的优化框架。

三步框架——输入改写、频率蒸馏、课程训练——为LLM应用提供了新的优化工具。随着LLM在各行业的广泛应用，这些技术可能成为提升系统性能的标准配置。

更重要的是，这项研究提醒我们：在追逐宏大的模型架构和训练范式的同时，也不要忽视那些看似简单却影响深远的基础因素。有时候，优化就藏在"用更简单的话说"这个朴素的洞察之中。