Therma：用热力学弛豫替代Softmax，探索大模型推理的物理化新范式

Therma是基于JAX的高性能仿真框架，核心创新在于用离散热力学机器（DTM）替代传统Softmax采样头，将模型权重视为能量景观，通过随机弛豫和热噪声进行推理，为下一代模拟硬件AI的发展奠定基础。

大语言模型推理长期依赖精确数学计算，Softmax层作为核心组件执行确定性归一化操作，但面临能耗高、硬件依赖性强等挑战。Therma项目引入热力学原理，用物理系统的弛豫过程替代传统精确计算，为模拟硬件AI开辟新路径。

Therma将Transformer隐藏状态投影到势能流形，权重视为能量系数，消除昂贵的全局归一化需求，采用局部Gibbs采样。其哲学基础是让模型像物理系统一样“弛豫”到答案——热力学系统趋向能量最低平衡态，Therma通过热噪声驱动的随机过程找到最优token生成路径。

Therma设计双TSU系统：

• 单元A（采样单元）：监控当前token状态，提供决策基础信息；
• 单元B（弛豫单元）：利用延迟窗口并行计算下一个token的热平衡。 该流水线架构隐藏MCMC混合时间，将串行计算转化为并行物理过程，避免严格时序依赖。

Therma提供精细控制能力：

• 硬件约束仿真：模拟DAC精度限制和热噪声基底，评估真实模拟硬件表现；
• Beta（β）控制：动态逆温度调度，调节系统随机性——高β（低温度）趋向确定性输出，低β（高温度）增强创造性。 这种物理直觉为模型控制提供新维度。

Therma基于JAX构建，利用自动微分和GPU加速，代码结构包含核心TSU/DTM引擎、可视化组件及概念验证Notebook。使用步骤：加载预训练模型（如Qwen2.5-0.5B）→ 权重手术替换Softmax头→ 通过弛豫生成输出。项目还提供交互式界面（index.html），用SVG+D3可视化能量流形动态变化。

Therma的价值在于推动AI计算范式向模拟硬件适配——热力学方法天然适合模拟电路，噪声可被利用而非消除。它启发重新思考AI本质：智能是否需建立在精确计算上？该项目由独立研究者开发，为“AI弛豫到答案”的未来图景提供概念验证，值得研究新型计算范式的学者和AI芯片工程师关注。