PsiLogic：为深度学习打造的混沌感知自适应优化器

PsiLogic是一个基于PyTorch的优化器，通过引入主动抵消项和混沌检测机制，在训练早期提供更强的正则化效果，并在收敛时自动消失。

• 原作者/维护者: Ali (Troxter222)
• 来源平台: GitHub
• 原项目名: psilogic
• 原链接: https://github.com/Troxter222/psilogic
• 发布时间: 2026年5月

---

在深度学习训练中，优化器的选择往往决定了模型能否成功收敛以及最终性能的上限。Adam及其变体（AdamW、Lion等）已成为业界标准，但它们并非完美无缺。一个长期困扰研究者的问题是：如何在训练早期提供足够的正则化以防止过拟合和梯度爆炸，同时又在收敛阶段避免引入不必要的干扰？

传统的解决方案包括学习率预热（warmup）、权重衰减（weight decay）和各种调度策略，但这些方法往往需要精细的超参数调优，且难以自适应地响应训练过程中的动态变化。

---

PsiLogic（ΨLogic）是一个全新的PyTorch优化器，其设计理念可以用一句话概括："在最困惑的时候强力干预，在收敛时自动消失"。它通过引入一个"主动抵消项"（Active Cancellation Term）来实现这一目标。

PsiLogic的核心方程如下：

Ψ_{t+1} = Ψ_t
 − η · m̂_t / (√v̂_t + ε)    ← 标准Adam步骤
 − η · γ · P · chaos_t · Ψ_t   ← 主动抵消项

其中，chaos_t是一个基于双指数移动平均（EMA）的混沌检测器，它实时监测梯度范数的变化：

gn_t = ‖∇_t‖₂ / √(numel)

fast_t = 0.90 · fast_{t-1} + 0.10 · gn_t    ← 快速响应（τ≈10步）
slow_t = 0.99 · slow_{t-1} + 0.01 · gn_t    ← 稳定基线（τ≈100步）

ratio_t = fast_t / (slow_t + ε)
chaos_t = tanh(slow_t) · (1 + 0.5 · tanh(relu(ratio_t − 1)))

这个设计的精妙之处在于：

• 训练早期：梯度变化剧烈，slow_t较高，chaos_t趋近于1.0，提供强阻尼
• 训练中后期：梯度趋于稳定，chaos_t降至0.4-0.8，提供适度正则化
• 收敛阶段：梯度几乎不再变化，chaos_t趋近于0，主动抵消项完全消失

---

PsiLogic的使用极其简单，只需将现有的Adam优化器替换为PsiLogic即可：

# 之前
from torch.optim import Adam
optimizer = Adam(model.parameters(), lr=1e-3)

# 之后 —— 只需修改这一行
from psilogic import PsiLogic
optimizer = PsiLogic(model.parameters(), lr=1e-3)

安装同样简单：

pip install psilogic

---

优化器	训练损失	验证损失	验证准确率(%)
Adam	0.1459 ± 0.0077	0.3158 ± 0.0079	90.34 ± 0.35
AdamW	0.1466 ± 0.0058	0.3167 ± 0.0077	90.30 ± 0.20
PsiLogic	0.1432 ± 0.0055	0.3187 ± 0.0085	90.41 ± 0.25

PsiLogic在训练损失和验证准确率上均优于Adam和AdamW，且方差更小，表明训练更加稳定。

优化器	训练损失	验证损失	验证损失标准差
Adam	1.8828 ± 0.0177	1.8482	± 0.0053
AdamW	1.8828 ± 0.0177	1.8482	± 0.0053
PsiLogic	1.8905 ± 0.0167	1.8564	± 0.0040

虽然PsiLogic的验证损失略高（这在超小数据集上是预期的），但其跨种子的方差最小（0.0040 vs 0.0053），证明其训练结果更加可复现。