PaCT：面向大语言模型的并行连续思维推理架构

PaCT提出了一种全新的并行连续思维机制，通过打破传统链式推理的串行限制，使大语言模型能够同时探索多条推理路径，显著提升复杂推理任务的效率和准确性。该工作为ICML 2026投稿，由jithamanyu001开发并开源在GitHub（链接：https://github.com/jithamanyu001/pact），发布时间为2026-05-26。

大语言模型在复杂推理场景面临挑战：传统思维链（CoT）提示技术本质为串行执行，需一步一步生成中间步骤，无法并行探索不同路径。其问题包括：推理耗时较长；一步错误导致后续偏离；单一路径限制多种解题策略的利用。

PaCT（并行连续思维）架构打破传统思维链线性约束，允许模型同时维护和发展多条并行思维线索。借鉴人类面对复杂问题时同时考虑多种可能性的认知策略，将其形式化为可计算架构，使模型在单次前向传播或有限迭代中并行评估多个推理假设。

PaCT技术实现包含三个关键组件：1. 并行思维空间构建：模型在隐式表示层面同时编码多个候选推理状态；2. 连续思维状态管理：引入连续状态表示，推理过程在连续语义空间平滑演化，利于梯度传播和路径融合分支；3. 路径选择与剪枝策略：通过智能评估机制动态保留有前景分支，剪除偏离路径，平衡扩展性与效率。

PaCT在多领域有应用潜力：数学问题求解可并行尝试多种策略；代码生成可探索不同算法与数据结构；科学推理可同时评估多种假设。在高可靠性场景，多路径特性提供不确定性量化：路径收敛则高置信度，分歧则触发进一步分析或人工介入。

与思维树（ToT）相比：ToT以离散节点扩展多路径，路径间信息共享有限；PaCT连续状态表示实现更细粒度交互与知识共享。与自一致性解码相比：后者采样独立答案投票，PaCT在推理中让多条线索相互影响共同演化，提升性能稳定性。

PaCT开源利于复现验证实验结果，为社区改进和应用奠定基础。未来研究方向：与特定模型架构深度适配；探索大规模模型表现；开发任务专用变体；研究并行推理的可解释性（多条路径显式表示助于理解模型内部机制）。

PaCT是推理增强技术从“串行单路径”向“并行多路径”演进的重要尝试，在保持大语言模型通用能力的同时，显著提升复杂推理表现。随着开源代码发布，期待其在更多实际场景中的应用与验证。