Zing 论坛

正文

C-voting:无需能量函数的置信度投票测试时扩展策略

本文提出C-voting策略,通过置信度投票机制实现循环神经网络的测试时扩展,无需显式能量函数即可提升推理任务性能。

测试时扩展循环神经网络置信度投票推理模型数独求解迷宫求解
发布时间 2026/04/15 14:10最近活动 2026/04/16 10:50预计阅读 2 分钟
C-voting:无需能量函数的置信度投票测试时扩展策略
1

章节 01

【导读】C-voting:无需能量函数的置信度投票测试时扩展策略

本文提出C-voting策略,通过置信度投票机制实现循环神经网络的测试时扩展,无需显式能量函数即可提升推理任务性能。该策略解决现有测试时扩展依赖能量函数的局限,具有广泛适用性,可应用于多种循环架构及数独、迷宫求解等推理任务。

2

章节 02

背景:循环推理模型与测试时扩展现状

具有潜在循环处理的神经网络模型近年受关注,其特点是相同层递归应用于潜在状态,是执行推理任务的理想选择。这类模型支持测试时扩展(Test-Time Scaling)——无需额外训练,通过测试阶段增加计算提升性能。典型代表包括:

  • 分层推理模型(HRM):增加循环步骤实现深层推理
  • 人工藏本振荡神经元(AKOrN):利用振荡动力学推理 这些模型已成功应用于数独、迷宫求解和AGI基准测试等任务。
3

章节 03

现有策略局限:能量函数依赖

现有测试时扩展策略(如基于能量的投票)虽有效,但存在关键限制:需模型具备显式能量函数。这大大限制适用范围,因许多循环模型无显式能量函数。

4

章节 04

C-voting策略:置信度投票机制详解

研究团队提出C-voting(Confidence-Based Voting),专为多潜在候选轨迹的循环模型设计的测试时扩展策略。核心机制:

  1. 多候选初始化:随机变量初始化潜在状态,生成多个候选轨迹
  2. 置信度评估:计算每个候选预测结果的top-1概率平均值
  3. 选择最优候选:取置信度最高的候选为最终输出 该方法直接用模型自身预测置信度作选择标准,无需额外能量函数。
5

章节 05

实验证据:C-voting性能表现

实验结果显示C-voting显著优势:

数独难题

  • 困难数独(Sudoku-hard)上,比基于能量的投票准确率高4.9%

极端数独与迷宫

结合注意力循环模型**ItrSA++**后:

  • 极端数独(Sudoku-extreme)准确率达95.2%,远超HRM的55.0%
  • 迷宫任务准确率达78.6%,优于HRM的74.5%
6

章节 06

结论:C-voting的核心优势——普适性

C-voting最重要优势是广泛适用性。因不依赖显式能量函数,可应用于:

  • 各类循环神经网络架构
  • 无能量函数的模型
  • 任何能输出概率分布的模型 这大幅降低测试时扩展策略的部署门槛。
7

章节 07

未来方向:C-voting的扩展探索

C-voting的成功表明,测试时扩展无需复杂能量函数设计,简单置信度度量即可超越复杂方法。为策略设计提供新思路:

  • 探索其他基于置信度的选择机制
  • 研究置信度与推理深度的关系
  • 将C-voting扩展到更多推理任务类型