FASE：多智能体代码生成中的快速自适应语义熵度量方法

FASE是针对多智能体代码生成可靠性挑战提出的新型语义熵度量方法。它解决了传统语义熵依赖LLM等价性检查导致的高成本和幻觉风险问题，通过结构-语义差异图的最小生成树近似功能正确性，在计算成本仅为传统方法0.3%的情况下实现25%的性能提升。本文将从背景、方法、实验、应用等方面展开介绍。

多智能体代码生成的可靠性挑战

多智能体代码生成模拟人类协作完成编程任务，但面临LLM幻觉和跨智能体错误传播的问题，错误易级联放大且难以识别。传统代码质量评估依赖测试用例，但多智能体场景中常无预先测试用例，需无需真值的不确定性量化方法。

传统语义熵的局限

语义熵通过候选代码语义等价性分布量化不确定性，但现有方法依赖LLM等价性检查，成本高且引入新幻觉风险。

FASE核心思想

FASE通过结构-语义差异图的最小生成树近似功能正确性，完全避免LLM等价性检查：

1. 结构差异：AST或代码嵌入度量结构相似性
2. 语义差异：语义嵌入模型（如Qwen3-Embedding-8B）度量语义相似性
3. 图构建：候选代码为节点，结构-语义差异为边权重
4. 最小生成树：树边权重分布反映不确定性

技术优势

• 计算成本仅为传统方法0.3%
• 无LLM幻觉风险
• 可扩展至大规模多智能体系统
• 基于图论的理论保证

实现步骤

1. 代码嵌入生成
2. 结构特征提取
3. 差异图构建（权重=α结构差异+β语义差异）
4. 最小生成树计算
5. 自适应归一化调整阈值

评估基准

• HumanEval：164个手写编程问题
• BigCodeBench：大规模多场景基准

核心指标

• Spearman相关系数：衡量不确定性与Pass@1性能相关性
• ROCAUC分数：区分正确与错误代码的能力

实验结果

使用Qwen3-Embedding-8B时：

• Spearman相关系数提升25%
• ROCAUC分数提升19%
• 计算成本降低99.7% 结果证明FASE在效率与效果间实现平衡。

FASE适用于以下场景：

1. 多智能体代码审查：快速评估智能体输出可靠性，决定是否需验证或重生成
2. 实时代码建议筛选：毫秒级评估候选建议质量，优先展示高置信度选项
3. 测试资源优化：识别高不确定性代码，优先分配测试资源
4. 人机协作决策：量化不确定性，支持是否引入人类介入

技术启示

1. 避免LLM评估LLM输出的循环依赖
2. 代码功能正确性需结构-语义联合建模
3. 图论工具（如最小生成树）为不确定性量化提供新视角

未来方向

• 探索更先进嵌入模型提升准确性
• 扩展至其他编程语言和领域
• 结合执行轨迹开发混合式度量方法
• 应用于多模态代码生成场景

结语

FASE是多智能体代码生成领域的重要进展，大幅降低不确定性量化成本同时保持准确性，为实用化多智能体软件开发提供可靠保障。