CLSGen：让大模型既能预测概率又能解释原因的双头框架

CLSGen（Classification and Generation）框架通过双头架构设计与协同训练策略，解决了大模型在分类任务中概率估计与解释生成难以兼顾的核心问题。该框架适用于医疗诊断、金融风险评估等高风险领域，让AI系统既能输出可靠的概率估计，又能生成人类可理解的解释，实现“既告诉我们‘是什么’，又解释‘为什么’”的目标。

在医疗、金融等高风险领域，开发者面临大模型决策的两大难题：需同时提供可靠概率估计和人类可理解的解释，但现有模型无法兼顾。生成式使用能输出解释却无精确概率；判别式使用（如添加分类头）能输出概率却失去生成解释能力。传统判别式微调还会导致灾难性遗忘（遗忘通用语言知识）和语言崩溃（失去解释生成能力），最终只能二选一。

双头架构设计

• 共享主干：保持Transformer层共享，学习丰富语言表征。
• 分类头：轻量级头输出分类概率，确保精确估计。
• 生成头：标准语言模型头，维护生成解释能力。
• 协同训练：两头发起协同优化，平衡分类与生成能力。

训练策略

• 多任务学习：同时优化分类损失（确保概率准确）和生成损失（保持解释能力）。
• 动态权重：根据训练进度调整损失权重，早期侧重生成能力，后期增加分类权重。
• 课程学习：按难度排序训练数据，从简单到复杂稳定学习。

数据构造

• 配对数据：每个样本含输入文本、真实标签及人工解释。
• 解释多样性：收集多种风格解释增强泛化。
• 质量控制：人工审核+自动检查过滤低质量解释。

技术细节

• 概率校准：温度缩放调整概率锐度、标签平滑防止过度自信、分桶校准优化估计。
• 解释对齐：注意力对齐聚焦决策相关输入、一致性损失惩罚标签-解释不一致、对比学习区分支持/不支持证据。
• 解码策略：约束解码确保关键信息、多样性采样生成不同表述、长度控制适应场景需求。

分类性能

• AUROC提升：较传统判别式微调，在多数据集实现2-5% AUROC提升。
• F1分数改善：类别不平衡数据集上F1更优，平衡精确率与召回率。
• 概率校准：预测概率与真实频率更一致，可靠性图接近对角线。

解释质量

• 标签-解释对齐：解释与预测标签高度一致（阳性解释支持判断，阴性解释说明无证据）。
• 可读性：自动指标（perplexity、BLEU）和人工评估显示语言流畅、逻辑清晰。
• 信息丰富度：含支持证据、置信度等信息，帮助理解决策过程。

能力保持

• 无灾难性遗忘：语言建模任务性能与原始模型相近。
• 通用任务迁移：微调外的通用NLP任务表现良好。
• 解释多样性：相似输入生成多样化解释，非模板重复。

医疗诊断辅助

• 输出：患病概率（如恶性78%）+诊断依据（不规则肿块、毛刺边缘等）。
• 价值：医生结合概率判断是否进一步检查，通过解释评估AI可信度。

金融风险评估

• 输出：风险概率（如违约23%）+风险因素（逾期记录、负债比等）。
• 价值：管理人员结合概率与解释做明智决策。

内容审核

• 输出：违规概率（如91%）+违规理由（仇恨言论、违反社区准则）。
• 价值：审核人员快速理解依据，提高效率与一致性。

法律文件分析

• 输出：风险等级（如高风险67%）+风险说明（模糊条款、违约责任不清）。
• 价值：律师优先处理高风险文件，快速定位问题。

局限

• 计算成本：双头架构与联合训练增加资源开销。
• 数据需求：需带解释的标注数据，获取成本高。
• 多分类扩展：当前主要针对二分类，多分类需进一步研究。
• 解释质量：偶尔产生低质量或误导性解释。

未来方向

• 开发更高效的双头架构，降低计算成本。
• 研究弱监督学习，减少对完整解释标注的依赖。
• 扩展到多标签分类、序数回归等复杂场景。
• 结合人类反馈优化解释质量。

CLSGen框架为大模型在实际决策场景的应用难题提供优雅解决方案，通过双头架构与训练策略平衡概率估计与解释生成。其意义不仅在于技术突破，更代表AI系统设计新思路：追求任务性能时不放弃通用能力与可解释性。随着AI在高风险领域角色加重，这种兼顾准确与透明的方法将更重要。CLSGen证明不必在“黑盒准确”与“透明可释”间二选一，是通向可信、实用AI的重要一步。