RPRA：让大模型学会"自知之明"——预测LLM评判器实现高效推理

本文介绍RPRA框架，核心是让模型在生成回答前预测LLM评判器的评分，从而自主决策何时独立回答、何时请求大模型协助，在保持性能的同时大幅降低推理成本。该框架为高效大模型推理提供新思路，助力构建更智能自适应的AI系统。

大型语言模型（LLM）部署面临根本性矛盾：模型越大能力越强，但计算资源消耗多、推理延迟高，尤其在资源受限设备上难以逾越。传统方案需在效率与质量间取舍，而人类处理问题时会灵活判断能力范围——熟悉问题独立解决，超出则寻求帮助，这正是当前大模型欠缺的"自知之明"能力。

RPRA（Reason-Predict-Reason-Answer/Act）框架核心创新是让模型先预测LLM评判器对自身输出的评分，再决策行动。其预测-行动范式（PA）含预测（接收查询后预测自身回答的评判分数）和决策（高评分则独立回答，低则转发大模型）两步骤，RPRA增加推理环节形成完整流程。研究团队探索三种实现策略：1.零样本预测：直接要求模型预测评分，较大模型表现良好；2.上下文报告卡：给小模型提供评分标准和示例，准确率平均提升55%；3.监督微调：用带真实评分数据训练模型，准确率平均提升52%。

研究团队在多数据集验证RPRA有效性，关键发现：1.模型规模与预测能力正相关，大模型零样本预测更好，小模型需额外指导或训练；2.报告卡和微调使小模型预测准确率提升50%以上；3.智能路由决策可让简单问题由小模型处理，复杂问题转大模型，保证性能同时降低平均推理成本。

RPRA框架意义在于揭示AI元认知能力（对自身认知过程的监控）研究方向。实际应用好处：成本优化（智能路由降低推理成本）、用户体验（自动选择最优回答）、可扩展性（支持模型扩展）。面临挑战：需平衡预测成本与路由收益，预测准确率在开放式任务中仍需提升。

RPRA框架为高效大模型推理提供优雅新思路，让模型学会"自知之明"，助力构建更智能、高效、自适应的AI系统，是向更具自我意识AI迈出的重要一步。论文链接：http://arxiv.org/abs/2604.12634v1