FinRuleBench：AI金融推理能力的沙盒化评测框架

FinRuleBench是专为评估AI模型金融推理能力设计的沙盒化基准测试框架，通过模拟交易场景、隐藏字段保护和确定性重放机制，为金融AI的安全部署提供可靠的能力评估标准。它解决传统AI评测缺乏金融场景复杂推理、风险控制和合规边界评估的问题，建立行业标准，助力金融机构和开发者验证模型能力。

随着大型语言模型在金融领域应用日益广泛，AI系统承担重要决策角色，但金融决策具有高风险性和强监管要求，传统评测聚焦通用知识问答或代码生成，缺乏对金融场景复杂推理、风险控制和合规边界的系统性评估。FinRuleBench（原LexCapital）提供完全隔离的沙盒环境，让开发者零风险测试AI金融决策能力。

FinRuleBench遵循三大关键原则：1.沙盒化安全隔离：所有交易在模拟环境进行，无真实资金连接，消除测试风险；2.隐藏字段保护：隐藏未来价格、陷阱条件等字段，模拟真实世界信息不对称；3.确定性重放与可复现评分：生成重放记录确保结果一致，综合资产价值、最大回撤等量化评分，违规操作直接DQ得零分。

覆盖四大关键维度：1.金融规则阅读理解：准确理解交易限制、持仓要求等规则并转化为约束；2.法律合规边界识别：在复杂约束下识别允许操作空间；3.合成市场陷阱应对：测试异常波动、误导性信号等边缘情况鲁棒性；4.风险校准与不确定性处理：评估风险收益权衡及信息有限时的保守策略选择。

提供完整CLI工具链：1.场景验证与提示渲染：validate命令检查场景格式，render-prompt查看模型实际提示；2.评估模式：支持外部模型评估（通过适配器调用）和自我评估（AI自主决策）；3.批量评测与结果聚合：run-suite批量运行场景，score-dir生成综合评分报告。

FinRuleBench建立金融AI能力评估行业标准：对金融机构是模型选型和安全部署的验证手段；对开发者指明优化方向；在严监管背景下是合规支撑材料；沙盒设计降低评测风险与采纳门槛。

FinRuleBench代表AI评测向垂直领域专业化趋势，通用能力强的模型未必适用于高风险金融领域。通过沙盒评测可提前识别AI能力边界和潜在风险，建议计划部署金融AI的团队将其纳入工具箱。