FinAgent-8B：面向实时金融推理的QLoRA微调智能体模型

FinAgent-8B是一个面向实时金融推理的端到端智能体项目，通过QLoRA微调和ReAct架构，使7B参数的开源模型（基于Mistral）在金融领域达到接近大模型的性能。项目包含数据合成、QLoRA微调、ReAct智能体实现和评估框架四大核心模块，为金融AI应用开发提供可复现的完整范例。其核心价值在于：恰当微调的小模型可匹敌大模型，降低部署成本，并为数据隐私敏感企业提供本地运行方案。

金融领域对AI模型有特殊需求：既需要高精度推理，又需考虑部署成本和数据隐私。FinAgent-8B项目的核心主张是：经过领域特化微调的小模型（如7B参数），在聚焦场景下可匹敌体量远超自身的通用大模型。这一主张为解决金融AI应用中的成本与隐私问题提供了可行路径，推动小模型在垂直领域的落地。

数据质量是微调成功的关键。项目采用Distilabel框架构建数据管道，以GPT-4o为教师模型生成约2400条训练样本，按80/20分为训练集和验证集，采用Mistral对话格式存储。样本类型包括：

1. CoT推理样本：要求模型展示思维链，分解复杂问题并给出结构化回答；
2. 工具调用轨迹：模拟多轮交互（助手→工具→助手），包含有效[TOOL_CALLS]格式及工具返回整合；
3. 安全防护示例：训练模型识别并引导不当请求（如集中风险、不切实际收益预期等）。

项目采用QLoRA技术实现高效微调，单张L40S GPU约45分钟完成训练。

• 基础模型选择：Mistral-7B-Instruct-v0.3（原生支持并行工具调用，适配金融场景多工具同时调用需求）；
• 核心配置：4-bit NF4量化、LoRA r=16/α=32、目标层覆盖q/k/v/o投影及门控/上下投影层、bf16混合精度、有效批次16、余弦调度学习率（峰值2e-4）、训练约3轮；
• 模型发布：微调后模型已上传至Hugging Face Hub（danab17/finagent-7b-merged）。

项目提供两种智能体实现：

1. 从零实现版本：手写ReAct循环，展示智能体本质结构（生成思考与行动→解析工具调用→执行工具→整合观察结果），适合学习理解；
2. LangGraph版本：生产级实现，支持状态机流程控制、条件分支、流式输出、人工介入，与从零版本共享工具注册表以保证行为一致。 智能体集成7种Alpha Vantage金融工具（实时股价、基本面、财务报表等），并实现60分钟TTL文件缓存，避免耗尽免费API额度。

项目设计20个测试问题，覆盖5类场景：single_tool（正确选工具）、parallel_tools（批量并行调用）、multi_turn（工具调用排序）、cot_only（直接推理）、guardrail（安全防护）。评估指标包括工具召回率/精确率、精确集合匹配、参数JSON有效性、安全防护通过率，可选GPT-4o-mini评分。框架支持两种模式：

• Mock模式：无需GPU/API密钥，用于CI验证逻辑；
• GPU模式：真实模型运行完整评估。

FinAgent-8B的关键启示：

1. 合成数据+微调可缩小模型规模，7B模型能挑战大模型；
2. 完整闭环（数据→训练→评估）是核心竞争力；
3. 并行工具调用是金融场景关键能力；
4. 金融安全需专门训练，基础模型对齐不足够。 项目提供快速开始命令（克隆、安装、配置.env、运行测试/agent/eval）及Gradio交互式演示，为领域智能体开发提供蓝图。