多模型LLM推理对比平台：系统性研究AI推理行为的实验框架

一个全栈多模型LLM交互平台，支持同时对比多个大模型的推理行为，提供可配置的RAG检索、三种交互模式（直接回答/提示优先/引导推理）以及自动化批判评分系统。

在大语言模型百花齐放的今天，不同模型在相同任务上的表现差异如何量化？检索增强生成(RAG)的配置如何影响回答质量？不同的交互策略会改变模型的推理方式吗？

adaptive-llm-reasoning-platform项目正是为回答这些问题而设计。这是一个全栈多模型LLM交互平台，允许用户上传文档、提出问题，并实时对比多个AI模型的响应。它超越了简单的聊天机器人界面，提供可配置的检索策略、多种交互模式和自动批判引擎，用于评估每个回答的正确性、依据性和完整性。

平台支持同时查询多个LLM并实时并排展示响应结果。目前支持的模型包括：

• LLaMA 3.3 70B
• LLaMA 3.1 8B
• Qwen 3 32B（通过Groq免费API）
• GPT-4o / GPT-4o Mini（通过OpenAI API）

添加新模型只需修改一个配置项，体现了平台的可扩展性设计。

文档处理采用语义分块策略，使用sentence-transformers的all-MiniLM-L6-v2模型在本地生成嵌入向量，存储在轻量级JSONL向量库中。查询时，平台支持：

• 多种相似度度量：余弦相似度、L2距离、点积
• 可调整的Top-K检索数量
• 检索结果可审查性：每个模型接收的上下文块都带有相关性分数，完全透明

平台实现了三种不同的提示策略，改变模型组织响应的方式：

直接模式：标准的问答生成，模型直接给出答案。

提示优先模式：模型在给出完整答案前先提供提示，鼓励用户先自行思考。这种策略可能产生更有依据的回答。

引导推理模式：逐步分解问题，包含子问题、证据综合和置信度评级。这种结构化方式有助于提升回答的完整性。

通过相同问题、相同上下文、不同交互模式的对比，可以量化研究交互策略对回答质量的影响。

每个响应都可以通过多维度批判管道进行评估，评分维度包括：

• 正确性：回答在给定上下文下是否事实准确
• 依据性：回答是否严格基于检索到的信息，还是产生了幻觉
• 完整性：回答是否涵盖了问题的所有方面

批判系统还能识别具体问题（幻觉、误解、遗漏）并提出改进建议。该系统采用LLM-as-judge模式，通过结构化JSON输出生成评分。

• 框架：FastAPI（Python）
• 异步HTTP：httpx
• 数据验证：Pydantic
• 嵌入模型：sentence-transformers（all-MiniLM-L6-v2，约90MB，CPU即可运行）
• 文档处理：PyMuPDF
• 向量计算：NumPy

• 框架：React + TypeScript
• 构建工具：Vite