Chimère ODO：本地LLM的统一推理编排器，自适应计算与自我改进

Chimère ODO是一个Python编写的本地LLM推理编排层，位于用户请求和推理服务器之间，提供意图分类、上下文增强、自适应计算路由、质量评估和自我改进循环，配合8步SOTA搜索流水线实现智能交互。

Chimère ODO是Chimère生态系统中的智能编排层，扮演"用户请求与推理服务器之间的智能中介"角色。它运行在Python层，监听8084端口，接收用户查询后执行一系列预处理、路由决策和后处理步骤，最终将优化后的请求转发给底层的chimere-server（Rust推理运行时）。

这种分层架构设计体现了现代AI系统的一个核心趋势：将"快速思考"（推理执行）与"慢速思考"（编排决策）分离。Rust层专注于极致的推理性能，而Python层则负责灵活的意图理解、上下文管理和质量优化。两者协同工作，共同提供既快速又智能的用户体验。

ODO对每个用户请求执行标准化的五阶段处理：

第一阶段：意图分类。系统采用三级级联策略识别用户意图：首先通过正则表达式快速匹配常见模式，然后基于文件类型进行判断，最后才调用本地LLM进行深度语义分析。这种渐进式策略在准确性和效率之间取得了平衡。

第二阶段：上下文增强。通过ChromaDB向量检索、网络搜索、工具注入和SOUL.md整合等方式，为原始查询补充相关背景信息。这一阶段将孤立的用户问题转化为信息丰富的结构化请求。

第三阶段：自适应路由。基于熵值计算动态选择计算配置，决定是使用深度思考模式（think）还是快速响应模式（no-think）。系统还会根据查询特性选择合适的路由配置文件。

第四阶段：转发执行。将处理后的请求发送给chimere-server，由Rust运行时执行实际的模型推理。

第五阶段：质量评估与反馈。对模型输出进行评分，记录训练样本对，为夜间的自我改进循环提供数据。

ODO的意图分类机制体现了工程 pragmatism：不盲目追求单一技术的完美，而是组合多种方法实现可靠的整体性能。

第一级：正则匹配。针对高频、模式固定的查询类型（如代码生成请求、文件操作指令），使用预编译的正则表达式进行毫秒级识别。

第二级：文件类型推断。基于请求中涉及的文件扩展名、MIME类型或路径特征进行意图推断。例如，涉及.py文件的操作很可能与Python编程相关。

第三级：LLM语义分析。当前两级无法确定意图时，调用轻量级本地模型进行深度语义理解。这一级虽然成本较高，但能处理复杂、模糊的查询。

这种级联设计确保大多数简单查询能在极短时间内完成分类，只有真正复杂的查询才会触发昂贵的LLM调用。

ODO的上下文增强模块整合了多种信息源：

ChromaDB RAG检索：从本地向量数据库中检索与用户查询语义相关的历史文档、代码片段或知识条目。

网络搜索集成：当本地知识不足以回答问题时，自动触发网络搜索。ODO实现了8步SOTA搜索流水线：查询扩展→并行检索（ChromaDB+网络）→互惠排名融合→深度获取→多样性处理→对比检索增强生成→矛盾检测→综合合成。

工具注入：根据识别的意图，动态注入相关的MCP工具描述，使模型了解可用的外部能力。

SOUL.md整合：读取用户或项目的SOUL.md文件，注入个性化的背景信息、偏好设置和上下文记忆。

这些增强手段将用户的简短查询转化为包含丰富上下文的结构化提示，显著提升模型输出的相关性和准确性。

ODO最具创新性的特性之一是自适应计算路由。系统根据查询的"认知复杂度"动态调整计算资源配置：

熵值评估：分析查询的信息熵，识别其中的不确定性、模糊性和需要深度推理的部分。高熵查询（如开放式创意任务、复杂问题求解）需要更多的计算资源。

Think vs No-Think模式：对于低熵的简单查询，系统选择no-think模式，使用更快的采样策略和较短的思考链；对于高熵的复杂查询，则启用think模式，允许模型进行更深入的逐步推理。

配置文件路由：ODO为不同场景预定义了路由配置（code、kine、cyber、research、default、vision、doc_qa、general），每个配置指定了特定的流水线参数、工具集和模型行为。

这种动态资源分配策略确保计算能力被用在最需要的地方，避免在简单查询上浪费资源，同时在复杂任务上提供充足的推理深度。

ODO实现了完整的质量反馈闭环：

输出评分：对每次推理的结果进行多维度评分，评估准确性、完整性、相关性和有用性。

训练对记录：将（增强后的输入，评分后的输出）记录为训练样本，存储在本地数据集。

夜间LoRA微调：在系统空闲时段（夜间），使用累积的训练数据对基础模型进行LoRA微调，逐步提升模型在特定领域和任务上的表现。

DSPy优化：结合DSPy框架进行提示词和流水线参数的自动优化，持续改进系统的整体性能。

Engram记忆整合：将高质量交互样本整合到Engram记忆系统，用于后续的语义少样本学习和n-gram对数偏置。

这种自我改进机制使ODO能够随着时间的推移适应用户的特定需求和偏好，实现真正的个性化AI助手体验。

ODO的网络搜索能力不仅仅是简单的API调用，而是一个复杂的多阶段流水线：

1. 查询扩展：将用户的简短查询扩展为多个相关搜索词，覆盖不同的表述方式和相关概念。

2. 并行检索：同时查询本地ChromaDB和外部网络搜索引擎，获取多源信息。

3. 互惠排名融合（RRF）：使用RRF算法合并多个来源的搜索结果，生成统一的排名列表。

4. 深度获取：对排名靠前的结果进行深度内容抓取，而非仅依赖摘要。

5. 多样性处理：确保结果集合覆盖查询的不同方面，避免信息茧房。

6. 对比检索增强生成（CRAG）：识别检索结果中的关键信息片段，用于指导生成过程。

7. 矛盾检测：分析多个来源的信息，识别和标记相互矛盾的说法。

8. 综合合成：将所有处理后的信息整合为连贯、准确的上下文摘要。

这个8步流水线确保了网络搜索结果的全面性、准确性和可用性，为模型提供了高质量的外部知识注入。