QuickThink：为本地小模型打造的推理控制层

QuickThink是Hermes Labs AI推出的本地优先推理控制层，旨在解决小型LLM在本地运行时处理多步骤任务表现不佳的问题。通过"计划-回答"脚手架模式，帮助小模型生成更可靠的结构化输出，同时保持低延迟。支持Ollama等本地推理引擎，提供三种执行模式（lite、two_pass、direct），适配不同任务复杂度与延迟需求，为本地优先、隐私保护的LLM应用提供解决方案。

小型本地模型（如Qwen2.5 1.5B、Mistral7B）具有推理速度快、资源占用低的优势，但在多步骤任务中存在明显局限：推理链易断裂、结构化输出不稳定（如JSON/代码语法错误）、上下文利用不充分。这些问题制约了小模型在复杂场景中的应用，QuickThink正是针对这些痛点设计。

QuickThink采用"计划-回答"模式，先让模型生成简短计划（6-16关键词token），再基于计划生成答案，借鉴思维链技术但压缩长度适配小模型。提供三种执行模式：lite（单次调用，延迟最低）、two_pass（分离计划与回答，质量更高）、direct（无计划，适合简单查询）。内置自适应路由系统，根据任务特征自动选择路径；定义严格计划语法（g:<目标>;c:<约束>;s:<步骤>;r:<资源>）确保可解析性。

QuickThink提供完整本地评估工具：quickthink ui可视化计划过程、eval_harness规范评估流水线、quickstart.sh一键演示。支持Qwen2.5、Mistral、Gemma3等模型，预设fast/balanced/strict三种路由策略。应用场景包括：结构化数据提取（strict预设减少格式错误）、代码生成（two_pass模式提升结构与错误处理）、快速问答（direct模式低延迟）。

QuickThink提供直观CLI（如list-models、ask命令），支持机器可读输出与脚本集成；本地Web界面（默认7860端口）提供计划可视化、路由展示、性能监控。深度集成Ollama，自动处理模型拉取缓存，使用其REST API；支持代理运行时，便于自动化场景集成。

当前局限：仅支持Ollama后端、计划语法对极复杂任务可能简化、小模型基础能力仍瓶颈。未来计划：支持更多推理引擎（llama.cpp、vLLM）、动态计划长度调整、多轮对话计划累积、开源评估数据集与基准。

QuickThink通过智能脚手架技术让小模型发挥更大价值，"小模型+控制层"架构或成边缘AI主流。项目开源，遵循最佳实践（OSS就绪度评分卡、标准对齐文档），提供丰富学习资源（文档、演示、架构设计），为社区贡献者提供良好参与入口，值得关注尝试。