micro-kiki：35个领域专家LoRA与认知层架构的创新实践

micro-kiki是基于Qwen3.6-35B-A3B构建的多领域专家系统，通过35个LoRA适配器和三层认知架构（Aeon记忆、CAMP协商、KnowBias反偏见）实现专业领域精准推理与持续学习。本文将从背景、架构、训练、部署等方面展开介绍。

micro-kiki是Hypneum Lab旗下dreamOfkiki研究计划的部署成果，由Clément Saillant主导开发，核心目标是构建能处理35个专业领域的AI系统。基础模型选择Qwen3.6-35B-A3B，其MoE架构（256专家仅激活30亿参数）兼顾效率与容量，支持26.2万token超长上下文。

micro-kiki引入三层认知架构：

1. 元路由器（MetaRouter）：Sigmoid分类器支持多领域激活（最多4个适配器），基于语义特征路由，处理跨领域问题；
2. Aeon记忆系统：双存储架构（Atlas语义记忆、Trace图结构记忆），在多轮对话中保持上下文连贯性，实测14轮对话平均召回36次以上；
3. CAMP协商与KnowBias过滤：协调多专家意见，防止群体思维，并通过偏见检测与框架解构确保输出中立专业。

LoRA训练最优配置：32层（共40层）、rank=16/alpha=16、学习率1e-5、迭代100-1000次。硬件需Mac Studio M3 Ultra 512GB（BF16训练峰值显存107GB）。遗忘门机制：新适配器与已有适配器余弦相似度<30度且胜率降超3%时触发回滚，防止灾难性遗忘。

目前完成10个SFT领域适配器训练，部分领域数据如下：

领域	训练样本数	最终损失	典型场景
kicad-dsl	694	0.42	PCB设计
spice-sim	368	0.38	电路仿真
stm32	711	0.44	固件开发
electronics	1900	0.43	通用电子工程
其中SPICE、STM32、electronics、DSP 4个领域通过遗忘门测试，跨领域兼容性良好。

提供两种部署方案：

• Mac Studio：MLX框架，Q4_K_M量化，设置内存/缓存限制避免GPU挂起；
• RTX4090：vLLM的AWQ量化，24GB显存可加载基础模型+2-4适配器，推理速度30-50 token/秒。训练不建议消费级显卡（需超100GB显存）。

micro-kiki属于Hypneum Lab生态：

• KIKI-Mac_tunner：训练执行与MLX pipeline；
• nerve-wml：神经协议顾问桥接；
• dream-of-kiki：梦境式知识整合姊妹项目。 数据集（489K样本）、轻量版（4B）及完整版（35B含适配器）模型已发布至Hugging Face。

micro-kiki证明通过LoRA组合、智能路由与认知架构，可在消费级硬件实现多领域深度覆盖。其遗忘门、偏见过滤机制为领域专家模型开发提供方法论，对技术领域AI部署的工程师和研究者具有参考价值，值得关注参与。