Noema：在消费级GPU上探索语言模型的潜空间推理

Noema项目聚焦小型语言模型（≤3亿参数）在连续潜空间中的推理能力探索，旨在替代传统离散思维链（CoT）token方式，提升样本效率、推理深度与速度。项目核心目标是验证小模型能否通过连续潜空间实现高效推理，并强调硬件友好性——所有实验可在单张RTX 3060（8GB显存）上复现，推动AI研究民主化。

传统大型语言模型（LLM）依赖离散思维链（CoT）生成文本token实现推理，但Meta 2024年提出的Chain of Continuous Thought（Coconut）研究表明，模型可在连续潜空间推理。Noema受此启发，核心问题为：小型语言模型能否在连续潜空间而非离散token中推理？

离散CoT存在推理延迟高、计算成本大、文本表示非最优等局限；潜空间推理通过连续向量编码语义，可捕捉更精细概念关系。Noema聚焦消费级硬件，理念为“前沿机制常从玩具规模开始”，让更多研究者无需昂贵资源即可参与探索。

Noema规划五阶段：Phase0建立nanoGPT风格基线模型验证流程；Phase1引入核心创新“连续思维头”，允许输出潜向量并反馈；Phase2用课程学习训练数学/逻辑谜题；Phase3对比潜空间CoT、离散CoT与无CoT表现；Phase4若成功则论文开源并邀合作。

项目要求所有实验可在单张RTX 3060（8GB显存）复现，最低配置为RTX3060 8GB、16GB内存、50GB磁盘；推荐12GB+显存、32GB内存、200GB磁盘。CPU-only训练仅理论可行于≤1000万参数模型，不推荐。此设计推动AI研究民主化。

若成功，将更新小模型能力认知（参数量非唯一决定因素）；催生边缘设备可运行的高效推理模型，适用于移动AI、物联网；其“消费级硬件验证新架构”方法论为社区提供借鉴。

Noema代表AI研究健康趋势：回归实验本质、重视可复现性、拥抱硬件约束。项目不追逐参数竞赛，探索表示学习本质，为高效AI、推理机制研究者提供开源关注对象，社区可跟踪进展并参与。