本文介绍一项关于SegFormer分割模型几何推理能力的研究项目。通过合成多边形数据集训练和系统实验，研究团队发现模型存在"凹面填充"行为——系统性地低估凹面区域变化、高估凸面区域变化，且该行为与模型规模无单调关系。项目提供了完整的实验框架和评估工具。

神经分割模型的几何推理研究：探索凹面填充行为与人类感知对齐\n\n## 研究背景与问题\n\n计算机视觉领域在图像分割任务上取得了显著进展，SegFormer等模型在标准基准测试上表现优异。然而，这些模型是否真正"理解"了几何形状？它们对几何属性的感知是否与人类一致？这些问题对于理解神经网络的决策机制、提升模型可信度至关重要。\n\n哈佛大学的一项研究项目"Towards Aligned Body Representations"正是聚焦于这一核心问题。研究团队通过精心设计的合成数据集和对比实验，系统分析了SegFormer模型在处理几何形状时的行为模式，特别是发现了一种被称为"凹面填充(Concavity Filling)"的系统性偏差。\n\n## 核心研究问题\n\n项目围绕以下几个关键问题展开：\n\n1. 几何感知对齐：神经网络分割模型对几何形状(凹面、凸面、边界)的感知是否与人类判断一致？\n2. 凹面填充行为：模型是否存在系统性地"填充"凹面区域的趋势？\n3. 模型规模效应：更大的模型是否表现出更好的几何推理能力？\n4. 训练动态：几何推理能力在训练过程中如何演化？\n\n## 研究方法\n\n### 合成数据集构建\n\n为了精确控制实验条件，研究团队构建了合成多边形数据集：\n\n- 多边形生成：程序化生成具有特定几何属性的形状\n- 类别划分：凹面(Concave)、凸面(Convex)、无填充凹面(Concave_nofill)\n- 训练/验证划分：标准的数据集切分策略\n\n合成数据的优势在于可以精确控制形状的几何属性，避免了真实世界图像中复杂的背景干扰，使研究者能够聚焦于模型对纯几何信息的处理能力。\n\n### 模型训练\n\n项目使用SegFormer系列模型进行实验，覆盖从B0到B5的不同规模：\n\n| 模型 | 参数量 | 特点 |\n|------|--------|------|\n| B0 | 3.7M | 轻量级，快速推理 |\n| B1 | - | 平衡性能与效率 |\n| B2 | - | 中等规模 |\n| B3 | - | 较大规模 |\n| B4 | - | 大规模 |\n| B5 | 84.6M | 最大规模，最强性能 |\n\n训练配置包括：\n- 基于ADE20K或Cityscapes预训练权重的微调\n- 合成数据集上的端到端训练\n- 15个训练周期的完整记录\n\n### 实验设计\n\n项目设计了多个互补的实验来全面评估几何推理能力：\n\n实验1：变化检测分析(Exp3b_CD)\n\n核心实验，对比模型预测与人类对形状变化的"相同/不同"判断：\n\n- 计算模型预测的面积变化与人类判断的相关性\n- 进行阈值扫描，寻找最优检测阈值(最小RMSE)\n- 计算Pearson和Spearman相关系数\n- 生成类别特定的对比图(带置信区间)\n\n实验2：面积变化比率分析\n\n量化模型对面积变化的检测精度：\n\n\narea_ratio = model_delta / gt_delta\n\n\n- 完美预测 = 1.0\n- 高估 > 1.0\n- 低估 < 1.0\n\n实验3：凹面填充评估(CFEM)\n\n专门设计的控制实验，研究模型如何处理凹面区域：\n\n- 生成标准凹面多边形，带有可移动的三角形附件\n- 评估当附件移动时模型预测的变化\n- 分析凹面填充行为在不同模型架构间的差异\n\n实验4：参数剪枝研究(Exp4_Pruning)\n\n通过剪枝研究参数规模对几何推理的影响：\n\n- 对单一模型(如B1 Epoch15)进行1%到75%+的参数剪枝\n- 隔离参数数量与架构差异的影响\n- 支持非结构化剪枝(L1/L2幅度)和结构化剪枝(通道剪枝)\n\n实验5：碰撞时间估计(Exp2_TTC)\n\n从碰撞视频中提取真实运动统计，比较模型的时间-碰撞估计与人类判断。\n\n## 关键发现\n\n### 凹面填充行为\n\n研究发现了模型在处理凹面区域时的系统性偏差：\n\n- 凹面区域：模型倾向于低估变化(area_ratio ~0.3-0.6)\n- 凸面区域：模型倾向于高估变化(area_ratio ~1.3-2.5)\n- 无填充凹面：最难处理，表现出高度不稳定性\n\n这种行为模式被命名为"凹面填充"——模型似乎有一种将凹面"填充"成更规则形状的趋势，导致对凹面变化的敏感度降低。\n\n### 模型规模的非单调效应\n\n一个反直觉的发现是：更大的模型并不总是表现出更好的面积预测能力。\n\n- 从B0(3.7M)到B5(84.6M)，性能与参数量的关系并非单调递增\n- 某些中等规模模型在特定几何任务上表现优于更大模型\n- 这表明几何推理能力可能与架构设计、训练动态等复杂因素相关，而非简单的规模扩展\n\n### 训练动态\n\n通过追踪15个训练周期的表现，研究发现：\n\n- 性能在大约第5-7个epoch趋于稳定\n- 后续训练带来的改善有限\n- 早期训练阶段的几何推理能力已经奠定了后续表现的基础\n\n### 与人类判断的对齐\n\n变化检测分析显示：\n\n- 模型预测与人类"相同/不同"判断存在可量化的相关性\n- 但系统性偏差(凹面填充)表明两者并非完全对齐\n- 存在最优阈值，但无法完全消除类别间的差异\n\n## 技术实现\n\n### 项目结构\n\n项目采用清晰的分层结构：\n\n\n├── src/ # 核心库代码\n│ ├── data_io/ # 数据集处理\n│ ├── training/ # 训练流水线\n│ ├── evaluation/ # 评估与指标\n│ ├── visualization/ # 可视化工具\n│ └── analysis/ # 几何分析工具\n├── experiments/ # 研究实验\n│ ├── CFEM/ # 凹面填充实验\n│ ├── Exp2_TTC/ # 碰撞时间估计\n│ ├── Exp3b_CD/ # 变化检测分析\n│ └── Exp4_Pruning/ # 剪枝研究\n├── data/ # 数据集\n├── data_synthetic/ # 合成训练数据\n├── outputs/ # 结果与可视化\n└── runs/ # 模型检查点\n\n\n### 关键工具\n\n训练与评估：\n- make train：训练模型\n- make eval：模型评估\n- scripts/evaluation/eval_all_models_test.sh：批量评估\n\n分析脚本：\n- run_change_detection.py：变化检测分析\n- analyze_area_changes.py：面积变化比率分析\n- plot_model_scaling.py：模型规模效应可视化\n- plot_all_scaling.py：综合可视化\n\nCFEM实验：\n- shape_generator.py：生成基础形状\n- dataset_generator.py：生成CFEM数据集\n- evaluate.py：评估模型在CFEM上的表现\n\n### 评估指标\n\n项目使用多种指标全面评估模型表现：\n\n- 面积变化比率：核心指标，量化预测偏差\n- Pearson/Spearman相关系数：衡量与人类判断的相关性\n- RMSE：阈值扫描中的误差度量\n- CodeBLEU风格指标：n-gram、语法、数据流匹配\n\n## 研究意义\n\n### 理论贡献\n\n1. 揭示系统性偏差：首次系统量化了分割模型在几何推理中的"凹面填充"行为\n2. 挑战规模假设：证明模型规模与几何推理能力不存在简单正相关\n3. 建立评估框架：提供了一套完整的合成数据实验方法论\n\n### 实践价值\n\n1. 模型选择指导：帮助从业者理解不同规模模型的几何推理特点\n2. 训练策略优化：揭示训练早期阶段对几何能力的关键作用\n3. 可信度评估：为需要几何精度的应用(如医学影像、自动驾驶)提供模型选择依据\n\n### 未来方向\n\n项目文档指出了若干未来研究方向：\n\n1. 跨架构验证：在其他分割架构(如Mask2Former、OneFormer)上验证发现\n2. 真实数据迁移：研究合成数据上的发现是否迁移到真实场景\n3. 干预方法：探索能否通过训练干预减轻凹面填充偏差\n4. 人类研究：更深入地理解人类几何感知的认知机制\n\n## 使用指南\n\n### 快速开始\n\nbash\n# 克隆仓库\ngit clone <repository-url>\ncd Programming\n\n# 创建虚拟环境\npython -m venv .venv\nsource .venv/bin/activate\n\n# 安装依赖\npip install -r requirements.txt\n\n# 构建数据集\nmake build\n\n# 训练模型\nmake train CKPT_DIR=runs/my_experiment\n\n# 评估\nmake eval CKPT_DIR=runs/my_experiment\n\n\n### 运行CFEM实验\n\nbash\ncd experiments/CFEM\n\n# 生成数据集\npython core/dataset_generator.py --out-dir outputs/dataset --steps 50\n\n# 评估模型\npython analysis/evaluate.py \\\n --ckpt ../../runs/my_experiment \\\n --dataset outputs/dataset\n\n\n### 运行变化检测分析\n\nbash\n# 单模型分析\npython experiments/Exp3b_CD/analysis/run_change_detection.py \\\n --model b4_ade_synth --epoch E15\n\n# 运行所有分析\n./experiments/Exp3b_CD/scripts/run_all.sh\n\n\n## 总结\n\n"Towards Aligned Body Representations"是一项深入探索神经网络几何推理能力的研究项目。通过严谨的实验设计和全面的评估框架，研究团队揭示了SegFormer模型在处理凹面区域时的系统性偏差，挑战了"更大模型总是更好"的常识性假设。\n\n项目提供的开源实现包括完整的数据生成、模型训练、实验评估和可视化工具链，为后续研究提供了坚实基础。对于关注神经网络可解释性、几何推理和模型可信度评估的研究者和工程师，这项工作提供了宝贵的洞察和实用工具。

神经分割模型的几何推理研究：探索凹面填充行为与人类感知对齐\n\n研究背景与问题\n\n计算机视觉领域在图像分割任务上取得了显著进展，SegFormer等模型在标准基准测试上表现优异。然而，这些模型是否真正"理解"了几何形状？它们对几何属性的感知是否与人类一致？这些问题对于理解神经网络的决策机制、提升模型可信度至关重要。\n\n哈佛大学的一项研究项目"Towards Aligned Body Representations"正是聚焦于这一核心问题。研究团队通过精心设计的合成数据集和对比实验，系统分析了SegFormer模型在处理几何形状时的行为模式，特别是发现了一种被称为"凹面填充(Concavity Filling)"的系统性偏差。\n\n核心研究问题\n\n项目围绕以下几个关键问题展开：\n\n1. 几何感知对齐：神经网络分割模型对几何形状(凹面、凸面、边界)的感知是否与人类判断一致？\n2. 凹面填充行为：模型是否存在系统性地"填充"凹面区域的趋势？\n3. 模型规模效应：更大的模型是否表现出更好的几何推理能力？\n4. 训练动态：几何推理能力在训练过程中如何演化？\n\n研究方法\n\n合成数据集构建\n\n为了精确控制实验条件，研究团队构建了合成多边形数据集：\n\n- 多边形生成：程序化生成具有特定几何属性的形状\n- 类别划分：凹面(Concave)、凸面(Convex)、无填充凹面(Concave_nofill)\n- 训练/验证划分：标准的数据集切分策略\n\n合成数据的优势在于可以精确控制形状的几何属性，避免了真实世界图像中复杂的背景干扰，使研究者能够聚焦于模型对纯几何信息的处理能力。\n\n模型训练\n\n项目使用SegFormer系列模型进行实验，覆盖从B0到B5的不同规模：\n\n| 模型 | 参数量 | 特点 |\n|------|--------|------|\n| B0 | 3.7M | 轻量级，快速推理 |\n| B1 | - | 平衡性能与效率 |\n| B2 | - | 中等规模 |\n| B3 | - | 较大规模 |\n| B4 | - | 大规模 |\n| B5 | 84.6M | 最大规模，最强性能 |\n\n训练配置包括：\n- 基于ADE20K或Cityscapes预训练权重的微调\n- 合成数据集上的端到端训练\n- 15个训练周期的完整记录\n\n实验设计\n\n项目设计了多个互补的实验来全面评估几何推理能力：\n\n实验1：变化检测分析(Exp3b_CD)\n\n核心实验，对比模型预测与人类对形状变化的"相同/不同"判断：\n\n- 计算模型预测的面积变化与人类判断的相关性\n- 进行阈值扫描，寻找最优检测阈值(最小RMSE)\n- 计算Pearson和Spearman相关系数\n- 生成类别特定的对比图(带置信区间)\n\n实验2：面积变化比率分析\n\n量化模型对面积变化的检测精度：\n\n\narea_ratio = model_delta / gt_delta\n\n\n- 完美预测 = 1.0\n- 高估 > 1.0\n- 低估 < 1.0\n\n实验3：凹面填充评估(CFEM)\n\n专门设计的控制实验，研究模型如何处理凹面区域：\n\n- 生成标准凹面多边形，带有可移动的三角形附件\n- 评估当附件移动时模型预测的变化\n- 分析凹面填充行为在不同模型架构间的差异\n\n实验4：参数剪枝研究(Exp4_Pruning)\n\n通过剪枝研究参数规模对几何推理的影响：\n\n- 对单一模型(如B1 Epoch15)进行1%到75%+的参数剪枝\n- 隔离参数数量与架构差异的影响\n- 支持非结构化剪枝(L1/L2幅度)和结构化剪枝(通道剪枝)\n\n实验5：碰撞时间估计(Exp2_TTC)\n\n从碰撞视频中提取真实运动统计，比较模型的时间-碰撞估计与人类判断。\n\n关键发现\n\n凹面填充行为\n\n研究发现了模型在处理凹面区域时的系统性偏差：\n\n- 凹面区域：模型倾向于低估变化(area_ratio ~0.3-0.6)\n- 凸面区域：模型倾向于高估变化(area_ratio ~1.3-2.5)\n- 无填充凹面：最难处理，表现出高度不稳定性\n\n这种行为模式被命名为"凹面填充"——模型似乎有一种将凹面"填充"成更规则形状的趋势，导致对凹面变化的敏感度降低。\n\n模型规模的非单调效应\n\n一个反直觉的发现是：更大的模型并不总是表现出更好的面积预测能力。\n\n- 从B0(3.7M)到B5(84.6M)，性能与参数量的关系并非单调递增\n- 某些中等规模模型在特定几何任务上表现优于更大模型\n- 这表明几何推理能力可能与架构设计、训练动态等复杂因素相关，而非简单的规模扩展\n\n训练动态\n\n通过追踪15个训练周期的表现，研究发现：\n\n- 性能在大约第5-7个epoch趋于稳定\n- 后续训练带来的改善有限\n- 早期训练阶段的几何推理能力已经奠定了后续表现的基础\n\n与人类判断的对齐\n\n变化检测分析显示：\n\n- 模型预测与人类"相同/不同"判断存在可量化的相关性\n- 但系统性偏差(凹面填充)表明两者并非完全对齐\n- 存在最优阈值，但无法完全消除类别间的差异\n\n技术实现\n\n项目结构\n\n项目采用清晰的分层结构：\n\n\n├── src/ 核心库代码\n│ ├── data_io/ 数据集处理\n│ ├── training/ 训练流水线\n│ ├── evaluation/ 评估与指标\n│ ├── visualization/ 可视化工具\n│ └── analysis/ 几何分析工具\n├── experiments/ 研究实验\n│ ├── CFEM/ 凹面填充实验\n│ ├── Exp2_TTC/ 碰撞时间估计\n│ ├── Exp3b_CD/ 变化检测分析\n│ └── Exp4_Pruning/ 剪枝研究\n├── data/ 数据集\n├── data_synthetic/ 合成训练数据\n├── outputs/ 结果与可视化\n└── runs/ 模型检查点\n\n\n关键工具\n\n训练与评估：\n- make train：训练模型\n- make eval：模型评估\n- scripts/evaluation/eval_all_models_test.sh：批量评估\n\n分析脚本：\n- run_change_detection.py：变化检测分析\n- analyze_area_changes.py：面积变化比率分析\n- plot_model_scaling.py：模型规模效应可视化\n- plot_all_scaling.py：综合可视化\n\nCFEM实验：\n- shape_generator.py：生成基础形状\n- dataset_generator.py：生成CFEM数据集\n- evaluate.py：评估模型在CFEM上的表现\n\n评估指标\n\n项目使用多种指标全面评估模型表现：\n\n- 面积变化比率：核心指标，量化预测偏差\n- Pearson/Spearman相关系数：衡量与人类判断的相关性\n- RMSE：阈值扫描中的误差度量\n- CodeBLEU风格指标：n-gram、语法、数据流匹配\n\n研究意义\n\n理论贡献\n\n1. 揭示系统性偏差：首次系统量化了分割模型在几何推理中的"凹面填充"行为\n2. 挑战规模假设：证明模型规模与几何推理能力不存在简单正相关\n3. 建立评估框架：提供了一套完整的合成数据实验方法论\n\n实践价值\n\n1. 模型选择指导：帮助从业者理解不同规模模型的几何推理特点\n2. 训练策略优化：揭示训练早期阶段对几何能力的关键作用\n3. 可信度评估：为需要几何精度的应用(如医学影像、自动驾驶)提供模型选择依据\n\n未来方向\n\n项目文档指出了若干未来研究方向：\n\n1. 跨架构验证：在其他分割架构(如Mask2Former、OneFormer)上验证发现\n2. 真实数据迁移：研究合成数据上的发现是否迁移到真实场景\n3. 干预方法：探索能否通过训练干预减轻凹面填充偏差\n4. 人类研究：更深入地理解人类几何感知的认知机制\n\n使用指南\n\n快速开始\n\nbash\n克隆仓库\ngit clone <repository-url>\ncd Programming\n\n创建虚拟环境\npython -m venv .venv\nsource .venv/bin/activate\n\n安装依赖\npip install -r requirements.txt\n\n构建数据集\nmake build\n\n训练模型\nmake train CKPT_DIR=runs/my_experiment\n\n评估\nmake eval CKPT_DIR=runs/my_experiment\n\n\n运行CFEM实验\n\nbash\ncd experiments/CFEM\n\n生成数据集\npython core/dataset_generator.py --out-dir outputs/dataset --steps 50\n\n评估模型\npython analysis/evaluate.py \\\n --ckpt ../../runs/my_experiment \\\n --dataset outputs/dataset\n\n\n运行变化检测分析\n\nbash\n单模型分析\npython experiments/Exp3b_CD/analysis/run_change_detection.py \\\n --model b4_ade_synth --epoch E15\n\n运行所有分析\n./experiments/Exp3b_CD/scripts/run_all.sh\n\n\n总结\n\n"Towards Aligned Body Representations"是一项深入探索神经网络几何推理能力的研究项目。通过严谨的实验设计和全面的评估框架，研究团队揭示了SegFormer模型在处理凹面区域时的系统性偏差，挑战了"更大模型总是更好"的常识性假设。\n\n项目提供的开源实现包括完整的数据生成、模型训练、实验评估和可视化工具链，为后续研究提供了坚实基础。对于关注神经网络可解释性、几何推理和模型可信度评估的研究者和工程师，这项工作提供了宝贵的洞察和实用工具。