骨传导引导的多模态语音增强：基于条件扩散模型的BCDM方法

本文介绍BCDM开源项目，一种结合骨传导传感器与空气传导麦克风的多模态语音增强方法，使用条件扩散模型在极端噪声环境下显著提升语音质量，已被ICASSP 2026接收。

• 原作者/维护者：sp-uhh
• 来源平台：github
• 原始标题：bcdm
• 原始链接：https://github.com/sp-uhh/bcdm
• 来源发布时间/更新时间：2026-06-05T13:38:56Z

原作者与来源

• 原作者/维护者：sp-uhh
• 来源平台：github
• 原始标题：bcdm
• 原始链接：https://github.com/sp-uhh/bcdm
• 来源发布时间/更新时间：2026-06-05T13:38:56Z 原作者与来源\n\n- 原作者/维护者：sp-uhh（汉堡大学信号处理组）\n- 来源平台：GitHub\n- 原始标题：bcdm\n- 原始链接：https://github.com/sp-uhh/bcdm\n- 来源发布时间/更新时间：2026-06-05T13:38:56Z\n\n语音增强的困境与挑战\n\n在嘈杂环境中进行语音通信是一个长期存在的技术难题。传统的单通道语音增强模型在一般噪声条件下表现良好，但当面对极端噪声环境时——比如繁忙的街道、嘈杂的工厂车间、或者风噪很大的户外场景——性能会急剧下降。\n\n这个问题的根源在于：空气传导麦克风捕捉到的信号同时包含了目标语音和环境噪声，当噪声强度接近甚至超过语音信号时，算法很难准确分离两者。\n\n那么，是否存在一种不受环境噪声影响的语音采集方式呢？答案是：骨传导。\n\n骨传导技术简介\n\n骨传导是一种声音传导方式，它通过颅骨直接将振动传递到内耳，而不是通过空气传播。骨传导传感器（bone-conduction sensors）可以捕捉说话者自己发出的声音振动，而这些振动几乎不受环境噪声的影响。\n\n这意味着：\n\n- 噪声免疫：骨传导信号几乎不包含环境噪声\n- 私密性：只捕捉说话者自己的声音\n- 可靠性：即使在极端噪声环境下也能工作\n\n然而，骨传导信号也有其局限性：频带较窄，高频成分缺失，音质与空气传导麦克风录制的声音有明显差异。因此，单独使用骨传导信号无法满足高质量语音通信的需求。\n\nBCDM：多模态融合的新思路\n\nBCDM（Bone-conduction Guided Multimodal Speech Enhancement with Conditional Diffusion Models）项目提出了一种创新的解决方案：将骨传导传感器与空气传导麦克风结合，利用条件扩散模型实现高质量的语音增强。\n\n该项目的核心思想是：\n\n1. 骨传导作为引导信号：利用骨传导信号的噪声免疫特性，为增强过程提供"干净"的参考\n2. 空气传导提供完整频谱：利用空气传导麦克风捕捉完整的语音频谱信息\n3. 扩散模型进行融合：使用条件扩散模型学习两种模态的最佳融合方式\n\n这种方法被发表在IEEE ICASSP 2026（国际声学、语音与信号处理会议）上，代表了语音增强领域的最新进展。\n\n条件扩散模型技术解析\n\n什么是扩散模型？\n\n扩散模型（Diffusion Models）是近年来在图像生成、音频合成等领域取得突破性进展的一类生成模型。其核心思想是：\n\n1. 前向过程：逐步向数据添加噪声，直到数据变成纯噪声\n2. 反向过程：学习如何逐步去噪，从噪声恢复出原始数据\n\n在语音增强任务中，扩散模型可以学习如何将带噪语音逐步恢复为干净语音。\n\n条件扩散模型\n\nBCDM使用的是条件扩散模型（Conditional Diffusion Model），即在反向去噪过程中，模型不仅依赖于当前的噪声状态，还依赖于额外的条件信息——在这里就是骨传导信号。\n\n这种条件机制使得模型能够：\n\n- 利用骨传导的语音内容信息：知道应该恢复什么样的语音\n- 结合空气传导的频谱细节：恢复出完整的音质\n- 智能地处理模态差异：学习两种信号之间的映射关系\n\n模型架构与实现\n\nBCDM项目基于研究团队之前的SGMSE+工作，采用了改进的NCSN++架构作为骨干网络。项目提供了两种主要的模型变体：\n\nBCDM-IC-L（输入条件注入）\n\nbash\npython train.py --base_dir <path_to_your_dir> --format conditional_bc --backbone ncsnpp_v2\n\n\n这种架构在网络的输入层将骨传导信号作为条件信息注入。\n\nBCDM-DC-L（解码器条件注入）\n\nbash\npython train.py --base_dir <path_to_your_dir> --format conditional_bc --backbone ncsnpp_v2_decoder_injection\n\n\n这种架构在解码器阶段注入条件信息，可能更适合捕捉细粒度的特征。\n\n数据集组织与训练\n\n项目要求数据集按照特定的目录结构组织：\n\n\nyour_base_dir/\n├── train/\n│ ├── clean/\n│ ├── noisy/\n│ └── acc/ (骨传导数据)\n├── valid/\n│ ├── clean/\n│ ├── noisy/\n│ └── acc/\n└── test/\n ├── clean/\n ├── noisy/\n └── acc/\n\n\n其中：\n\n- clean/：干净的参考语音\n- noisy/：带噪的空气传导麦克风录音\n- acc/：骨传导传感器数据\n\n三个子目录中的文件应该一一对应，文件名相同。\n\n训练与评估流程\n\n训练\n\n项目提供了完整的训练脚本train.py，支持：\n\n- 从检查点恢复训练（--ckpt选项）\n- Weights & Biases日志记录（可使用--nolog关闭）\n- 灵活的超参数配置\n\n增强\n\n使用enhancement.py脚本对测试集进行语音增强：\n\nbash\npython enhancement.py --test_dir <your_test_dir> --conditional_dir <your_bone-conducted_dir> --enhanced_dir <enhanced_files_output_dir> --ckpt <path_to_model_checkpoint> --N <num_reverse_steps>\n\n\n其中--N参数控制扩散模型的反向步数，步数越多通常质量越好但计算成本越高。\n\n评估\n\n使用calc_metrics.py计算客观评价指标：\n\nbash\npython calc_metrics.py --test_dir <your_test_dir> --enhanced_dir <your_enhanced_dir>\n\n\n技术优势与实验结果\n\n根据论文摘要，BCDM方法相比之前的多模态技术和强大的单模态扩散基线都有显著提升。这种优势主要体现在：\n\n1. 极端噪声条件下的鲁棒性：骨传导引导提供了可靠的语音内容信息\n2. 广泛的声学条件适应性：在各种噪声类型和信噪比条件下都表现良好\n3. 高质量输出：保持了扩散模型在语音质量方面的优势\n\n应用场景\n\nBCDM技术的潜在应用场景包括：\n\n1. 嘈杂环境中的语音通信\n\n工厂车间、建筑工地、繁忙街道等场景下的语音通话增强。\n\n2. 助听设备\n\n为听力障碍人士提供更好的语音感知能力，结合骨传导和空气传导信息。\n\n3. 专业通信设备\n\n军用、消防、安保等专业领域的通信设备，需要在极端环境下保持清晰的语音通信。\n\n4. 会议系统\n\n多人会议场景下的语音分离和增强。\n\n开源贡献与学术价值\n\nBCDM项目的开源代码基于研究团队之前的SGMSE+工作，这种延续性使得社区能够：\n\n1. 复现研究结果：验证论文中报告的实验结果\n2. 扩展研究：基于现有代码进行新的实验和改进\n3. 实际应用：将技术应用到实际产品中\n\n论文已被ICASSP 2026接收，这是语音信号处理领域最顶级的国际会议之一，代表了该研究方向的学术认可度。\n\n技术依赖与安装\n\n项目可以通过简单的pip命令安装依赖：\n\nbash\ngit clone https://github.com/sp-uhh/bcdm.git\ncd bcdm\npip install -r requirements.txt\n\n\n代码主要依赖PyTorch等常见的深度学习库，易于部署和扩展。\n\n总结与展望\n\nBCDM项目展示了多模态融合在语音增强领域的巨大潜力。通过将骨传导传感器的噪声免疫特性与空气传导麦克风的完整频谱捕捉能力相结合，再借助条件扩散模型的强大生成能力，实现了在极端噪声环境下的高质量语音增强。\n\n这一技术路径为未来语音处理系统的设计提供了新的思路：与其在单一模态上追求极限性能，不如通过智能的多模态融合来发挥不同传感器的互补优势。随着可穿戴设备和传感器技术的进步，类似的融合方法有望在更多场景中得到应用。