# 基于生活方式指标的糖尿病预测：端到端机器学习完整实践

> 一个完整的数据科学项目，使用BRFSS 2015健康调查数据，结合无监督聚类与梯度提升模型，在类别不平衡条件下实现高召回率的糖尿病风险预测。

- 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo)
- 发布时间: 2026-06-08T06:15:15.000Z
- 最近活动: 2026-06-08T06:19:12.706Z
- 热度: 147.9
- 关键词: 机器学习, 糖尿病预测, 无监督学习, K-Means, 高斯混合模型, XGBoost, LightGBM, SMOTE, 类别不平衡, 医疗AI, 健康数据分析
- 页面链接: https://www.zingnex.cn/forum/thread/geo-github-kittycatkim-lifestyle-diabetes-prediction-using-unsupervised-machine-learning-mo
- Canonical: https://www.zingnex.cn/forum/thread/geo-github-kittycatkim-lifestyle-diabetes-prediction-using-unsupervised-machine-learning-mo
- Markdown 来源: ingested_event

---

## 原作者与来源

- **原作者/维护者**: kittycatkim
- **来源平台**: GitHub
- **原始标题**: Lifestyle-Diabetes-Prediction-Using-Unsupervised-Machine-Learning-Models
- **原始链接**: https://github.com/kittycatkim/Lifestyle-Diabetes-Prediction-Using-Unsupervised-Machine-Learning-Models
- **发布时间**: 2026-06-08

## 项目背景与动机

糖尿病已成为全球公共卫生领域的重大挑战。根据世界卫生组织的数据，全球糖尿病患者人数在过去几十年中呈指数级增长，而早期识别高风险人群是预防和管理这一疾病的关键。传统的糖尿病筛查依赖于医生的临床判断和单一的血糖指标，但这种方法往往错过了大量潜在的早期病例。

本项目采用数据驱动的方法，利用美国疾病控制与预防中心（CDC）的行为风险因素监测系统（BRFSS）2015年的大规模调查数据，构建了一个端到端的机器学习预测管道。该数据集包含超过25万条记录，涵盖21个与生活方式、健康状况和社会经济因素相关的特征，为开发稳健的预测模型提供了丰富的数据基础。

## 数据理解与预处理策略

原始数据集包含253,680条记录，但在数据质量检查阶段，项目识别并移除了24,206条完全重复的记录，以防止数据泄漏和性能评估的虚高。这种严格的数据清洗步骤体现了专业数据科学实践中对数据完整性的重视。

数据集的特征可以分为两大类：连续变量和分类/序数变量。连续变量包括BMI（身体质量指数）、心理健康天数和身体健康天数；分类变量则涵盖高血压、高胆固醇、吸烟状况、中风史、整体健康状况、年龄组、教育水平、收入水平以及行走困难等指标。

特别值得注意的是，医疗调查数据集普遍存在严重的类别不平衡问题——糖尿病患者（阳性病例）的数量远少于非糖尿病患者。这种不平衡会导致标准准确率指标的误导性，因此项目采用了专门针对不平衡数据的评估策略。

## 无监督学习：发现隐藏的健康模式

在构建预测模型之前，项目首先运用无监督学习技术探索数据中的内在结构。这一步骤的价值在于，它可以在不考虑糖尿病标签的情况下，识别出具有相似健康特征的人群亚组。

项目实现了两种聚类算法：

**K-Means聚类**：选择k=4的聚类数量，将人群划分为具有不同行为模式的健康档案。这些聚类结合了身体活动水平、行走困难程度和社会经济指标等多个维度，揭示了生活方式因素之间的复杂关联。

**高斯混合模型（GMM）**：采用概率软聚类方法，设定k=3。与K-Means的硬分配不同，GMM允许每个样本以概率形式属于多个聚类。结果显示聚类分布呈现明显的不对称性，其中最大的聚类包含了约173,401个样本，暗示人群中存在主导的健康行为模式。

为了直观展示这些聚类特征，项目开发了多维雷达图可视化工具，将各个聚类在标准化维度上的特征轮廓清晰呈现。这种可视化方法对于向非技术利益相关者解释聚类结果特别有效。

## 特征工程与选择机制

项目采用了基于方差分析的SelectKBest方法进行特征选择。该方法使用ANOVA F值评分函数，评估每个特征与目标变量（糖尿病_binary）之间的相关性和方差贡献。这种统计驱动的方法确保了进入模型的特征具有实际的预测价值，而非随机噪声。

在预处理管道中，项目使用Scikit-Learn的ColumnTransformer构建了一个健壮的数据转换流程。数值特征经过StandardScaler标准化处理，这对于基于距离的模型（如K近邻、高斯混合模型）至关重要，可以防止高方差输入对模型产生不成比例的影响。

## 处理类别不平衡：SMOTE技术

面对医疗数据中常见的类别不平衡问题，项目采用了SMOTE（合成少数类过采样技术）策略。SMOTE通过在特征空间中合成新的少数类样本来平衡训练数据，而非简单地复制现有样本。

项目特别注意在交叉验证边界内应用SMOTE，确保验证数据的信息不会泄漏到训练过程中。这种谨慎的处理方式是评估模型真实泛化能力的关键。

## 模型对比与性能评估

项目系统性地对比了多种监督学习算法的性能：

- **逻辑回归**：作为基线模型，提供可解释的线性决策边界
- **随机森林**：集成学习方法，能够捕捉特征间的非线性交互
- **K近邻（KNN）**：基于实例的学习，对局部数据结构敏感
- **XGBoost**：极端梯度提升，以贪婪方式优化损失函数
- **LightGBM**：轻量级梯度提升，采用基于直方图的决策树算法，训练效率更高

在评估指标设计上，项目没有采用简单的准确率，而是构建了自定义的评分函数`recall_then_accuracy`和`recall_then_balanced_accuracy`。这些函数优先保证高召回率（捕获尽可能多的阳性病例），同时维持可接受的精确率和整体准确率水平。

项目设定了严格的性能门槛：最低准确率≥70%且最低召回率≥70%。在这一标准下，梯度提升树结构（XGBoost和LightGBM）脱颖而出成为最佳 performers：

- **XGBoost分类器**：平均召回率约78.0%，平均准确率约70.6%
- **LightGBM分类器**：平均召回率约77.8%，平均准确率约71.0%

## 实践意义与应用前景

这个项目的价值不仅在于技术实现，更在于其潜在的实际应用。在医疗资源有限的场景下，这样的预测模型可以作为初步筛查工具，帮助识别需要进一步临床评估的高风险人群。高召回率的设计哲学确保了尽可能少的漏诊，这在疾病预防领域尤为重要。

项目中使用的BRFSS数据集涵盖了广泛的人口统计学特征，使模型具有较好的泛化潜力。同时，基于生活方式指标的预测方法比纯临床指标更容易在大规模人群中收集，降低了筛查成本。

## 技术亮点与可复现性

项目展示了优秀的工程实践：完整的依赖管理（通过pip requirements）、清晰的代码结构、交互式可视化（使用ipywidgets）以及详细的文档说明。Jupyter Notebook格式使研究过程透明可追踪，每个分析步骤都有对应的代码和输出。

项目还提供了动态阈值调整界面，允许用户探索不同决策阈值如何影响模型选择和性能权衡。这种交互式元素增强了项目的教育价值和实用性。

## 总结与启示

这个项目展示了如何将经典的数据科学技术（K-Means、GMM、逻辑回归）与现代的梯度提升方法（XGBoost、LightGBM）相结合，解决现实世界中的医疗预测问题。它强调了在类别不平衡场景下选择合适的评估指标的重要性，以及无监督探索性分析在理解数据结构方面的价值。

对于希望进入医疗AI领域的学习者，这个项目提供了一个完整的参考实现，涵盖了从数据清洗、特征工程、模型训练到性能评估的全流程。其严谨的实验设计和透明的文档风格值得借鉴。