一个探索合成数据真实性的开源项目，从保真度、覆盖率、隐私性和实用性四个维度建立数据质量评估体系，为 AI 系统的数据安全提供评估工具。

Measuring the Soul of Data：合成数据质量评估的四维框架\n\n## 项目背景\n\n随着生成式 AI 的快速发展，合成数据（Synthetic Data）在机器学习领域的应用越来越广泛。从保护隐私的医疗数据生成，到扩充训练样本的图像合成，再到模拟罕见事件的金融数据——合成数据为 AI 训练提供了新的可能性。\n\n然而，合成数据的质量参差不齐。低质量的合成数据不仅无法提升模型性能，还可能引入偏见、泄露隐私，甚至导致模型失效。如何科学评估合成数据的"灵魂"——即其真实性和可用性——成为数据科学领域的重要课题。\n\nMeasuring the Soul of Data 项目正是为应对这一挑战而诞生。它从四个关键维度构建了一套完整的数据质量评估框架，帮助研究者和工程师量化合成数据的品质。\n\n## 四维评估框架\n\n### 1. 保真度（Fidelity）\n\n定义与意义\n\n保真度衡量合成数据与真实数据分布的相似程度。高保真度意味着合成数据保留了真实数据的统计特性，包括：\n\n- 特征分布的一致性\n- 相关关系的保持\n- 边缘分布和条件分布的匹配\n- 统计矩（均值、方差、偏度、峰度）的相似性\n\n评估方法\n\n项目实现了多种保真度评估指标：\n\n- 统计检验：Kolmogorov-Smirnov 检验、卡方检验等\n- 分布距离：KL 散度、JS 散度、Wasserstein 距离\n- 特征相关性：Pearson/Spearman 相关系数差异\n- 机器学习辅助：训练分类器区分真实/合成数据（越低越好）\n\n### 2. 覆盖率（Coverage）\n\n定义与意义\n\n覆盖率评估合成数据是否充分代表了真实数据的多样性。即使整体分布相似，合成数据也可能遗漏某些边缘群体或罕见模式，导致模型训练时的覆盖偏差。\n\n关键考量包括：\n\n- 数据空间的覆盖完整性\n- 边缘案例和长尾分布的表示\n- 类别平衡性（对于分类问题）\n- 多维联合分布的覆盖\n\n评估方法\n\n- 密度估计：在特征空间估计真实和合成数据的密度分布\n- 最近邻分析：计算合成样本与真实样本的距离分布\n- 聚类覆盖：检查真实数据的聚类中心是否被合成数据覆盖\n- 边界检测：识别真实数据中存在但合成数据中缺失的区域\n\n### 3. 隐私性（Privacy）\n\n定义与意义\n\n隐私性评估合成数据是否泄露了真实数据中的敏感信息。即使合成数据看起来与真实数据不同，也可能通过成员推断攻击或属性推断攻击泄露隐私。\n\n隐私风险包括：\n\n- 成员推断攻击：判断某条记录是否被用于训练生成模型\n- 属性泄露：从合成数据推断真实记录的敏感属性\n- 模型反演：从模型输出重建训练数据\n- 链接攻击：将合成数据与其他数据源关联识别个体\n\n评估方法\n\n- 距离度量：计算合成样本与最近真实样本的距离\n- 成员推断测试：训练攻击模型评估成员推断风险\n- 差分隐私审计：估计生成过程的实际隐私预算\n- 属性推断测试：评估敏感属性的可推断性\n\n### 4. 实用性（Utility）\n\n定义与意义\n\n实用性衡量合成数据在下游任务中的实际价值。即使合成数据在统计上与真实数据相似，也不一定对特定任务有用。\n\n实用性评估关注：\n\n- 在合成数据上训练的模型性能\n- 合成数据增强对真实任务的帮助\n- 特定应用场景的适用性\n- 与真实数据的互补性\n\n评估方法\n\n- 下游任务性能：在合成数据上训练模型，在真实数据上测试\n- 数据增强效果：混合真实和合成数据后的性能提升\n- TSTR（Train Synthetic Test Real）：合成训练、真实测试的标准协议\n- 任务特定指标：根据具体应用选择准确率、F1、AUC 等\n\n## 技术实现\n\n### 核心功能模块\n\n项目提供了以下功能模块：\n\n数据加载与预处理\n\n- 支持 CSV、JSON、Parquet 等常见格式\n- 自动数据类型识别和转换\n- 缺失值处理\n- 特征标准化和编码\n\n评估指标计算\n\n- 四维评估的完整指标集\n- 可定制的指标权重\n- 批量评估支持\n- 结果可视化\n\n报告生成\n\n- 综合质量评分\n- 详细指标报告\n- 可视化图表\n- 可导出为 PDF/HTML\n\n### 支持的生成模型\n\n项目可以评估来自各种生成模型的合成数据：\n\n- GAN 系列：GAN、CGAN、WGAN、StyleGAN 等\n- VAE 系列：VAE、CVAE、β-VAE 等\n- 基于流的模型：RealNVP、Glow 等\n- 扩散模型：DDPM、Score-based 模型等\n- 表格数据专用：CTGAN、TVAE、CopulaGAN 等\n\n## 应用场景\n\n### 合成数据生成器评估\n\n在选择或开发合成数据生成模型时，使用本框架进行系统评估：\n\n1. 比较不同生成模型的质量\n2. 识别生成器的优势和弱点\n3. 指导生成器超参数调优\n4. 建立质量基线\n\n### 数据共享与发布\n\n在发布合成数据集之前进行质量验证：\n\n1. 确保隐私风险在可接受范围\n2. 验证数据对下游任务的有用性\n3. 提供质量报告增强可信度\n4. 满足合规要求\n\n### 隐私计算方案验证\n\n评估差分隐私、联邦学习等隐私保护方案的效果：\n\n1. 量化隐私-效用权衡\n2. 比较不同隐私预算配置\n3. 验证隐私保证的实际效果\n\n### 数据增强策略优化\n\n优化真实数据与合成数据的混合策略：\n\n1. 确定最佳混合比例\n2. 选择最有价值的合成样本\n3. 评估增强后的模型性能\n\n## 使用方法\n\n### 快速开始\n\npython\nfrom soul_of_data import DataQualityEvaluator\n\n# 初始化评估器\nevaluator = DataQualityEvaluator()\n\n# 加载数据\nreal_data = evaluator.load_data('real_data.csv')\nsynthetic_data = evaluator.load_data('synthetic_data.csv')\n\n# 运行完整评估\nreport = evaluator.evaluate(\n real_data=real_data,\n synthetic_data=synthetic_data,\n metrics=['fidelity', 'coverage', 'privacy', 'utility']\n)\n\n# 查看结果\nprint(report.summary())\nreport.save('quality_report.pdf')\n\n\n### 自定义评估\n\npython\n# 仅评估特定维度\nfidelity_score = evaluator.fidelity_score(real_data, synthetic_data)\nprivacy_score = evaluator.privacy_score(real_data, synthetic_data)\n\n# 自定义指标权重\nweighted_score = evaluator.weighted_score(\n fidelity=0.3,\n coverage=0.2, \n privacy=0.3,\n utility=0.2\n)\n\n\n## 技术亮点\n\n### 1. 多维度综合评估\n\n不同于单一指标评估，项目从四个互补维度全面审视数据质量，避免了单一视角的局限性。\n\n### 2. 可解释的结果\n\n每个指标都有清晰的数学定义和实际意义，评估结果不仅给出分数，还提供改进建议。\n\n### 3. 模块化设计\n\n各评估维度独立实现，可以单独使用或组合使用，适应不同的评估需求。\n\n### 4. 可视化支持\n\n内置丰富的可视化功能，帮助直观理解评估结果：\n\n- 分布对比图\n- 相关性热力图\n- 隐私风险散点图\n- 综合雷达图\n\n## 相关研究与方法\n\n### 合成数据评估基准\n\n项目参考了以下重要研究工作：\n\n- SDMetrics：合成数据质量评估的 Python 库\n- Synthetic Data Vault (SDV)：合成数据生成和评估框架\n- Data Synthesizer：微软开源的合成数据工具\n- CTGAN 论文：表格数据合成的评估方法\n\n### 隐私评估方法\n\n- Membership Inference Attacks：成员推断攻击\n- Attribute Inference Attacks：属性推断攻击\n- Differential Privacy：差分隐私理论\n\n### 生成模型评估\n\n- Inception Score / FID：图像生成质量评估\n- Precision and Recall：生成模型评估的精度-召回框架\n- Density and Coverage：改进的生成模型评估指标\n\n## 局限与展望\n\n### 当前局限\n\n1. 数据类型限制：主要针对表格数据，对图像、文本等非结构化数据支持有限\n2. 计算成本：某些隐私评估方法计算开销较大\n3. 领域适配：通用指标可能需要针对特定领域调整\n4. 主观性：部分阈值设置依赖专家经验\n\n### 未来方向\n\n1. 扩展对时序数据、图数据的支持\n2. 集成更多前沿的隐私评估方法\n3. 开发自动化的质量改进建议\n4. 建立行业特定的评估基准\n5. 支持分布式大规模数据评估\n\n## 结语\n\nMeasuring the Soul of Data 项目为合成数据的质量评估提供了一个系统化的解决方案。通过 fidelity、coverage、privacy、utility 四个维度的综合评估，它帮助数据科学家和工程师更科学地理解和使用合成数据。\n\n在 AI 系统越来越依赖合成数据的今天，这样的评估工具变得尤为重要。它不仅是一个技术工具，更是负责任 AI 实践的组成部分——确保我们使用的数据既安全又有效。

Measuring the Soul of Data：合成数据质量评估的四维框架\n\n项目背景\n\n随着生成式 AI 的快速发展，合成数据（Synthetic Data）在机器学习领域的应用越来越广泛。从保护隐私的医疗数据生成，到扩充训练样本的图像合成，再到模拟罕见事件的金融数据——合成数据为 AI 训练提供了新的可能性。\n\n然而，合成数据的质量参差不齐。低质量的合成数据不仅无法提升模型性能，还可能引入偏见、泄露隐私，甚至导致模型失效。如何科学评估合成数据的"灵魂"——即其真实性和可用性——成为数据科学领域的重要课题。\n\nMeasuring the Soul of Data 项目正是为应对这一挑战而诞生。它从四个关键维度构建了一套完整的数据质量评估框架，帮助研究者和工程师量化合成数据的品质。\n\n四维评估框架\n\n1. 保真度（Fidelity）\n\n定义与意义\n\n保真度衡量合成数据与真实数据分布的相似程度。高保真度意味着合成数据保留了真实数据的统计特性，包括：\n\n- 特征分布的一致性\n- 相关关系的保持\n- 边缘分布和条件分布的匹配\n- 统计矩（均值、方差、偏度、峰度）的相似性\n\n评估方法\n\n项目实现了多种保真度评估指标：\n\n- 统计检验：Kolmogorov-Smirnov 检验、卡方检验等\n- 分布距离：KL 散度、JS 散度、Wasserstein 距离\n- 特征相关性：Pearson/Spearman 相关系数差异\n- 机器学习辅助：训练分类器区分真实/合成数据（越低越好）\n\n2. 覆盖率（Coverage）\n\n定义与意义\n\n覆盖率评估合成数据是否充分代表了真实数据的多样性。即使整体分布相似，合成数据也可能遗漏某些边缘群体或罕见模式，导致模型训练时的覆盖偏差。\n\n关键考量包括：\n\n- 数据空间的覆盖完整性\n- 边缘案例和长尾分布的表示\n- 类别平衡性（对于分类问题）\n- 多维联合分布的覆盖\n\n评估方法\n\n- 密度估计：在特征空间估计真实和合成数据的密度分布\n- 最近邻分析：计算合成样本与真实样本的距离分布\n- 聚类覆盖：检查真实数据的聚类中心是否被合成数据覆盖\n- 边界检测：识别真实数据中存在但合成数据中缺失的区域\n\n3. 隐私性（Privacy）\n\n定义与意义\n\n隐私性评估合成数据是否泄露了真实数据中的敏感信息。即使合成数据看起来与真实数据不同，也可能通过成员推断攻击或属性推断攻击泄露隐私。\n\n隐私风险包括：\n\n- 成员推断攻击：判断某条记录是否被用于训练生成模型\n- 属性泄露：从合成数据推断真实记录的敏感属性\n- 模型反演：从模型输出重建训练数据\n- 链接攻击：将合成数据与其他数据源关联识别个体\n\n评估方法\n\n- 距离度量：计算合成样本与最近真实样本的距离\n- 成员推断测试：训练攻击模型评估成员推断风险\n- 差分隐私审计：估计生成过程的实际隐私预算\n- 属性推断测试：评估敏感属性的可推断性\n\n4. 实用性（Utility）\n\n定义与意义\n\n实用性衡量合成数据在下游任务中的实际价值。即使合成数据在统计上与真实数据相似，也不一定对特定任务有用。\n\n实用性评估关注：\n\n- 在合成数据上训练的模型性能\n- 合成数据增强对真实任务的帮助\n- 特定应用场景的适用性\n- 与真实数据的互补性\n\n评估方法\n\n- 下游任务性能：在合成数据上训练模型，在真实数据上测试\n- 数据增强效果：混合真实和合成数据后的性能提升\n- TSTR（Train Synthetic Test Real）：合成训练、真实测试的标准协议\n- 任务特定指标：根据具体应用选择准确率、F1、AUC 等\n\n技术实现\n\n核心功能模块\n\n项目提供了以下功能模块：\n\n数据加载与预处理\n\n- 支持 CSV、JSON、Parquet 等常见格式\n- 自动数据类型识别和转换\n- 缺失值处理\n- 特征标准化和编码\n\n评估指标计算\n\n- 四维评估的完整指标集\n- 可定制的指标权重\n- 批量评估支持\n- 结果可视化\n\n报告生成\n\n- 综合质量评分\n- 详细指标报告\n- 可视化图表\n- 可导出为 PDF/HTML\n\n支持的生成模型\n\n项目可以评估来自各种生成模型的合成数据：\n\n- GAN 系列：GAN、CGAN、WGAN、StyleGAN 等\n- VAE 系列：VAE、CVAE、β-VAE 等\n- 基于流的模型：RealNVP、Glow 等\n- 扩散模型：DDPM、Score-based 模型等\n- 表格数据专用：CTGAN、TVAE、CopulaGAN 等\n\n应用场景\n\n合成数据生成器评估\n\n在选择或开发合成数据生成模型时，使用本框架进行系统评估：\n\n1. 比较不同生成模型的质量\n2. 识别生成器的优势和弱点\n3. 指导生成器超参数调优\n4. 建立质量基线\n\n数据共享与发布\n\n在发布合成数据集之前进行质量验证：\n\n1. 确保隐私风险在可接受范围\n2. 验证数据对下游任务的有用性\n3. 提供质量报告增强可信度\n4. 满足合规要求\n\n隐私计算方案验证\n\n评估差分隐私、联邦学习等隐私保护方案的效果：\n\n1. 量化隐私-效用权衡\n2. 比较不同隐私预算配置\n3. 验证隐私保证的实际效果\n\n数据增强策略优化\n\n优化真实数据与合成数据的混合策略：\n\n1. 确定最佳混合比例\n2. 选择最有价值的合成样本\n3. 评估增强后的模型性能\n\n使用方法\n\n快速开始\n\npython\nfrom soul_of_data import DataQualityEvaluator\n\n初始化评估器\nevaluator = DataQualityEvaluator()\n\n加载数据\nreal_data = evaluator.load_data('real_data.csv')\nsynthetic_data = evaluator.load_data('synthetic_data.csv')\n\n运行完整评估\nreport = evaluator.evaluate(\n real_data=real_data,\n synthetic_data=synthetic_data,\n metrics=['fidelity', 'coverage', 'privacy', 'utility']\n)\n\n查看结果\nprint(report.summary())\nreport.save('quality_report.pdf')\n\n\n自定义评估\n\npython\n仅评估特定维度\nfidelity_score = evaluator.fidelity_score(real_data, synthetic_data)\nprivacy_score = evaluator.privacy_score(real_data, synthetic_data)\n\n自定义指标权重\nweighted_score = evaluator.weighted_score(\n fidelity=0.3,\n coverage=0.2, \n privacy=0.3,\n utility=0.2\n)\n\n\n技术亮点\n\n1. 多维度综合评估\n\n不同于单一指标评估，项目从四个互补维度全面审视数据质量，避免了单一视角的局限性。\n\n2. 可解释的结果\n\n每个指标都有清晰的数学定义和实际意义，评估结果不仅给出分数，还提供改进建议。\n\n3. 模块化设计\n\n各评估维度独立实现，可以单独使用或组合使用，适应不同的评估需求。\n\n4. 可视化支持\n\n内置丰富的可视化功能，帮助直观理解评估结果：\n\n- 分布对比图\n- 相关性热力图\n- 隐私风险散点图\n- 综合雷达图\n\n相关研究与方法\n\n合成数据评估基准\n\n项目参考了以下重要研究工作：\n\n- SDMetrics：合成数据质量评估的 Python 库\n- Synthetic Data Vault (SDV)：合成数据生成和评估框架\n- Data Synthesizer：微软开源的合成数据工具\n- CTGAN 论文：表格数据合成的评估方法\n\n隐私评估方法\n\n- Membership Inference Attacks：成员推断攻击\n- Attribute Inference Attacks：属性推断攻击\n- Differential Privacy：差分隐私理论\n\n生成模型评估\n\n- Inception Score / FID：图像生成质量评估\n- Precision and Recall：生成模型评估的精度-召回框架\n- Density and Coverage：改进的生成模型评估指标\n\n局限与展望\n\n当前局限\n\n1. 数据类型限制：主要针对表格数据，对图像、文本等非结构化数据支持有限\n2. 计算成本：某些隐私评估方法计算开销较大\n3. 领域适配：通用指标可能需要针对特定领域调整\n4. 主观性：部分阈值设置依赖专家经验\n\n未来方向\n\n1. 扩展对时序数据、图数据的支持\n2. 集成更多前沿的隐私评估方法\n3. 开发自动化的质量改进建议\n4. 建立行业特定的评估基准\n5. 支持分布式大规模数据评估\n\n结语\n\nMeasuring the Soul of Data 项目为合成数据的质量评估提供了一个系统化的解决方案。通过 fidelity、coverage、privacy、utility 四个维度的综合评估，它帮助数据科学家和工程师更科学地理解和使用合成数据。\n\n在 AI 系统越来越依赖合成数据的今天，这样的评估工具变得尤为重要。它不仅是一个技术工具，更是负责任 AI 实践的组成部分——确保我们使用的数据既安全又有效。