DataStew：基于LLM嵌入的智能数据协调Python库

DataStew是SCAI-BIO团队开源的Python库，针对医疗信息学领域数据协调的核心挑战——不同来源数据的术语异构性，利用LLM向量嵌入技术实现语义层面的智能匹配。支持Excel/CSV数据字典匹配、PostgreSQL持久化存储（结合pgvector）、t-SNE嵌入可视化等功能，适用于多中心临床研究整合、术语体系对齐等场景。

生物医学数据存在多层面异构性：同一概念有多种描述（如“Diabetes mellitus”与“糖尿病”）、不同数据集变量命名规则差异。传统规则/词典匹配难以处理语义差异，而DataStew的核心洞察是LLM嵌入能捕捉文本深层语义，让相似术语在向量空间距离更近，实现智能匹配。

1. 智能匹配：支持Excel/CSV数据字典匹配，流程为加载源数据→执行匹配→获取映射结果；默认用本地MPNet模型，也可接入OpenAI Embedding API。
2. PostgreSQL持久化：通过pgvector实现向量存储与搜索，支持术语体系、概念、映射的管理与查询。
3. 可视化：集成t-SNE降维，可将嵌入向量投影到二维空间，辅助分析语义聚类与异常点。

DataStew遵循关注点分离原则，核心模块包括embedding（向量转换）、harmonization（匹配算法）、io.source（数据导入）、repository（持久化）、visualisation（可视化）。提供丰富示例脚本，帮助用户快速上手。

适用于：

• 多中心临床研究：自动识别等价变量，减少人工映射工作量；
• 术语体系对齐：捕捉同义词/近义词关联，助力本地术语与标准体系（如SNOMED CT）映射；
• 数据质量审计：通过可视化发现异常数据点；
• 遗留系统迁移：识别老旧数据库与现代术语的对应关系。

默认选用MPNet模型（语义相似度优异且本地运行，避免外部依赖）；通过Vectorizer抽象层支持切换商业模型。选择PostgreSQL+pgvector而非专用向量数据库，降低运维复杂度，便于融入现有技术栈。

DataStew由SCAI-BIO（生物医学科学计算与AI研究所）支持，保证长期维护与技术深度。遵循开源实践，包括持续集成测试、代码覆盖率监控、版本管理等。

DataStew是LLM技术在垂直领域的实用案例，聚焦解决医疗数据协调痛点。对生物医学从业者是高效工具，对开发者是LLM产品化的参考案例，其简洁设计与实用功能使其成为即插即用的解决方案。