iska-net：面向生物医学的通用图模型训练框架\n\n## 项目背景与动机\n\n图结构数据在科学研究和工程实践中无处不在——从分子化学键到蛋白质相互作用网络，从数学定理的证明依赖关系到代码的抽象语法树。然而，传统的深度学习方法往往针对特定领域设计专门的模型架构，导致知识难以跨领域迁移，且每个领域都需要独立的训练流程。\n\niska-net项目应运而生，它提供了一个通用图模型（Universal Graph Model, UGM）的训练脚手架，旨在用统一的图到图（graph-to-graph）建模方式处理多种数据类型。该项目特别针对单张RTX 4090的消费级硬件进行了优化，使得个人研究者和小型团队也能训练具备推理能力的图神经网络。\n\n## 核心技术架构\n\n### TokenGT风格的图表示\n\niska-net采用了TokenGT（Tokenized Graph Transformer）风格的架构，这是一种将图结构数据转换为序列表示的方法。与传统的图神经网络（GNN）不同，TokenGT将图的节点和边编码为带有位置信息的token序列，然后使用标准的Transformer架构进行处理。\n\n这种方法的优势在于：\n- 统一表示：无论是语言文本、数学表达式还是分子结构，都可以被编码为统一的图token序列\n- 可扩展性：利用Transformer的自注意力机制，模型可以捕捉图中任意距离的依赖关系\n- 与预训练模型兼容：可以更容易地利用现有的语言模型预训练技术\n\n### 随机顺序自回归解码\n\n传统的自回归模型按固定顺序生成token，但图结构数据往往没有自然的线性顺序。iska-net实现了随机顺序自回归解码，在训练时随机打乱图token的生成顺序，使模型学会在任意部分观测到的图结构上进行推理和补全。\n\n这种技术对于以下场景尤为重要：\n- 分子补全：给定部分分子结构，预测可能的化学基团连接\n- 代码补全：基于部分AST节点，推断缺失的代码结构\n- 证明搜索：在定理证明中，从中间状态推断下一步推理\n\n### 多模态数据支持\n\niska-net的设计目标是从一开始就支持多种数据模态的统一处理：\n\n| 数据类型 | 应用场景 | 表示方法 |\n|---------|---------|---------|\n| 自然语言 | 文本理解、问答 | 依赖解析图 |\n| 数学/证明 | 定理证明、形式化验证 | Lean证明状态图 |\n| 代码 | 代码生成、单元测试 | 抽象语法树（AST） |\n| SELFIES/SMILES | 分子设计、药物发现 | 分子图 |\n| 蛋白质序列 | 蛋白质功能预测 | 序列图+结构motif |\n| DNA/RNA | 基因组分析 | 序列图 |\n| 工具调用 | Agent工作流 | 工具依赖图 |\n\n## 训练流程与阶段设计\n\n### 数据获取与图化（Graphification）\n\n项目提供了完整的数据流水线：\n\n1. 数据集获取：支持从Hugging Face等平台自动下载公开数据集，包括GSM8K数学推理、PubChem分子数据库、UniProt蛋白质数据等\n\n2. 图化转换：原始数据通过专门的脚本转换为统一的图JSON格式。例如：\n - 数学问题转换为包含数值节点和运算符边的计算图\n - 代码转换为带有类型信息的AST图\n - 分子转换为原子-键图，支持RDKit进行化学有效性验证\n\n3. 数据策划：包括去重、许可证过滤、训练/验证/测试集划分\n\n### 分阶段训练策略\n\niska-net采用渐进式训练策略，从简单到复杂逐步提升模型能力：\n\nPhase 1：基础图推理\n- 合成图数据预训练\n- 公开语料基础训练（OpenAI GraphWalks、GraphWiz等）\n- 数学推理和代码生成任务\n\nPhase 2：科学数据与多模态\n- PubChem分子数据（800万+ SELFIES序列）\n- UniProt蛋白质功能描述\n- Rfam和RNAcentral的RNA家族数据\n- DNA编码区序列\n\nPhase 3：GFlowNet与Oracle反馈\n- 引入GFlowNet（Generative Flow Network）进行轨迹平衡训练\n- 支持UMA（Universal Multi-task Agent）oracle反馈\n- 温度条件化的采样策略，控制生成多样性和质量\n\n## 生物医学应用前景\n\n### 药物发现与分子设计\n\niska-net对生物医学领域最具吸引力的应用是分子生成与优化。通过将分子表示为图结构，模型可以：\n\n- 从头分子设计：生成具有特定性质的全新分子结构\n- 分子优化：在保持某些性质的同时改善其他性质（如提高药效、降低毒性）\n- 反应预测：预测化学反应的产物和可行性\n\n项目支持PubChem10M等大型分子数据库的训练，并计划集成对接（docking）和生物活性预测功能。\n\n### 蛋白质与基因组分析\n\n蛋白质序列和DNA/RNA序列也被纳入统一的图表示框架：\n\n- 功能预测：基于序列motif（如PROSITE、InterPro中的保守模式）预测蛋白质功能\n- 结构motif识别：从序列推断可能的结构特征\n- 基因组注释：识别编码区、调控元件等基因组特征\n\n值得注意的是，项目采用了务实的安全策略：结构数据（PDB/mmCIF坐标、能量、力场）默认仅用于验证，除非在明确的后续阶段中启用，这降低了训练复杂度和资源需求。\n\n### 多组学整合推理\n\n最终愿景是实现多组学数据的统一推理——将分子、蛋白质、基因组数据放在同一个图表示空间中联合建模。这可能带来：\n\n- 从基因型到表型的端到端预测\n- 跨尺度的生物学机制理解\n- 个性化医疗中的多因素综合分析\n\n## 技术亮点与创新\n\n### 消费级硬件优化\n\niska-net明确针对单张RTX 4090（24GB显存）进行优化，采用了多种技术降低显存占用：\n\n- 梯度检查点（Gradient Checkpointing）：以计算换内存，支持更大的模型和更长的序列\n- LoRA适配器：低秩适配技术，在微调时只训练少量参数\n- 自动混合精度（AMP）：FP16/FP32混合计算，加速训练同时保持稳定性\n- 上下文长度自适应：根据数据动态调整模型上下文大小，避免过度填充\n\n### 可验证的生成流程\n\n针对科学应用的可信度需求，项目强调可验证性：\n\n- Lean证明检查：数学推理结果可通过Lean定理证明器验证\n- RDKit化学验证：分子生成结果可通过RDKit检查化学有效性\n- 单元测试验证：代码生成结果可自动运行测试验证\n\n这种"生成-验证-反馈"的闭环对于科学发现尤为重要，避免了传统生成模型"幻觉"问题。\n\n### 模块化与可扩展性\n\n项目采用清晰的模块化设计：\n\n- 配置驱动：YAML配置文件控制数据、模型、训练的所有超参数\n- 插件式数据源：新增数据类型只需实现图化接口\n- 领域垂直切片：代码、数学、分子等领域有独立的验证和评估流程\n\n## 使用入门\n\n项目提供了完整的conda环境设置脚本：\n\nbash\n# 创建环境\nbash scripts/setup_conda_env.sh\nconda activate iska-ugm\n\n# 检查环境就绪状态（CUDA、可选包、Lean等）\nconda run -n iska-ugm python scripts/check_readiness.py\n\n# 生成合成训练数据\nconda run -n iska-ugm python scripts/graphify_data.py \\\n --synthetic --count 512 \\\n --output data/processed/synthetic_graphs/train.jsonl\n\n# 获取公开数据集样本\nconda run -n iska-ugm python scripts/acquire_datasets.py \\\n --dataset gsm8k_main_train --limit 64\n\n# 运行完整训练流程\nscripts/run_full_training_sequence.sh\n\n\n对于希望快速体验的用户，项目还提供了250M参数规模的轻量级配置，适合原型验证和快速迭代。\n\n## 项目现状与路线图\n\n截至最新版本，iska-net已实现：\n\n- ✅ 完整的TokenGT风格图Transformer架构\n- ✅ 随机顺序自回归解码\n- ✅ 合成数据和GSM8K等公开数据支持\n- ✅ 基础训练、验证、推理流水线\n- ✅ GFlowNet轨迹平衡训练框架\n- ✅ 分子、蛋白质、DNA/RNA数据支持（PLAN-H阶段）\n- ✅ 消费级硬件优化（RTX 4090）\n\n正在进行和计划中的工作（PLAN-F/G/H）：\n- 🔜 高级拓扑分析后端\n- 🔜 音频特征提取与多模态融合\n- 🔜 蛋白质结构图和对接预测\n- 🔜 更强大的验证器和策展工具\n- 🔜 上下文感知的GFlowNet学习\n\n## 总结与展望\n\niska-net代表了一种新的科学计算范式：用统一的图表示和生成式建模来处理多模态科学数据。与为每个领域单独训练专用模型不同，UGM方法追求知识的跨领域迁移和统一推理。\n\n对于生物医学研究者，这意味着：\n- 更低的入门门槛（消费级硬件可训练）\n- 更灵活的数据整合（多组学统一建模）\n- 更可信赖的结果（内置验证机制）\n\n尽管项目仍处于早期阶段，但其清晰的架构设计和务实的实现策略已经展现出不俗的潜力。随着GFlowNet训练、Oracle反馈机制和多模态数据支持的完善，iska-net有望成为科学发现和生物医学研究的有力工具。\n\n---\n\n项目地址：https://github.com/amelie-iska/iska-net\n\n**关键词**：通用图模型、图神经网络、TokenGT、分子生成、蛋白质建模、GFlowNet、生物医学AI、多模态推理