# RUSH：用专家反馈和高推理模型构建策略图系统

> RUSH 是一个策略图系统，通过显式、版本化、图结构化的策略，将领域专家（SME）的决策质量扩展到非专家标注者，实现高质量的 AI 数据标注。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-05-21T04:43:19.000Z
- 最近活动: 2026-05-21T04:51:49.430Z
- 热度: 150.9
- 关键词: 数据标注, SME, 策略图, Obsidian, LLM, 生成式AI, 图像分类, 质量控制
- 页面链接: https://www.zingnex.cn/forum/thread/rush
- Canonical: https://www.zingnex.cn/forum/thread/rush
- Markdown 来源: ingested_event

---

# RUSH：用专家反馈和高推理模型构建策略图系统\n\n## 核心问题：标注质量的规模化困境\n\n在 AI 数据标注领域，一个永恒的难题是：如何让非专家标注者达到专家（SME）的决策质量？传统的解决方案通常依赖：\n\n- 详细的标注指南（但难以穷尽所有边界情况）\n- 多轮审核（但成本高、速度慢）\n- 模型共识（但可能存在相关失败）\n\nRUSH 提出了一种新的解决思路：**将策略显式化、版本化、图结构化，并通过测试验证**。\n\n## RUSH 的核心思想\n\nRUSH（Reinforcement learning Using SME feedback and High-reasoning models）的核心理念简单而有力：\n\n> 如果策略是显式的、版本化的、图结构化的，并且经过金标准测试验证，那么所有人的标注质量都会提高。\n\n### 策略即产品\n\n在 RUSH 中，策略不是文档，而是产品本身。每个策略节点包含：\n\n- **定义**：清晰的概念界定\n- **标准**：明确的判定准则\n- **反例**：典型的边界情况（hard negatives）\n- **覆盖目标**：期望的覆盖范围\n- **示例**：正例和反例\n- **来源锚点**：可追溯的参考依据\n\n### 图结构化的策略\n\nRUSH 使用 Obsidian 风格的 Markdown 图来组织策略：\n\n```\npolicy-graph/\n  Generative_AI/\n    v0.1/\n      GA.root.md              ← 根节点\n      GA.visual_artifacts.md    ← 视觉伪影\n      GA.surface_texture.md     ← 表面纹理\n      GA.scene_geometry.md      ← 场景几何\n      GA.provenance.md          ← 来源追溯\n      GA.boundary.md            ← 边界定义\n```\n\n这种结构使得策略的覆盖范围和模糊之处一目了然。\n\n## 首个试点：GenAI 图像分类\n\nRUSH 的首个试点是一个冷启动的生成式 AI 图像分类策略。流程如下：\n\n1. **从图像和标签开始**：收集初始数据集\n2. **构建策略图**：以 Obsidian Markdown 形式增长策略\n3. **捕获分歧**：记录 SME 与 LLM 的不一致之处\n4. **提出策略差异**：生成可审核的策略补丁\n5. **SME 审批**：专家批准或拒绝变更\n\n### 初始标签定义\n\n**二分类标签**：\n- `gen_ai`：图像很可能是完全或主要由 AI 生成/合成\n- `not_gen_ai`：图像可能是真实的、常规编辑的、CGI/游戏/渲染的，或证据不足的\n\n### 可扩展的细分类别\n\n初始正例子类别设计为可扩展：\n\n- `GA.visual_artifacts.anatomy.hands`：不可能的手/手指/肢体\n- `GA.visual_artifacts.text_symbols`：乱码文本、伪标志、破损符号\n- `GA.surface_texture.plastic_skin`：过于光滑的合成皮肤和毛孔缺失\n- `GA.scene_geometry.inconsistent_perspective`：不可能的反射、阴影、物体几何\n- `GA.provenance.synthetic_disclosure`：元数据/水印/上下文明确指示生成\n\n### 边界定义\n\n初始硬反例/边界节点：\n\n- `GA.boundary.photo_editing`：带滤镜、修复笔刷、修饰、压缩或风格化的真实照片\n- `GA.boundary.cgi_game_render`：非摄影 CGI/游戏/3D 资源（默认不视为 GenAI）\n- `GA.boundary.low_quality_uncertain`：低分辨率/裁剪/模糊案例，需要弃权或 SME 审核\n\n## 核心原则\n\nRUSH 建立在一系列明确的原则之上：\n\n### 共识不等于真相\n\n3/3 的模型一致仍然可能是相关失败。共识应该作为路由信号和审计优先级，而不是沉默的地面真相。\n\n### 标签分离\n\n历史标签、模型投票、仲裁决策、SME 标准标签、标签层级和下游导出是不同的记录，必须保持分离。\n\n### 策略即产品和测量面\n\n策略节点承载定义、标准、反例、覆盖目标、示例和来源锚点。策略本身就是产品，也是质量的测量表面。\n\n### 图差异可审核\n\n冷启动和温启动的优化都变成 Markdown/JSON 补丁，SME 可以批准或拒绝。\n\n### 指标必须分层且分母明确\n\n- 使用金/白金标签进行最终决策质量指标\n- 显示分母和置信区间\n- 保护保留集\n- 将自适应发现批次与流行率估计分开\n\n## 技术架构\n\n### 项目结构\n\n```\nRUSH/\n├── web/                    ← 无依赖的 VC-demo 界面\n│   └── genai-sampler.js    ← 静态客户端回退采样器\n├── policy-graph/           ← Obsidian 兼容的 Markdown 策略图\n│   └── Generative_AI/v0.1/\n├── schemas/                ← JSON Schema 定义\n├── data/seed/              ← 模拟数据占位符\n├── docs/visuals/           ← SVG 架构图\n└── scripts/                ← 验证脚本\n    └── validate_foundation.py\n```\n\n### 验证系统\n\n基础验证器检查：\n\n- 图节点 ID 唯一性\n- `GA.root` 是单一根节点\n- 父链无孤儿\n- 边端点和种子引用存在\n- Schema 可解析\n- 种子指标不伪装为可报告\n- 必需的 web/docs 资源存在\n\nWeb 采样器验证器检查：\n\n- 确定性采样\n- 分割不相交性\n- 平衡总数\n- 必需假设\n- SME 覆盖处理\n\n## 里程碑路线图\n\n| 里程碑 | 退出标准 |\n|--------|---------|\n| M1 - 图解析/冷启动 | Markdown 策略节点、边清单、来源锚点、Schema 验证、SME 可读骨架 |\n| M2 - 金标准注册表 | 图像记录、标签版本、LLM 投票槽、SME 标准标签、分割分配 |\n| M3 - 标注队列 | 人工 + 未来 LLM 标签（含理由、置信度、证据引用）和 SME 审核路由 |\n| M4 - 指标仪表板 | 准确率、精确率、召回率、FPR、正例比例、信息量、图覆盖率、灰区质量（按节点/版本/分割） |\n| M5 - 策略差异工作流 | 提议的节点添加、澄清、示例、例外和拒绝变更记忆 |\n| M6 - LLM 集成 | 多 API 模型投票、结构化输出、策略节点引用、共识审核、SME 重新浮现分歧 |\n\n## 关键洞察\n\n### 为什么显式策略优于隐式知识？\n\n1. **可审计性**：每个决策都可以追溯到具体的策略节点\n2. **可迭代性**：策略变更通过补丁管理，可回滚可比较\n3. **可教学性**：新标注者可以通过阅读策略图快速上手\n4. **可测量性**：策略覆盖率成为可量化的指标\n\n### 为什么图结构优于线性文档？\n\n1. **可视化覆盖**：Obsidian 的图视图让策略覆盖范围和空白一目了然\n2. **模块化**：每个节点独立维护，不影响其他节点\n3. **可链接性**：节点之间通过双向链接建立关系\n4. **渐进完善**：可以从简单的根节点开始，逐步扩展\n\n## 局限与定位\n\nRUSH 明确声明：\n\n- **种子指标是模拟的**：故意报告 `not_enough_data`，直到真实数据存在\n- **当前 web 流程不调用 LLM**：批量模型标注是下一个里程碑\n- **需要本地图像清单**：实际使用需要配置本地图像文件夹\n\n## 适用场景\n\nRUSH 特别适合：\n\n1. **高质量数据标注**：需要专家级质量但预算有限的场景\n2. **策略迭代频繁**：领域知识快速演进的场景\n3. **多标注者协作**：需要统一标准的大规模标注项目\n4. **合规要求严格**：需要完整审计轨迹的场景\n\n## 结语\n\nRUSH 代表了一种"策略优先"的数据标注方法论。通过将隐式的领域知识转化为显式、版本化、图结构化的策略，它让非专家也能产出专家级的标注质量。\n\n在 AI 数据标注这个"garbage in, garbage out"的领域，RUSH 提供了一种系统性的质量保障方法。