GEF：浏览器端生成式视觉引擎的安全架构设计

GEF是一个浏览器原生的音频响应式生成艺术运行时，通过沙箱隔离、模块注册表和反馈记忆系统，在保持渲染器确定性的同时实现AI辅助视觉合成。

• 原作者/维护者： neohack2023
• 来源平台： GitHub
• 原始标题： GEF
• 原始链接： https://github.com/neohack2023/GEF
• 发布时间： 2026年6月2日

---

GEF（Generative Engine Framework）是一个浏览器原生的音频响应式生成视觉运行时，定位为"生成艺术实验室工作台"。与传统允许AI直接生成并执行代码的视觉工具不同，GEF采用了一种更为审慎的架构哲学：模型可以建议，验证器决定，用户进行最终确认。

该项目的核心目标是在保留AI辅助视觉合成、修复和迭代能力的同时，确保渲染器始终保持确定性、可检查和可恢复。这种设计理念源于对生成式AI系统安全性的深刻思考——当视觉输出由可能包含错误的生成代码驱动时，如何防止系统失控？

---

GEF的渲染层由四个功能分离的画布组成，形成清晰的数据流边界：

画布	功能定位	安全属性
mainCanvas	稳定视觉输出	仅执行可信模块
sandboxCanvas	实验性预览输出	隔离未经验证的模块
feedbackCanvas	反馈/后处理暂存区	读写分离的临时缓冲
compositeCanvas	捕获/录制输出	合成最终输出流

这种分离设计的关键在于：任何来自AI模型的输出都必须先在sandboxCanvas中预览，经过用户显式确认后才能晋升到mainCanvas。panic重置机制确保用户随时可以回到已知的稳定状态。

GEF内置了基于Web Audio API的实时音频分析器，提取七种核心音频指标驱动视觉反应：

• bass/mid/treble：频带能量平均值（0-9/10-69/70-199号频箱）
• beat：基于低频历史滚动的节拍检测
• glitch：正向谱通量超过阈值的故障检测
• centroid：加权频谱质心位置估计
• rms：均方根能量估计

这些指标通过AnalyserNode.getByteFrequencyData()实时计算，为视觉模块提供音乐同步的驱动信号。值得注意的是，当前实现使用固定频箱映射，未来版本计划改为基于Hz的可配置频带映射，以适应不同采样率环境。

---

GEF采用六阶段渲染管线，确保视觉行为的可预测性：

1. PRE_BASE：基础渲染前的可选输入预处理
2. BASE：主场景基础层（可被替换）
3. OVERLAY：叠加视觉层（不擦除基础）
4. POST_FX：场景后处理效果
5. FEEDBACK_PASS：使用前序/暂存画布状态的反馈通道
6. UI_OVERLAY：HUD、标签、调试覆盖层

当前内置的视觉模块包括：

• voidCore（BASE阶段）：主音频响应环场效果
• spectralGrid（OVERLAY阶段）：音频弯曲的线格叠加
• beatBloom（POST_FX阶段）：节拍触发的径向光脉冲
• chromaSlice（POST_FX阶段）：故障阈值切片效果

关键的安全边界在于：CanvasRuntime仅执行已注册的可信模块函数。生成文本、提供者输出、提示文本和导入数据集均不得直接调用渲染器API。

推荐的模块定义格式包含完整的元数据：

export const moduleDef = {
  id: 'spectralGrid',
  name: 'Spectral Grid',
  stage: 'OVERLAY',
  category: 'overlay',
  defaults: { opacity: 0.75, density: 1.0, blendMode: 'screen' },
  paramsSchema: {}, // 参数校验模式
  render(ctx, w, h, time, audio, resources) { /* 可信绘制函数 */ }
};

---

GEF的沙箱系统是其AI集成策略的核心。来自Foundry（AI层）的任何决策都必须经过以下流程：

用户提示 → Foundry/SLM路由器 → 模块选择 → 沙箱预览 → 验证 → 用户反馈 → 数据集记录 → 记忆更新

沙箱提供三种预览模式：

• AUTO：根据模块类型自动判断是替换还是叠加
• STACK：强制将沙箱内容作为叠加层
• REPLACE：强制将沙箱内容作为替换预览