Peek：一个让你"看见"大语言模型内部运作的交互式可视化工具

Peek是一个开源项目，提供了一个仅有82.5万参数、在莎士比亚文本上训练的Transformer模型，通过让每一个权重清晰可见，帮助开发者直观理解大语言模型（LLM）的工作原理，旨在解决LLM的"黑箱"问题，为学习和研究提供直观入口。

随着LLM规模膨胀（从GPT-2的15亿参数到GPT-4据传超1万亿参数），模型内部计算过程隐藏在海量参数中，难以理解。Peek的核心理念是可解释性，通过构建小规模但功能完整的Transformer模型，让学习者逐层、逐个权重观察模型处理文本、计算注意力、生成词的过程，具有极高教育价值。

模型规格

• 参数量：约825,000个
• 训练数据：莎士比亚全集
• 架构：标准Transformer解码器
• 可视化粒度：每一个权重、激活值可见

选择莎士比亚文本的原因

• 语言风格独特一致，利于学习模式
• 文本量适中，适合小模型训练
• 作品广为人知，便于判断生成文本合规性

Peek提供完全交互式可视化界面，支持：

1. 嵌入层可视化：查看词向量表示，通过t-SNE/PCA观察语义相近词的空间位置
2. 注意力热力图：实时展示处理每个词时模型关注的其他词
3. 前馈网络激活：观察隐藏层信息流动
4. 逐词生成过程：慢动作回放词选择的概率计算与采样过程

• 初学者：通过直观观察降低Transformer学习门槛
• 进阶开发者：验证对Transformer的理解，发现知识盲点
• 研究者：提供可控实验平台，测试假设与组件修改影响

采用Next.js前端框架、Geist字体优化、Vercel部署，支持在任何现代浏览器运行，无需安装软件或复杂配置环境。

局限性

• 规模限制：82.5万参数模型无大型LLM的涌现能力
• 数据单一：仅莎士比亚文本训练，知识与风格受限

未来方向

1. 多模型对比：不同规模/架构模型对比
2. 自定义训练：允许上传小型数据集训练
3. 交互式编辑：手动修改权重观察输出影响
4. 更多可视化：集成神经元激活模式分析等工具

Peek通过精巧设计与直观可视化，让LLM不再神秘，为理解AI技术提供绝佳入口。无论学生、开发者还是研究者都值得尝试。

项目地址：https://github.com/shawn14/peek