LLM Inference Explorer：通过 Streamlit 实时观察大模型推理的完整生命周期

本文介绍LLM Inference Explorer，一个轻量级Streamlit应用，通过连接本地Ollama实例，实时展示大语言模型推理的完整过程。它以可视化方式呈现预填充、解码循环、Token流式传输和性能指标，帮助开发者和研究者直观理解LLM推理的内部机制，解决推理过程的"黑盒"困境。

大语言模型（LLM）的推理过程对许多开发者而言是神秘的黑盒。输入提示词后等待结果，中间发生了什么？为何响应速度有差异？Token如何生成？这种不透明性影响对模型行为的理解，阻碍推理优化和性能调优。要掌握LLM技术，需"看见"推理过程的内部机制。

LLM Inference Explorer的核心功能包括：

1. 本地模型连接与管理：自动连接Ollama实例，支持模型切换；
2. 实时Token流式展示：通过SSE接收Token并逐个显示，观察生成速度与节奏；
3. 性能指标监控：展示Tokens/秒、首Token时间、总耗时等；
4. 推理流程解释：侧边栏说明预填充、解码循环、SSE传输等阶段。

项目采用分层架构：

• UI层：Streamlit快速构建交互式界面；
• HTTP客户端：httpx处理异步请求与流式响应；
• 推理运行时：Ollama（底层基于llama.cpp）；
• 依赖管理：uv工具。

使用步骤：

1. 环境准备：Python3.12+、uv、本地Ollama实例；
2. 下载模型：ollama pull llama3.2；
3. 启动应用：make dev（访问http://localhost:8501）。 容器化部署注意：macOS上容器化Ollama禁用Metal GPU加速，Apple Silicon用户建议直接运行ollama serve。

工具适用于：

1. 教育学习：帮助新手理解预填充、解码等抽象概念；
2. 模型评估：比较不同模型的推理速度与质量；
3. 性能调试：定位预填充或解码阶段的瓶颈；
4. 提示词工程：观察提示词对推理过程的影响。

当前局限：仅支持Ollama后端、性能指标基础、benchmark模块开发中、无批量推理支持。 未来扩展：多后端集成（vLLM、TGI）、高级分析（Token延迟、内存监控）、对比模式、历史记录、自定义指标。

LLM Inference Explorer以极简设计实现教育价值，让抽象的推理过程可见可测。它降低了观察LLM推理的门槛，帮助开发者深入理解模型行为，构建更可靠高效的应用。在AI快速发展中，保持对底层机制的洞察至关重要，该工具是培养这种洞察力的实用选择。