章节 01
导读 / 主楼:TicketFlow AI:AI智能体可观测性控制台,让Agent行为透明可控
TicketFlow AI是一个开源的AI Agent可观测性控制台,提供RAG检索、工具调用追踪、运行时验证和可视化工作流演示,帮助开发者理解和调试AI智能体的决策过程。
正文
TicketFlow AI是一个开源的AI Agent可观测性控制台,提供RAG检索、工具调用追踪、运行时验证和可视化工作流演示,帮助开发者理解和调试AI智能体的决策过程。
章节 01
TicketFlow AI是一个开源的AI Agent可观测性控制台,提供RAG检索、工具调用追踪、运行时验证和可视化工作流演示,帮助开发者理解和调试AI智能体的决策过程。
章节 02
@observe\ndef agent_run(query, context):\n # 智能体逻辑\n retrieved_docs = retriever.search(query)\n response = llm.generate(context + retrieved_docs)\n return response\n\n\n支持多种集成方式:\n- **Python SDK**:装饰器方式,最小侵入性\n- **OpenAI API代理**:拦截OpenAI API调用\n- **LangChain集成**:作为LangChain回调处理器\n- **手动埋点**:在关键位置手动发送事件\n\n### 数据存储层\n\n采集的数据存储在本地,确保数据隐私:\n- **SQLite**:轻量级,适合单机使用\n- **PostgreSQL**:生产环境推荐\n- **文件系统**:JSON/Parquet格式,便于导出分析\n\n### 可视化界面\n\n基于现代Web技术构建的交互式界面:\n- **前端**:React + TypeScript\n- **图表**:D3.js + Recharts\n- **流程图**:ReactFlow\n- **后端**:FastAPI\n\n### 分析引擎\n\n内置多种分析能力:\n- **向量化分析**:计算文本相似度、聚类分析\n- **时序分析**:追踪延迟、吞吐量趋势\n- **异常检测**:基于统计和机器学习的异常识别\n\n## 使用场景\n\nTicketFlow AI适用于多种AI智能体开发和运维场景:\n\n### 场景一:RAG系统调优\n\n**问题**:智能体的回答经常包含不相关信息或遗漏关键信息\n\n**使用TicketFlow AI**:\n1. 查看检索结果,发现相似度阈值设置过高导致召回不足\n2. 观察到某些文档被错误地排在前面(假阳性)\n3. 调整检索策略(如混合搜索、重排序)\n4. 对比调整前后的检索质量指标\n5. 验证最终回答质量的提升\n\n### 场景二:工具调用调试\n\n**问题**:智能体在某些情况下调用错误的工具或提取错误的参数\n\n**使用TicketFlow AI**:\n1. 追踪问题案例的工具调用链\n2. 发现智能体误解了用户意图\n3. 查看提示词中的 few-shot 示例,发现示例覆盖不足\n4. 添加更多边界情况的示例\n5. 重新运行并验证修复效果\n\n### 场景三:性能优化\n\n**问题**:智能体响应太慢,用户体验差\n\n**使用TicketFlow AI**:\n1. 分析端到端延迟分解\n2. 发现RAG检索占用了60%的时间\n3. 查看向量数据库查询日志,发现索引未命中\n4. 优化索引配置,启用缓存\n5. 监控优化后的延迟分布\n\n### 场景四:安全审计\n\n**问题**:需要确保智能体不会执行危险操作\n\n**使用TicketFlow AI**:\n1. 配置运行时断言,监控敏感操作\n2. 审查工具调用日志,识别异常模式\n3. 设置告警,当检测到潜在风险时通知\n4. 定期生成审计报告\n\n### 场景五:团队协作\n\n**问题**:团队成员需要共享调试信息,协作解决问题\n\n**使用TicketFlow AI**:\n1. 将特定运行记录分享给团队成员\n2. 在界面上添加注释和评论\n3. 导出分析报告,用于讨论和决策\n4. 建立知识库,记录常见问题和解决方案\n\n## 与同类工具的对比\n\n| 特性 | TicketFlow AI | LangSmith | Langfuse | Promptlayer |\n|------|---------------|-----------|----------|-------------|\n| 部署方式 | 本地/私有云 | 托管SaaS | 托管/自托管 | 托管SaaS |\n| 开源 | ✅ 是 | ❌ 否 | ✅ 是 | ❌ 否 |\n| RAG可视化 | ✅ 深度 | ⚠️ 基础 | ⚠️ 基础 | ❌ |\n| 工具调用追踪 | ✅ 完整链 | ✅ 完整链 | ✅ 完整链 | ⚠️ 基础 |\n| 运行时验证 | ✅ 内置 | ⚠️ 规则 | ⚠️ 规则 | ❌ |\n| 演示工作流 | ✅ 内置 | ❌ | ❌ | ❌ |\n| 数据隐私 | ✅ 完全本地 | ⚠️ 云端 | ⚠️ 可选本地 | ❌ 云端 |\n| 成本 | 免费 | 按量付费 | 开源/托管 | 按量付费 |\n\nTicketFlow AI的优势在于**本地化部署**和**深度可观测性**,特别适合对数据隐私敏感或希望完全掌控基础设施的团队。\n\n## 快速开始\n\n### 安装\n\n使用Docker Compose(推荐):\n\nbash\n# 克隆仓库\ngit clone https://github.com/rM0on/ticketflow-ai.git\ncd ticketflow-ai\n\n# 启动服务\ndocker-compose up -d\n\n# 访问控制台\nopen http://localhost:3000\n```\n\n使用pip安装:\n\n```bash\npip install ticketflow-ai\nticketflow-server\n\n\n### 集成到智能体\n\n以Python为例:\n\npython\nfrom ticketflow import AgentObserver\nimport openai\n
章节 03
原作者与来源
章节 04
@observe\ndef agent_run(query, context):\n 智能体逻辑\n retrieved_docs = retriever.search(query)\n response = llm.generate(context + retrieved_docs)\n return response\n\n\n支持多种集成方式:\n- **Python SDK**:装饰器方式,最小侵入性\n- **OpenAI API代理**:拦截OpenAI API调用\n- **LangChain集成**:作为LangChain回调处理器\n- **手动埋点**:在关键位置手动发送事件\n\n数据存储层\n\n采集的数据存储在本地,确保数据隐私:\n- **SQLite**:轻量级,适合单机使用\n- **PostgreSQL**:生产环境推荐\n- **文件系统**:JSON/Parquet格式,便于导出分析\n\n可视化界面\n\n基于现代Web技术构建的交互式界面:\n- **前端**:React + TypeScript\n- **图表**:D3.js + Recharts\n- **流程图**:ReactFlow\n- **后端**:FastAPI\n\n分析引擎\n\n内置多种分析能力:\n- **向量化分析**:计算文本相似度、聚类分析\n- **时序分析**:追踪延迟、吞吐量趋势\n- **异常检测**:基于统计和机器学习的异常识别\n\n使用场景\n\nTicketFlow AI适用于多种AI智能体开发和运维场景:\n\n场景一:RAG系统调优\n\n**问题**:智能体的回答经常包含不相关信息或遗漏关键信息\n\n**使用TicketFlow AI**:\n1. 查看检索结果,发现相似度阈值设置过高导致召回不足\n2. 观察到某些文档被错误地排在前面(假阳性)\n3. 调整检索策略(如混合搜索、重排序)\n4. 对比调整前后的检索质量指标\n5. 验证最终回答质量的提升\n\n场景二:工具调用调试\n\n**问题**:智能体在某些情况下调用错误的工具或提取错误的参数\n\n**使用TicketFlow AI**:\n1. 追踪问题案例的工具调用链\n2. 发现智能体误解了用户意图\n3. 查看提示词中的 few-shot 示例,发现示例覆盖不足\n4. 添加更多边界情况的示例\n5. 重新运行并验证修复效果\n\n场景三:性能优化\n\n**问题**:智能体响应太慢,用户体验差\n\n**使用TicketFlow AI**:\n1. 分析端到端延迟分解\n2. 发现RAG检索占用了60%的时间\n3. 查看向量数据库查询日志,发现索引未命中\n4. 优化索引配置,启用缓存\n5. 监控优化后的延迟分布\n\n场景四:安全审计\n\n**问题**:需要确保智能体不会执行危险操作\n\n**使用TicketFlow AI**:\n1. 配置运行时断言,监控敏感操作\n2. 审查工具调用日志,识别异常模式\n3. 设置告警,当检测到潜在风险时通知\n4. 定期生成审计报告\n\n场景五:团队协作\n\n**问题**:团队成员需要共享调试信息,协作解决问题\n\n**使用TicketFlow AI**:\n1. 将特定运行记录分享给团队成员\n2. 在界面上添加注释和评论\n3. 导出分析报告,用于讨论和决策\n4. 建立知识库,记录常见问题和解决方案\n\n与同类工具的对比\n\n| 特性 | TicketFlow AI | LangSmith | Langfuse | Promptlayer |\n|------|---------------|-----------|----------|-------------|\n| 部署方式 | 本地/私有云 | 托管SaaS | 托管/自托管 | 托管SaaS |\n| 开源 | ✅ 是 | ❌ 否 | ✅ 是 | ❌ 否 |\n| RAG可视化 | ✅ 深度 | ⚠️ 基础 | ⚠️ 基础 | ❌ |\n| 工具调用追踪 | ✅ 完整链 | ✅ 完整链 | ✅ 完整链 | ⚠️ 基础 |\n| 运行时验证 | ✅ 内置 | ⚠️ 规则 | ⚠️ 规则 | ❌ |\n| 演示工作流 | ✅ 内置 | ❌ | ❌ | ❌ |\n| 数据隐私 | ✅ 完全本地 | ⚠️ 云端 | ⚠️ 可选本地 | ❌ 云端 |\n| 成本 | 免费 | 按量付费 | 开源/托管 | 按量付费 |\n\nTicketFlow AI的优势在于**本地化部署**和**深度可观测性**,特别适合对数据隐私敏感或希望完全掌控基础设施的团队。\n\n快速开始\n\n安装\n\n使用Docker Compose(推荐):\n\nbash\n克隆仓库\ngit clone https://github.com/rM0on/ticketflow-ai.git\ncd ticketflow-ai\n\n启动服务\ndocker-compose up -d\n\n访问控制台\nopen http://localhost:3000\n```\n\n使用pip安装:\n\n```bash\npip install ticketflow-ai\nticketflow-server\n\n\n集成到智能体\n\n以Python为例:\n\npython\nfrom ticketflow import AgentObserver\nimport openai\n