llamatelemetry：面向 CUDA 的本地 LLM 推理与可观测性 Python SDK

llamatelemetry 是一个专为 CUDA 优化的 Python SDK，提供基于 llama.cpp/GGUF 的本地大语言模型推理能力和完整的可观测性功能。它集成了推理引擎、服务生命周期管理、OpenTelemetry 追踪和 GPU 指标收集，特别适合 Kaggle 等双 T4 GPU 环境的机器学习工作流。

llamatelemetry 是一个专门为 CUDA 环境设计的 Python SDK，旨在为本地大语言模型（LLM）推理提供企业级的可观测性支持。该项目围绕 llama.cpp 和 GGUF 模型格式构建，不仅提供高性能的推理能力，还集成了完整的监控、追踪和分析功能，特别适合需要在本地或云端 GPU 环境中运行 LLM 的开发者。

项目的核心定位是填补本地 LLM 推理与生产级可观测性之间的空白，让用户能够在享受本地部署隐私优势的同时，获得类似云端 API 服务的监控和诊断能力。

llamatelemetry 提供了易于使用的 InferenceEngine 类，封装了复杂的模型加载和推理流程：

• 一键模型加载：支持从模型注册表自动下载和加载 GGUF 格式模型
• 自动服务管理：内置 llama-server 生命周期管理，自动处理服务的启动和监控
• OpenAI 兼容客户端：提供与 OpenAI API 兼容的 LlamaCppClient，便于现有应用迁移

项目深度集成了 OpenTelemetry 标准，提供：

• 分布式追踪：记录每次推理请求的完整调用链
• GPU 指标收集：实时监控 GPU 利用率、显存占用、温度等关键指标
• 性能分析：自动收集推理延迟、吞吐量等性能数据

针对 Kaggle 平台的双 T4 GPU 配置，项目提供了专门的预设：

• 双 GPU 配置模板：自动检测并配置双 T4 环境
• 环境适配器：处理 Kaggle 特有的网络和资源限制
• 18 个交互式 Notebook：提供从入门到进阶的完整教程

• 模型注册表：集中管理可用的 GGUF 模型
• 元数据解析：自动提取和分析 GGUF 模型的量化信息、架构参数等
• 量化辅助工具：帮助用户选择最适合其硬件的量化级别

import llamatelemetry as lt

# 创建推理引擎（关闭遥测）
engine = lt.InferenceEngine(enable_telemetry=False)

# 加载模型并自动启动服务
engine.load_model("gemma-3-1b-Q4_K_M", auto_start=True)

# 执行推理
result = engine.infer("Explain CUDA in one sentence.", max_tokens=64)
print(result.text)

import llamatelemetry as lt
from llamatelemetry.api import kaggle_t4_dual_config

# 获取双 T4 优化配置
cfg = kaggle_t4_dual_config()
print(cfg)

# 使用优化配置创建引擎
engine = lt.InferenceEngine(enable_telemetry=False)
engine.load_model("gemma-3-1b-Q4_K_M", auto_start=True)
print(engine.generate("Kaggle dual-GPU test", max_tokens=32).text)