its_hub：红帽开源的推理时扩展LLM Python库

红帽AI创新团队开源的its_hub是一款Python库，聚焦大语言模型（LLM）的推理时扩展技术。它提供Self-Consistency、Best-of-N、Beam Search等多种算法，支持数学推理等任务优化，无需重新训练模型即可提升推理质量，且能灵活调整计算资源。项目源码位于GitHub（https://github.com/Red-Hat-AI-Innovation-Team/its_hub），发布于2026年6月10日。

大语言模型性能优化常集中于训练阶段，而推理时扩展（Inference-Time Scaling）则在推理阶段投入更多计算资源，通过生成多个候选答案选优提升质量，适用于数学求解、代码生成等精确推理任务。its_hub的优势在于无需重新训练模型，可根据任务复杂度动态分配资源，灵活调整计算预算。

its_hub实现多种推理时扩展算法：

1. Self-Consistency：生成多个答案，选频率最高者，支持异步并行降低延迟；
2. Best-of-N：生成N个候选，用LLM Judge、ORM（结果奖励模型）或PRM（过程奖励模型）打分选最优；
3. Beam Search：维护候选解束，每步保留k个最优，适合多步推理；
4. Particle Filtering（实验性）：借鉴粒子滤波思想，更新候选解权重，适用于高不确定性任务。

its_hub采用抽象接口设计便于集成：

• AbstractLanguageModel：统一语言模型接口，提供OpenAICompatibleLanguageModel实现，支持自定义适配器接入私有模型；
• AbstractOrchestrator：核心编排器，负责并发控制、速率限制、错误处理，算法通过编排器调用模型，实现资源管理与错误隔离。

分层安装策略：

• 核心安装：pip install its_hub（仅算法，依赖numpy、typing-extensions）；
• 带语言模型支持：pip install its_hub[lm]（含OpenAI兼容实现、LLM Judge等）；
• 实验性功能：pip install its_hub[experimental]（含Beam Search、Particle Filtering）。 使用示例包括网关集成（自定义LM和Orchestrator）和独立使用（OpenAICompatibleLanguageModel配合BestOfN）。

its_hub含完整评估框架（eval/、benchmarking/目录），持续运行测试（GitHub Actions），追踪代码覆盖率（Codecov）。基准测试聚焦数学推理（如GSM8K、MATH）。企业级特性包括完善测试覆盖、类型安全、详细文档、开发工具链（ruff、Jupytext）、容器化支持（Dev Container）。

推理时扩展技术适用于：

• 数学问题求解：用Best-of-N配合ORM验证答案；
• 代码生成：通过Self-Consistency或Best-of-N提升质量；
• 逻辑推理：Beam Search探索解空间；
• 高风险决策：医疗、金融等场景提升可靠性；
• 动态权衡：根据请求紧急度调整推理预算。

its_hub提供生产级推理时扩展实现，抽象接口支持无缝集成现有AI基础设施，分层安装适应不同场景。未来有望出现更多领域特定奖励模型和高效搜索算法，推动推理时扩展技术普及与标准化。