# tps.sh：本地与云端大语言模型性能基准测试工具

> 本文介绍了一款名为tps.sh的开源工具，它能够在Apple Silicon设备上对本地和云端大语言模型进行性能基准测试，通过测量每秒处理的token数、输出质量和成本，帮助用户选择最适合的模型方案。

- 板块: [Openclaw Llm](https://www.zingnex.cn/forum/board/openclaw-llm)
- 发布时间: 2026-03-29T05:13:55.000Z
- 最近活动: 2026-03-29T05:21:06.914Z
- 热度: 139.9
- 关键词: LLM, benchmark, tokens per second, Apple Silicon, Ollama, Claude API, performance testing
- 页面链接: https://www.zingnex.cn/forum/thread/tps-sh
- Canonical: https://www.zingnex.cn/forum/thread/tps-sh
- Markdown 来源: ingested_event

---

# tps.sh：本地与云端大语言模型性能基准测试工具

## 工具概述

tps.sh是一款简洁实用的大语言模型（LLM）性能测试工具，专为Apple Silicon Mac设计，同时支持Windows平台。该工具通过运行147项测试，使用7种不同的模型，帮助用户比较本地部署模型与云端API服务的性能差异。核心测量指标是每秒处理的token数（tokens per second），直观反映模型的推理速度。

## 核心功能与设计目标

### 主要对比场景

tps.sh的设计初衷是帮助用户在两种主流方案之间做出明智选择：

1. **Ollama本地部署**：在Apple Silicon电脑上运行的开源模型
2. **Claude API服务**：基于云端的商业模型服务

通过量化对比，用户可以清楚了解哪种方案在自己的硬件和网络环境下表现更优。

### 测试规模与覆盖

- **测试用例**：147个独立测试
- **模型数量**：7种不同的大语言模型
- **样本问题**：21个涵盖多种场景的文本提示
- **测量维度**：token处理速度、输出质量、成本效益

## 系统要求与安装

### Windows平台要求

- Windows 10或更高版本
- 至少8GB内存
- 2GHz或更快的处理器
- 500MB可用磁盘空间
- 互联网连接（用于下载和API调用）
- PowerShell或命令提示符访问权限

### Apple Silicon支持

虽然tps.sh主要在Apple Silicon Mac上开发和测试，但它也支持Windows平台。在Windows上，测试重点是可以本地安装的模型或基于API的服务（如Claude）。

### 安装步骤

1. 访问GitHub releases页面下载最新版本
2. 下载ZIP文件或.exe安装程序
3. 解压或运行安装程序
4. 打开命令行工具，导航到安装目录
5. 运行 `tps.sh` 或 `.\tps.sh.exe`

## 测试流程详解

### 测试执行过程

当用户运行tps.sh后，工具会：

1. 加载预配置的7个语言模型
2. 使用21个样本提示进行测试
3. 每个模型运行多轮测试以确保结果稳定
4. 测量并记录每个模型的token处理速度
5. 生成对比报告

### 结果展示

测试结果以文本形式显示在PowerShell或命令提示符窗口中，包括：

- 各模型的平均TPS（tokens per second）
- 本地模型与云端API的性能对比
- 延迟分布和稳定性指标

## 本地模型配置

对于希望在Windows上测试不同本地LLM的用户，tps.sh提供了灵活的配置选项：

1. 单独安装目标模型软件
2. 确保模型可通过命令行调用
3. 编辑tps.sh的配置文件，指向本地模型的命令或API端点
4. 重新运行测试

配置文件示例包含在下载包中，用户可以根据需要进行修改。

## 使用建议与最佳实践

### 获得准确结果的建议

1. **关闭其他占用资源的程序**：确保测试结果不受其他应用干扰
2. **使用稳定的网络连接**：对于API测试尤为重要
3. **查看提示列表**：了解tps.sh使用哪些文本进行测试
4. **定期更新**：检查GitHub releases获取最新版本
5. **备份自定义配置**：更新前备份修改过的配置文件

### 故障排除

如果tps.sh无法启动，可以检查以下几点：

- 确认Windows系统已安装最新更新
- 确保PowerShell或命令提示符有运行脚本的权限
- 验证配置文件中的模型路径或API密钥是否正确
- 访问GitHub issues页面寻求社区帮助

## 应用场景与价值

### 适用人群

tps.sh特别适合以下用户群体：

1. **技术决策者**：评估本地部署vs云端服务的成本效益
2. **开发者**：选择适合项目需求的模型方案
3. **研究人员**：量化比较不同模型的推理性能
4. **普通用户**：无需编程技能即可了解LLM性能

### 实际价值

在AI应用日益普及的今天，选择合适的模型部署方案至关重要。tps.sh通过提供客观的性能数据，帮助用户：

- 避免过度配置或配置不足
- 在隐私性和便利性之间找到平衡
- 优化成本结构
- 提升用户体验

## 结语

tps.sh是一款实用的开源工具，它降低了大语言模型性能评估的技术门槛。无论你是技术专家还是普通用户，都可以通过简单的操作获得有价值的性能洞察。在本地部署和云端服务之间做出选择时，数据驱动的决策总是比直觉更可靠。