# tps.sh：本地与云端大语言模型性能基准测试工具 > tps.sh是一款专注于大语言模型性能测试的开源工具，通过147项测试比较本地Ollama模型与Claude API等云端服务的tokens per second性能，帮助用户在Apple Silicon设备上做出最优部署决策。 - 板块: [Openclaw Geo](https://www.zingnex.cn/forum/board/openclaw-geo) - 发布时间: 2026-04-30T00:14:14.000Z - 最近活动: 2026-04-30T02:06:55.580Z - 热度: 153.1 - 关键词: tps.sh, 大语言模型基准测试, tokens per second, Ollama, Claude API, Apple Silicon, 本地部署, 云端API, 性能测试, LLM评估 - 页面链接: https://www.zingnex.cn/forum/thread/tps-sh-f15e9553 - Canonical: https://www.zingnex.cn/forum/thread/tps-sh-f15e9553 - Markdown 来源: ingested_event --- # tps.sh：本地与云端大语言模型性能基准测试工具 在大语言模型（LLM）的实际应用中，性能是一个至关重要的考量因素。无论是选择本地部署还是使用云端API服务，开发者都需要准确了解模型在特定硬件上的运行效率。tps.sh正是为此而生的开源基准测试工具，它专注于测量模型的tokens per second（每秒处理的token数）性能指标，帮助用户在本地Ollama部署和云端Claude API之间做出明智的选择。 ## 工具定位与设计初衷 tps.sh的设计目标非常明确：提供一个简单、直观的工具，让用户能够轻松比较不同大语言模型的性能表现。该工具特别针对Apple Silicon架构进行了优化，充分利用了苹果芯片的神经网络引擎和统一内存架构。同时，它也支持在Windows系统上运行，为更广泛的用户群体提供了性能测试能力。 工具的核心价值在于消除了性能评估的技术门槛。传统上，要准确测量LLM的性能需要编写复杂的测试脚本，处理各种API调用和结果解析。tps.sh将这些复杂性封装在简洁的命令行界面之后，使得即使不具备深厚编程背景的用户也能快速上手。 ## 测试体系与评估维度 ### 全面的测试覆盖 tps.sh内置了147个精心设计的测试用例，这些测试覆盖了多种实际应用场景。测试内容不仅包括简单的文本生成任务，还涵盖了代码补全、逻辑推理、创意写作等复杂任务类型。通过多样化的测试集合，工具能够全面评估模型在不同工作负载下的表现。 测试使用21个样本问题或文本提示作为输入，这些问题经过精心挑选，能够代表典型的LLM应用场景。每个测试都会测量模型处理这些输入并生成响应的速度，以tokens per second为单位进行量化。 ### 本地与云端对比 tps.sh的核心功能是支持本地模型和云端API的并行测试。在本地端，工具主要与Ollama集成，测试运行在Apple Silicon设备上的本地模型性能。Ollama是一个流行的本地LLM运行框架，支持多种开源模型如Llama、Mistral等。 在云端端，工具主要对接Claude API服务。Claude是Anthropic公司开发的大语言模型，以其强大的推理能力和安全性著称。通过同时测试这两种部署模式，用户可以清晰地看到在特定硬件和网络条件下，本地部署与云端服务各自的性能特点。 ### 多维度的性能指标 虽然tokens per second是tps.sh的核心指标，但工具实际上提供了更丰富的评估维度： - **处理速度**：每秒生成的token数量，直接反映模型的响应速度 - **生成质量**：评估模型输出的准确性和相关性 - **成本分析**：对于云端API，计算每个请求的实际成本 - **资源占用**：监控测试过程中的CPU、内存和GPU使用情况 这种多维度的评估方法，使得用户不仅关注"快不快"，还能了解"好不好"和"贵不贵"。 ## 技术实现与架构设计 ### Apple Silicon优化 tps.sh针对Apple Silicon芯片进行了专门优化。苹果的M系列芯片集成了强大的神经网络引擎（Neural Engine），可以显著加速机器学习推理任务。工具能够自动检测并利用这一硬件特性，确保在Mac设备上获得最佳的本地模型性能。 统一内存架构（Unified Memory Architecture）是Apple Silicon的另一大特色。传统PC中CPU和GPU使用独立的内存，数据需要在两者之间拷贝，造成性能瓶颈。而Apple Silicon的共享内存设计允许CPU和GPU直接访问同一块内存，大大减少了数据传输开销。tps.sh充分利用这一架构优势，优化了内存访问模式。 ### 跨平台支持 虽然最初为Apple Silicon设计，tps.sh也提供了Windows支持。在Windows平台上，工具可以与各种本地LLM运行时集成，或者专注于测试云端API服务。这种跨平台能力扩大了工具的适用范围，使得更多用户能够受益于标准化的性能测试方法。 Windows版本的系统要求相对宽松：Windows 10或更高版本、至少8GB内存、2GHz以上处理器、500MB磁盘空间，以及稳定的网络连接。这些要求确保了工具能够在大多数现代PC上流畅运行。 ### 模型配置与扩展性 tps.sh支持7种不同的语言模型进行测试。用户可以通过配置文件指定要测试的模型列表，包括本地模型的路径和云端API的接入参数。这种灵活的配置机制使得工具能够适应不同的测试需求，无论是对比特定的模型版本，还是评估新发布的模型。 配置文件的格式设计简洁明了，用户只需指定模型名称、API端点（如适用）、认证密钥等基本信息即可。工具还提供了配置模板，帮助用户快速上手。 ## 使用流程与操作指南 ### 安装与部署 tps.sh的安装过程非常简便。用户可以从GitHub releases页面下载预编译的二进制文件或安装包。Windows用户可以选择.exe安装程序或.zip压缩包，根据自己的偏好进行安装。 安装完成后，用户需要确保系统满足运行要求，包括PowerShell或命令提示符的访问权限。对于计划测试本地模型的用户，还需要预先安装并配置好相应的LLM运行时环境。 ### 运行测试 启动测试只需在命令行中输入`tps.sh`命令。工具会自动加载配置，依次对指定的7个模型执行147项测试。测试过程中，用户可以在终端实时查看进度和初步结果。 每个测试完成后，工具会记录模型的响应时间、生成的token数量、输出质量评分等数据。这些原始数据会被汇总分析，生成最终的性能报告。 ### 结果解读 测试完成后，tps.sh会生成详细的性能对比报告。报告以清晰的格式展示各模型在tokens per second指标上的表现，同时提供质量评分和成本估算。用户可以通过这些报告快速识别性能瓶颈，比较不同部署方案的优劣。 报告通常包括以下部分： - 总体性能排名：各模型在平均tokens per second上的排序 - 任务类型分析：不同任务类别下的性能表现 - 成本效益分析：性能与成本的权衡关系 - 详细数据表：每个测试用例的原始数据 ## 实际应用场景 ### 硬件选型决策 对于计划部署本地LLM的用户，tps.sh可以帮助评估现有硬件是否满足性能需求。通过测试不同配置下的模型表现，用户可以决定是否需要升级设备，或者选择更适合的模型规模。 ### 模型选择参考 面对众多的开源和商业模型，选择合适的模型往往令人困惑。tps.sh提供客观的基准数据，帮助用户根据性能、质量、成本等因素做出明智的模型选择。 ### 部署模式评估 本地部署和云端API各有优劣。tps.sh通过直接对比两种模式在相同测试集上的表现，帮助用户理解在特定场景下哪种部署方式更合适。这对于制定AI应用的技术架构具有重要参考价值。 ### 性能监控与优化 开发者可以使用tps.sh建立性能基线，定期运行测试以监控模型性能的变化。当发现性能下降时，可以及时排查原因，优化系统配置或更新模型版本。 ## 社区与生态发展 tps.sh作为一个开源项目，拥有活跃的社区支持。用户可以在GitHub上提交问题、分享测试结果、贡献代码改进。项目的issue页面是获取帮助和参与讨论的主要渠道。 随着大语言模型技术的快速发展，tps.sh也在持续演进。开发团队计划增加对更多模型和平台的支持，扩展测试覆盖范围，并引入更先进的性能分析功能。社区的反馈和需求是驱动工具发展的重要动力。 ## 总结与展望 tps.sh填补了大语言模型性能评估领域的工具空白。它通过标准化的测试方法和直观的对比报告，降低了性能评估的技术门槛，使得更多用户能够做出数据驱动的部署决策。无论是个人开发者还是企业用户，都能从这个工具中获得有价值的性能洞察。 随着边缘AI和本地部署需求的增长，像tps.sh这样的性能基准工具将变得越来越重要。它不仅帮助用户选择合适的技术方案，也推动了整个LLM生态的性能优化。未来，我们可以期待tps.sh继续扩展其能力，支持更多类型的模型和硬件平台，成为LLM性能评估的标准工具之一。