tps.sh：本地与云端大语言模型性能基准测试工具

在大语言模型（LLM）的实际应用中，性能是一个至关重要的考量因素。无论是选择本地部署还是使用云端API服务，开发者都需要准确了解模型在特定硬件上的运行效率。tps.sh正是为此而生的开源基准测试工具，它专注于测量模型的tokens per second（每秒处理的token数）性能指标，帮助用户在本地Ollama部署和云端Claude API之间做出明智的选择。

工具定位与设计初衷

tps.sh的设计目标非常明确：提供一个简单、直观的工具，让用户能够轻松比较不同大语言模型的性能表现。该工具特别针对Apple Silicon架构进行了优化，充分利用了苹果芯片的神经网络引擎和统一内存架构。同时，它也支持在Windows系统上运行，为更广泛的用户群体提供了性能测试能力。

工具的核心价值在于消除了性能评估的技术门槛。传统上，要准确测量LLM的性能需要编写复杂的测试脚本，处理各种API调用和结果解析。tps.sh将这些复杂性封装在简洁的命令行界面之后，使得即使不具备深厚编程背景的用户也能快速上手。

测试体系与评估维度

全面的测试覆盖

tps.sh内置了147个精心设计的测试用例，这些测试覆盖了多种实际应用场景。测试内容不仅包括简单的文本生成任务，还涵盖了代码补全、逻辑推理、创意写作等复杂任务类型。通过多样化的测试集合，工具能够全面评估模型在不同工作负载下的表现。

测试使用21个样本问题或文本提示作为输入，这些问题经过精心挑选，能够代表典型的LLM应用场景。每个测试都会测量模型处理这些输入并生成响应的速度，以tokens per second为单位进行量化。

本地与云端对比

tps.sh的核心功能是支持本地模型和云端API的并行测试。在本地端，工具主要与Ollama集成，测试运行在Apple Silicon设备上的本地模型性能。Ollama是一个流行的本地LLM运行框架，支持多种开源模型如Llama、Mistral等。

在云端端，工具主要对接Claude API服务。Claude是Anthropic公司开发的大语言模型，以其强大的推理能力和安全性著称。通过同时测试这两种部署模式，用户可以清晰地看到在特定硬件和网络条件下，本地部署与云端服务各自的性能特点。

多维度的性能指标

虽然tokens per second是tps.sh的核心指标，但工具实际上提供了更丰富的评估维度：

• 处理速度：每秒生成的token数量，直接反映模型的响应速度
• 生成质量：评估模型输出的准确性和相关性
• 成本分析：对于云端API，计算每个请求的实际成本
• 资源占用：监控测试过程中的CPU、内存和GPU使用情况

这种多维度的评估方法，使得用户不仅关注"快不快"，还能了解"好不好"和"贵不贵"。

技术实现与架构设计

Apple Silicon优化

tps.sh针对Apple Silicon芯片进行了专门优化。苹果的M系列芯片集成了强大的神经网络引擎（Neural Engine），可以显著加速机器学习推理任务。工具能够自动检测并利用这一硬件特性，确保在Mac设备上获得最佳的本地模型性能。

统一内存架构（Unified Memory Architecture）是Apple Silicon的另一大特色。传统PC中CPU和GPU使用独立的内存，数据需要在两者之间拷贝，造成性能瓶颈。而Apple Silicon的共享内存设计允许CPU和GPU直接访问同一块内存，大大减少了数据传输开销。tps.sh充分利用这一架构优势，优化了内存访问模式。

跨平台支持

虽然最初为Apple Silicon设计，tps.sh也提供了Windows支持。在Windows平台上，工具可以与各种本地LLM运行时集成，或者专注于测试云端API服务。这种跨平台能力扩大了工具的适用范围，使得更多用户能够受益于标准化的性能测试方法。

Windows版本的系统要求相对宽松：Windows 10或更高版本、至少8GB内存、2GHz以上处理器、500MB磁盘空间，以及稳定的网络连接。这些要求确保了工具能够在大多数现代PC上流畅运行。

模型配置与扩展性

tps.sh支持7种不同的语言模型进行测试。用户可以通过配置文件指定要测试的模型列表，包括本地模型的路径和云端API的接入参数。这种灵活的配置机制使得工具能够适应不同的测试需求，无论是对比特定的模型版本，还是评估新发布的模型。

配置文件的格式设计简洁明了，用户只需指定模型名称、API端点（如适用）、认证密钥等基本信息即可。工具还提供了配置模板，帮助用户快速上手。

使用流程与操作指南

安装与部署

tps.sh的安装过程非常简便。用户可以从GitHub releases页面下载预编译的二进制文件或安装包。Windows用户可以选择.exe安装程序或.zip压缩包，根据自己的偏好进行安装。

安装完成后，用户需要确保系统满足运行要求，包括PowerShell或命令提示符的访问权限。对于计划测试本地模型的用户，还需要预先安装并配置好相应的LLM运行时环境。

运行测试

启动测试只需在命令行中输入tps.sh命令。工具会自动加载配置，依次对指定的7个模型执行147项测试。测试过程中，用户可以在终端实时查看进度和初步结果。

每个测试完成后，工具会记录模型的响应时间、生成的token数量、输出质量评分等数据。这些原始数据会被汇总分析，生成最终的性能报告。

结果解读

测试完成后，tps.sh会生成详细的性能对比报告。报告以清晰的格式展示各模型在tokens per second指标上的表现，同时提供质量评分和成本估算。用户可以通过这些报告快速识别性能瓶颈，比较不同部署方案的优劣。

报告通常包括以下部分：

• 总体性能排名：各模型在平均tokens per second上的排序
• 任务类型分析：不同任务类别下的性能表现
• 成本效益分析：性能与成本的权衡关系
• 详细数据表：每个测试用例的原始数据

实际应用场景

硬件选型决策

对于计划部署本地LLM的用户，tps.sh可以帮助评估现有硬件是否满足性能需求。通过测试不同配置下的模型表现，用户可以决定是否需要升级设备，或者选择更适合的模型规模。

模型选择参考

面对众多的开源和商业模型，选择合适的模型往往令人困惑。tps.sh提供客观的基准数据，帮助用户根据性能、质量、成本等因素做出明智的模型选择。

部署模式评估

本地部署和云端API各有优劣。tps.sh通过直接对比两种模式在相同测试集上的表现，帮助用户理解在特定场景下哪种部署方式更合适。这对于制定AI应用的技术架构具有重要参考价值。

性能监控与优化

开发者可以使用tps.sh建立性能基线，定期运行测试以监控模型性能的变化。当发现性能下降时，可以及时排查原因，优化系统配置或更新模型版本。

社区与生态发展

tps.sh作为一个开源项目，拥有活跃的社区支持。用户可以在GitHub上提交问题、分享测试结果、贡献代码改进。项目的issue页面是获取帮助和参与讨论的主要渠道。

随着大语言模型技术的快速发展，tps.sh也在持续演进。开发团队计划增加对更多模型和平台的支持，扩展测试覆盖范围，并引入更先进的性能分析功能。社区的反馈和需求是驱动工具发展的重要动力。

总结与展望

tps.sh填补了大语言模型性能评估领域的工具空白。它通过标准化的测试方法和直观的对比报告，降低了性能评估的技术门槛，使得更多用户能够做出数据驱动的部署决策。无论是个人开发者还是企业用户，都能从这个工具中获得有价值的性能洞察。

随着边缘AI和本地部署需求的增长，像tps.sh这样的性能基准工具将变得越来越重要。它不仅帮助用户选择合适的技术方案，也推动了整个LLM生态的性能优化。未来，我们可以期待tps.sh继续扩展其能力，支持更多类型的模型和硬件平台，成为LLM性能评估的标准工具之一。