WhatCanIRun：基于 MCP 的 LLM 推理预算规划工具

WhatCanIRun是由maheshbabugorantla维护的开源项目（GitHub链接：https://github.com/maheshbabugorantla/whatcanirun，发布时间：2026-05-26T01:45:45Z），是一个基于MCP协议的LLM推理预算规划工具。它旨在帮助开发者和企业解决LLM部署中的成本决策困境，通过系统化数据整合将预算约束转化为可执行的模型配置方案，支持API预算规划、本地部署评估等场景，核心价值在于简化预算到方案的端到端转换过程。

大语言模型能力扩展的同时，开发者和企业面临复杂成本决策：给定预算如何选择API调用策略？本地部署需何种硬件？如何平衡能力与延迟？传统凭经验估算或试错效率低，WhatCanIRun提供系统化解决方案，将预算转化为具体配置方案。

MCP协议集成

WhatCanIRun作为MCP服务器，支持Claude Desktop、Cursor等客户端调用，实现无缝生态集成。

预算转换逻辑

工具维护综合模型数据库，包含模型规格（参数量、上下文窗口）、性能基准、成本数据（API定价）、硬件需求、延迟特征等维度，基于数据生成并排序候选方案。

场景一：API预算规划

初创团队500美元/月预算，2000次/天请求（500tokens/请求），90%准确率要求，工具返回性价比（GPT-3.5，420USD/月，92%准确率）、平衡（混合3.5与4，480USD/月，95%）等方案。

场景二：本地部署评估

企业私有化部署Llama3 70B，工具给出最低配置（2x A100 80GB）、硬件成本（15000USD一次性）、月度运营成本（500USD）及等效API成本对比。

场景三：容量规划

AI写作助手分阶段策略：冷启动（纯API）、增长（API+缓存）、规模（混合部署/自建集群）。

模型数据库维护

通过自动抓取官方定价、整合Hugging Face/Papers With Code数据、参考云厂商硬件成本、社区贡献更新数据库。

排名算法

综合成本符合度、性能满足度、可靠性评分、复杂度成本排序，用户可调整权重。

来源可追溯

每个方案附带数据来源引用，支持追溯基准测试、定价页面或社区讨论。

• 数据时效性：LLM领域变化快，建议决策前核实最新数据；
• 场景覆盖度：当前侧重文本生成，多模态/特定领域支持待完善；
• 实际性能差异：延迟/吞吐量基于典型场景，生产前需小规模验证。

1. 明确约束：梳理预算、性能、延迟等硬性条件；
2. 多方案对比：理解各选项权衡逻辑；
3. 小规模验证：PoC测试候选方案；
4. 持续监控：建立成本追踪机制；
5. 反馈贡献：向社区反馈使用经验。

总结

WhatCanIRun简化LLM预算决策过程，缩小决策范围，但需结合实际场景验证，不能替代人工判断。

未来方向

计划扩展多模态支持、微调成本计算、碳足迹估算、合约谈判辅助等能力。