Samvadsetu：Rust打造的多LLM服务统一API桥接库

一个Rust原生库，通过单一统一API向多个LLM提供商发送聊天完成请求，支持OpenAI、DeepSeek、Anthropic Claude、Google Gemini、Ollama等主流服务，并提供工具调用、结构化输出、Token概率追踪等企业级功能。

• 原作者/维护者：sandeep-sandhu
• 来源平台：github
• 原始标题：samvadsetu
• 原始链接：https://github.com/sandeep-sandhu/samvadsetu
• 来源发布时间/更新时间：2026-06-07T18:39:29Z

原作者与来源

• 原作者/维护者：sandeep-sandhu
• 来源平台：github
• 原始标题：samvadsetu
• 原始链接：https://github.com/sandeep-sandhu/samvadsetu
• 来源发布时间/更新时间：2026-06-07T18:39:29Z 原作者与来源\n\n- 原作者/维护者: sandeep-sandhu\n- 来源平台: GitHub\n- 原始标题: samvadsetu\n- 原始链接: https://github.com/sandeep-sandhu/samvadsetu\n- 发布时间: 2026-06-07\n\n---\n\n项目背景与命名寓意\n\n在AI应用开发中，开发者常常面临一个痛点：不同的LLM服务（OpenAI、Anthropic、Google、本地Ollama等）各自拥有不同的API接口和调用方式。为了使用多个模型，开发者不得不学习多套API文档，维护多份代码逻辑。\n\nSamvadsetu（संवाद-सेतु）这个名称源自梵语，其中"saṃvāda"（संवाद）意为"对话"，"setu"（सेतु）意为"桥梁"。正如其名，这个Rust库旨在成为程序逻辑与大语言模型能力之间的对话桥梁，让开发者能够通过统一的接口与多种LLM服务进行交互。\n\n---\n\n核心架构与设计理念\n\nSamvadsetu采用Rust语言开发，充分利用了Rust的内存安全和高性能特性。其核心设计目标是提供一个类型安全、零成本抽象的统一API层，让开发者无需关心底层不同提供商的API差异。\n\n支持的LLM提供商\n\n| 提供商 | 标识字符串 | 认证环境变量 | 批处理API支持 |\n|---|---|---|---|\n| OpenAI / ChatGPT | "chatgpt" / "openai" | OPENAI_API_KEY | ✓ |\n| DeepSeek | "deepseek" | DEEPSEEK_API_KEY | ✓ |\n| 阿里通义千问 (DashScope) | "qwen" | DASHSCOPE_API_KEY | ✓ |\n| llama.cpp server | "llamacpp" | LLAMACPP_API_KEY (可选) | — |\n| Anthropic Claude | "claude" / "anthropic" | ANTHROPIC_API_KEY | ✓ |\n| Google Gemini (旧版) | "gemini" | GOOGLE_API_KEY | — |\n| Google GenAI | "google_genai" | GOOGLE_API_KEY | — |\n| Ollama (本地) | "ollama" | 无需认证 | — |\n\n---\n\n快速上手与代码示例\n\n基础安装\n\n在Cargo.toml中添加依赖：\n\ntoml\n[dependencies]\nsamvadsetu = \"0.2\"\n\n\n基本使用示例\n\nrust\nuse samvadsetu::llm::LLMTextGenBuilder;\nuse samvadsetu::types::ChatMessage;\n\nfn main() {\n let llm_gen = LLMTextGenBuilder::build(\"chatgpt\", \"gpt-4o-mini\", 60, None, None)\n .expect(\"构建失败 — OPENAI_API_KEY是否已设置?\");\n\n let messages = vec![\n ChatMessage::system(\"你是一个有用的助手。\"),\n ChatMessage::user(\"彩虹是如何形成的？用一句话回答。\"),\n ];\n\n let result = llm_gen.generate_text(&messages, None, None)\n .expect(\"API调用失败\");\n\n println!(\"{}\", result.generated_text);\n}\n\n\n---\n\n企业级功能详解\n\n1. 工具调用 / 函数调用\n\nSamvadsetu完整支持OpenAI风格的工具调用功能，让模型能够根据用户请求调用外部工具：\n\nrust\nuse samvadsetu::types::{ChatMessage, ToolDefinition};\nuse serde_json::json;\n\nlet tools = vec![\n ToolDefinition::new(\n \"get_weather\",\n \"返回指定城市的当前天气。\",\n json!({\n \"type\": \"object\",\n \"properties\": {\n \"city\": {\"type\": \"string\", \"description\": \"城市名称\"}\n },\n \"required\": [\"city\"]\n }),\n ),\n];\n\nlet mut messages = vec![ChatMessage::user(\"东京天气如何？\")];\nlet r1 = llm_gen.generate_text(&messages, Some(&tools), None).unwrap();\n\n// 模型请求调用工具\nfor tc in &r1.tool_calls {\n messages.push(ChatMessage::assistant_with_tool_calls(r1.tool_calls.clone()));\n messages.push(ChatMessage::tool_result(&tc.id, &tc.name, \"晴天，25°C\"));\n}\n\n// 第二轮：模型使用工具结果回答问题\nlet r2 = llm_gen.generate_text(&messages, Some(&tools), None).unwrap();\n\n\n2. Token对数概率与幻觉检测\n\n这是Samvadsetu的一个独特功能。通过获取每个生成token的对数概率，开发者可以评估模型输出的置信度，识别潜在的幻觉内容：\n\nrust\nlet result = llm_gen.generate_text(&messages, None, None).unwrap();\n\n// 聚合置信度指标\nif let Some(mean_p) = result.mean_probability() {\n println!(\"平均token置信度: {:.1}%\", mean_p * 100.0);\n}\nif let Some(min_p) = result.min_token_probability() {\n println!(\"最低置信度token: {:.1}% (幻觉热点)\", min_p * 100.0);\n}\n\n// 逐token分析\nfor lp in &result.logprobs {\n println!(\"token={:?} 概率={:.1}%\", lp.token, lp.probability() * 100.0);\n}\n\n\n经验法则：平均概率>0.9通常表示高置信度生成；<0.7则需要额外审查。\n\n3. 结构化输出 / JSON模式\n\n支持强制模型输出符合指定JSON Schema的结构化数据：\n\nrust\nuse samvadsetu::types::ResponseFormat;\n\nlet schema = json!({\n \"type\": \"object\",\n \"properties\": {\n \"name\": {\"type\": \"string\"},\n \"score\": {\"type\": \"number\"}\n },\n \"required\": [\"name\", \"score\"]\n});\nlet fmt = ResponseFormat::JsonSchema {\n schema,\n name: Some(\"PersonScore\".to_string()),\n};\nlet result = llm_gen.generate_text(&messages, None, Some(&fmt)).unwrap();\n\n\n4. 批处理API支持\n\n对于需要处理大量请求的场景，Samvadsetu支持批处理API（OpenAI、Anthropic等支持），可节省高达50%的成本：\n\nrust\nuse samvadsetu::batch::BatchSubmitter;\n\nlet batch = BatchSubmitter::new(\"chatgpt\", \"gpt-4o-mini\")?;\n// 提交批量请求...\n\n\n---\n\n技术亮点与优势\n\n1. 类型安全: 利用Rust的类型系统，在编译期捕获API使用错误\n2. 零成本抽象: 统一API层不引入运行时开销\n3. 链式思维支持: 支持DeepSeek R1、Ollama think模式、Claude thinking的推理内容提取\n4. 多提供商一致性: 相同代码可无缝切换不同LLM提供商\n5. 企业级功能: 工具调用、结构化输出、批处理、置信度评估一应俱全\n\n---\n\n适用场景与价值\n\nSamvadsetu特别适合以下场景：\n\n- 多模型策略: 需要在不同场景使用不同模型（如用GPT-4处理复杂任务，用本地Ollama处理敏感数据）\n- 成本优化: 通过批处理API和智能路由降低LLM调用成本\n- 可靠性增强: 通过Token概率评估和幻觉检测提高输出质量\n- Rust生态集成: 与现有Rust项目无缝集成，享受Rust的性能和安全性优势\n\n---\n\n总结\n\nSamvadsetu作为一个Rust原生的多LLM统一API库，不仅解决了多提供商API碎片化的痛点，还提供了Token概率追踪、结构化输出等企业级功能。其梵语名称"对话之桥"恰如其分地描述了它的核心价值——让开发者能够跨越不同LLM服务的鸿沟，建立统一的对话接口。对于追求类型安全、高性能和代码一致性的Rust开发者来说，这是一个值得关注的工具。