Luckrig：去中心化本地LLM推理共享平台的创新探索

Luckrig是基于贡献机制的本地LLM推理API共享平台，旨在解决个人开发者算力获取瓶颈与用户本地算力闲置的矛盾，开创社区互助式AI基础设施共享新模式。平台结合"贡献式访问权"理念，让用户通过贡献换取访问他人本地设备上OpenAI兼容API的机会，打破中心化云服务垄断，推动算力资源在社区内流动共享。

当前LLM发展中，高性能GPU价格昂贵且供应紧张，制约个人开发者；同时许多用户本地算力闲置。Luckrig移植Hotline Connect的"贡献式访问权"理念到本地LLM领域，构建社区互助推理共享平台。项目名称"luckrig"结合"luck"（运气/抽签）和"rig"（设备/装备），暗示用户通过贡献换取访问权限，有机会使用社区优异节点，打破中心化云服务垄断。

Luckrig采用模块化分布式架构，核心组件包括：

1. Tracker：中央协调节点，负责节点注册、健康监控、基于贡献分数的临时令牌发放，不直接参与推理，是资源调度与服务发现枢纽。
2. Node Proxy：部署在ollama或llama.cpp前端的代理层，提供OpenAI兼容API，支持Plain Mode（标准TLS加密）和Subtext Mode（Unicode变体选择器嵌入加密载荷）。
3. CLI工具：一行命令完成节点注册与代理配置，降低参与门槛。
4. Web界面：提供公开列表浏览、令牌获取、队列管理、对话回放等功能。

Luckrig采用三层防护机制：

1. 本地正则过滤：节点代理层内置过滤器，实时检测拦截输入。
2. 外部审核钩子：通过环境变量配置OpenAI Moderation兼容的外部审核服务，输入发送前阻断，输出默认记录模式（流式传输后记录），可切换为阻断模式。
3. 举报与下架：提供滥用举报端点，运营者审核后手动封禁，避免自动化误判。 此外，禁止儿童性剥削等非法内容，提供法律合规检查清单，建议部署前咨询法律专业人士。

Luckrig与知名项目的区别：

• 与AI Horde：AI Horde用kudos机制抽象工作节点隐藏硬件细节；Luckrig展示硬件元数据、调优笔记，允许指定设备，基于稀缺性排序，强调硬件独特性与贡献价值。
• 与Petals：Petals专注大规模模型分布式推理（模型分片协同）；Luckrig采用单节点单推理架构，每个节点独立完成任务，技术路线不同。

截至目前，Luckrig完成POC v1版本，用纯Node.js实现公开列表、健康监控、SQLite/JSONL持久化、令牌配额管理、提示过滤、节点代理、subtext加密、队列可视化、多轴贡献评分、Showcase生成、对话回放保存等功能。未来规划：实地验证、v6功能开发（图像生成、语音处理等多模态）、强化运营；目前仅支持文本生成，其他模态需等待试食UX设计确立。

参与方式：贡献算力者可通过CLI工具完成节点注册与代理配置加入网络；使用者通过Web界面浏览节点列表、获取令牌、等待推理结果，系统支持稀缺性评分排序。 结语：Luckrig是去中心化AI基础设施共享的新思路，基于社区信任与贡献精神，非传统云计算竞争对手或资源交换市场，是实验性平台。在算力民主化与AI普惠化道路上具有参考价值，虽处POC阶段，但其理念与实现为分布式AI生态提供宝贵经验。