正文
受Andrej Karpathy autoresearch启发，每晚自动抓取vLLM、SGLang等主流推理引擎更新，用Claude Opus智能筛选并生成DGX Spark集群的可执行基准计划。
章节 01
inference-research是受Andrej Karpathy autoresearch启发的自动化工具，专注于LLM推理引擎的 nightly 追踪与基准测试。它解决了推理系统工程师跟踪技术进展、评估新特性影响并转化为可执行实验计划的挑战。核心功能包括：每晚自动抓取vLLM、SGLang等5大主流推理引擎更新，利用Claude Opus智能筛选并生成DGX Spark集群的可执行基准计划。
章节 02
Andrej Karpathy的autoresearch展示了自动化跟踪机器学习前沿的方法，inference-research借鉴此理念但聚焦推理系统优化。由于vLLM、SGLang等引擎每日演进，手动跟踪易遗漏关键更新，需自动化方案。
章节 03
| 项目 | 仓库 | 核心技术焦点 |
|---|---|---|
| vLLM | vllm-project/vllm | PagedAttention、分块预填充、推测解码 |
| SGLang | sgl-project/sglang | RadixAttention、前缀缓存、约束解码 |
| TensorRT-LLM | NVIDIA/TensorRT-LLM | 量化、动态批处理、Blackwell内核 |
| llm-d | llm-d/llm-d | K8s原生服务、预填充/解码分离 |
| Dynamo | ai-dynamo/dynamo | KV路由、NIXL、分离式推理OS |
| 节点 | IP地址 | 配置 |
|---|---|---|
| spark-01 | 192.168.1.76 | DGX Spark 128GB统一内存（NVLink-C2C） |
| spark-02 | 192.168.1.77 | DGX Spark 128GB统一内存（NVLink-C2C） |
| controller | 192.168.1.75 | CPU专用编排节点 |
章节 04
系统每日凌晨2点执行：
Claude Opus分析：
生成DGX Spark集群可执行bash命令序列。
所有输出（报告、数据、计划、日志）提交Git，形成可追溯历史。
章节 05
章节 06
继续阅读同一主题下的更多内容。
Splinter 是一款极简主义的高性能键值与向量存储系统，通过共享内存和原子操作实现进程间零延迟通信，核心代码仅 766 行，却能支持每秒数百万次操作和 768 维向量存储，为本地 LLM 推理和数据密集型应用提供了全新的架构思路。
Folkering OS 是全球首个 AI 原生裸机操作系统，完全用 Rust no_std 编写，无需 Linux、POSIX 或 libc。它能在 10 秒内从零生成命令、编译为 WASM 并运行，实现真正的自我进化。
该项目探索如何利用大语言模型（LLM）检测以太坊智能合约中的逻辑漏洞，特别是传统静态分析工具难以捕捉的业务逻辑缺陷，如经济操纵、执行顺序错误等。
一个自托管的MCP服务器，为AI代理提供跨会话的持久化协调、任务管理、事件总线和可观测性，支持35个工具，零代码改动即可集成到Claude Code、Cursor等客户端。