OAKS：评估大语言模型在持续知识流中的在线适应能力

KAIST AI团队发布OAKS基准测试（ACL 2026 Main收录），是首个专门评估大语言模型（LLM）在动态、持续更新知识流中在线适应能力的框架。该基准模拟持续流入的知识流，测试模型能否实时跟踪知识演变并调整回答，包含合成与真实世界数据集，开源资源（数据集、评估代码等）推动行业进步。

传统LLM基准假设静态知识库，与现实场景存在鸿沟。现实中知识动态更新（新事件、事实修正），模型部署于实时交互环境（搜索引擎、智能客服）时，需在不重新训练的情况下即时调整回答，这种能力称为“在线适应”，OAKS为此设计。

核心设计理念

基于真实知识的时序演进特性，评估需在知识流每个阶段测试，捕捉传统基准未发现的问题（遗忘早期信息、处理矛盾信息等）。

评估机制

采用逐步在线评估：每个知识块接收后测试同一组问题，测量即时适应性、累积准确性、遗忘模式、错误传播；数据结构含细粒度标注（chunk_to_answer等），精确定位错误点。

OAKS-BABI（合成数据集）

基于BABILong构建，测试结构化知识演变：上下文128k tokens、65块、1200问题，问题类型含简单事实追踪、计数、桥接、比较，平均答案变化4.7次。

OAKS-Novel（真实数据集）

19部公有领域小说为源：上下文约150k tokens、78块、870道多选题，平均选项5.5个，含复杂人物关系与情节，标注证据来源。

基础设置

接收历史上下文拼接，超长度则截断最早内容：最大文档128k tokens、生成长度4096、温度0.7、Top-p 0.8、Top-k 20。

RAG设置

用稠密检索器（如Qwen3-Embedding）检索相关块：构建索引→预计算检索结果→基于检索块回答，模拟实际检索增强架构。

模型开发指导

识别时序处理薄弱环节、优化上下文管理、改进训练数据、评估架构效果。

实际应用场景

实时问答系统、金融情报分析、医疗诊断辅助、法律文档分析等需动态知识适应的领域。

局限性

语言覆盖（主要英文）、知识类型（侧重事实性）、交互模式（被动接收）。

未来计划

增加多语言支持、扩展知识类型覆盖、引入主动查询与交互式学习场景。

OAKS将LLM评估从静态转向动态，是衡量模型实用价值的关键指标。作为诊断工具，帮助开发者提升模型能力；开源资源为社区提供支持，有望推动在线适应技术发展。