R2ABench：评估大语言模型从需求文档生成软件架构的能力

R2ABench是一个全新的基准测试，旨在评估大语言模型（LLM）从需求文档生成软件架构图的能力。该研究揭示了LLM在关系推理方面的根本性缺陷，同时为LLM驱动的软件架构生成研究提供了标准化评估基础。本文将从背景、方法、评估结果、实践意义等方面展开讨论。

软件架构设计是将抽象需求转化为系统结构的关键环节，传统流程中架构师需综合考虑功能/非功能需求、模块依赖等因素。近年来LLM在代码生成等任务进展显著，但在架构设计这类高层次任务上研究匮乏。核心障碍是缺乏专门的评估数据集——现有基准要么聚焦代码级任务，要么缺少真实项目的完整需求文档与参考架构。

R2ABench基准包含真实软件项目的完整产品需求文档（PRD）和专家标注的PlantUML参考架构图。研究团队提出三层混合评估框架：1.结构图指标（节点数、边关系、连通性等结构相似度）；2.多维度评分（组件识别准确性、关系类型正确性、层次合理性等）；3.架构反模式检测（识别循环依赖、上帝对象等设计缺陷）。

评估结果显示LLM的优势：生成语法正确的PlantUML图表，准确提取关键实体（类、模块等）。但存在根本局限：关系推理能力不足，难以理解组件复杂依赖，导致架构结构碎片化。此外，代码专用模型（如CodeLlama）可缓解此问题；而Agent框架未带来稳定改进，反而增加波动性。

R2ABench为LLM架构生成研究提供标准化评估基础。当前LLM更适合作为架构师的辅助工具，而非替代人类专家。其在关系推理上的不足是核心短板，需针对性优化。

未来方向包括：1.优化LLM的关系推理能力；2.通过R2ABench等标准化基准追踪技术进步；3.探索更稳定的Agent框架在架构生成中的应用；4.推动人机协作模式在架构设计中的实践。