利用大语言模型优化组合测试：智能识别关键参数交互

项目名称：Coverage_strength 原作者：mahdi943 来源：GitHub（链接：https://github.com/mahdi943/Coverage_strength） 核心观点：该项目创新地将大语言模型（LLM）的自然语言理解与推理能力，与传统组合测试技术结合，智能识别高风险参数交互组合，实现选择性测试策略，旨在提升测试覆盖率、降低测试成本，优化测试资源分配。

传统组合测试采用t-way覆盖策略，但存在"一刀切"局限：对所有参数组合同等对待，导致低风险组合占用大量资源，高风险组合可能关注不足。 项目动机：通过LLM分析软件文档，识别关键参数交互，实现"选择性"组合测试，解决资源浪费问题。

技术方案核心组成

1. LLM驱动参数分析：通过理解API文档、Wiki等语义信息，推断参数依赖与冲突，识别高风险组合。
2. 覆盖数组生成：使用Jenny工具生成2-way/3-way/4-way覆盖数组，最小化配置数量。
3. 选择性测试策略：
   • document_only模式：仅基于API文档生成覆盖数组
   • document_plus_wiki模式：结合API文档与Wiki生成更全面的覆盖数组

支持的测试目标

针对Apache开源项目：Cassandra、Flink、Spark、HBase、JSPWiki等企业级软件。

系统要求

依赖Python 3.10+、Java JDK11+、Maven 3.6.3+、Ant 1.10+、Git 2.x、GCC等工具。

代码覆盖率收集

使用JaCoCo工具，通过Maven插件集成，无需修改被测项目POM即可收集覆盖率。

测试执行流程

1. 检出代码 → 2.生成测试配置 →3.应用配置 →4.构建项目 →5.运行测试并收集覆盖率 →6.归档结果。

预期测试效率提升

以Flink项目为例：

• document_only模式仅需25个配置
• document_plus_wiki模式仅需31个配置 相比传统4-way覆盖（数百至数千配置），大幅减少测试用例数量。

LLM辅助决策价值

若LLM能有效提取文档语义信息，将为软件测试开辟新方向：用自然语言处理增强传统结构测试方法。

1. 智能化测试设计：从依赖人工经验/静态分析，转向基于语义理解的测试设计，发现更多传统方法遗漏的缺陷。
2. 成本效益优化：智能分配测试资源，在有限预算内最大化测试效果。
3. 开源生态赋能：为Apache等广泛应用的开源项目提供高效测试方法，提升其质量并惠及依赖生态。

当前局限

• 依赖文档质量：LLM分析效果受文档完整性、准确性影响。
• 适用范围：主要支持Java/Maven项目，对其他语言/构建系统支持有限。
• 验证数据：缺乏详细实验结果与对比数据。

未来方向

• 多源信息融合：结合代码注释、Issue历史、提交日志等。
• 动态反馈：根据历史测试结果调整参数优先级。
• 跨项目学习：迁移学习应用到类似项目。