LLMLogAnalyzer：基于提示工程的大语言模型日志异常检测研究

LLMLogAnalyzer是一个基于Java Spring Boot的硕士研究项目，旨在探索提示工程提升大语言模型（LLM）在系统日志异常检测中的表现。项目使用BGL超级计算机日志数据集，对比零样本、规则驱动、模板感知三种提示策略，为LLM在运维场景的应用提供参考。

系统日志异常检测是运维核心挑战，传统方法依赖手工规则或监督学习，需大量人工特征工程。LLM可理解日志语义，基于系统影响识别异常。项目使用BGL数据集（IBM Blue Gene/L超级计算机日志，含正常/异常标注），模型需输出JSON分类标签（0正常/1异常）。

项目对比三种提示策略：

1. 零样本提示：无BGL特定知识，基于通用异常指标分类，避免过度依赖ERROR等关键词；
2. 规则驱动提示：结构化决策流程（先查异常/正常指标，再用系统影响回退规则），注入领域知识减少误报；
3. 模板感知提示：提供BGL日志异常/正常模式示例，注入最多领域知识，理论性能最优。

项目采用Java Spring Boot框架，核心组件包括BglParser（日志解析）、PromptGenerator（提示模板）、CallModelAi（调用LLM API）、EvaluationMetricsService（指标计算）等。技术栈含Java17、MongoDB、Ollama（本地LLM运行）、Qwen2.5 7B模型。本地部署优势：数据隐私、成本控制、低延迟、可定制。

项目用全面指标评估策略效果：

• 基础分类指标：准确率、精确率、召回率、F1分数；
• 混淆矩阵指标：TP（真正例）、TN（真负例）、FP（假正例）、FN（假负例）；
• 额外指标：无效响应率（非JSON输出占比）、平均响应时间。覆盖分类性能、输出质量、推理效率。

关键洞察：

1. 提示工程质量可能比模型选择更重要；
2. 领域知识可通过通用→结构化→具体的渐进式注入；
3. 运维场景中精确率（减少误报）比召回率更重要；
4. 要求模型输出JSON便于自动化，但需考虑解析鲁棒性。

当前应用场景：超级计算机日志监控、分布式系统异常检测、安全审计。扩展方向：多数据集验证、多模型对比、在线学习提示更新、多分类扩展、根因分析。

LLMLogAnalyzer是设计严谨的学术项目，提供可复现的实验框架与评估方法。对工程师的启示：提示设计需结合领域知识，评估需多维度指标，本地部署保护数据隐私。随着LLM能力提升，结合提示工程将在运维自动化中发挥更大作用。