混合规则与AI的日志降噪系统：LLM-Noise-Filtering-System

LLM-Noise-Filtering-System是结合规则引擎与大语言模型的智能日志过滤系统，采用混合架构高效识别并剔除噪声数据，在网络安全和日志分析场景具有实用价值。项目目标包括显著降低日志噪声比例、精准识别安全关键信息、构建可扩展AI流水线及通过人工标注验证性能。项目地址：https://github.com/mUchiha26/LLM-Noise-Filtering-System

日志是系统监控、安全审计和故障排查的核心数据源，但规模扩大导致噪声数据激增，浪费资源且掩盖关键事件。传统规则方法高效但难以应对复杂格式与新型攻击，纯LLM方法理解能力强但成本高、延迟大，平衡效率与智能是行业关键挑战

系统采用分层处理架构：原始日志→规则过滤器→LLM分类器→评分系统→清洁输出。核心组件包括：1.规则过滤器（正则预过滤已知噪声）；2.文本分块器（分割日志保持上下文）；3.LLM分类器（支持API/本地模式）；4.评分系统（综合结果输出置信度）

应用示例：输入含DEBUG、登录成功、SQL注入的日志，系统过滤DEBUG噪声保留关键条目。性能评估通过人工标注数据集（标记相关/噪声），对比模型预测与标注结果计算准确率，确保系统可靠性

项目价值在于混合智能设计（规则+LLM平衡成本与效果）、可评估性（人工标注保障可信度）、模块化架构（易扩展定制），为AI流水线构建提供实战参考，展示LLM融入传统流程的可控性与可解释性

未来规划包括：1.API化（FastAPI构建实时处理接口）；2.评分优化（细粒度置信度校准）；3.成本优化（减少LLM Token消耗）；4.安全集成（与SIEM系统深度整合）

技术栈基于Python，依赖正则库、LLM API客户端等。配置支持API模式（设置环境变量LLM_MODE=api及密钥）和本地模式（LLM_MODE=local），运行命令为python main.py data/sample.txt，代码结构清晰模块化