TORU与SOTO RAG系统：面向企业网站内容的检索增强生成问答系统

TORU与SOTO RAG系统是一个结合语义搜索与大语言模型的检索增强生成（RAG）系统，支持对企业网站内容进行爬取、分块、索引和智能问答，为机器人交互场景提供上下文感知的准确回答。该项目是德国机器人公司Magazino产品线相关的RAG系统starter模板，展示了完整的企业知识问答pipeline构建方法。

检索增强生成（RAG）技术通过结合外部知识库与生成模型，解决了LLM的知识时效性、领域专业性和幻觉问题。Magazino的TORU和SOTO自主移动机器人广泛应用于仓储物流场景，现场工作人员需要快速获取产品文档、技术规格等信息，该RAG系统正是为满足这一场景需求设计的。

该RAG系统的核心流程分为五个阶段：1.网页内容爬取：递归抓取指定网站URL内容，处理链接发现、内容过滤、去重和速率控制；2.文本清洗与预处理：提取正文文本，去除HTML标签和噪声，规范化格式；3.文本分块与嵌入索引：智能分块（保留语义边界）、生成嵌入向量并存储到SQLite数据库；4.语义检索与上下文组装：将用户问题嵌入后相似性搜索，组装相关上下文；5.LLM生成回答：基于检索上下文生成严格符合企业内容的回答。

项目采用分层架构，核心模块包括main.py（主入口）、scraper.py（爬取）、cleaner.py（清洗）、ingest.py（嵌入索引）、qa.py（问答）。数据目录分为raw（原始爬取）、cleaned（清洗后）、embeddings（向量数据库）。使用方式：构建索引执行python -m src.main --ingest；执行问答执行python -m src.main --ask "问题"。

该系统的典型应用场景包括：1.企业内部知识库问答：员工快速查询产品文档等信息；2.客户服务自动化：集成客服机器人回答客户咨询；3.现场技术支持：仓储机器人现场人员查询故障排查等指南；4.培训与学习辅助：新员工快速了解产品技术。

关键技术要点包括：1.分块策略：推荐递归字符分块，保留标题层级；2.嵌入模型选择：权衡效果、成本（如OpenAI ada-002、开源sentence-transformers）；3.检索精度优化：查询扩展、重排序模型、混合检索（关键词+语义）。

当前项目的局限性及扩展方向：1.待实现模块：scraper、cleaner等核心模块需根据目标网站定制；2.增量更新：支持网站内容变化的增量索引；3.多模态支持：扩展图片、视频等格式；4.对话历史管理：支持多轮对话上下文连贯。

TORU-and-SOTO-RAG-system展示了RAG架构的典型实现，连接通用LLM能力与特定领域知识，保证回答准确性和时效性。RAG已成为企业LLM应用的标准架构，本项目提供清晰起点。未来RAG将与多模态、Agent等技术融合，持续作为关键桥梁。