Fake Job Detector：基于NLP和机器学习的虚假招聘信息实时检测系统

Fake Job Detector是一个开源的虚假招聘检测工具，结合TF-IDF文本向量化、逻辑回归分类器和基于规则的风险评分系统，通过Streamlit提供友好的Web界面，帮助求职者识别潜在的招聘诈骗。

在数字化招聘时代，虚假招聘信息已成为困扰全球求职者的严重问题。诈骗者利用求职者的急切心理，发布看似正规的工作机会，实则意图骗取钱财、个人信息或诱导参与非法活动。常见的招聘诈骗手段包括：承诺"日赚数千"的虚假兼职、要求预付"培训费"或"保证金"、通过非正规渠道（如Telegram）联系、以及完全跳过面试流程直接录用等。

对于缺乏经验的求职者，尤其是应届毕业生和转行人员，识别这些诈骗信息往往十分困难。传统的防范方法依赖人工审核和个人经验，但面对海量的招聘信息，这种方式效率低下且容易遗漏。Fake Job Detector项目正是为了解决这一痛点而生，它利用自然语言处理和机器学习技术，为求职者提供自动化的虚假招聘识别工具。

Fake Job Detector采用三层检测策略，结合统计机器学习、文本分析和启发式规则，构建了一个全面的虚假招聘识别系统。

系统的核心是一个基于TF-IDF（词频-逆文档频率）向量化的文本分类模型。TF-IDF将文本转换为数值向量，捕捉词语在文档中的重要程度。与简单的词袋模型相比，TF-IDF能够降低常见词汇的权重，突出具有区分性的关键词。

分类器采用逻辑回归算法，这是一种计算效率高、可解释性强的线性模型。模型在合并的真实招聘和虚假招聘数据集上训练，学习区分两类文本的特征模式。训练完成后，模型可以对新输入的招聘文本输出一个概率值，表示其为虚假招聘的可能性。

除了机器学习模型，系统还实现了基于启发式规则的风险评分机制。这些规则来自对已知招聘诈骗模式的总结，包括：

• 货币符号和金额模式：如"₹2000/天"、"日赚500"等夸张收入承诺
• 绕过正规流程：如"无需面试"、"直接上岗"等表述
• 非正规沟通渠道：如"Telegram联系"、"加微信详谈"等引导
• 可疑职位描述：过度强调"零经验"、"在家工作"、"轻松赚钱"等关键词

每条规则对应一定的风险分值，系统会累加所有触发规则的分值，生成综合风险评分。

对于包含链接的招聘信息，系统支持直接抓取网页内容进行分析。通过BeautifulSoup库解析网页HTML，提取职位描述文本，然后送入上述分类器和风险评分模块进行处理。这使得用户不仅可以分析手动输入的文本，还可以直接验证外部招聘链接的真实性。

项目包含三个主要数据集：

• fake_postings.csv：已知的虚假招聘信息样本
• original_fake_jobs.csv：混合的招聘数据集
• merged_fake_job_postings.csv：清洗合并后的训练数据集

数据预处理流程包括文本清洗（去除HTML标签、特殊字符）、分词、停用词过滤等步骤。项目使用NLTK库进行自然语言处理基础操作。

训练好的模型以pickle格式持久化存储：

• lrmodel.pkl：训练好的逻辑回归分类器
• vectorizer.pkl：拟合好的TF-IDF向量化器

这种设计使得模型可以一次性训练，多次复用，无需在每次预测时重新训练。