BlindBench：去除品牌滤镜的大语言模型盲测平台

BlindBench是一个开源的大语言模型（LLM）盲测基准平台，核心目标是消除品牌偏见，通过盲测、事实准确性评分和推理失败分类等方式，帮助用户客观评估100多个AI模型的真实表现。它不仅关注模型回答的对错，更深入分析失败原因，让评估回归内容质量本身。

当前LLM评估生态存在三大问题：品牌效应干扰用户判断、现有基准测试局限于狭窄技能领域、过度依赖自动化指标缺乏人类主观判断。BlindBench的核心理念是通过匿名盲测消除品牌偏见，让用户基于内容质量选择；同时系统化分析模型失败的原因与类型。

BlindBench从七个维度评估模型：

1. 模型偏好度：匿名对比投票收集人类真实偏好
2. 事实准确性：用GPT-4o提取验证声明，量化可信度
3. 推理失败分类：十种类型（幻觉、谄媚等）+严重程度分级
4. 响应稳定性：Jaccard相似度与余弦相似度衡量一致性
5. 提示敏感性：评估对语义等价提示的鲁棒性
6. 置信度校准：关联语言表达与实际准确性
7. Token效率：分析响应长度与质量的关系

BlindBench采用全栈架构：前端用React19、Vite8、TailwindCSS v4部署在GitHub Pages；后端依托Supabase（Edge Functions+PostgreSQL17）。评估流程：提交提示→多模型并行生成响应→分析管道（事实验证/失败分类/稳定性测试等）→结果导出JSON/CSV。支持客户端分析功能（嵌入相似度、失败检测等）。

内置种子数据来自4个Kaggle数据集，包含3700+提示、7500+响应、9000+投票，覆盖180+模型基准测试、24个前沿模型评估、伦理偏见测试等。用户可通过数据集浏览器查看，支持标准/增强格式导出（含Token估算、置信度校准等衍生指标）。

安全措施：前端DOMPurify净化内容防XSS；强制HTTPS+限制CORS；用户API密钥（BYOK）一次性使用、加密传输不存储。边缘函数：输入验证、速率限制（每IP每分钟5次）、IP哈希。数据库：行级安全+参数化查询防注入。隐私承诺：不使用Cookie、不追踪用户、不收集分析数据。

功能页面：

• 竞技场：盲测投票、稳定性/扰动测试、嵌入分析
• 排行榜：盲测投票胜率排名
• 失败浏览器：按类型/模型浏览推理失败案例
• 分析页面：自动生成洞察报告（失败共现、幻觉率等） 本地部署：克隆仓库→配置环境变量→安装依赖→启动开发服务器（2分钟完成）。

BlindBench不仅是排行榜工具，更是模型诊断平台，为开发者提供改进方向、为使用者提供选型依据。它以开源方式推动LLM评估的客观、透明与可复现，让数据说话而非品牌话术，助力AI领域的健康发展。