帝国理工机器学习顶点项目：黑盒优化中的贝叶斯优化实战策略

本项目来自帝国理工机器学习与人工智能专业认证课程顶点项目，聚焦黑盒优化问题，通过贝叶斯优化、高斯过程（GP）surrogate模型及创新组合策略，在有限评估次数内寻找全局最优解。核心突破在于分类与回归GP双模型架构，结合环形候选点生成策略，有效平衡探索与利用，在污染检测、药物发现、模型调优等场景取得显著成果，为黑盒优化实践提供重要启示。

在机器学习工程实践中，黑盒优化（BBO）场景广泛存在（如超参数调优、材料设计、药物筛选），其特点是目标函数未知、评估成本高、样本有限。帝国理工顶点项目要求学生处理8个独立黑盒优化问题，在有限函数评估次数下寻找全局最大值，模拟真实世界昂贵实验场景（评估需48小时，查询次数受限）。

迭代阶段

1. 初始探索：采用远距离采样感知函数轮廓，但未发现明显结构。
2. 经典贝叶斯优化：使用高斯过程（GP）作为surrogate模型（RBF/Matern核），UCB采集函数平衡探索利用，但过于偏好边界区域。线性回归效果不佳，印证非线性本质。
3. 组合策略突破：构建双模型架构——分类GP预测正值概率（区分信号/噪声），回归GP在正值样本上训练预测输出对数；采集函数为两者乘积，确保推荐点在信号区且有高潜力。环形候选点策略（以当前最优为中心，近邻中点为半径生成候选）增强局部开发。

1. 污染检测函数：找到输出值比初始最优高数个数量级的点，识别出两个高潜力区域。
2. 药物发现场景：定位并挖掘邻近高价值点的promising区域（输入为化合物配比，输出为副作用负值）。
3. 模型参数调优：发现0.6<x0<0.8区间的两个promising区域融合为一条带，函数对x1参数不敏感，决策树划分揭示区域复杂特征。

项目基于Python生态，用Jupyter Lab开发；高斯过程模型依托成熟库，支持核函数与采集策略切换；代码含数据手册、模型卡片，体现良好工程实践。输入特征归一化到[0.0,1.0)区间，输出保持原始尺度；查询提交支持六位小数精度，适配高维优化需求。

1. 组合策略更优：分类与回归任务分离，组合效果超单一GP模型。
2. 领域知识融入：即使未知特征物理含义，通过数据分布（如负值为噪声）设计有效先验。
3. 采集策略因地制宜：UCB理论优美但需灵活调整，动态组合多种策略。
4. 约束下决策艺术：有限预算与延迟反馈下，权衡探索未知与深挖promising区域是核心能力。

本项目精准模拟真实工业场景，展示贝叶斯优化框架的适应性，通过创新模型组合与策略设计突破复杂优化问题。对超参数调优、实验设计、自动化机器学习等领域工程师具有直接参考价值。