SRUG：阴影引导的城市场景重光照生成模型——解决不可见区域阴影建模难题

SRUG（Shadow-Guided Relightable Urban Scene with Generation Model）是解决城市场景重光照中不可见区域阴影建模难题的创新框架。它利用阴影引导3D补全模型恢复不可见区域几何，结合迭代材质分解和物理光照模型，实现城市场景的逼真重光照效果，在影视、游戏、建筑可视化等领域具有广泛应用前景。

城市场景重光照面临三大核心难题：

1. 无边界场景与不可见区域：城市环境超出可见范围，不可见区域会投下阴影到可见区域；
2. 严重欠定问题：从2D观测恢复3D几何、材质和光照是高度欠定的逆问题；
3. 材质分解复杂性：真实世界材质反射特性复杂，准确分解漫反射、镜面反射等属性是关键。

SRUG的核心创新在于将阴影转化为恢复不可见区域几何的宝贵线索。阴影蕴含丰富几何信息：光源方向、遮挡物高度与形状、空间关系。通过分析可见区域阴影模式，SRUG可推断画面外不可见区域的几何结构。

SRUG由三个紧密协作的组件构成：

1. 阴影引导的3D补全模型：通过阴影检测、光源估计、几何推断和迭代优化（结合物理渲染验证）补全不可见区域几何；
2. 迭代材质分解方案：利用大材质模型（LMM）提供先验，通过初始估计→LMM监督→梯度更新→收敛判断的迭代流程实现准确材质分解；
3. 物理光照模型：显式建模直接光照、间接光照、天空光照和人工光源，支持多种光照条件调整，生成物理可信的重光照结果。

SRUG在基准数据集上表现优异：

• 定量指标：PSNR、SSIM显著提升，LPIPS显著降低，阴影一致性大幅改善；
• 对比现有方法：几何补全更合理、阴影合成更真实、材质分解更准确、新视角合成质量更高；
• 视觉案例：成功恢复高楼阴影、处理复杂材质、实现动态光照过渡、保留远距离细节。

SRUG的应用场景包括：

• 影视后期制作：改变实拍场景光照条件；
• 游戏开发：快速创建可交互城市场景；
• 建筑可视化：评估设计在不同光照下的表现；
• 自动驾驶仿真：生成多样光照变体训练数据；
• 虚拟现实与元宇宙：从普通照片创建沉浸式虚拟环境。

当前局限：计算成本高、极端遮挡下补全质量下降、动态场景处理弱、特殊材质（透明/发光）处理有挑战； 未来方向：优化实时处理、扩展到视频序列、融合多模态数据、结合扩散模型增强细节、支持交互式编辑。

SRUG将传统视为"干扰"的阴影转化为"资产"，体现了计算机视觉从纯数据驱动向物理约束与数据驱动结合的趋势。它为数字孪生城市建设提供了重要技术支撑，展示了利用被忽视的约束条件解决欠定逆问题的思路。