3D 高斯与仿真重建技术

本项目延续原有的摄影测量 + 3D Gaussian Splatting（3DGS）混合重建管线，进一步完成了面向 Unreal Engine 的产品化落地。真实世界不只被重建成可观看的三维结果，还可以直接进入仿真关卡，与动态对象、传感器和数据采集流程共同运行。

新增的IAGaussianRenderer面向 Unreal Engine 5.8，可直接加载标准 3DGS.ply文件与普通彩色点云。它把原有的高保真重建能力连接到 UE 场景、Blueprint 和 IADataSDG 数据管线，使真实现场能够用于数字孪生、问题回灌、算法训练和闭环评测。

演示效果

原有的高斯场景实时漫游演示继续保留：

3D 高斯重建实时漫游演示

以下展示取自公开标准数据集，左侧为真实照片，右侧为 IAGaussianRenderer 在 UE 5.8 中的渲染结果。上排为最佳视角，下排为中位视角。

Truck 场景：最佳视角24.77 dB，中位视角22.44 dB。

Train 场景：最佳视角27.32 dB，中位视角21.47 dB。

Truck 中位视角的 2× 局部细节对比：

技术核心

1. 混合重建管线

我们没有把 3DGS 当成孤立算法，而是把传统摄影测量的稳定几何基础与可微渲染的视觉表达能力组合成一条完整管线：

稀疏点云初始化：利用 COLMAP 执行 SfM（Structure from Motion），解算相机位姿并生成稀疏点云，为后续优化提供可靠的空间坐标与几何先验。
3DGS 优化：基于稀疏点云初始化各向异性 3D 高斯，通过可微光栅化迭代优化位置、旋转、尺度、不透明度和球谐系数，使新视角渲染逐步逼近真实照片。
几何约束增强：结合深度图与法线图等约束抑制弱纹理区域的漂浮伪影，提升场景结构稳定性。
引擎化交付：输出标准 PLY，由 IAGaussianRenderer 直接载入 UE，在统一坐标系中与网格资产、动态对象和传感器组合。

2. 从点云到各向异性高斯

传统点云只记录离散位置和颜色；3DGS 中的每个高斯基元还包含形状、方向、透明度以及视角相关的颜色表达：

位置 $\boldsymbol{\mu}_i$ ：高斯中心在三维空间中的位置；
协方差 $\boldsymbol{\Sigma}_i$ ：描述椭球的尺度、形状和朝向；
不透明度 $\alpha_i$ ：控制该高斯对最终像素的贡献；
球谐系数 $\boldsymbol{SH}_i$ ：表达随观察方向变化的颜色与高光。

协方差可由旋转与尺度进行参数化：

\boldsymbol{\Sigma}_i = \boldsymbol{R}_i \boldsymbol{S}_i \boldsymbol{S}_i^T \boldsymbol{R}_i^T

这种显式表示既保留了点基元易于并行处理的特点，又能通过各向异性椭球覆盖复杂表面和细节。

3. 可微光栅化

渲染时，3D 高斯被投影为屏幕空间中的二维椭圆，并按深度排序后执行前向 Alpha 混合。一个像素的颜色由可见高斯共同贡献：

C(\boldsymbol{p}) = \sum_{i \in \mathcal{N}} c_i(\boldsymbol{d}) \alpha_i \prod_{j=1}^{i-1}(1-\alpha_j)

与硬性的 0/1 遮挡不同，高斯贡献是连续可微的。真实照片与渲染结果之间的误差可以反向传播到位置、协方差、不透明度和球谐系数，从而完成端到端优化。显式基元与 GPU 并行光栅化也使 3DGS 更适合实时交互场景。

为什么选择 3DGS

维度	传统摄影测量 Mesh	NeRF	3DGS 混合方案
场景表示	三角网格与纹理	隐式神经场	显式各向异性高斯集合
复杂外观	依赖网格、UV 与材质制作	新视角质量高	通过透明度与球谐表达视角相关外观
渲染路径	成熟实时管线	需要密集网络查询与体渲染	面向 GPU 的并行 Splatting
场景编辑	几何结构清晰，便于精确交互	隐式表示较难直接编辑	可变换、裁剪、组合显式高斯资产
仿真融合	适合碰撞和物理计算	主要用于视觉合成	高斯负责真实外观，网格代理负责物理交互

3DGS 并不替代所有 Mesh。我们的方案把两者放在同一空间中：高斯场景承担难以低成本复刻的真实外观，SimReady 网格承担碰撞、关节和动力学，最终同时满足视觉还原与仿真可计算性。

IAGaussianRenderer：把重建结果带入 UE

标准资产直接加载

在关卡中放置Gaussian Splat Actor，设置PlyFilePath、源坐标系和单位比例，即可在编辑器或运行时加载标准 3DGS PLY。插件也支持普通彩色点云，并根据点密度估算 splat 尺寸，使已有点云资源能够进入同一套工作流。

编辑器与 Blueprint 控制

能力	使用方式
编辑器即时预览	Details 面板执行Load Ply / Unload Ply，无需进入 PIE
运行时加载	`LoadPly()`或`LoadPlyFromPath(Path)`
资源卸载	`UnloadPly()`
数量查询	`GetNumSplats()`
异步完成通知	`OnPlyLoaded`
多场景组合	同一关卡放置多个独立 Gaussian Splat Actor

每个 Actor 都可以独立移动、旋转和缩放。CoordSystem负责源数据坐标系转换，UnitScale负责从外部数据单位映射到 UE 厘米，避免重建资产进入引擎时出现轴向、手性和比例错误。

真实外观与 UE 场景融合

Reference 颜色模式：忠实复现训练照片的 sRGB 颜色口径，适合重建结果核验和固定视角对比。
场景融合模式：让 splat 进入 UE 的光照与后处理链，便于和周围网格形成统一画面。
深度遮挡：UE 网格可以正确遮挡 splat，使机器人、车辆、设备和高斯背景按照空间深度组合。
多实例场景：不同扫描区域可以作为独立 Actor 加载，在关卡内完成拼装和版本替换。

渲染质量验证

渲染质量在公开标准数据集 Tanks and Temples 的Truck与Train场景上验证，预训练模型采用 INRIA 官方发布版本。评测方式是在真实照片分辨率下渲染全部已注册 COLMAP 相机位姿，并与配对照片逐张比对，所有指标取全部视角的均值，不做视角挑选。

评测条件	Truck	Train
Splat 数量	2,541,226	1,026,508
已注册视角	251	301
真实照片分辨率	979 × 546	980 × 545
相机标定	COLMAP`PINHOLE`	COLMAP`PINHOLE`

运行环境为NVIDIA GeForce RTX 4060、Direct3D 12、Unreal Engine 5.8，渲染使用 Reference 颜色模式、三阶球谐函数与 GPU 排序。

指标	Truck（251 视角均值）	Train（301 视角均值）	方向
PSNR	22.4547 dB	21.4530 dB	越高越好
SSIM	0.7982	0.7946	越高越好
LPIPS（AlexNet）	0.1228	0.1770	越低越好
LPIPS（VGG）	0.2066	0.2582	越低越好
FID	11.4960	18.4031	越低越好

PSNR、SSIM 与 LPIPS 为逐视角配对指标，可与 3DGS 文献中的同口径结果对照。FID 在此基于固定图像集计算，适合在相同场景、相同分辨率和相同评估流程下衡量渲染分布的一致性。

几何对齐精度

渲染结果与真实照片的对齐残差通过位移场测量：水平方向±0.05%，垂直方向0.36%（Train）/ 0.60%（Truck），整体保持在 1% 以内。垂直方向的残差来自相机标定中fx ≠ fy的非方形像素在 UE 单一 FOV 参数下的表达差异，数值可预先解析计算，因此在需要严格几何对齐的采集任务中可被预测和补偿。