IAGaussianRenderer 产品展示
1. 插件作用
IAGaussianRenderer 是面向 Unreal Engine 5.8 的 3D Gaussian Splatting（3DGS）实时渲染器。它可加载标准 3DGS .ply 文件并在 UE 关卡中实时渲染，使摄影测量或辐射场扫描成果可直接作为 UE 场景内容使用。
典型用途包括：
- 将真实世界扫描带入 UE 场景；
- 构建数字孪生或仿真背景；
- 从扫描场景生成合成图像，并与 IADataSDG 采集管线配合使用。
插件也可加载不含 3DGS 属性的普通彩色点云，并根据点密度自动估算 splat 尺寸。
IAGaussianRenderer 采用商业授权。未授权安装不会渲染点云。
2. 操作方式
- 在关卡中放置 Gaussian Splat Actor（
AIAGSActor）。 - 设置
PlyFilePath和源数据坐标系。 - 运行关卡；默认配置会在
BeginPlay自动加载并渲染 PLY。
Details 属性
| 属性 | 类型 | 默认 | 说明 |
|---|---|---|---|
PlyFilePath | String | 空 | 绝对路径直接使用；相对路径相对工程根目录 |
bAutoLoadOnBeginPlay | bool | true | 运行时 BeginPlay 自动加载 |
bEnabled | bool | true | 是否渲染该点云 |
CoordSystem | 枚举 | ZUp_RightHand | 源数据坐标系 |
UnitScale | float | 100.0 | 单位缩放，默认米→UE 厘米 |
bReferenceColorMode | bool | true | 颜色口径，见下文 |
bDepthOcclusion | bool | true | 场景网格可遮挡 splat |
bDisableBlurringPostProcess | bool | false | 仅在非 reference（pre-tonemap）路径关闭 TAA、Bloom、MotionBlur；reference 模式忽略此项 |
bClip | bool | true | 叶 AABB 视锥裁剪；保真对拍时可关 |
bLod | bool | false | 贡献度前缀 LOD；默认关，大场景远距再开 |
编辑器与 Blueprint 操作
| 操作 | 用途 |
|---|---|
LoadPly() | 按当前 PlyFilePath 加载 |
LoadPlyFromPath(Path) | 按指定路径加载 |
UnloadPly() | 卸载当前点云 |
GetNumSplats() | 获取当前 splat 数量 |
OnPlyLoaded | 编辑器或运行时异步加载完成后触发 |
| Load Ply / Unload Ply | Details 面板按钮，无需进入 PIE 即可在编辑器中加载或卸载 |
同一关卡可放置多个 Gaussian Splat Actor；每个 Actor 均可使用独立 PLY 与变换。移动、旋转或缩放 Actor 会变换对应点云。
颜色口径
3DGS 模型通常以匹配 sRGB 参考照片为训练目标。默认开启的 bReferenceColorMode 会忠实复现训练照片的颜色口径，以下所有画质指标均使用该模式。
关闭 reference 模式后，splat 会融入场景的光照与后处理链，视觉上更容易与周围 UE 网格融合，但颜色会偏离源数据。全景（ERP）或立方体贴图采集需要关闭 reference 模式；采集配置与限制请参阅 IADataSDG 文档。
3. Benchmark 数据集说明
评估使用 Tanks and Temples 的两个标准 tandt benchmark 场景（3DGS 文献中广泛使用），预训练模型均为 INRIA 官方发布：
| Truck | Train | |
|---|---|---|
| splat 数量 | 2,541,226 | 1,026,508 |
| 已注册视角 | 251 | 301 |
| 真实照片分辨率 | 979×546 | 980×545 |
| 相机标定 | COLMAP PINHOLE | COLMAP PINHOLE |
- 评估流程： 在真实照片分辨率下渲染全部 COLMAP 相机位姿，逐张与配对真实照片比较；下列指标均为全部配对视角的均值（不做挑选）。
- 硬件与运行环境： NVIDIA GeForce RTX 4060、Direct3D 12、UE 5.8。
- 渲染设置： reference 颜色模式、球谐函数 degree 3、GPU 排序。
4. 画质指标
| 指标 | Truck（251 视角） | Train（301 视角） | 方向 |
|---|---|---|---|
| PSNR | 22.4547 dB | 21.4530 dB | 越高越好 |
| SSIM | 0.7982 | 0.7946 | 越高越好 |
| LPIPS (AlexNet) | 0.1228 | 0.1770 | 越低越好 |
| LPIPS (VGG) | 0.2066 | 0.2582 | 越低越好 |
| FID | 11.4960 | 18.4031 | 越低越好 |
两个场景在模型规模、视角分布、遮挡复杂度和场景内容上均不相同，因此绝对指标不宜直接用于跨场景归因。版本间比较应固定场景、图像集、分辨率和评估流程。
近期画质提升
相较 2026-07-05 p2_post 内部基线，在两个场景上均取得提升。该对比表示此后多项正确性修复的累计效果，不是单一开关的消融结果：
| 指标 | Truck | Train |
|---|---|---|
| PSNR | 17.2035 → 22.4547 dB（+5.251 dB） | 16.3109 → 21.4530 dB（+5.142 dB） |
| SSIM | 0.6087 → 0.7982（+0.1895） | 0.4939 → 0.7946（+0.3007） |
| LPIPS (VGG) | 0.3450 → 0.2066 | 0.4683 → 0.2582 |
| LPIPS (AlexNet) | 0.2802 → 0.1228 | 0.3848 → 0.1770 |
| FID | 39.3519 → 11.4960（−70.8%） | 63.8168 → 18.4031（−71.2%） |
值得注意的是 FID 的相对改善在两个场景上几乎完全相同（−70.8% 与 −71.2%），尽管两者的绝对难度、视角数、splat 数量和相机标定参数都不同。
几何精度
渲染结果与真实照片的几何对齐残差经位移场测量：水平方向 ±0.05%；垂直方向残差为 0.36%（Train）/ 0.60%（Truck），且完全等于相机标定中 fx≠fy（非方形像素）经 UE 单一 FOV 参数表达时的理论值——即该残差是可预先计算的引擎固有限制，而非实现误差。详见已知限制。
⚠ 关于 FID 的比较范围
FID 衡量两组图像分布的相似性，通常需要数千张图像才能稳定估计。本评估的两个场景分别提供 251 / 301 个配对视角，因此这里的 FID 仅可用于相同图像集上的版本间相对比较，不应与其他机构在更大图像集上发布的 FID 直接对比。
PSNR、SSIM 与 LPIPS 是逐视角配对指标，才是适合与 3DGS 文献同口径结果横向比较的数值。
5. 图像对比
以下所有对比图均为左侧真实照片（GT），右侧插件渲染。每张图的三行分别取该场景全部视角中按 PSNR 排名的最佳、中位、最差视角——最差情况一并展示，不做挑选。
Truck
- 最佳：
000147，24.77 dB - 中位：
000068，22.44 dB - 最差：
000061，13.14 dB
中位视角 000068 的 2× 细节裁剪：
Train
- 最佳：
00234，27.32 dB - 中位：
00241，21.47 dB - 最差：
00264，13.03 dB
中位视角 00241 的 2× 细节裁剪：
关于视角间的差异
两个场景的单视角 PSNR 跨度都较大（Train 从 27.32 dB 到 13.03 dB）。单视角结果会同时受到训练视角覆盖、模型密度、遮挡复杂度和渲染覆盖误差影响，因此不应仅凭一个最佳或最差视角判断版本变化。上文指标均为全部视角的均值，未剔除低分视角。
6. 性能（画质锁定后再比）
同一套 reference + SH3 + GPU 排序。帧时间取 gpu_ms p50；FPS = 1000 / ms。
| 条件 | 结果 | |
|---|---|---|
| 小场景 | truck 2.54M、1600×900、RTX 4060、干净 GPU（p2_post） | 6.30 ms ≈ 159 FPS |
| 大场景远距 | SciArt 3.80M orbit、同机 Clip=0 vs Clip+LOD | 19.98 → 11.00 ms（1.82×） |
| 画质闸门 | truck 251 视角对真实照片；再开 Clip+LOD | 22.4547 → 22.4524 dB（−0.002 dB） |
远距加速来自少投影、少排序，不是换渲染核。orbit 若整朵点云都在视锥里，只开裁剪几乎不降帧，需要 LOD。其它引擎的公开 FPS 用了不同 GPU / 压缩档 / 分辨率，不能排成总榜。
7. 逐帧采集渲染视频
两段视频均为该场景全部 COLMAP 视角在 UE 5.8 中逐帧渲染（reference 模式）后按视角编号顺序编码，25 fps。使用的正是上方指标所评估的那批逐视角渲染帧，并非另行制作的演示内容——因此相机轨迹会随视角编号跳变，不是平滑的环绕运镜。
Truck（251 视角）
Train（301 视角）
8. 已知限制
- LOD 默认关： 近景保真走全量；大场景远距需显式打开
bLod（依赖bClip）。VRAM 仍按全量常驻，降的是投影与排序条目。 - 极端 FOV： 投影近似存在 EWA 泼溅的固有误差。
- 非方形像素： UE 相机只有单一 FOV 标量，无法表达标定中
fx≠fy的情况；本数据集约有 0.6% 差异，属于引擎固有限制。 - 全景采集： ERP / 立方体贴图采集需使用非 reference 颜色口径。
- 版本状态： 0.1，Beta / Experimental。