本体与传感器数字孪生
沉淀硬件结构、动力学、执行器、内外参、时钟与噪声模型，形成可版本化的实验基线。
返回核心成果
Client Use Case Matrix
算法研究场景的仿真需求矩阵
同一套仿真基础设施，在不同算法 pipeline 中承担不同角色。本页为每类路径引用公开研究，并明确论文证据的适用边界，用于帮助研发团队识别环境、数据、真值、评测和真机回灌需求，不代表具名客户结项报告。
Coverage
6 类算法研究场景
从离线数据生产到控制回路评测，统一进入真机失败样本驱动的数据飞轮。
COMMON FOUNDATION
共性仿真底座
可编排场景与工况
将正常、边界、失败与长尾条件转化为可重复生成的场景定义，并记录随机种子与依赖版本。
统一数据与真值协议
让图像、点云、状态、动作、轨迹和标签在同一时间轴上对齐，支持训练、回放与对比。
闭环评测与失败回灌
用同一评测基线比较算法版本，并把真机失败样本还原为可复现实验和下一轮数据任务。
VLAUSE CASE 01
视觉—语言—动作模型
从自然语言任务到可验证的具身执行
训练模型理解语言指令、视觉状态与动作序列之间的关系，并在物理约束下完成可解释、可复现的任务执行。
Research Basis
arXiv · 2026
AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild
论文采用仿真与真实数据一体化 pipeline 训练端到端 UAV VLA，并同时在 simulated 与 real environments 中验证，支持先统一任务、观测、动作和数据协议，再进入真机验证的路径。
适用边界：该研究聚焦无人机自主导航；迁移到机械臂或其他本体时，仍需重新定义动作空间、任务边界与安全约束。
PAIN 01
真实示教采集成本高，失败轨迹和安全边界数据尤其稀缺。
PAIN 02
语言描述、物体关系、视觉观测与机器人动作难以稳定对齐。
PAIN 03
离线指令匹配指标无法证明模型在连续任务中的执行可靠性。
Pipeline 中的仿真需求
- 01
任务定义
把语言目标拆成对象、关系、约束、成功条件与禁止行为。
- 02
世界构建
生成物理稳定且语义可查询的场景，并保留对象状态和场景图。
- 03
轨迹生产
采集专家示教、探索、恢复与失败轨迹，统一观测和动作时间轴。
- 04
闭环验证
在场景变体中复现指令，检查成功、超时、碰撞和安全违规。
环境、本体与传感器
- 可交互物体、关节、抓取点、遮挡与材质属性。
- 相机、深度、触觉或力反馈及机器人状态同步。
- 任务对象位置、关系和初始状态的可控随机化。
数据、真值与标注
- 语言—观测—动作三元组与逐步任务状态。
- 场景图、对象位姿、接触状态、成功与失败原因。
- 专家轨迹、恢复轨迹和安全约束标签。
闭环评测与回归
- 任务完成、指令遵循、路径效率与安全约束。
- 对对象变化、表达变化和场景扰动的泛化回归。
- 失败步骤定位与相同初始条件下的版本对比。
版本化输出物
- 版本化任务场景包与语言模板。
- 多模态轨迹数据和失败样本索引。
- 闭环任务评测报告与可复现配置。
客户需提供
- 目标本体、动作空间与控制接口。
- 业务任务定义、允许行为和安全边界。
- 私有语言词表或任务规划约束。
已有能力映射
PERCEPTIONUSE CASE 02
多模态感知
用可解释真值覆盖真实采集难以稳定获得的长尾
为检测、分割、占据、深度、光流和多传感器融合模型生产可控数据，并验证模型在环境变化与传感器退化下的稳定性。
Research Basis
ICCV · 2025
SceneSplat: Gaussian Splatting-based Scene Understanding with Vision-Language Pretraining
论文将 3DGS 原生场景数据直接用于视觉—语言预训练，说明可查询空间表示、场景语义和多视角观测能够组成感知预训练底座，支持从场景资产向数据与标签协议展开的 pipeline。
适用边界：该论文支撑场景语义与预训练数据路径，不替代相机、LiDAR、Radar 等具体传感器的标定和噪声建模。
PAIN 01
真机采集难以同时获得完整、精确且时间同步的多模态真值。
PAIN 02
极端天气、遮挡、稀有目标和故障状态覆盖不足。
PAIN 03
数据分布变化后，模型退化原因难以通过固定回放定位。
Pipeline 中的仿真需求
- 01
数据规格
定义词表、模态、投影模型、坐标系、帧率和标签精度。
- 02
场景生产
编排目标密度、遮挡、光照、天气、材质与动态交互。
- 03
传感器仿真
配置相机、LiDAR、Radar 等内外参、噪声、延迟和丢帧。
- 04
分布回归
将真机误检漏检映射到场景因子并定向补充训练与回归集。
环境、本体与传感器
- 可控光照、天气、材质、遮挡、目标密度与运动状态。
- 多相机、深度、LiDAR、Radar 的同步与标定关系。
- 镜头畸变、曝光、噪声、回波、延迟和故障模型。
数据、真值与标注
- RGB、深度、法线、语义/实例分割、光流、2D/3D 框与占据真值。
- 对象属性、可见度、遮挡率、传感器姿态与场景因子。
- 统一坐标系、时间戳与跨模态对应关系。
闭环评测与回归
- 按场景因子、距离、尺度、遮挡与天气切片评测。
- 检测、分割、占据和深度等任务指标的版本回归。
- 仿真与真机分布差异及失败样本覆盖报告。
版本化输出物
- 版本化多模态数据集与标签规范。
- 场景/传感器配置快照和质量检查结果。
- 模型失败切片与定向补数清单。
SLAMUSE CASE 03
定位与建图
把轨迹、时钟、运动畸变和环境退化变成可重复实验
验证视觉、惯性与点云定位建图算法在连续运动、动态干扰和传感器误差下的轨迹精度、地图一致性与恢复能力。
Research Basis
ICCV · 2025
EmbodiedSplat: Personalized Real-to-Sim-to-Real Navigation with Gaussian Splats from a Mobile Device
论文把真实部署环境重建为 Gaussian Splats，再接入 Habitat-Sim 训练导航策略，验证了真实环境采集、仿真环境编译、训练与真机验证相连的 real-to-sim-to-real 路径。
适用边界：该研究对象是导航策略而非 SLAM 基准；时间同步、位姿真值、ATE/RPE 与建图一致性仍属于本页提出的 SLAM 工程评测要求。
PAIN 01
真实轨迹真值昂贵且受场地限制，难以覆盖系统化退化条件。
PAIN 02
时间同步、外参漂移和运动畸变问题难以隔离变量。
PAIN 03
动态物体、弱纹理、重复结构和透明反射环境难以稳定复现。
Pipeline 中的仿真需求
- 01
轨迹设计
定义速度、加速度、转弯、震动、回环与失锁恢复片段。
- 02
时序采集
按统一仿真时钟生成相机、IMU、LiDAR 与轮速数据。
- 03
退化注入
控制噪声、偏置、延迟、丢帧、外参变化和动态干扰。
- 04
地图回归
在同一世界与轨迹上比较位姿、地图和恢复行为。
环境、本体与传感器
- 室内外连续空间、回环、坡道、窄通道、弱纹理和重复结构。
- 相机、IMU、LiDAR、轮速与 GNSS 的时钟和坐标关系。
- 运动畸变、传感器偏置、动态遮挡与定位信号退化。
数据、真值与标注
- 高频位姿、速度、加速度、深度、点云与地图真值。
- 每个传感器的时间戳、外参、偏置和故障事件。
- 静态/动态区域、回环位置与可观测性标签。
闭环评测与回归
- 绝对/相对轨迹误差、回环一致性与地图重合。
- 失锁率、恢复时间及退化条件下的稳定性。
- 固定轨迹和随机种子下的版本差异定位。
版本化输出物
- 可重复轨迹库与多传感器序列。
- 位姿/地图真值和时钟标定清单。
- 退化工况回归报告与失败片段索引。
RL CONTROLUSE CASE 04
强化学习与运动控制
在安全、可复现的物理闭环中进行探索与策略回归
为机器人、机器狗、无人机和其他智能硬件建立可并行训练的动力学环境，并验证策略面对扰动、延迟和故障时的控制稳定性。
Research Basis
arXiv · 2025
GRaD-Nav: Efficiently Learning Visual Drone Navigation with Gaussian Radiance Fields and Differentiable Dynamics
论文把 3DGS 视觉环境、可微无人机动力学与深度强化学习放进同一训练系统，并进行真实无人机 sim-to-real 验证，支持环境、动力学、策略训练和部署回归必须协同设计。
适用边界：研究聚焦视觉无人机导航；其他机器人本体仍需用真机测试数据重新校准动力学、接触和执行器模型。
PAIN 01
真机探索存在设备损伤与安全风险，采样速度受物理时间限制。
PAIN 02
仿真动力学、执行器和控制链延迟若不匹配，会放大 Sim2Real 差距。
PAIN 03
奖励变化、随机化范围和训练版本难以形成可审计实验。
Pipeline 中的仿真需求
- 01
动力学建模
配置质量、惯量、关节、执行器、接触、气动或轮地作用。
- 02
任务与奖励
定义目标、奖励、约束、终止条件和安全保护。
- 03
并行训练
支持可重置 episode、随机化范围、课程学习与种子记录。
- 04
策略回归
在标准工况、扰动、故障和真机校准参数下对比策略。
环境、本体与传感器
- 本体动力学、执行器饱和、控制频率、延迟与接触模型。
- 地形、载荷、风场、摩擦、外力和结构参数随机化。
- 状态估计、IMU、编码器、视觉或点云观测接口。
数据、真值与标注
- 状态、动作、奖励、约束、接触力与终止原因。
- 动力学参数、随机种子、环境版本和策略版本。
- 专家轨迹、失败 episode 与安全事件。
闭环评测与回归
- 任务回报、成功、稳定性、能耗与约束违反。
- 参数扰动、观测噪声、延迟和故障下的鲁棒性。
- 策略版本在固定种子与真机校准域中的对比。
版本化输出物
- 版本化训练环境、任务和奖励配置。
- episode 轨迹、控制日志与失败样本。
- 策略回归矩阵和真机校准参数清单。
WORLD MODELUSE CASE 05
世界模型训练
生产动作条件、多模态、可追踪的长时序世界数据
训练模型根据历史观测与动作预测未来状态、视频、占据或潜在表示，并评估长时 rollout 的一致性和分布外退化。
Research Basis
arXiv · 2025
Learning to Drive from a World Model
论文使用真实驾驶数据构建 on-policy simulator，在 learned world model simulation 中训练并闭环评测驾驶策略，支持世界模型不仅生产未来观测，还要承接动作条件 rollout 与策略反馈。
适用边界：论文验证的是自动驾驶世界模型；面向机器人或通用物理世界模型时，需要重新定义状态、动作、事件和长期一致性指标。
PAIN 01
真实日志中的动作、环境变化与未来结果难以进行严格变量控制。
PAIN 02
长时序数据容易出现时间断裂、标签漂移和关键事件稀疏。
PAIN 03
开放环预测指标无法充分反映 rollout 累积误差和可控性。
Pipeline 中的仿真需求
- 01
世界状态定义
明确可观测状态、隐藏状态、动作、事件和未来预测目标。
- 02
序列生成
按策略或脚本运行长时 episode，并保留可重放世界快照。
- 03
多模态对齐
同步视觉、点云、占据、状态、动作、事件与场景参数。
- 04
Rollout 评测
在分布内外条件下检查短期精度、长期稳定和动作可控性。
环境、本体与传感器
- 动态主体、交互事件、因果变量和可持续演化的世界状态。
- 相机、点云、占据、地图、状态和动作的统一时间轴。
- 可控制的策略分布、环境变化和分布外工况。
数据、真值与标注
- 长时序多模态观测、动作和下一状态真值。
- 世界状态快照、事件边界、对象轨迹和场景因子。
- 分支 rollout、反事实场景和可重放种子。
闭环评测与回归
- 单步/多步预测误差与 rollout 稳定性。
- 动作条件一致性、事件预测和分布外退化。
- 模型更新前后在固定世界分支上的行为对比。
版本化输出物
- 版本化长时序数据包和世界状态协议。
- 动作条件数据、事件索引与分支 rollout。
- 长期预测和分布外回归报告。
客户需提供
- 目标世界表示、动作空间与预测模态。
- 序列长度、采样频率和事件词表。
- 真实日志格式及重点分布外问题。
已有能力映射
FSD / E2EUSE CASE 06
全栈自动驾驶与端到端模型
从交通世界生成到感知—预测—规划—控制闭环判分
在可控交通交互中验证模块化或端到端驾驶系统的闭环行为，覆盖长尾事件、策略博弈、系统耦合和版本回归。
Research Basis
ICCV · 2025
DriveArena: A Closed-loop Generative Simulation Platform for Autonomous Driving
论文将生成式世界模型与 traffic manager 组合为闭环仿真 arena，让 driving agent 在持续交通交互中运行、测试与开发，支持 FSD 评测必须从固定回放升级为可响应自车动作的闭环环境。
适用边界：生成式闭环环境仍需结合企业 ODD、车辆动力学、安全规则和真实事件进行校准，不能单独替代道路测试。
PAIN 01
固定数据回放无法验证自车动作改变后其他交通参与者的反馈。
PAIN 02
感知、预测、规划和控制模块的局部改进可能造成系统级退化。
PAIN 03
危险与稀有事件难以依赖真实道路高频采集和重复测试。
Pipeline 中的仿真需求
- 01
ODD 与事件定义
结构化道路、交通流、规则、天气和关键交互事件。
- 02
全栈接入
连接感知、预测、规划、控制或端到端模型及车辆动力学。
- 03
闭环运行
让自车与交通参与者持续交互，并记录因果链和中间状态。
- 04
事件回归
围绕碰撞、接管、违规、不舒适和失效样本生成场景变体。
环境、本体与传感器
- 道路拓扑、交通规则、信号灯、交通流与多主体交互。
- 车辆动力学、相机、LiDAR、Radar、定位和地图接口。
- 天气、光照、施工、遮挡、异形目标和突发事件。
数据、真值与标注
- 传感器数据、车辆状态、对象轨迹、地图和交通灯真值。
- 模块中间量或端到端动作、事件链与接管原因。
- 场景参数、参与者策略、随机种子和软件版本。
闭环评测与回归
- 碰撞、接管、规则遵循、舒适度和任务完成。
- 关键事件召回、交互合理性与闭环通过结果。
- 端到端模型与模块化基线在同一场景集上的对比。
版本化输出物
- ODD/事件场景库与交通流配置。
- 全栈闭环日志、事件切片与失败回放。
- 版本回归报告和定向补测清单。
BEFORE IMPLEMENTATION
需求澄清清单
以下信息决定仿真方案的边界、交付形式和评测协议。缺失项应在方案阶段明确，而不是用通用数据或默认参数替代。
- 01目标算法、输入输出接口与当前研发阶段
- 02本体结构、动力学、传感器配置和标定资料
- 03业务场景、长尾问题、失败样本与安全边界
- 04数据格式、标签词表、坐标系和版本规范
- 05训练框架、部署环境与闭环评测协议
- 06可用于校准的匿名化真机数据与日志
神太再现以 FDE 方式进入客户真实研发链条，将非标本体、数据、场景和评测协议沉淀为可长期演进的工程模块。