Technical Articles

技术文章

当前位置:首页  >  技术文章  >  康谋分享 | aiSim5基于生成式AI扩大仿真测试范围(终)

康谋分享 | aiSim5基于生成式AI扩大仿真测试范围(终)

更新时间:2024-05-21      点击次数:407

摘要:

在前面的几章节中探讨了aiSim仿真合成数据的置信度,此外在场景重建和测试流程闭环的过程中,难免会面临3D场景制作重建耗时长、成本高、扩展性低以及交通状况复杂程度难以满意等问题,当前的主要挑战在于如何自动化生成3D静态场景并添加动态实例编辑,从而有效缩短测试流程,扩大仿真测试范围。

 
  图1:实际图像                                                                           图2:NeRF重建场景


对于3D重建,目前主要的两种解决方案为NeRF和3DGS。


一、NeRF

1、NeRF:神经辐射场(Neural Radiance Fields)

NeRF是将三维空间中的每个点的颜色和密度信息编码为一个连续的函数并由MLP参数化。给定一个视角和三维空间中的点,NeRF可以预测该点的颜色和沿视线方向的密度分布。通过对这些信息进行体积渲染,NeRF能够合成出新视角下的图像。

2、优势

3、不足与挑战



 




当然为了解决这些问题研究人员通过引入深度正则化来提升NeRF深度估计的准确性和稳定性,通过优化NeRF的结构和算法提升渲染速度。


二、3DGS

1、3DGS:3D高斯泼溅(3D Gaussian Splatting)

3DGS采用三维高斯分布来表示场景中的点云数据,每个点用一个具有均值和协方差的高斯函数来描述。通过光栅化渲染高斯函数,从而生成逼真的3D场景图像。

2、优势

3、不足及主要挑战








通过优化超参数和采用新方法,如Scaffold-GS,可能有助于减少内存需求,提高在大型场景下的处理能力。


三、操作方法

1、训练流程

① 输入:相机视频数据;自车运动数据;校准数据;用于深度正则化的LiDAR点云数据;

② 移除动态对象:创建分割图来识别和遮罩图像中的不同对象和区域;对动态对象进行自动注释*(康谋aiData工具链);


③ 进行NeRF或3DGS:

NeRF:

3DGS:


2、添加动态对象




 
                          图13:网格投射阴影                                                                            图14:车下环境遮蔽


3、效果展示

在aiSim5中完成动态对象的添加后,可以自由的在地图场景中更改交通状态,用于感知/规控等系统的SiL/HiL测试。


400-999-3848
欢迎您的咨询
我们将竭尽全力为您用心服务
3634354716
关注微信
版权所有 © 2024 广州虹科电子科技有限公司  备案号:粤ICP备15080866号