高保真+强可控：自动驾驶仿真的混合渲染方案

01 行业痛点与挑战

自动驾驶的研发高度依赖数据，但行业仿真测试主流路线各有短板：

传统仿真器（如CARLA） 基于游戏引擎思路，场景可控、物体可任意摆放，但画质不够真实，仿真数据与真实世界之间存在明显的“域偏移"——仿真环境里训练良好的算法，部署到实车上表现常打折扣。同时，构建高精度三维环境也需要大量人工。

神经重建方案（NeRF/3DGS） 能生成照片级逼真的渲染结果，但场景本身是“固化"的——动态物体只能沿原始轨迹运动，插入新物体或改变其轨迹，重建质量明显下降，难以支持换道超车、突发避让等场景的仿真测试。

两种路线各有适用场景，把两者的优势结合起来，是一条更务实的路径。本文围绕这一思路，介绍混合渲染在实际场景中的应用方式和价值。

02 两种技术如何“取长补短"

混合渲染的基本思路是：静态环境用神经重建，动态物体用传统图形技术加载。

工作流程可以简单理解为——先用真实数据把街道场景重建出来，再往里面自由摆放车辆、行人，调整天气和视角。静态区域保留神经渲染的照片级画质，动态物体通过传统渲染实现灵活操控。

图1 场景重建完整流水线

流水线依托车载相机图像、激光雷达点云、车辆里程计、相机内外参四类原始输入完成前置数据处理，核心包含四大模块：

动态物体掩码生成

方案仅重建场景静态区域，借助 OneFormer 全景分割、光流跟踪、激光雷达 - 相机 3D 检测识别行人、车辆等动态目标；融合图像空间跟踪与 3D 包围盒静止判定结果，生成动态掩码，后续训练中屏蔽动态物体，保证静态场景重建纯净度。

激光雷达深度与强度图生成

先剔除动态物体对应的激光点云，通过里程计校正拼接得到静态聚合点云；在 BEV 视角分块执行泊松重建生成稠密网格，再基于相机标定参数借助 Open3D 渲染出稠密深度图与激光雷达强度图，为神经重建提供精准几何监督，解决路面等弱纹理区域重建失真问题。

相机位姿精准优化

基于改进 COLMAP 迭代三角化与光束平差优化相机内外参，再通过 Kabsch 算法将优化后位姿对齐回原始世界坐标系，消除车载里程计自带的位姿噪声，保障大规模场景重建几何精度。

BEV 分块并行处理

借鉴 SUDS 聚类思路对场景做重叠分块：将相机坐标转至 BEV 空间，通过 K 近邻聚类划分区块，再对聚类做凸包扩展、膨胀处理保证区块重叠；重叠设计可消除区块边界渲染跳变伪影，支持跨区块渲染插值，适配不规则行车轨迹，同时实现分块并行训练，支撑 100000㎡以上超大场景重建。

NeRF2GS 双阶段重建核心算法采用 “NeRF 预训练 + 3DGS 实时渲染" 两阶段架构，兼顾 NeRF 优秀的视角外推能力与 3D 高斯泼溅实时渲染优势，解决单一方案缺陷：

阶段 1：定制化 NeRF 模型训练

基于 Nerfstudio 的 Nerfacto 模型改造，多维度增加监督约束： 引入激光雷达深度损失、天空区域密度 L2 正则，抑制路面漂浮伪影； 新增 MLP 网络预测激光雷达反射强度，搭配交叉熵损失完成 32 类语义分割预测； 使用双边引导 ISP 解耦方案消除车载相机自动曝光、白平衡带来的色彩不一致，输出无成像干扰的基准场景表征。

阶段 2：多约束增强 3D 高斯泼溅训练

1、以 NeRF 输出的 RGB、深度、法向、强度、语义图作为监督与初始化，在 gsplat 后端、AbsGS 细化策略基础上增加多重正则损失：

yi法向 + 平坦约束损失：规范高斯分布贴合真实路面、建筑平面，大幅提升车道线、标识等细节的全新视角渲染效果；

图2 OmniRe基线与NeRF2GS结果对比图

2、激光雷达强度 + 语义损失：将反射强度、6 位二进制语义编码作为高斯附加特征，实现多模态信息嵌入；

3、天地分层高斯机制：场景拆分为地面高斯、远距离球面天空高斯，搭配透明度累积损失强制两层空间分离，消除远景几何歧义；

最终得到兼具真实几何、多模态属性、实时渲染能力的静态场景 3DGS 模型，作为混合渲染管线的静态环境基底。

这套方案同时补上了两类技术的短板：用神经渲染缩小传统仿真的“域偏移"，用传统图形技术补足神经重建“场景固化"的局限。

03 混合渲染框架三大核心能力

从实际使用角度来看，这套方案主要解决了三个问题：场景够不够大、画质够不够好、生成的数据能不能直接用。

一、场景够大，画质可靠

通过分块并行训练，支持10万平方米以上的大规模场景重建（约14个标准足球场）。在车道线、路面标识等对自动驾驶至关重要的区域，渲染质量优于现有常用方案。

二、输出多模态，覆盖主流传感器

同时输出RGB图像、深度图、激光雷达点云、表面法向图、语义分割掩码，一套流程覆盖相机、激光雷达等多种传感器的仿真需求。

图3 多模态渲染结果（从左到右依次为：RGB 重建图，深度图，激光雷达强度图，法向图，模型预测语义分割图）

三、跑得动，数据直接能用

消费级硬件上，相机渲染达到83帧/秒，64线激光雷达仿真达到59帧/秒，可以支撑实时硬件在环测试。

用这套方案生成的数据训练3D目标检测模型，近距离检测精度甚至高于使用原始真实图片——主要是因为仿真数据标注更干净、误检更少。同时，仿真图与原始图的检测结果高度一致，说明域偏移控制在较小范围，生成的数据可以直接用于算法训练，不需要额外做领域自适应。

04 方案落地核心价值

这套方案的核心价值不在于提出全新的技术，而是把已有的技术做了有效整合，解决实际工程问题：

1、对算法工程师：用更低成本拿到大规模、高保真、带精准标注的训练数据；

2、对测试验证团队：在仿真环境里复现各类场景，提前发现问题；

3、对项目决策者：减少对昂贵路测数据的依赖，加快迭代节奏。

本质上，这是一条让仿真数据真正可用的落地路径。

05 总结

仿真环境与真实路况的适配差异，长期阻碍智驾算法迭代与实车部署。混合渲染的思路提供了一种务实的解决方向——用神经重建保留真实感，用传统图形技术保留可控性，兼顾实景还原效果与场景灵活可控两大核心需求，平衡仿真画质与编辑自由度。

这套方法并不追求一味的技术创新，而是在现有技术基础上做有效的整合，解决一个实际存在的工程问题。对于算法工程师、测试验证团队和项目决策者来说，它的价值是可以直接感知到的：数据质量足够好、场景足够灵活、成本足够可控。

康谋长期关注混合渲染技术的工程化落地。aiSim仿真平台已融合3D高斯泼溅、NeRF等AI渲染技术，提供物理级高保真且确定性的仿真环境。结合高保真场景生成、物理级传感模型库、SDG/场景泛化等能力，康谋提供从场景构建、合成数据生成到硬件在环测试的全流程方案，支撑智驾与机器人技术的落地。