摘要：

在前面的幾章節中探討了aiSim仿真合成數據的置信度，此外在場景重建和測試流程閉環的過程中，難免會面臨3D場景制作重建耗時長、成本高、擴展性低以及交通狀況復雜程度難以滿意等問題，當前的主要挑戰在于如何自動化生成3D靜態場景并添加動態實例編輯，從而有效縮短測試流程，擴大仿真測試范圍。

 
  圖1：實際圖像                                                                           圖2：NeRF重建場景

對于3D重建，目前主要的兩種解決方案為NeRF和3DGS。

一、NeRF

1、NeRF：神經輻射場（Neural Radiance Fields）

NeRF是將三維空間中的每個點的顏色和密度信息編碼為一個連續的函數并由MLP參數化。給定一個視角和三維空間中的點，NeRF可以預測該點的顏色和沿視線方向的密度分布。通過對這些信息進行體積渲染，NeRF能夠合成出新視角下的圖像。

2、優勢

• 高保真輸出。

• 基于NerFStudio提供了較為友好地代碼庫。
  

• 相對較快的訓練時間。
  

• 對于待重建區域具有可擴展性。

3、不足與挑戰

• 渲染速度緩慢。NeRF需要沿著從相機到場景的每條光線進行大量的采樣和計算，以準確估計場景的體積密度和顏色。這個過程計算密集，在NVIDIA A100上進行了測試，全HD分辨率下，渲染一張圖像大約需要10s。

• 場景深度估計效果不理想。NeRF通過體積渲染隱式地學習了場景的深度信息，但這種深度信息通常是與場景的顏色和密度信息耦合在一起的。這意味著，如果場景中存在遮擋或非朗伯（non-Lambertian）反射等復雜情況，NeRF可能難以準確估計每個像素的深度。

• 近距離物體重建質量可能較低。這可能是由視角和分辨率不足、深度估計不夠準確以及運動模糊遮擋等問題造成的。

• 高FOV相機校準不完善導致的重影偽影。 
  

當然為了解決這些問題研究人員通過引入深度正則化來提升NeRF深度估計的準確性和穩定性，通過優化NeRF的結構和算法提升渲染速度。

二、3DGS

1、3DGS：3D高斯潑濺（3D Gaussian Splatting）

3DGS采用三維高斯分布來表示場景中的點云數據，每個點用一個具有均值和協方差的高斯函數來描述。通過光柵化渲染高斯函數，從而生成逼真的3D場景圖像。

2、優勢

• 訓練時間短。

• 近似于實時的渲染。

• 提供高保真的輸出。

3、不足及主要挑戰

• 代碼庫友好度較低。相比于NeRFStudio，文檔的完善程度和易用性較低。

• 初始點云獲取需求高，需要精確的傳感器和復雜的數據處理流程，否則將會對3DGS的性能產生明顯的影響。

• 深度估計同樣不足，主要可能有幾個原因：在優化過程中傾向于獨立優化每個高斯點，導致在少量圖像下出現過擬合；由于缺乏全局的幾何信息，導致在大型場景下或復雜幾何結構重建時深度估計不準確；初始點云的深度信息不夠準確等

• 相機模型支持受限。目前3DGS主要支持針孔相機模型，雖然理論上可以推導出其他相機模型的3DGS版本，但還需要后續的實驗驗證其有效性和準確性。

• 重建區域可擴展受限，主要是缺乏LiDAR覆蓋區域之外的幾何信息導致的不完整重建以及大型城市場景重建的大量計算。

• 集成和資源密集的挑戰，目前3DGS集成通常依賴Python接口；3DGS在運行時可能會占用大量的VRAM。

通過優化超參數和采用新方法，如Scaffold-GS，可能有助于減少內存需求，提高在大型場景下的處理能力。

三、操作方法

1、訓練流程

① 輸入：相機視頻數據；自車運動數據；校準數據；用于深度正則化的LiDAR點云數據；

② 移除動態對象：創建分割圖來識別和遮罩圖像中的不同對象和區域；對動態對象進行自動注釋*（康謀aiData工具鏈）；

③ 進行NeRF或3DGS：

NeRF：

• 嵌入不同的氣候條件；

• 采用Block-NeRF進行大規模重建；

• 可以使用任何攝像頭模型，示例中使用的是MEI相機模型。

3DGS：

• 采用Block-Splatting進行大規模重建；
  

• 可以從COLMAP或LiDAR中獲得初始點云；
  

• 將輸入的相機轉化為針孔相機模型。
  

2、添加動態對象

• 在NeRF和3DGS生成靜態場景后，aiSim5將基于外部渲染API進一步增加動態元素，不僅可以重建原始場景，也可以根據測試需求構建不同的交通狀態。

• aiSim5中基于NeRF/3DGS場景細節。

 
                          圖13：網格投射陰影                                                                            圖14：車下環境遮蔽

3、效果展示

在aiSim5中完成動態對象的添加后，可以自由的在地圖場景中更改交通狀態，用于感知/規控等系統的SiL/HiL測試。