康謀分享 | 汽車仿真與AI的結(jié)合應(yīng)用

在自動駕駛領(lǐng)域，實現(xiàn)高質(zhì)量的虛擬傳感器輸出是一項關(guān)鍵的挑戰(zhàn)。所有的架構(gòu)和實現(xiàn)都會涉及來自質(zhì)量、性能和功能集成等方面的需求。aiSim也不例外，因此我們會更加關(guān)注于多個因素的協(xié)調(diào)，其中，aiSim傳感器實現(xiàn)的神經(jīng)網(wǎng)絡(luò)渲染仿真方案，在aiSim能夠在現(xiàn)有功能上實現(xiàn)多用途擴展的同時，也可以最大程度上保留原始特性。

一、現(xiàn)有問題

從當前學術(shù)界對于神經(jīng)渲染的研究來看，不同的方案都會給虛擬世界帶來一定的限制，從而無法讓仿真充分發(fā)揮作用。我們在aiSim中提供了一種不同且具有更高集成度的方案，即aiSim的通用高斯?jié)姙R渲染器（General Gaussian Splatting Renderer），這一方案結(jié)合了渲染速度、集成靈活性和卓越的視覺保真效果，為當下的神經(jīng)網(wǎng)絡(luò)三維重建技術(shù)帶來了新的內(nèi)容。

其中一點就是傳統(tǒng)方案中，廣角鏡頭的渲染和處理總是不盡人意，但這一傳感器又是自動駕駛仿真中最為常見的用例之一，但在aiSim的方案中我們克服了這一局限性。

二、康謀方案

原始的算法在高斯?jié)姙R投射的處理過程中往往會引入若干限制，阻礙了傳感器的合理渲染，主要源于是近似誤差（approximation?error），當處理FOV更大的鏡頭時，誤差會顯著增大。

左邊是原始解決方案，它無法從六個攝像頭中一致地生成圖像。右邊是aiSim的解決方案，它消除了這個問題，并能投射出一致的圖像。

這種獨有的方案不僅能夠處理相機傳感器，還能夠處理其他基于光線追蹤的傳感器類型，比如LiDAR和Radar。而在之前的ADAS/AD仿真中，無法擴展到不同傳感器模式則是大多數(shù)神經(jīng)渲染解決方案面臨的最大挑戰(zhàn)之一。

為此，我們重現(xiàn)思考了高斯?jié)姙R解決方案，重建算法流程，通過新一套的高斯?jié)姙R渲染器完美解決了前述的限制，完美的組合了各種虛擬鏡頭組合的畸變圖像。

1、aiSim通用高斯?jié)姙R渲染器

（1）一致性

aiSim通用高斯濺射渲染器和現(xiàn)有光柵化解決方案具有相當?shù)男阅芩?/strong>，即使在硬件在環(huán)方案中，也可以模擬高端（4K）多攝像頭傳感器設(shè)置。由于該算法的通用性，您可以從基于光線追蹤的傳感器模式（如LiDAR和雷達）中一致地獲得相同結(jié)果。