寫在前面&筆者的個人理解

三維 Gaussian splatting（3DGS）是近年來在顯式輻射場和電腦圖形學(xué)領(lǐng)域出現(xiàn)的一種變革性技術(shù)。這種創(chuàng)新方法的特點(diǎn)是使用了數(shù)百萬個3D高斯，這與神經(jīng)輻射場（NeRF）方法有很大的不同，後者主要使用隱式的基於座標(biāo)的模型將空間座標(biāo)映射到像素值。 3D GS憑藉其明確的場景表示和可微分的渲染演算法，不僅保證了即時渲染能力，而且引入了前所未有的控制和場景編輯水平。這將3D GS定位為下一代3D重建和表示的潛在遊戲規(guī)則改變者。為此我們首次系統(tǒng)性地概述了3D GS領(lǐng)域的最新發(fā)展和關(guān)鍵貢獻(xiàn)。首先詳細(xì)探討了3D GS出現(xiàn)的基本原理和公式，為理解其意義奠定了基礎(chǔ)。進(jìn)而深度討論3D GS的實(shí)用性。透過促進(jìn)即時效能，3D GS開啟了大量應(yīng)用，從虛擬實(shí)境到互動式媒體等等。此外，還對領(lǐng)先的3D GS模型進(jìn)行了比較分析，並在各種基準(zhǔn)任務(wù)中進(jìn)行了評估，以突出其性能和實(shí)用性。該綜述的結(jié)論是確定了當(dāng)前的挑戰(zhàn)，並提出了該領(lǐng)域未來研究的潛在途徑。透過這項(xiàng)調(diào)查，我們旨在為新來者和經(jīng)驗(yàn)豐富的研究人員提供寶貴的資源，促進(jìn)在適用和明確的輻射場表示方面的進(jìn)一步探索和進(jìn)步。

為了幫助讀者跟上3D GS的快速發(fā)展，我們提供了第一個關(guān)於3D GS的調(diào)查綜述。我們有系統(tǒng)且及時地收集了有關(guān)該主題的最重要的最新文獻(xiàn)，主要來自arxiv。本文的目標(biāo)是對3D GS的初步發(fā)展、理論基礎(chǔ)和新興應(yīng)用進(jìn)行全面且最新的分析，突顯其在該領(lǐng)域的革命性潛力。 考慮到3D GS的新生但快速發(fā)展的性質(zhì)，本次調(diào)查還旨在確定和討論該領(lǐng)域的當(dāng)前挑戰(zhàn)和未來前景。我們提供了對3D GS可能促進(jìn)的正在進(jìn)行的研究方向和潛在進(jìn)展的見解。希望透過這篇綜述，不僅提供學(xué)術(shù)知識，還能促進(jìn)這一領(lǐng)域的進(jìn)一步研究和創(chuàng)新。 本文的架構(gòu)如下所示：（圖2） 請注意，所有內(nèi)容都是基於最新的文獻(xiàn)和研究成果，旨在為讀者提供關(guān)於3D GS的全面和及時的資訊。

背景介紹

本節(jié)介紹了輻射場的簡要公式，它是場景渲染中一個關(guān)鍵的概念。輻射場可以透過兩種主要類型來表示：隱式的，如NeRF，使用神經(jīng)網(wǎng)路進(jìn)行直接但計(jì)算要求高的渲染；和顯式的，如網(wǎng)格，採用離散結(jié)構(gòu)來更快地訪問，但內(nèi)存使用率更高。接下來，我們將進(jìn)一步探討與相關(guān)領(lǐng)域如場景重建和渲染的連結(jié)。

問題定義

輻射場：輻射場是三維空間中光分佈的表示，它捕捉光如何與環(huán)境中的表面和材料相互作用。從數(shù)學(xué)上講，輻射場可以描述為函數(shù)，其中將空間中的一個點(diǎn)和由球面座標(biāo)指定的方向映射到非負(fù)輻射值。輻射場可以透過隱式或明確表示法進(jìn)行封裝，每種表示都有特定的場景表示和渲染優(yōu)勢。

隱含輻射場：隱式輻射場表示場景中的光分佈，而不明確定義場景的幾何體。在深度學(xué)習(xí)時代，它經(jīng)常使用神經(jīng)網(wǎng)路來學(xué)習(xí)連續(xù)的體積場景表示。最突出的例子是NeRF。在NeRF中，MLP網(wǎng)路用於將一組空間座標(biāo)和觀看方向?qū)?yīng)到顏色和密度值。任何點(diǎn)的輻射度都不是明確儲存的，而是透過查詢神經(jīng)網(wǎng)路即時計(jì)算的。因此，函數(shù)可以寫成：

這種格式可對複雜場景進(jìn)行緊湊的、可微分的表示，儘管渲染過程中的計(jì)算負(fù)載較高，原因是體積光線行進(jìn)。

明確輻射場：相反，顯式輻射場直接表示離散空間結(jié)構(gòu)中的光分佈，例如體素網(wǎng)格或點(diǎn)集。此結(jié)構(gòu)中的每個元素儲存其在空間中的相應(yīng)位置的輻射資訊。這種方法允許更直接且通常更快地存取輻射數(shù)據(jù)，但代價是更高的記憶體使用率和潛在的更低解析度。顯性輻射場表示的一般形式可以寫成：

其中DataStructure可以是網(wǎng)格或點(diǎn)雲(yún)，是基於觀看方向修改輻射的函數(shù)。

兩全其美的3D Gaussian Splatting：3D GS表示從隱式輻射場到顯式輻射場的轉(zhuǎn)變。它透過利用3D高斯作為靈活高效的表示，利用了這兩種方法的優(yōu)勢。這些高斯係數(shù)經(jīng)過最佳化，可以準(zhǔn)確地表示場景，結(jié)合了基於神經(jīng)網(wǎng)路的最佳化和明確結(jié)構(gòu)化資料儲存的優(yōu)點(diǎn)。這種混合方法旨在透過更快的訓(xùn)練和即時效能實(shí)現(xiàn)高品質(zhì)渲染，特別是對於複雜的場景和高解析度輸出。 3D高斯表示公式化為：

上下文和術(shù)語

許多技術(shù)和研究學(xué)科與3D GS有著密切的關(guān)係，下文將對其進(jìn)行簡要描述。

場景重建與渲染：粗略地說，場景重建涉及從圖像或其他資料的集合中創(chuàng)建場景的3D模型。渲染是一個更具體的術(shù)語，專注於將電腦可讀資訊（例如，場景中的3D物件）轉(zhuǎn)換為基於像素的影像。早期的技術(shù)是基於光場生成逼真的影像。 structure-from-motion（SfM）和多視圖立體（MVS）演算法透過從影像序列估計(jì)3D結(jié)構(gòu)進(jìn)一步推進(jìn)了這一領(lǐng)域。這些歷史方法為更複雜的場景重建和渲染技術(shù)奠定了基礎(chǔ)。

神經(jīng)渲染與輻射場：神經(jīng)渲染將深度學(xué)習(xí)與傳統(tǒng)圖形技術(shù)結(jié)合，以建立照片級真實(shí)感影像。早期的嘗試使用卷積神經(jīng)網(wǎng)路（CNNs）來估計(jì)混合權(quán)重或紋理空間解決方案。輻射場表示一個函數(shù)，該函數(shù)描述了透過空間中每個點(diǎn)在每個方向上傳播的光量。 NeRFs使用神經(jīng)網(wǎng)路對輻射場進(jìn)行建模，從而實(shí)現(xiàn)詳細(xì)逼真的場景渲染。

體積表示和Ray-Marching：體積表示不僅將目標(biāo)和場景建模為曲面，還將其建模為填充了材質(zhì)或空白空間的體積。這種方法可以更準(zhǔn)確地渲染霧、煙或半透明材料等現(xiàn)象。 Ray-Marching是一種與體積表示一起使用的技術(shù)，透過增量追蹤穿過體積的光的路徑來渲染影像。 NeRF分享了體積射線行進(jìn)的相同精神，並引入了重要性取樣和位置編碼來提高合成影像的品質(zhì)。在提供高品質(zhì)結(jié)果的同時，體積射線行進(jìn)在計(jì)算上是昂貴的，這促使人們尋找更有效的方法，如3D GS。

基於點(diǎn)的渲染：基於點(diǎn)的渲染是一種使用點(diǎn)而不是傳統(tǒng)多邊形來視覺化3D場景的技術(shù)。這種方法對於渲染複雜、非結(jié)構(gòu)化或稀疏的幾何資料特別有效。點(diǎn)可以用額外的屬性來增強(qiáng)，如可學(xué)習(xí)的神經(jīng)描述符，並有效地渲染，但這種方法可能會遇到諸如渲染中的漏洞或混疊效應(yīng)等問題。 3D GS透過使用各向異性高斯來擴(kuò)展這一概念，以實(shí)現(xiàn)場景的更連續(xù)和更有凝聚力的表示。

顯式輻射場的3D高斯

3D GS在不依賴神經(jīng)組件的情況下，在即時、高解析度影像渲染方面取得了突破。

學(xué)習(xí)得到的3D高斯用於新視角合成

考慮一個由（數(shù)百萬）優(yōu)化的3D高斯表示的場景。目標(biāo)是根據(jù)指定的相機(jī)姿勢產(chǎn)生影像?；叵胍幌?，NeRF是透過計(jì)算要求很高的體積射線行進(jìn)來完成這項(xiàng)任務(wù)的，對每個像素的3D空間點(diǎn)進(jìn)行採樣。這種模式難以實(shí)現(xiàn)高解析度影像合成，無法實(shí)現(xiàn)即時渲染速度。與此形成鮮明對比的是，3D GS首先將這些3D高斯投影到基於像素的影像平面上，這個過程稱為「splatting」（圖3a）。然後，3D GS對這些高斯進(jìn)行排序，並計(jì)算每個像素的值。如圖所示，NeRF和3D GS的渲染可以被視為彼此的逆過程。在接下來的內(nèi)容中，我們從3D高斯的定義開始，這是3D GS中場景表示的最小元素。接下來描述如何將這些3D高斯用於可微分渲染。最後介紹了3D GS中使用的加速技術(shù)，這是快速渲染的關(guān)鍵。

三維高斯的性質(zhì)：三維高斯的特徵是其中心（位置）μ、不透明度α、三維協(xié)方差矩陣∑和顏色c。對於與視圖相關(guān)的外觀，c由球面諧波表示。所有屬性都是可學(xué)習(xí)的，並透過反向傳播進(jìn)行最佳化。

Frustum Culling：給定指定的相機(jī)位姿，此步驟將決定哪些3D高斯位於相機(jī)的平截頭體之外。透過這樣做，給定視圖之外的3D高斯將不會參與後續(xù)計(jì)算，從而節(jié)省計(jì)算資源。

Splatting：**在這個步驟中，3D高斯（橢球）被投影到2D影像空間（橢球）中用於渲染。給定觀看變換W和3D協(xié)方差矩陣∑，投影的2D協(xié)方差矩陣∑′使用以下公式計(jì)算：

其中J是投影變換的仿射近似的Jacobian矩陣。

按像素渲染：在深入研究3D GS的最終版本之前，我們首先詳細(xì)介紹了其更簡單的形式，以深入了解其工作機(jī)制。3D GS利用多種技術(shù)來促進(jìn)并行計(jì)算。給定像素x的位置，其到所有重疊高斯的距離，即這些高斯的深度，可以通過觀看變換W來計(jì)算，形成高斯N的排序列表。然后，采用阿爾法合成來計(jì)算該像素的最終顏色：

其中是學(xué)習(xí)的顏色，最終不透明度是學(xué)習(xí)的不透明度和高斯值的乘積：

其中x′和μ是投影空間中的坐標(biāo)。考慮到生成所需的排序列表很難并行化，因此與NeRF相比，所描述的渲染過程可能會更慢，這是一個合理的擔(dān)憂。事實(shí)上，這種擔(dān)憂是有道理的；當(dāng)使用這種簡單的逐像素方法時，渲染速度可能會受到顯著影響。為了實(shí)現(xiàn)實(shí)時渲染，3DGS做出了一些讓步來適應(yīng)并行計(jì)算。

Tiles (Patches)：為了避免為每個像素推導(dǎo)高斯系數(shù)的成本計(jì)算，3D GS將精度從像素級轉(zhuǎn)移到patch級細(xì)節(jié)。具體來說，3D GS最初將圖像劃分為多個不重疊的塊，在原始論文中稱為“tiles”。圖3b提供了tiles的圖示。每個瓦片包括16×16個像素。3D GS進(jìn)一步確定哪些tiles與這些投影的高斯圖相交。假設(shè)投影的高斯可能覆蓋多個tiles，邏輯方法包括復(fù)制高斯，為每個副本分配相關(guān)tiles的標(biāo)識符（即tile ID）。

并行渲染：在復(fù)制之后，3D GS將各個tile ID與從每個高斯的視圖變換獲得的深度值相組合。這生成字節(jié)的未排序列表，其中高位表示tile ID，低位表示深度。通過這樣做，排序后的列表可以直接用于渲染（即alpha合成）。圖3c和圖3d提供了這些概念的視覺演示。值得強(qiáng)調(diào)的是，渲染每個tile和像素都是獨(dú)立發(fā)生的，這使得這個過程非常適合并行計(jì)算。另一個好處是，每個tile的像素都可以訪問公共共享內(nèi)存，并保持統(tǒng)一的讀取序列，從而能夠以更高的效率并行執(zhí)行alpha合成。在原始論文的官方實(shí)現(xiàn)中，該框架將tile和像素的處理分別視為類似于CUDA編程架構(gòu)中的塊和線程。

簡而言之，3D GS在前向處理階段引入了幾種近似，以提高計(jì)算效率，同時保持高標(biāo)準(zhǔn)的圖像合成質(zhì)量。

3D Gaussian Splatting的優(yōu)化

3D GS的核心是一個優(yōu)化過程，旨在構(gòu)建大量的3D高斯集合，準(zhǔn)確捕捉場景的本質(zhì)，從而促進(jìn)自由視點(diǎn)渲染。一方面，3D高斯的特性應(yīng)該通過可微分渲染來優(yōu)化，以適應(yīng)給定場景的紋理。另一方面，能夠很好地表示給定場景的3D高斯數(shù)是預(yù)先未知的。一個很有前途的途徑是讓神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)3D高斯密度。我們將介紹如何優(yōu)化每個高斯的性質(zhì)以及如何控制高斯的密度。這兩個過程在優(yōu)化工作流程中是交錯的。由于在優(yōu)化過程中有許多手動設(shè)置的超參數(shù)，為了清晰起見，我們省略了大多數(shù)超參數(shù)的符號。

參數(shù)優(yōu)化

損失函數(shù)：一旦圖像的合成完成，就將損失計(jì)算為渲染圖像和GT的差：

3D-GS的損失函數(shù)與NeRFs的損失函數(shù)略有不同。由于耗時的ray-marching，NeRF通常在像素級而不是圖像級進(jìn)行計(jì)算。

參數(shù)更新：3D高斯的大多數(shù)特性可以直接通過反向傳播進(jìn)行優(yōu)化。需要注意的是，直接優(yōu)化協(xié)方差矩陣∑會導(dǎo)致非正半定矩陣，這不符合通常與協(xié)方差矩陣相關(guān)的物理解釋。為了避免這個問題，3D GS選擇優(yōu)化四元數(shù)q和3D矢量s。q和s分別表示旋轉(zhuǎn)和縮放。這種方法允許協(xié)方差矩陣∑被重構(gòu)如下：

密度控制

初始化：3D GS從SfM或隨機(jī)初始化的稀疏點(diǎn)的初始集合開始。然後，採用點(diǎn)加密和修剪來控制三維高斯的密度。

點(diǎn)密集化：在點(diǎn)密集化階段，3D GS自適應(yīng)地增加高斯密度，以更好地捕捉場景的細(xì)節(jié)。這個過程特別關(guān)注幾何特徵缺失的區(qū)域或高斯分佈過於分散的區(qū)域。密集化在一定次數(shù)的迭代之後執(zhí)行，目標(biāo)是表現(xiàn)出大的視圖空間位置梯度（即，高於特定閾值）的高斯。它涉及在重建不足的區(qū)域克隆小高斯，或在重建過度的區(qū)域分裂大高斯。對於克隆，將建立高斯的副本，並將其移向位置梯度。對於分裂，用兩個較小的高斯代替一個較大的高斯，將它們的規(guī)模縮小一個特定的因子。此步驟尋求高斯在3D空間中的最佳分佈和表示，從而提高重建的整體品質(zhì)。

點(diǎn)修剪：點(diǎn)修剪階段涉及移除多餘或影響較小的高斯，在某種程度上可以被視為一個正規(guī)化過程。這一步驟是透過消除幾乎透明的高斯（α低於指定閾值）和在世界空間或視圖空間中過大的高斯來執(zhí)行的。此外，為了防止輸入相機(jī)附近高斯密度的不合理增加，在一定次數(shù)的迭代後，將高斯的阿爾法值設(shè)為接近零。這允許控制必要的高斯密度的增加，同時能夠淘汰多餘的高斯。這個過程不僅有助於節(jié)省計(jì)算資源，還確保模型中的高斯對場景的表示保持精確和有效。

應(yīng)用領(lǐng)域和任務(wù)

3D GS的變革潛力遠(yuǎn)遠(yuǎn)超出了其理論和計(jì)算的進(jìn)步。本節(jié)深入探討3D GS正在產(chǎn)生重大影響的各種開創(chuàng)性應(yīng)用領(lǐng)域，如機(jī)器人、場景重建和表示、人工智慧生成的內(nèi)容、自動駕駛，甚至其他科學(xué)學(xué)科。 3D GS的應(yīng)用展現(xiàn)了其多功能性和革命性的潛力。在這裡，我們概述了一些最著名的應(yīng)用領(lǐng)域，深入了解3D GS如何在每個領(lǐng)域中形成新的前沿。

SLAM

SLAM是機(jī)器人和自主系統(tǒng)的核心運(yùn)算問題。它涉及機(jī)器人或設(shè)備在未知環(huán)境中理解其位置的挑戰(zhàn)，同時建立圖環(huán)境佈局。 SLAM在各種應(yīng)用中至關(guān)重要，包括自動駕駛汽車、擴(kuò)增實(shí)境和機(jī)器人導(dǎo)航。 SLAM的核心是創(chuàng)建未知環(huán)境的地圖，並即時確定裝置在該地圖上的位置。因此，SLAM對運(yùn)算密集型場景表示技術(shù)提出了巨大的挑戰(zhàn)，同時也是3D GS的良好試驗(yàn)臺。

3D GS作為一種創(chuàng)新的場景表示方法進(jìn)入SLAM領(lǐng)域。傳統(tǒng)的SLAM系統(tǒng)通常使用點(diǎn)/曲面雲(yún)或體素網(wǎng)格來表示環(huán)境。相較之下，3D GS利用各向異性高斯來更好地表示環(huán)境。這種表示法提供了幾個好處：1）效率：自適應(yīng)地控制3D高斯的密度，以便緊湊地表示空間數(shù)據(jù)，減少計(jì)算負(fù)載。 2） 準(zhǔn)確性：各向異性高斯可以進(jìn)行更詳細(xì)、更準(zhǔn)確的環(huán)境建模，尤其適用於複雜或動態(tài)變化的場景。 3） 適應(yīng)性：3D GS可以適應(yīng)各種規(guī)模和複雜的環(huán)境，使其適用於不同的SLAM應(yīng)用。一些創(chuàng)新研究在SLAM中使用了3D高斯飛濺，展示了這種範(fàn)式的潛力和多功能性。

動態(tài)場景建模

動態(tài)場景建模是指捕捉和表示隨時間變化的場景的三維結(jié)構(gòu)和外觀的過程。這涉及到創(chuàng)建一個數(shù)位模型，該模型準(zhǔn)確地反映場景中物件的幾何體、運(yùn)動和視覺方面。動態(tài)場景建模在各種應(yīng)用中至關(guān)重要，包括虛擬和擴(kuò)增實(shí)境、3D動畫和電腦視覺。 4D高斯散射（4D GS）將3D GS的概念擴(kuò)展到動態(tài)場景。它結(jié)合了時間維度，允許對隨時間變化的場景進(jìn)行表示和渲染。這種範(fàn)式在即時渲染動態(tài)場景的同時保持高品質(zhì)的視覺輸出方面提供了顯著的改進(jìn)。

AIGC

AIGC是指由人工智慧系統(tǒng)自主創(chuàng)建或顯著改變的數(shù)位內(nèi)容，特別是在電腦視覺、自然語言處理和機(jī)器學(xué)習(xí)領(lǐng)域。 AIGC的特點(diǎn)是能夠模擬、擴(kuò)展或增強(qiáng)人工生成的內(nèi)容，實(shí)現(xiàn)從逼真圖像合成到動態(tài)敘事創(chuàng)作的應(yīng)用。 AIGC的意義在於其在各個領(lǐng)域的變革潛力，包括娛樂、教育和技術(shù)發(fā)展。它是不斷發(fā)展的數(shù)位內(nèi)容創(chuàng)作格局中的關(guān)鍵元素，為傳統(tǒng)方法提供了可擴(kuò)展、可自訂且通常更有效率的替代方案。

3D GS的這種明確特性有助於實(shí)現(xiàn)即時渲染功能以及前所未有的控制和編輯水平，使其與AIGC應(yīng)用程式高度相關(guān)。 3D GS的明確場景表示和可微分渲染演算法完全符合AIGC產(chǎn)生高保真度、即時和可編輯內(nèi)容的要求，這對虛擬實(shí)境、互動式媒體等領(lǐng)域的應(yīng)用至關(guān)重要。

自動駕駛

自動駕駛旨在讓車輛在沒有人為幹預(yù)的情況下導(dǎo)航和操作。這些車輛配備了一套感測器，包括相機(jī)、LiDAR以及雷達(dá)，並結(jié)合了先進(jìn)的演算法、機(jī)器學(xué)習(xí)模型和強(qiáng)大的運(yùn)算能力。中心目標(biāo)是感知環(huán)境，做出明智的決策，安全且有效率地執(zhí)行機(jī)動。自動駕駛對交通運(yùn)輸具有變革潛力，提供了關(guān)鍵好處，例如透過減少人為失誤提高道路安全性，增強(qiáng)無法駕駛者的機(jī)動性，以及優(yōu)化交通流量，從而減少擁塞和環(huán)境影響。

自動駕駛汽車需要感知和解讀周圍環(huán)境，才能安全行駛。這包括即時重構(gòu)駕駛場景，準(zhǔn)確識別靜態(tài)和動態(tài)物體，並了解它們的空間關(guān)係和運(yùn)動。在動態(tài)駕駛場景中，由於其他車輛、行人或動物等移動物體，環(huán)境不斷變化。即時準(zhǔn)確地重建這些場景對於安全導(dǎo)航至關(guān)重要，但由於所涉及元素的複雜性和可變性，這是一項(xiàng)挑戰(zhàn)。在自動駕駛中，3D GS可以用於透過將資料點(diǎn)（例如從LiDAR等感測器獲得的資料點(diǎn)）混合成內(nèi)聚和連續(xù)的表示來重建場景。這對於處理不同密度的資料點(diǎn)和確保場景中靜態(tài)背景和動態(tài)目標(biāo)的平滑準(zhǔn)確重建特別有用。到目前為止，很少有作品使用3D高斯對動態(tài)駕駛/街道場景進(jìn)行建模，與現(xiàn)有方法相比，在場景重建方面表現(xiàn)出優(yōu)異的性能。

效能比較

本節(jié)透過展示我們之前討論的幾種3D GS演算法的效能來提供更多的經(jīng)驗(yàn)證據(jù)。 3D GS在許多任務(wù)中的不同應(yīng)用，加上每個任務(wù)的客製化演算法設(shè)計(jì)，使得在單一任務(wù)或資料集中對所有3D GS演算法進(jìn)行統(tǒng)一比較變得不切實(shí)際。因此，我們在3D GS領(lǐng)域中選擇了三個具有代表性的任務(wù)進(jìn)行深入的效能評估。性能主要來自原始論文，除非另有說明。

定位效能

#靜態(tài)場景渲染效能

動態(tài)場景渲染效能

#駕駛場景渲染效能

#數(shù)位人體表現(xiàn)

未來研究方向

儘管近幾個月來3D GS的後續(xù)工作取得了顯著進(jìn)展，但我們認(rèn)為仍存在一些有待克服的挑戰(zhàn)。

• 數(shù)據(jù)高效的3D GS解決方案：從有限的數(shù)據(jù)點(diǎn)生成新穎的視圖和重建場景是非常令人感興趣的，特別是因?yàn)樗鼈冇锌赡芤宰钚〉妮斎朐鰪?qiáng)真實(shí)感和用戶體驗(yàn)。最近的進(jìn)展已經(jīng)探索了使用深度信息、密集概率分布和像素到高斯映射來促進(jìn)這種能力。然而，仍然迫切需要在這一領(lǐng)域進(jìn)行進(jìn)一步探索。此外，3D GS的一個顯著問題是在觀測數(shù)據(jù)不足的地區(qū)出現(xiàn)偽影。這一挑戰(zhàn)是輻射場渲染中的一個普遍限制，因?yàn)橄∈钄?shù)據(jù)往往會導(dǎo)致重建不準(zhǔn)確。因此，在這些稀疏區(qū)域中開發(fā)新的數(shù)據(jù)插值或積分方法代表了未來研究的一條很有前途的途徑。
• 內(nèi)存高效的3D GS解決方案：雖然3D GS展示了非凡的能力，但其可擴(kuò)展性帶來了重大挑戰(zhàn)，尤其是當(dāng)與基于NeRF的方法并置時。后者得益于僅存儲學(xué)習(xí)的MLP的參數(shù)的簡單性。在大規(guī)模場景管理的背景下，這種可擴(kuò)展性問題變得越來越嚴(yán)重，其中計(jì)算和內(nèi)存需求顯著增加。因此，迫切需要在訓(xùn)練階段和模型存儲期間優(yōu)化內(nèi)存利用率。探索更高效的數(shù)據(jù)結(jié)構(gòu)和研究先進(jìn)的壓縮技術(shù)是解決這些限制的有希望的途徑。
• 高級渲染算法：目前3D GS的渲染管道是向前的，可以進(jìn)一步優(yōu)化。例如，簡單的可見性算法可能導(dǎo)致高斯深度/混合順序的劇烈切換。這突出了未來研究的一個重要機(jī)會：實(shí)現(xiàn)更先進(jìn)的渲染算法。這些改進(jìn)的方法應(yīng)旨在更準(zhǔn)確地模擬給定場景中光和材料特性的復(fù)雜相互作用。一種有前景的方法可能涉及將傳統(tǒng)計(jì)算機(jī)圖形學(xué)中的既定原理同化和適應(yīng)到3D GS的特定環(huán)境中。在這方面值得注意的是，正在進(jìn)行的將增強(qiáng)渲染技術(shù)或混合模型集成到3D GS當(dāng)前計(jì)算框架中的努力。此外，逆渲染及其應(yīng)用的探索為研究提供了肥沃的土壤。
• 優(yōu)化和正則化：各向異性高斯雖然有利于表示復(fù)雜的幾何形狀，但會產(chǎn)生視覺偽像。例如，那些大的3D高斯，尤其是在具有依賴于視圖的外觀的區(qū)域，可能會導(dǎo)致彈出的偽影，視覺元素突然出現(xiàn)或消失，破壞沉浸感。在3D GS的正則化和優(yōu)化方面有相當(dāng)大的探索潛力。引入抗鋸齒可以緩解高斯深度和混合順序的突然變化。優(yōu)化算法的增強(qiáng)可能會更好地控制空間中的高斯系數(shù)。此外，將正則化納入優(yōu)化過程可以加速收斂、平滑視覺噪聲或提高圖像質(zhì)量。此外，如此大量的超參數(shù)影響了3D GS的泛化，這急需解決方案。
• 網(wǎng)格重建中的3D高斯：3D GS在網(wǎng)格重建中的潛力及其在體積和表面表示譜中的位置尚待充分探索。迫切需要研究高斯基元如何適用于網(wǎng)格重建任務(wù)。這一探索可以彌合體積繪制和傳統(tǒng)基于表面的方法之間的差距，為新的繪制技術(shù)和應(yīng)用提供見解。
• 賦予3D GS更多可能性：盡管3D GS具有巨大的潛力，但3D GS的全部應(yīng)用范圍在很大程度上仍未開發(fā)。一個很有前途的探索途徑是用額外的屬性來增強(qiáng)3D高斯，例如為特定應(yīng)用量身定制的語言和物理屬性。此外，最近的研究已經(jīng)開始揭示3D GS在幾個領(lǐng)域的能力，例如，相機(jī)姿態(tài)估計(jì)、手-物體相互作用的捕捉和不確定性的量化。這些初步發(fā)現(xiàn)為跨學(xué)科學(xué)者進(jìn)一步探索3D GS提供了重要機(jī)會。

結(jié)論

據(jù)我們所知，這篇綜述首次全面概述了3D GS，這是一項(xiàng)革命性的顯式輻射場和計(jì)算機(jī)圖形學(xué)技術(shù)。它描繪了傳統(tǒng)NeRF方法的范式轉(zhuǎn)變，突出了3D GS在實(shí)時渲染和增強(qiáng)可控性方面的優(yōu)勢。我們的詳細(xì)分析證明了3D GS在實(shí)際應(yīng)用中的優(yōu)勢，特別是那些需要實(shí)時性能的應(yīng)用。我們提供了對未來研究方向和該領(lǐng)域尚未解決的挑戰(zhàn)的見解。總的來說，3D GS是一項(xiàng)變革性技術(shù)，有望對3D重建和表示的未來發(fā)展產(chǎn)生重大影響。這項(xiàng)調(diào)查旨在作為一項(xiàng)基礎(chǔ)資源，推動這一快速發(fā)展領(lǐng)域的進(jìn)一步勘探和進(jìn)展。

原文鏈接：https://mp.weixin.qq.com/s/jH4g4Cx87nPUYN8iKaKcBA

以上是為何在自動駕駛方面Gaussian Splatting如此受歡迎，開始放棄NeRF？的詳細(xì)內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！