0. 這篇文章做了啥？

提出了DepthFM：一個(gè)多功能且快速的最先進(jìn)的生成式單目深度估計(jì)模型。除了傳統(tǒng)的深度估計(jì)任務(wù)外，DepthFM還展示了在深度修復(fù)等下游任務(wù)中的最先進(jìn)能力。 DepthFM效率高，可以在少數(shù)推理步驟內(nèi)合成深度圖。

下面一起來閱讀這項(xiàng)工作~

##1. 論文資訊

標(biāo)題：DepthFM: Fast Monocular Depth Estimation with Flow Matching

作者：Ming Gui, Johannes S. Fischer, Ulrich Prestel, Pingchuan Ma, Dmytro Kotovenko, Olga Grebenkova, Stefan Andreas Baumann, Vincent Tao Hu, Bj?rn Ommer

. #原文連結(jié)：https://arxiv.org/abs/2403.13788

程式碼連結(jié)：https://github.com/CompVis/depth-fm

官方首頁：https:// depthfm.github.io/

2. 摘要

#針對許多下游觀光任務(wù)和應(yīng)用至關(guān)重要。目前針對此問題的判別式方法受到模糊偽影的限制，而最先進(jìn)的生成方法由於其SDE性質(zhì)導(dǎo)致訓(xùn)練樣本速度緩慢。我們不是從雜訊開始，而是尋求從輸入影像到深度影像的直接映射。我們觀察到這可透過流匹配來有效地構(gòu)建，因?yàn)槠湓诮饪臻g中的直線軌跡提供了效率和高品質(zhì)。我們的研究表明，預(yù)先訓(xùn)練的影像擴(kuò)散模型可用於作為流匹配深度模型的充分先驗(yàn)知識。在複雜自然場景的基準(zhǔn)測試中，儘管僅在少量合成資料上進(jìn)行訓(xùn)練，我們的輕量級方法以有利的低計(jì)算成本表現(xiàn)出最先進(jìn)的性能。

3. 效果展示

DepthFM是一種具有強(qiáng)零樣本泛化能力的快速推理流匹配模型，可利用強(qiáng)大的先驗(yàn)知識，並且很容易地泛化到未知的真實(shí)影像中。在合成資料上進(jìn)行訓(xùn)練後，模型可以很好地泛化到未知的真實(shí)影像中，並對深度影像進(jìn)行精確匹配。

與其他最先進(jìn)的模型相比，DepthFM僅用一個(gè)函數(shù)評估就獲得了明顯更清晰的圖像。 Marigold的深度估計(jì)耗時(shí)是DepthFM的兩倍，但無法產(chǎn)生相同粒度的深度圖。

4. 主要貢獻(xiàn)

#（1）提出了DepthFM，一種最先進(jìn)的、多功能的、快速的單目深度估計(jì)模型。除了傳統(tǒng)的深度估計(jì)任務(wù)外，DepthFM還展示了在深度修補(bǔ)和深度條件影像合成等下游任務(wù)中的最新能力。

（2）展示了將強(qiáng)大的圖像先驗(yàn)從擴(kuò)散模型成功轉(zhuǎn)移到流匹配模型，幾乎不依賴訓(xùn)練數(shù)據(jù)，也不需要真實(shí)世界的圖像。

（3）表明，流匹配模型高效，並能在單一推理步驟內(nèi)合成深度圖。

（4）儘管僅在合成資料上進(jìn)行訓(xùn)練，但DepthFM在基準(zhǔn)資料集和自然影像上表現(xiàn)出色。

（5）將表面法線損失作為輔助目標(biāo)，以獲得更準(zhǔn)確的深度估計(jì)。

（6）除了深度估計(jì)，還可可靠地預(yù)測其預(yù)測的置信度。

5. 具體原理是啥？

訓(xùn)練Pipeline。

?訓(xùn)練受到流匹配和表面法向損失的限制：對於流匹配，使用資料依賴的流匹配來回歸地面真實(shí)深度與對應(yīng)影像之間的向量場。此外，透過一個(gè)表面法向損失來實(shí)現(xiàn)幾何真實(shí)感。

資料相關(guān)的流匹配：

?DepthFM透過利用影像到深度對，回歸出影像分佈和深度分佈之間的直線向量場。這種方法在不犧牲性能的情況下促進(jìn)了高效的幾步推理。

從擴(kuò)散先驗(yàn)微調(diào)：

?作者展示了成功將強(qiáng)大的圖像先驗(yàn)從基礎(chǔ)圖像合成擴(kuò)散模型（Stable Diffusion v2-1）轉(zhuǎn)移到流匹配模型，幾乎不依賴訓(xùn)練數(shù)據(jù)，並且不需要真實(shí)世界的圖像。

輔助表面法線損失：

?考慮到DepthFM只在合成資料上進(jìn)行訓(xùn)練，大多數(shù)合成資料集提供了地面真實(shí)表面法線，並將表面法線損失作為輔助目標(biāo)，以增強(qiáng)DepthFM深度估計(jì)的準(zhǔn)確性。

6. Результаты экспериментов

DepthFM демонстрирует значительную способность к обобщению, обучаясь только на 63 тысячах чисто синтетических образцов, и может выполнять обучение нулевого уровня на наборах данных внутри и снаружи. Оценка глубины выстрела. В таблице 1 качественно показано сравнение производительности DepthFM с соответствующими современными моделями. В то время как другие модели часто полагаются на большие наборы данных для обучения, DepthFM использует богатые знания, присущие базовой модели, основанной на диффузии. Этот метод не только экономит вычислительные ресурсы, но и подчеркивает адаптивность и эффективность обучения модели.

Сравнение оценки глубины Marigold на основе диффузии, эталонного теста Flow Matching (FM) и модели DepthFM. Каждый метод оценивается с использованием только одного члена ансамбля и с различным количеством оценок функций (NFE) на двух общих эталонных наборах данных. По сравнению с базовой линией FM, DepthFM объединяет нормальные потери и связь, зависящую от данных во время обучения.

Качественные результаты для моделей Marigold и DepthFM при различном количестве функциональных оценок. Стоит отметить, что Marigold не дает никаких значимых результатов посредством одношагового вывода, в то время как результаты DepthFM уже показывают реальную карту глубины.

Выполните глубокое завершение в Hypersim. Слева: придание глубины. Средняя: Глубина оценивается на основе заданной частичной глубины. Справа: Истинная глубина.

#7.Резюме

DepthFM, метод сопоставления потоков для монокулярной оценки глубины. Путем изучения прямого сопоставления между входным изображением и глубиной, а не шумоподавления нормального распределения в карте глубины, этот подход значительно более эффективен, чем текущие решения на основе диффузии, но при этом обеспечивает мелкозернистые карты глубины без общих артефактов дискриминационной парадигмы. . DepthFM использует предварительно обученную модель диффузии изображения в качестве априорной, эффективно передавая ее в модель сопоставления глубокого потока. Таким образом, DepthFM обучается только на синтетических данных, но при этом хорошо обобщает естественные изображения во время вывода. Кроме того, было показано, что нормальные потери на вспомогательной поверхности улучшают оценку глубины. Облегченный подход DepthFM является конкурентоспособным, быстрым и обеспечивает надежные достоверные оценки.

Читатели, которых интересуют дополнительные экспериментальные результаты и подробности статьи, могут прочитать оригинальную статью