北京時間 6 月 20 日凌晨，在西雅圖舉辦的國際電腦視覺頂會 CVPR 2024 正式公佈了最佳論文等獎項。

今年共有10篇論文獲獎，其中2篇最佳論文，2篇最佳學生論文，另外還有2篇最佳論文提名和4篇最佳學生論文提名。

電腦視覺（CV）領(lǐng)域的頂級會議是CVPR，每年都會吸引大量研究機構(gòu)和高校參會。根據(jù)統(tǒng)計，今年共提交了11532份論文，2719篇被接收，錄取率為23.6%。

根據(jù)喬治亞理工學院對CVPR 2024的數(shù)據(jù)統(tǒng)計分析，從研究主題來看，論文數(shù)量最多的是圖像和視頻合成與生成（Image and video synthesis and generation）主題，共329篇。

今年的與會者總數(shù)高於往年，且越來越多的人選擇了線下參會。

最佳論文

• 論文1：Generative Image Dynamics

• 作者：Zhengqi Liams、Richard Tkqi Li

• 論文地址：https://arxiv.org/pdf/2309.07906

Zhengqi Li（李正奇）是Google DeepMind 的研究科學家。此前，他在康乃爾大學獲得了電腦科學博士學位，師從 Noah Snavely 教授。他的研究成果曾多次獲獎，包括 2020 年 Google 博士獎學金、2020 年 Adob????e 研究獎學金、CVPR 2019 和 CVPR 2023 最佳論文榮譽獎、ICCV 2023 最佳學生論文獎。

摘要

：該研究提出了一種對場景運動建模圖像 - 空間先驗的方法。先驗是從集合中學到的從真實影片序列中提取的運動軌跡，描繪了物體的自然振盪動力學，例如樹木、衣服等物體在風中搖曳。研究建模傅立葉域中密集的長期運動作為頻譜體積（spectral volume），研究團隊發(fā)現(xiàn)這非常適合用擴散模型預測。

給定單一影像，該研究訓練的模型使用頻率協(xié)調(diào)擴散取樣過程來預測頻譜體積，也可以轉(zhuǎn)換為跨越整個影片的運動紋理（motion texture）。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ?下對中上（上調(diào)整時的紋理時光的感覺（頂部）或放大倍率（底部運動幅度。

^{與基於圖像的渲染模組一起，預測的運動表徵可用於許多下游應用，例如將靜止圖像變成無縫循環(huán)視頻，或者允許用戶與真實圖像中的對象進行交互，產(chǎn)生逼真的模擬動態(tài)。}

論文2：Rich Human Feedback for Text-to-Image Generation

• 作者：Youwei Liang、Junfeng He、Gang Li、Pemihao Liangyi分校、Google研究院、南加州大學、劍橋大學、布蘭迪斯大學

• 論文地址：https://arxiv.org/pdf/2312.10240

• 欄我們可以從論文作者一欄看到，這項研究有多位華人參與，其中Youwei Liang 是加州大學聖迭戈分校電子與電腦工程系的博士生，在此之前，他是華南農(nóng)業(yè)大學資訊與電腦科學專業(yè)的本科生；Junfeng He 來自谷歌，此前他碩士畢業(yè)於清華大學。

  摘要：最近，文字到圖像（T2I）生成模型取得重大進展，能夠根據(jù)文字描述產(chǎn)生高解析度圖像。然而，許多生成的圖像仍然存在偽影 / 不可信、與事實不符、美觀低等問題。

  受人類回饋強化學習（RLHF）成功用於大型語言模型的啟發(fā)，該研究透過以下方式來豐富回饋訊號：

  • 用文字標記不可信或不對齊的圖像區(qū)域；

  • 對文字prompt 中的單字在圖像上被扭曲或缺失的情況，進行註釋。

  

  該研究創(chuàng)建了 18K 生成圖像資料集 RichHF-18K，並在 RichHF-18K 上收集了豐富的人類回饋，並訓練多模態(tài) transformer 自主預測回饋。該研究證明預測的人類回饋可用於改進影像生成，例如透過選擇高品質(zhì)的訓練資料微調(diào)和改進生成模型，或透過創(chuàng)建遮罩來修復有問題的影像區(qū)域。

  

  最佳論文亞軍

  • 論文1：EventPS: Real-Time Photometric Stereo Using an as Camera

  • . Boxin Shi

  • 機構(gòu)：北京大學、上海交通大學等

  • 論文地址：https://openaccess.thecvf.com/content/CVPR2024/papers/Yu_EventPS_Real-_Photometricsing_Stereo_Photometric05_pdf

  

  論文2：pixelSplat: 3D Gaussian Splats from Image Pairs for Scalable Generalizable 3D Reconstruction
  作者：David Charatan 、 Sizhe Lester Li 、 Andrea Tagliasacchi 、M大學
  論文地址：https://openaccess.thecvf.com/content/CVPR2024/papers/Charatan_pixelSplat_3D_Gaussian_Splats_from_Image_Pairs_for_Scalable_Geneiz??n_Scalable_Geneiz.pdf

  • 最佳學生論文
  論文1：BioCLIP: A Vision Foundation Model for the Tree of Life

  

  作者：Samuel Stevens 、Jiaman Wu 、Matthew J Thompson 、 Elizabeth G Campolongo 、 Chan Hee Song 、 David Edward Carlyn 、 Li Dong 、 Wasila M Dahdul 、 Charles Stewart 、 Tanya Berger-Wolf , Wei-Lun Chao 、 Yu Su
  機構(gòu)：俄亥俄州立大學、微軟研究院、加州大學歐文分校、倫斯勒理工學院

  • 論文地址：https://arxiv.org/pdf/2311.18803
  摘要
  • ：從無人機到個人手機，各種相機收集的自然世界影像日益成為生物資訊的豐富來源。計算方法和工具的爆炸式增長，特別是電腦視覺，用於從科學和保護圖像中提取生物學相關(guān)資訊。然而，其中大多數(shù)都是為特定任務設(shè)計的客製化方法，不容易適應或擴展到新的問題、上下文和資料集。研究者急需一個用於影像上一般生物體生物學問題的視覺模型。
    為了實現(xiàn)這一目標，該研究策劃並發(fā)布了 TREEOFLIFE-10M，這是規(guī)模最大、最多樣化的生物圖像資料集 ML-ready。基於此，研究者開發(fā)了基礎(chǔ)模型BIOCLIP，主要用於建構(gòu)生命之樹（tree of life），利用TREEOFLIFE-10M 捕捉到的生物學獨特屬性，即植物、動物和真菌圖像的豐富性和多樣性，以及豐富的結(jié)構(gòu)化生物學知識。

  ? ? ? ? ? ? ? ? ? ? ? ? ?TREEOFLIFE-10M 閘中 108 門的樹狀圖。

  研究者在各種細粒度生物學分類任務上對本文方法進行了嚴格的基準測試，發(fā)現(xiàn) BIOCLIP 的表現(xiàn)始終顯著優(yōu)於現(xiàn)有基線（絕對值高出 16% 到 17%）。

  內(nèi)在評估表明，BIOCLIP 已經(jīng)學會了符合生命之樹的分層表示，這揭示了其強大的通用性。

  論文 2：Mip-Splatting：Alias-free 3D Gaussian Splatting

  論文作者：Zehao Yu, Anpei Chen, Binbin Huang, Torsten Sattler, Andreas Gegler, Andreas

• 機構(gòu)：圖賓根大學、圖賓根人工智慧中心、上?？萍即髮W、布賴特寧、布拉格捷克技術(shù)大學

• 論文地址：https://arxiv.org/abs/2311.16493

摘要：最近，3D 高斯?jié)姙R技術(shù)在新穎視圖合成方面展示了令人印象深刻的成果，達到了高保真度和效率水平。然而，當改變?nèi)勇蕰r（例如透過改變焦距或攝影機距離），強烈的偽影現(xiàn)象可能會出現(xiàn)。

^{3D 高斯?jié)姙R透過將 3D 物件表示為投影到影像平面上的 3D 高斯函數(shù)，隨後在螢幕空間中進行 2D 膨脹處理，如圖 (a) 所示。此方法的內(nèi)在收縮偏差導致退化的 3D 高斯函數(shù)超出取樣限制，如圖 (b) 中的 δ 函數(shù)所示，而由於膨脹操作，其渲染效果類似於 2D。然而，當改變?nèi)勇剩ㄍ高^焦距或相機距離）時，會觀察到強烈的膨脹效應（c）和高頻偽影（d）。}

該研究團隊發(fā)現(xiàn)這種現(xiàn)象的原因可以歸因於缺乏 3D 頻率約束以及使用了 2D dilation filter。為了解決這個問題，他們引入了 3D smoothing filter，該濾波器根據(jù)輸入視圖引起的最大取樣頻率來約束 3D Gaussian primitives 的大小，從而在放大時消除高頻偽影。

此外，作者團隊用 2D Mip filter 取代 2D dilation filter，這種濾波器模擬了 2D box filter，有效地緩解了走樣和膨脹問題。研究者根據(jù)評估，包括在單尺度影像上訓練和多尺度測試等場景，驗證了這種方法的有效性。

最佳學生論文亞軍

• 論文：SpiderMatch: 3D Shape Matching with Global Optimality and Geometric Consistency

• 鏈接：https://openaccess.thecvf.com/content/CVPR2024/papers/Roetzer_SpiderMatch_3D_Shape_Matching_with_Global_Optimality_and_Geometric_Consistency_CVPR_2024_paper.pdf s : Breaking Rigidity in Super-Resolution

• 作者：Yuchuan Tian, Hanting Chen, Chao Xu, 約希.pdf

論文：Objects as volumes: A stochastic geometry view of opaque solids

• S

  機構(gòu)：卡內(nèi)基美隆大學

• 連結(jié)：https://arxiv.org/pdf/2312.15406v2
論文：Comparing the Decision-Makingchand and via

Mingqi Jiang 、 Saeed Khorram 、 Li Fuxin

機構(gòu)：俄勒岡州立大學
連結(jié)：https://openaccess.thecvf.com/content/CVPR2024/papers/Jiang_CV0ing_thecvf.com/content/CVPR2024/papers/Jiang_CVs_thes_DeCompsion_Sviaconfer??_Fes??_cxes??_i_alc??_cx??_Loma_F??alom _paper.pdf
其他獎項

• 大會也公佈了PAMI TC 獎，包括Longuet-Higgins 獎、青年研究者獎、Thomas S. Huang 紀念獎三項。

Longuet-Higgins 獎

• Longuet-Higgins 獎是IEEE 計算機協(xié)會模式分析與機器智能（PAMI）技術(shù)委員會在每年的CVPR 頒發(fā)的“計算機基礎(chǔ)貢獻獎”，表彰十年前對視覺基礎(chǔ)貢獻計算機視覺研究產(chǎn)生了重大影響的CVPR 論文。該獎項以理論化學家和認知科學家 H. Christopher Longuet-Higgins 命名。

今年獲獎的論文是《Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation》。



• 作者：Ross Girshick, Jeff Donahue, Trevor Darrell and Jitendra Malik

• 機構(gòu)：UC 柏克萊

  /紙
• 1512531251353253253 月。

青年研究者獎

青年研究者獎（Young Researcher Awards）旨在表彰年輕的科學家，鼓勵他們繼續(xù)做出開創(chuàng)性的工作。評選標準是獲獎者獲得博士學位的年資少於 7 年。

今年獲獎者為 Angjoo Kanazawa（UC 柏克萊）和 Carl Vondrick（哥倫比亞大學）。

另外，Katie Bouman（加州理工學院）獲得了青年研究者獎榮譽提名。

Thomas Huang 紀念獎

在CVPR 2020 上，為了紀念Thomas S. Huang（黃煦濤）教授，PAMITC 獎勵委員會批準設(shè)立Thomas S. Huang 紀念獎，以表彰教育和在 Huang CV方面被公認為楷模的研究人員。該獎項從 2021 年開始頒發(fā)。獲獎者需要拿到博士學位至少 7 年，最好處於職涯發(fā)展中期（不超過 25 年）。

今年的得獎者是牛津大學教授 Andrea Vedaldi。

更多資訊可參考：https://media.eventhosts.cc/Conferences/CVPR2024/OpeningRemarkSlides.pdf

參考連結(jié)：

/views/CVPR2024/CVPRtrends?%3AshowVizHome=no&continueFlag=6a947f6367e90acd982f7ee49a495fe2

以上是CVPR 2024全部獎項公佈！近萬人線下參會，Google華人研究員獲最佳論文獎的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！