MotionLM：多智能體運動預測的語言建模技術
Oct 13, 2023 pm 12:09 PM
本文經(jīng)自動駕駛之心公眾號授權轉載，轉載請聯(lián)絡來源。
原標題：MotionLM: Multi-Agent Motion Forecasting as Language Modeling
論文連結：https://arxiv.org/pdf/2309.16534.pdf
#作者單位： Waymo
會議：ICCV 2023
#論文想法：
##對於自動駕駛車輛安全規(guī)劃來說，可靠地預測道路代理未來行為是至關重要的。本研究將連續(xù)軌跡表示為離散運動令牌序列，並將多智能體運動預測視為語言建模任務。我們提出的模型MotionLM有以下幾個優(yōu)點：首先，它不需要使用錨點或顯式潛變數(shù)來最佳化學習多模態(tài)分佈。相反，我們利用標準的語言建模目標，最大化序列令牌的平均對數(shù)機率。其次，我們的方法避免了事後交互啟發(fā)法，其中個體代理軌跡生成是在交互評分之後進行的。相反，MotionLM在單一自回歸解碼過程中產(chǎn)生了互動式代理未來的聯(lián)合分佈。此外，模型的順序分解可以實現(xiàn)時間上的因果條件推論。我們提出的方法在Waymo Open Motion Dataset上取得了新的最先進性能，排名第一於互動式挑戰(zhàn)排行榜主要貢獻：
在這在篇文章中，我們將多智能體運動預測作為語言建模任務來討論。我們引入了時間因果解碼器，對經(jīng)過因果語言建模損失訓練的離散運動令牌進行解碼本文將結合模型中的取樣和簡單的rollout 聚合方案，以提高聯(lián)合軌蹟?shù)募訖嗄Ｊ阶R別能力。我們透過Waymo Open Motion Dataset 互動預測挑戰(zhàn)中的實驗，證明了這項新的方法在排名聯(lián)合mAP 指標上提高了6%，達到了最先進的性能水平本文對本文的方法進行了廣泛的消融實驗，並對它的時間因果條件預測進行了分析，這在很大程度上是目前的聯(lián)合預測模型所不支持的。網(wǎng)路設計：
本文的目標是以一種通用的方式對多智能體互動上的分佈建模，這種分佈可以應用於不同的下游任務，包括最低限度的、聯(lián)合的和條件預測。為了實現(xiàn)這一目標，需要一個有表現(xiàn)力的生成框架，能夠捕捉到駕駛場景中的多種形態(tài)。此外，本文在這裡考慮保存時間依賴性；即，在本文的模型中，推理遵循一個有向無環(huán)圖，每個節(jié)點的父節(jié)點在時間上較早，子節(jié)點在時間上較晚，這使得條件預測更接近因果幹預，因為它消除了某些虛假的相關性，否則就會導致不服從時間因果關係。本文觀察到，不保留時間依賴關係的聯(lián)合模型可能在預測實際agent反應方面的能力有限，這是規(guī)劃中的關鍵用途。為此，本文利用了未來解碼器的自回歸分解，其中代理的運動tokens有條件地依賴所有先前採樣的tokens，並且軌跡按順序推出
顏色梯度表示了從t = 0秒到t = 8秒的時間變化。聯(lián)合模式由綠色過渡到藍色，次聯(lián)合模式由橙色過渡到紫色的機率最大。我們觀察到了三種類型的交互：相鄰車道中的智能體會根據(jù)變換車道時間給予變換車道智能體讓行（左側），行人會根據(jù)車輛的進度走在過往車輛後面（中間），轉彎車輛要么會給過路的騎車人讓路（最可能的模式），要么會在騎車人接近之前轉彎（次要模式）（右側）
請看圖4。這張圖展示了聯(lián)合推出（左側）、幹預後因果貝葉斯網(wǎng)絡（中間）和因果條件反射（右側）的因果貝葉斯網(wǎng)絡表示
#實線表示時間上的因果相關性，而虛線表示因果訊息流。沒有時間依賴限制的模型將支持因果條件作用，但不支持時間因果條件作用，這在試圖預測agent反應時可能是有問題的。
實驗結果：
#Seff, A., Cera, B., Chen, D., Ng, M., Zhou, A., Nayakanti, N., Refaat, K. S., & Sapp, B. (2023). MotionLM: Multi-Agent Motion Forecasting as Language Modeling.?ArXiv. /abs/2309.16534
原文連結：https://mp.weixin.qq.com/s/MTai0rA8PeNFuj7UjCfd6A
#以上是MotionLM：多智能體運動預測的語言建模技術的詳細內容。更多資訊請關注PHP中文網(wǎng)其他相關文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅動的應用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
AI顛覆數(shù)學研究！菲爾茲獎得主、華裔數(shù)學家領銜11篇頂刊論文｜陶哲軒轉贊
Apr 09, 2024 am 11:52 AM
AI，的確正在改變數(shù)學。最近，一直十分關注這個議題的陶哲軒，轉發(fā)了最近一期的《美國數(shù)學學會通報》（BulletinoftheAmericanMathematicalSociety）。圍繞著「機器會改變數(shù)學嗎？」這個話題，許多數(shù)學家發(fā)表了自己的觀點，全程火花四射，內容硬核，精彩紛呈。作者陣容強大，包括菲爾茲獎得主AkshayVenkatesh、華裔數(shù)學家鄭樂雋、紐大電腦科學家ErnestDavis等多位業(yè)界知名學者。 AI的世界已經(jīng)發(fā)生了天翻地覆的變化，要知道，其中許多文章是在一年前提交的，而在這一
你好，電動Atlas！波士頓動力機器人復活，180度詭異動作嚇到馬斯克
Apr 18, 2024 pm 07:58 PM
波士頓動力Atlas，正式進入電動機器人時代！昨天，液壓Atlas剛「含淚」退出歷史舞臺，今天波士頓動力就宣布：電動Atlas上崗?？磥?，在商用人形機器人領域，波士頓動力是下定決心要跟特斯拉硬剛一把了。新影片放出後，短短十幾小時內，就已經(jīng)有一百多萬觀看。舊人離去，新角色登場，這是歷史的必然。毫無疑問，今年是人形機器人的爆發(fā)年。網(wǎng)友銳評：機器人的進步，讓今年看起來像人類的開幕式動作、自由度遠超人類，但這真不是恐怖片？影片一開始，Atlas平靜地躺在地上，看起來應該是仰面朝天。接下來，讓人驚掉下巴
全球最強開源 MoE 模型來了，中文能力比肩 GPT-4，價格僅 GPT-4-Turbo 的近百分之一
May 07, 2024 pm 04:13 PM
想像一下，一個人工智慧模型，不僅擁有超越傳統(tǒng)運算的能力，還能以更低的成本實現(xiàn)更有效率的效能。這不是科幻，DeepSeek-V2[1]，全球最強開源MoE模型來了。 DeepSeek-V2是一個強大的專家混合（MoE）語言模型，具有訓練經(jīng)濟、推理高效的特點。它由236B個參數(shù)組成，其中21B個參數(shù)用於啟動每個標記。與DeepSeek67B相比，DeepSeek-V2效能更強，同時節(jié)省了42.5%的訓練成本，減少了93.3%的KV緩存，最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智
Google狂喜：JAX性能超越Pytorch、TensorFlow！或成GPU推理訓練最快選擇
Apr 01, 2024 pm 07:46 PM
谷歌力推的JAX在最近的基準測試中表現(xiàn)已經(jīng)超過Pytorch和TensorFlow，7項指標排名第一。而且測試並不是JAX性能表現(xiàn)最好的TPU上完成的。雖然現(xiàn)在在開發(fā)者中，Pytorch依然比Tensorflow更受歡迎。但未來，也許有更多的大型模型會基於JAX平臺進行訓練和運行。模型最近，Keras團隊為三個後端（TensorFlow、JAX、PyTorch）與原生PyTorch實作以及搭配TensorFlow的Keras2進行了基準測試。首先，他們?yōu)樯墒胶头巧墒饺斯ぶ腔廴蝿者x擇了一組主流
特斯拉機器人進廠打工，馬斯克：手的自由度今年將達到22個！
May 06, 2024 pm 04:13 PM
特斯拉機器人Optimus最新影片出爐，已經(jīng)可以在工廠裡打工了。正常速度下，它分揀電池（特斯拉的4680電池）是這樣的：官方還放出了20倍速下的樣子——在小小的「工位」上，揀啊揀啊揀：這次放出的影片亮點之一在於Optimus在廠子裡完成這項工作，是完全自主的，全程沒有人為的干預。而且在Optimus的視角之下，它還可以把放歪了的電池重新?lián)炱饋矸胖?，主打一個自動糾錯：對於Optimus的手，英偉達科學家JimFan給出了高度的評價：Optimus的手是全球五指機器人裡最靈巧的之一。它的手不僅有觸覺
替代MLP的KAN，被開源專案擴展到卷積了
Jun 01, 2024 pm 10:03 PM
本月初，來自MIT等機構的研究者提出了一種非常有潛力的MLP替代方法—KAN。 KAN在準確性和可解釋性方面表現(xiàn)優(yōu)於MLP。而且它能以非常少的參數(shù)量勝過以更大參數(shù)量運行的MLP。例如，作者表示，他們用KAN以更小的網(wǎng)路和更高的自動化程度重現(xiàn)了DeepMind的結果。具體來說，DeepMind的MLP有大約300,000個參數(shù)，而KAN只有約200個參數(shù)。 KAN與MLP一樣具有強大的數(shù)學基礎，MLP基於通用逼近定理，而KAN基於Kolmogorov-Arnold表示定理。如下圖所示，KAN在邊上具
本地運作效能超越 OpenAI Text-Embedding-Ada-002 的 Embedding 服務，太方便了！
Apr 15, 2024 am 09:01 AM
Ollama是一款超實用的工具，讓你能夠在本地輕鬆運行Llama2、Mistral、Gemma等開源模型。本文我將介紹如何使用Ollama實現(xiàn)對文本的向量化處理。如果你本地還沒有安裝Ollama，可以閱讀這篇文章。本文我們將使用nomic-embed-text[2]模型。它是一種文字編碼器，在短的上下文和長的上下文任務上，效能超越了OpenAItext-embedding-ada-002和text-embedding-3-small。啟動nomic-embed-text服務當你已經(jīng)成功安裝好o
FisheyeDetNet：首個以魚眼相機為基礎的目標偵測演算法
Apr 26, 2024 am 11:37 AM
目標偵測在自動駕駛系統(tǒng)當中是一個比較成熟的問題，其中行人偵測是最早得以部署演算法之一。在多數(shù)論文當中已經(jīng)進行了非常全面的研究。然而，利用魚眼相機進行環(huán)視的距離感知相對來說研究較少。由於徑向畸變大，標準的邊界框表示在魚眼相機當中很難實施。為了緩解上述描述，我們探索了擴展邊界框、橢圓、通用多邊形設計為極座標/角度表示，並定義一個實例分割mIOU度量來分析這些表示。所提出的具有多邊形形狀的模型fisheyeDetNet優(yōu)於其他模型，並同時在用於自動駕駛的Valeo魚眼相機資料集上實現(xiàn)了49.5%的mAP
