想像一下，一個(gè)人工智慧模型，不僅擁有超越傳統(tǒng)運(yùn)算的能力，還能以更低的成本實(shí)現(xiàn)更有效率的效能。這不是科幻，DeepSeek-V2[1]，全球最強(qiáng)開源MoE模型來了。 DeepSeek-V2是一個(gè)強(qiáng)大的專家混合（MoE）語言模型，具有訓(xùn)練經(jīng)濟(jì)、推理高效的特點(diǎn)。它由236B個(gè)參數(shù)組成，其中21B個(gè)參數(shù)用於啟動每個(gè)標(biāo)記。與DeepSeek67B相比，DeepSeek-V2效能更強(qiáng)，同時(shí)節(jié)省了42.5%的訓(xùn)練成本，減少了93.3%的KV緩存，最大生成吞吐量提高到5.76倍。 DeepSeek是一家探索通用人工智

關(guān)於Llama3，又有測試結(jié)果新鮮出爐－大模型評測社群LMSYS發(fā)布了一份大模型排行榜單，Llama3位列第五，英文單項(xiàng)與GPT-4並列第一。圖片不同於其他Benchmark，這份榜單的依據(jù)是模型一對一battle，由全網(wǎng)測評者自行命題並評分。最終，Llama3取得了榜單中的第五名，排在前面的是GPT-4的三個(gè)不同版本，以及Claude3超大杯Opus。而在英文單項(xiàng)榜單中，Llama3反超了Claude，與GPT-4打成了平手。對於這一結(jié)果，Meta的首席科學(xué)家LeCun十分高興，轉(zhuǎn)發(fā)了推文並

如今的深度學(xué)習(xí)方法專注於設(shè)計(jì)最適合的目標(biāo)函數(shù)，以使模型的預(yù)測結(jié)果與實(shí)際情況最接近。同時(shí)，必須設(shè)計(jì)一個(gè)合適的架構(gòu)，以便為預(yù)測取得足夠的資訊?，F(xiàn)有方法忽略了一個(gè)事實(shí)，當(dāng)輸入資料經(jīng)過逐層特徵提取和空間變換時(shí)，大量資訊將會遺失。本文將深入探討資料透過深度網(wǎng)路傳輸時(shí)的重要問題，即資訊瓶頸和可逆函數(shù)?；洞颂岢隽丝删幊烫荻荣Y訊（PGI）的概念，以應(yīng)對深度網(wǎng)路實(shí)現(xiàn)多目標(biāo)所需的各種變化。 PGI可以為目標(biāo)任務(wù)提供完整的輸入訊息，以計(jì)算目標(biāo)函數(shù)，從而獲得可靠的梯度資訊以更新網(wǎng)路權(quán)重。此外設(shè)計(jì)了一種新的輕量級網(wǎng)路架

人形機(jī)器人Ameca升級第二代了！最近，在世界行動通訊大會MWC2024上，世界上最先進(jìn)機(jī)器人Ameca又現(xiàn)身了。會場周圍，Ameca引來一大波觀眾。得到GPT-4加持後，Ameca能夠?qū)Ω鞣N問題做出即時(shí)反應(yīng)。 「來一段舞蹈」。當(dāng)被問及是否有情感時(shí)，Ameca用一系列的面部表情做出回應(yīng)，看起來非常逼真。就在前幾天，Ameca背後的英國機(jī)器人公司EngineeredArts剛剛示範(fàn)了團(tuán)隊(duì)最新的開發(fā)成果。影片中，機(jī)器人Ameca具備了視覺能力，能看見並描述房間整個(gè)狀況、描述具體物體。最厲害的是，她還能

好強(qiáng)大的AI模仿能力，真的防不住，完全防不住。現(xiàn)在AI的發(fā)展已經(jīng)達(dá)到這種程度了嗎？你前腳讓自己的五官亂飛，後腳，一模一樣的表情就被復(fù)現(xiàn)出來，瞪眼、挑眉、噘嘴，不管多麼誇張的表情，都模仿的非常到位。加大難度，讓眉毛挑的再高些，眼睛睜的再大些，甚至連嘴型都是歪的，虛擬人物頭像也能完美復(fù)現(xiàn)表情。當(dāng)你在左邊調(diào)整參數(shù)時(shí)，右邊的虛擬頭像也會相應(yīng)地改變動作給嘴巴、眼睛一個(gè)特寫，模仿的不能說完全相同，只能說表情一模一樣（最右邊）。這項(xiàng)研究來自慕尼黑工業(yè)大學(xué)等機(jī)構(gòu)，他們提出了GaussianAvatars，這種

卷瘋了卷瘋了，大模型又變天了。就在剛剛，全球最強(qiáng)AI模型一夜易主，GPT-4被拉下神壇。 Anthropic發(fā)布了最新的Claude3系列模型，一句話評價(jià)：真·全面碾壓GPT-4！在多模態(tài)和語言能力指標(biāo)上，Claude3都贏麻了。用Anthropic的話來說，Claude3系列模型在推理、數(shù)學(xué)、編碼、多語言理解和視覺方面，都樹立了新的行業(yè)基準(zhǔn)！ Anthropic，就是曾因安全理念不合，而從OpenAI「叛逃」出的員工組成的新創(chuàng)公司，他們的產(chǎn)品一再給OpenAI暴擊。這次的Claude3，更是整了個(gè)大的

論文地址：https://arxiv.org/abs/2307.09283代碼地址：https://github.com/THU-MIG/RepViTRepViT在移動端ViT架構(gòu)中表現(xiàn)出色，展現(xiàn)出顯著的優(yōu)勢。接下來，我們將探討本研究的貢獻(xiàn)所在。文中提到，輕量級ViTs通常比輕量級CNNs在視覺任務(wù)上表現(xiàn)得更好，這主要?dú)w功于它們的多頭自注意力模塊(MSHA)可以讓模型學(xué)習(xí)全局表示。然而，輕量級ViTs和輕量級CNNs之間的架構(gòu)差異尚未得到充分研究。在這項(xiàng)研究中，作者們通過整合輕量級ViTs的有效

軌跡預(yù)測近兩年風(fēng)頭正猛，但大都聚焦於車輛軌跡預(yù)測方向，自動駕駛之心今天就為大家分享頂會NeurIPS上關(guān)於行人軌跡預(yù)測的演算法—SHENet，在受限場景中人類的移動模式通常在一定程度上符合有限的規(guī)律?；哆@個(gè)假設(shè)，SHENet透過學(xué)習(xí)隱含的場景規(guī)律來預(yù)測一個(gè)人的未來軌跡。文章已經(jīng)授權(quán)自動駕駛之心原創(chuàng)！作者的個(gè)人理解由於人類運(yùn)動的隨機(jī)性和主觀性，目前預(yù)測一個(gè)人的未來軌跡仍然是一個(gè)具有挑戰(zhàn)性的問題。然而，由於場景限制（例如平面圖、道路和障礙物）以及人與人或人與物體的互動性，在受限場景中人類的移動模式通