顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了
Mar 12, 2025 pm 01:03 PM
上海交大、上海AI Lab和港中文大學(xué)的研究人員推出Visual-RFT（視覺強(qiáng)化微調(diào)）開源項(xiàng)目，該項(xiàng)目僅需少量數(shù)據(jù)即可顯著提升視覺語言大模型（LVLM）性能。 Visual-RFT巧妙地將DeepSeek-R1的基于規(guī)則獎勵的強(qiáng)化學(xué)習(xí)方法與OpenAI的強(qiáng)化微調(diào)（RFT）范式相結(jié)合，成功地將這一方法從文本領(lǐng)域擴(kuò)展到視覺領(lǐng)域。
通過為視覺細(xì)分類、目標(biāo)檢測等任務(wù)設(shè)計(jì)相應(yīng)的規(guī)則獎勵，Visual-RFT克服了DeepSeek-R1方法僅限于文本、數(shù)學(xué)推理等領(lǐng)域的局限性，為LVLM訓(xùn)練提供了新的途徑。
Visual-RFT的優(yōu)勢：
與傳統(tǒng)的視覺指令微調(diào)（SFT）方法相比，Visual-RFT具有以下顯著優(yōu)勢：
- 少樣本學(xué)習(xí)能力:僅需10到1000條數(shù)據(jù)即可實(shí)現(xiàn)有效微調(diào)。
- 更強(qiáng)的泛化性:在數(shù)據(jù)有限的場景下，性能優(yōu)于SFT。
研究人員在多個視覺感知任務(wù)（檢測、分類、定位等）上對Visual-RFT進(jìn)行了驗(yàn)證，結(jié)果表明，即使在開放詞匯和少樣本學(xué)習(xí)的設(shè)定下，Visual-RFT也能取得顯著的性能提升，輕松實(shí)現(xiàn)能力遷移。
研究人員針對不同的任務(wù)設(shè)計(jì)了相應(yīng)的可驗(yàn)證獎勵：基于IoU的獎勵用于檢測和定位任務(wù)，基于分類正確性的獎勵用于分類任務(wù)。
在推理定位任務(wù)中，Visual-RFT展現(xiàn)出強(qiáng)大的視覺推理能力，例如，準(zhǔn)確識別圖片中運(yùn)動員需要佩戴的防水眼鏡。
實(shí)驗(yàn)結(jié)果:
基于QWen2-VL 2B/7B模型進(jìn)行的實(shí)驗(yàn)表明，Visual-RFT在開放目標(biāo)檢測、少樣本檢測、細(xì)粒度分類和推理定位任務(wù)上均優(yōu)于SFT。 即使是檢測特定動漫角色（例如史萊姆），Visual-RFT也只需少量數(shù)據(jù)即可實(shí)現(xiàn)。
開源信息:
Visual-RFT項(xiàng)目已開源，包含訓(xùn)練、評測代碼和數(shù)據(jù)。
項(xiàng)目地址： http://ipnx.cn/link/ec56522bc9c2e15be17d11962eeec453
以上是顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了的詳細(xì)內(nèi)容。更多信息請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費(fèi)的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
以太坊是什么幣？以太坊ETH獲得的方式有哪些？
Jul 31, 2025 pm 11:00 PM
以太坊是一個基于智能合約的去中心化應(yīng)用平臺，其原生代幣ETH可通過多種方式獲取。1、通過Binance必安、歐意ok等中心化平臺注冊賬戶、完成KYC認(rèn)證并用穩(wěn)定幣購買ETH；2、通過去中心化平臺連接數(shù)字儲存，使用穩(wěn)定幣或其他代幣直接兌換ETH；3、參與網(wǎng)絡(luò)質(zhì)押，可選擇獨(dú)立質(zhì)押（需32個ETH）、流動性質(zhì)押服務(wù)或在中心化平臺一鍵質(zhì)押以獲取獎勵；4、通過為Web3項(xiàng)目提供服務(wù)、完成任務(wù)或獲得空投等方式賺取ETH。建議初學(xué)者從主流中心化平臺入手，逐步過渡到去中心化方式，并始終重視資產(chǎn)安全與自主研究，以
幣圈免費(fèi)行情網(wǎng)站怎么選？2025年最全測評
Jul 29, 2025 pm 06:36 PM
2025年最適合查詢穩(wěn)定幣行情的免費(fèi)工具依次為：1. 幣安，數(shù)據(jù)權(quán)威、交易對豐富，集成TradingView圖表適合技術(shù)分析；2. 歐易，界面清晰、功能整合強(qiáng)，支持Web3賬戶與DeFi一站式操作；3. CoinMarketCap，收錄幣種多，穩(wěn)定幣板塊可查看市值排名與脫錨情況；4. CoinGecko，數(shù)據(jù)維度全面，提供信任分?jǐn)?shù)與社區(qū)活躍度指標(biāo)，立場中立；5. 火幣（HTX），行情穩(wěn)定、操作友好，適合主流資產(chǎn)查詢；6. Gate.io，新幣與小眾幣種收錄最快，是挖掘潛力項(xiàng)目的首選；7. Tra
Ethena財庫策略：穩(wěn)定幣第三帝國的崛起
Jul 30, 2025 pm 08:12 PM
目錄雙幣系統(tǒng)大逃殺真實(shí)采用仍未發(fā)生結(jié)語2023年8月，MakerDAO生態(tài)借貸協(xié)議Spark給出$DAI8%的年化收益，隨后孫割分批進(jìn)入，累計(jì)投入23萬枚$stETH，最高占Spark存款量15%以上，逼得MakerDAO緊急提案，把利率下調(diào)到5%。MakerDAO的本意是“補(bǔ)貼”$DAI的使用率，差點(diǎn)變成孫宇晨的SoloYield。2025年7月，Ethe
幣安Treehouse(TREE幣)是什么?即將上線的Treehouse項(xiàng)目概述,代幣經(jīng)濟(jì)與未來發(fā)展分析
Jul 30, 2025 pm 10:03 PM
目錄什么是Treehouse(TREE)？Treehouse（TREE）如何運(yùn)作？Treehouse產(chǎn)品tETHDOR——分散報價利率GoNuts積分系統(tǒng)Treehouse亮點(diǎn)TREE代幣和代幣經(jīng)濟(jì)學(xué)概述2025年第三季度路線圖開發(fā)團(tuán)隊(duì)、投資者和合作伙伴Treehouse創(chuàng)始團(tuán)隊(duì)投資基金伙伴總結(jié)隨著DeFi的不斷擴(kuò)張，固定收益產(chǎn)品的需求日益增長，其作用類似于債券在傳統(tǒng)金融市場中的作用。然而，在區(qū)塊鏈上構(gòu)建
以太坊(ETH) NFT 七日銷量近1.6億美元，貸款機(jī)構(gòu)借助 World ID 推出無擔(dān)保加密貸款
Jul 30, 2025 pm 10:06 PM
目錄加密市場全景掘金熱門代幣VINEVine（ 114.79%，流通市值1.44億美元）ZORAZora（ 16.46%，流通市值2.9億美元）NAVXNAVIProtocol（ 10.36%，流通市值3,576.24萬美元）Alpha解讀過去7天以太坊鏈上NFT銷售額近1.6億美元，CryptoPunks居第一去中心化證明者網(wǎng)絡(luò)Succinct推出Succinct基金會，或?yàn)榇鷰臫GE
什么是穩(wěn)定幣？一文看懂穩(wěn)定幣！
Jul 29, 2025 pm 01:03 PM
穩(wěn)定幣是價值錨定法幣或商品的加密貨幣，旨在解決比特幣等價格波動問題，其重要性體現(xiàn)在作為避險工具、交易媒介和連接法幣與加密世界的橋梁。1. 法幣抵押穩(wěn)定幣由美元等法定貨幣全額儲備支持，優(yōu)點(diǎn)是機(jī)制簡單穩(wěn)定，缺點(diǎn)是依賴中心化機(jī)構(gòu)信任，代表項(xiàng)目有USDT、USDC；2. 加密貨幣抵押穩(wěn)定幣通過超額抵押主流加密資產(chǎn)發(fā)行，優(yōu)點(diǎn)是去中心化和透明，缺點(diǎn)是面臨清算風(fēng)險，代表項(xiàng)目為DAI；3. 算法穩(wěn)定幣依靠算法調(diào)節(jié)供需維持價格穩(wěn)定，優(yōu)點(diǎn)是無需抵押、資本效率高，缺點(diǎn)是機(jī)制復(fù)雜、風(fēng)險高，曾出現(xiàn)脫錨崩潰案例，目前仍處探
在幣圈賺錢的只有一種人
Jul 29, 2025 pm 03:24 PM
真正能穩(wěn)定賺錢的是具備反人性特質(zhì)的逆周期操盤手，1. 他們通過對抗情緒綁架，在市場FOMO時識別鯨魚誘多，在恐慌拋售時捕捉錯殺資產(chǎn)；2. 建立機(jī)械化交易紀(jì)律，嚴(yán)格執(zhí)行止盈止損規(guī)則以對抗貪婪與恐懼；3. 運(yùn)用認(rèn)知套利思維，通過鏈上數(shù)據(jù)、代碼更新等底層信息提前發(fā)現(xiàn)機(jī)構(gòu)動向與趨勢機(jī)會，最終將情緒隔離、數(shù)據(jù)決策和反周期操作固化為交易本能，從而在人性放大的加密市場中持續(xù)獲利。
索拉納幣(Solana)與 Base幣 創(chuàng)始人開啟論戰(zhàn)：Zora 上的內(nèi)容有"基本價值"
Jul 30, 2025 pm 09:24 PM
一場關(guān)于“創(chuàng)作者代幣”價值的唇槍舌戰(zhàn)，席卷了加密社交圈。Base與Solana兩大公鏈掌舵人罕見正面交鋒，圍繞ZORA和Pump.fun展開激烈辯論，瞬間點(diǎn)燃CryptoTwitter的討論熱潮。這場火藥味十足的對峙，究竟從何而來？我們來一探究竟。爭議爆發(fā)：SterlingCrispin對Zora發(fā)難風(fēng)波的導(dǎo)火索，是DelComplex研究員SterlingCrispin在社交平臺公開炮轟Zora。Zora是Base鏈上的社交協(xié)議，主打?qū)⒂脩糁黜撆c內(nèi)容代幣化
