顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了
Mar 12, 2025 pm 01:03 PM
上海交大、上海AI Lab和港中文大學(xué)的研究人員推出Visual-RFT（視覺強化微調(diào)）開源項目，該項目僅需少量數(shù)據(jù)即可顯著提升視覺語言大模型（LVLM）性能。Visual-RFT巧妙地將DeepSeek-R1的基于規(guī)則獎勵的強化學(xué)習方法與OpenAI的強化微調(diào)（RFT）范式相結(jié)合，成功地將這一方法從文本領(lǐng)域擴展到視覺領(lǐng)域。
通過為視覺細分類、目標檢測等任務(wù)設(shè)計相應(yīng)的規(guī)則獎勵，Visual-RFT克服了DeepSeek-R1方法僅限于文本、數(shù)學(xué)推理等領(lǐng)域的局限性，為LVLM訓(xùn)練提供了新的途徑。
Visual-RFT的優(yōu)勢：
與傳統(tǒng)的視覺指令微調(diào)（SFT）方法相比，Visual-RFT具有以下顯著優(yōu)勢：
- 少樣本學(xué)習能力: 僅需10到1000條數(shù)據(jù)即可實現(xiàn)有效微調(diào)。
- 更強的泛化性: 在數(shù)據(jù)有限的場景下，性能優(yōu)于SFT。
研究人員在多個視覺感知任務(wù)（檢測、分類、定位等）上對Visual-RFT進行了驗證，結(jié)果表明，即使在開放詞匯和少樣本學(xué)習的設(shè)定下，Visual-RFT也能取得顯著的性能提升，輕松實現(xiàn)能力遷移。
研究人員針對不同的任務(wù)設(shè)計了相應(yīng)的可驗證獎勵：基于IoU的獎勵用于檢測和定位任務(wù)，基于分類正確性的獎勵用于分類任務(wù)。
在推理定位任務(wù)中，Visual-RFT展現(xiàn)出強大的視覺推理能力，例如，準確識別圖片中運動員需要佩戴的防水眼鏡。
實驗結(jié)果:
基于QWen2-VL 2B/7B模型進行的實驗表明，Visual-RFT在開放目標檢測、少樣本檢測、細粒度分類和推理定位任務(wù)上均優(yōu)于SFT。 即使是檢測特定動漫角色（例如史萊姆），Visual-RFT也只需少量數(shù)據(jù)即可實現(xiàn)。
開源信息:
Visual-RFT項目已開源，包含訓(xùn)練、評測代碼和數(shù)據(jù)。
項目地址：http://ipnx.cn/link/ec56522bc9c2e15be17d11962eeec453
以上是顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
PHP調(diào)用AI智能語音助手 PHP語音交互系統(tǒng)搭建
Jul 25, 2025 pm 08:45 PM
用戶語音輸入通過前端JavaScript的MediaRecorderAPI捕獲並發(fā)送至PHP後端；2.PHP將音頻保存為臨時文件後調(diào)用STTAPI（如Google或百度語音識別）轉(zhuǎn)換為文本；3.PHP將文本發(fā)送至AI服務(wù)（如OpenAIGPT）獲取智能回復(fù)；4.PHP再調(diào)用TTSAPI（如百度或Google語音合成）將回復(fù)轉(zhuǎn)為語音文件；5.PHP將語音文件流式返回前端播放，完成交互。整個流程由PHP主導(dǎo)數(shù)據(jù)流轉(zhuǎn)與錯誤處理，確保各環(huán)節(jié)無縫銜接。
如何用PHP搭建社交分享功能 PHP分享接口集成實戰(zhàn)
Jul 25, 2025 pm 08:51 PM
在PHP中搭建社交分享功能的核心方法是通過動態(tài)生成符合各平臺要求的分享鏈接。 1.首先獲取當前頁面或指定的URL及文章信息；2.使用urlencode對參數(shù)進行編碼；3.根據(jù)各平臺協(xié)議拼接生成分享鏈接；4.在前端展示鏈接供用戶點擊分享；5.動態(tài)生成頁面OG標籤優(yōu)化分享內(nèi)容展示；6.務(wù)必對用戶輸入進行轉(zhuǎn)義以防止XSS攻擊。該方法無需複雜認證，維護成本低，適用於大多數(shù)內(nèi)容分享需求。
如何用PHP結(jié)合AI實現(xiàn)文本糾錯 PHP語法檢測與優(yōu)化
Jul 25, 2025 pm 08:57 PM
要實現(xiàn)PHP結(jié)合AI進行文本糾錯與語法優(yōu)化，需按以下步驟操作：1.選擇適合的AI模型或API，如百度、騰訊API或開源NLP庫；2.通過PHP的curl或Guzzle調(diào)用API並處理返回結(jié)果；3.在應(yīng)用中展示糾錯信息並允許用戶選擇是否採納；4.使用php-l和PHP_CodeSniffer進行語法檢測與代碼優(yōu)化；5.持續(xù)收集反饋並更新模型或規(guī)則以提升效果。選擇AIAPI時應(yīng)重點評估準確率、響應(yīng)速度、價格及對PHP的支持。代碼優(yōu)化應(yīng)遵循PSR規(guī)範、合理使用緩存、避免循環(huán)查詢、定期審查代碼，並藉助X
全球最權(quán)威的加密貨幣行情網(wǎng)站Top10（2025最新版）
Jul 29, 2025 pm 12:48 PM
2025年十大權(quán)威加密貨幣行情與數(shù)據(jù)分析平臺為：1. CoinMarketCap，提供全面的市值排名和基礎(chǔ)市場數(shù)據(jù)；2. CoinGecko，以獨立性和信任分數(shù)提供多維度項目評估；3. TradingView，擁有最專業(yè)的K線圖表和技術(shù)分析工具；4. 幣安行情，作為最大交易所提供最直接的實時數(shù)據(jù)；5. 歐易行情，突出衍生品關(guān)鍵指標如持倉量和資金費率；6. Glassnode，專注於鏈上數(shù)據(jù)如活躍地址和巨鯨動向；7. Messari，提供機構(gòu)級研究報告和嚴格標準化數(shù)據(jù)；8. CryptoCompa
如何讓PHP容器支持自動構(gòu)建 PHP環(huán)境持續(xù)集成CI配置方式
Jul 25, 2025 pm 08:54 PM
要讓PHP容器支持自動構(gòu)建，核心在於配置持續(xù)集成（CI）流程。 1.使用Dockerfile定義PHP環(huán)境，包括基礎(chǔ)鏡像、擴展安裝、依賴管理和權(quán)限設(shè)置；2.配置GitLabCI等CI/CD工具，通過.gitlab-ci.yml文件定義build、test和deploy階段，實現(xiàn)自動構(gòu)建、測試和部署；3.集成PHPUnit等測試框架，確保代碼變更後自動運行測試；4.使用Kubernetes等自動化部署策略，通過deployment.yaml文件定義部署配置；5.優(yōu)化Dockerfile，採用多階段構(gòu)
Twilio通話保持與恢復(fù)：會議模式與獨立呼叫腿處理
Jul 25, 2025 pm 08:42 PM
本文詳細闡述了在Twilio中實現(xiàn)通話保持（hold）與恢復(fù)（unhold）的兩種主要方法。首選方案是利用Twilio的會議（Conference）功能，通過更新會議參與者資源輕鬆實現(xiàn)通話保持和恢復(fù)，並可自定義保持音樂。另一種方法是處理獨立的呼叫腿（calllegs），這需要更複雜的TwiML邏輯，通過、和到來管理，但相比會議模式更為繁瑣。文章提供了具體的代碼示例和操作步驟，旨在幫助開發(fā)者高效實現(xiàn)Twilio通話控制。
以太坊是什麼幣？以太坊ETH獲得的方式有哪些？
Jul 31, 2025 pm 11:00 PM
以太坊是一個基於智能合約的去中心化應(yīng)用平臺，其原生代幣ETH可通過多種方式獲取。 1、通過Binance必安、歐意ok等中心化平臺註冊賬戶、完成KYC認證並用穩(wěn)定幣購買ETH；2、通過去中心化平臺連接數(shù)字儲存，使用穩(wěn)定幣或其他代幣直接兌換ETH；3、參與網(wǎng)絡(luò)質(zhì)押，可選擇獨立質(zhì)押（需32個ETH）、流動性質(zhì)押服務(wù)或在中心化平臺一鍵質(zhì)押以獲取獎勵；4、通過為Web3項目提供服務(wù)、完成任務(wù)或獲得空投等方式賺取ETH。建議初學(xué)者從主流中心化平臺入手，逐步過渡到去中心化方式，並始終重視資產(chǎn)安全與自主研究，以
幣圈免費行情網(wǎng)站怎麼選？ 2025年最全測評
Jul 29, 2025 pm 06:36 PM
2025年最適合查詢穩(wěn)定幣行情的免費工具依次為：1. 幣安，數(shù)據(jù)權(quán)威、交易對豐富，集成TradingView圖表適合技術(shù)分析；2. 歐易，界面清晰、功能整合強，支持Web3賬戶與DeFi一站式操作；3. CoinMarketCap，收錄幣種多，穩(wěn)定幣板塊可查看市值排名與脫錨情況；4. CoinGecko，數(shù)據(jù)維度全面，提供信任分數(shù)與社區(qū)活躍度指標，立場中立；5. 火幣（HTX），行情穩(wěn)定、操作友好，適合主流資產(chǎn)查詢；6. Gate.io，新幣與小眾幣種收錄最快，是挖掘潛力項目的首選；7. Tra
