在线精品国产成人综合,国产精品成人影院在线观看,а√天堂www在线а√

ホームページ

テクノロジー周辺機器

Up の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。

王林

Apr 07, 2024 am 09:01 AM

テンセント業(yè)界

AniPortrait モデルはオープンソースであり、自由に再生できます。

""Xiaopozhan Ghost Zone 用の新しい生産性ツール。"

最近、Tencent Open Source がリリースした新しいプロジェクトが Twitter でこのような評価を受けました。このプロジェクトは AniPortrait で、オーディオと參照畫像に基づいて高品質のアニメーションポートレートを生成します。

早速、弁護士の手紙で警告されているデモを見てみましょう:

Up の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。

アニメーション畫像簡単に話すこともできます:

このプロジェクトは、開始からわずか數日ですでに広く賞賛されており、GitHub スターの數は 2,800 を超えています。

Up の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。

AniPortrait の革新性を見てみましょう。

Up の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。

論文タイトル: AniPortrait: フォトリアリスティックなポートレートアニメーションのオーディオ駆動合成
論文アドレス: https ://arxiv.org/pdf/2403.17694.pdf
コードアドレス: https://github.com/Zejun-Yang/AniPortrait

#AniPortrait

Tencent が新たに提案した AniPortrait フレームワークには、Audio2Lmk と Lmk2Video という 2 つのモジュールが含まれています。

Audio2Lmk は、音聲入力から複雑な顔の表情や唇の動きをキャプチャするランドマークシーケンスを抽出するために使用されます。 Lmk2Video は、このランドマークシーケンスを使用して、時間的に安定した一貫した高品質のポートレートビデオを生成します。

図 1 は、AniPortrait フレームワークの概要を示しています。

Audio2Lmk

#For a sequence of speech clips, the goal here is to predict the corresponding 3D face mesh sequence and gesture sequence.

The team used pre-trained wav2vec to extract audio features. The model generalizes well and can accurately recognize pronunciation and intonation in audio - crucial for generating realistic facial animations. By exploiting the obtained robust speech features, they can be efficiently converted into 3D face meshes using a simple architecture consisting of two fc layers. The team observed that this simple and straightforward design not only ensures accuracy but also improves the efficiency of the inference process.

In the task of converting audio into gestures, the backbone network used by the team is still the same wav2vec. However, the weights of this network are different from the audio-to-mesh module's network. This is because gestures are more closely related to rhythm and pitch in the audio, whereas audio-to-grid tasks focus on a different focus (pronunciation and intonation). To take the impact of previous states into account, the team employed a transformer decoder to decode the gesture sequence. In this process, the module uses a cross-attention mechanism to integrate audio features into the decoder. For the above two modules, the loss function used for training is a simple L1 loss.

After obtaining the mesh and pose sequence, use perspective projection to convert them into a 2D face landmark sequence. These Landmarks are the input signals for the next stage.

Lmk2Video

Given a reference portrait and a face Landmark sequence, The team's proposed Lmk2Video can create temporally consistent portrait animations. The animation process is about aligning the motion with the Landmark sequence while maintaining a consistent look with the reference image. The idea adopted by the team is to represent portrait animation as a sequence of portrait frames.

Lmk2Video’s network structure design is inspired by AnimateAnyone. The backbone network is SD1.5, which integrates a temporal motion module that effectively converts multi-frame noise input into a sequence of video frames.

In addition, they also used a ReferenceNet, which also uses the SD1.5 structure. Its function is to extract the appearance information of the reference image and integrate it into the backbone network. . This strategic design ensures that Face ID remains consistent throughout the output video.

Unlike AnimateAnyone, this increases the complexity of PoseGuider's design. The original version just integrated several convolutional layers, and then the Landmark features were fused with the latent features of the input layer of the backbone network. The Tencent team found that this rudimentary design could not capture the complex movements of lips. Therefore, they adopted ControlNet’s multi-scale strategy: integrating Landmark features of corresponding scales into different modules of the backbone network. Despite these improvements, the number of parameters in the final model is still quite low.

The team also introduced another improvement: using the Landmark of the reference image as an additional input. PoseGuider's cross-attention module facilitates interaction between reference landmarks and target landmarks in each frame. This process provides the network with additional clues that allow it to understand the connection between facial landmarks and appearance, which can help the portrait animation generate more precise movements.

Experiment

##Implementation details

The backbone network used in the Audio2Lmk stage is wav2vec2.0. The tool used to extract 3D meshes and 6D poses is MediaPipe. Audio2Mesh’s training data comes from Tencent’s internal dataset, which contains nearly an hour of high-quality speech data from a single speaker.

To ensure the stability of the 3D mesh extracted by MediaPipe, the performer's head position is stable and facing the camera during recording. Training Audio2Pose uses HDTF. All training operations are performed on a single A100, using the Adam optimizer, and the learning rate is set to 1e-5.

The Lmk2Video process uses a two-step training method.

#The initial step phase focuses on training the backbone network ReferenceNet and the 2D component of PoseGuider, regardless of the motion module. In subsequent steps, all other components will be frozen to focus on training the motion module. To train the model, two large-scale high-quality face video datasets are used here: VFHQ and CelebV-HQ. All data is passed through MediaPipe to extract 2D face landmarks. To improve the network's sensitivity to lip movements, the team's approach was to annotate the upper and lower lips with different colors when rendering pose images based on 2D Landmarks.

All images have been rescaled to 512x512.The model was trained using 4 A100 GPUs, with each step taking 2 days. The optimizer is AdamW and the learning rate is fixed at 1e-5.

Experimental results

As shown in Figure 2, the animation obtained by the new method is Excellent in quality and realism.

Up の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。

Additionally, users can edit the 3D representation in between, thereby modifying the final output. For example, users can extract Landmarks from a source and modify their ID information to achieve facial reproduction, as shown in the following video:

Please refer to the original paper for more details.

以上がUp の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。の詳細內容です。詳細については、PHP 中國語 Web サイトの他の関連記事を參照してください。

このウェブサイトの聲明

この記事の內容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰屬します。このサイトは、それに相當する法的責任を負いません。盜作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。

ホットAIツール

Undress AI Tool

脫衣畫像を無料で

Undresser.AI Undress

リアルなヌード寫真を作成する AI 搭載アプリ

AI Clothes Remover

寫真から衣服を削除するオンライン AI ツール。

Clothoff.io

AI衣類リムーバー

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

メモ帳++7.3.1

使いやすく無料のコードエディター

SublimeText3 中國語版

中國語版、とても使いやすい

ゼンドスタジオ 13.0.1

強力な PHP 統(tǒng)合開発環(huán)境

ドリームウィーバー CS6

ビジュアル Web 開発ツール

SublimeText3 Mac版

神レベルのコード編集ソフト（SublimeText3）

ホットトピック

Laravel チュートリアル

1597

PHP チュートリアル

1488

Related knowledge

DeepMind ロボットが卓球をすると、フォアハンドとバックハンドが空中に滑り出し、人間の初心者を完全に打ち負かしました Aug 09, 2024 pm 04:01 PM

でももしかしたら公園の老人には勝てないかもしれない？パリオリンピックの真っ最中で、卓球が注目を集めています。同時に、ロボットは卓球のプレーにも新たな進歩をもたらしました。先ほど、DeepMind は、卓球競技において人間のアマチュア選手のレベルに到達できる初の學習ロボットエージェントを提案しました。論文のアドレス: https://arxiv.org/pdf/2408.03906 DeepMind ロボットは卓球でどれくらい優(yōu)れていますか?おそらく人間のアマチュアプレーヤーと同等です: フォアハンドとバックハンドの両方: 相手はさまざまなプレースタイルを使用しますが、ロボットもそれに耐えることができます: さまざまなスピンでサーブを受ける: ただし、ゲームの激しさはそれほど激しくないようです公園の老人。ロボット、卓球用

初のメカニカルクロー！元羅寶は2024年の世界ロボット會議に登場し、家庭に入ることができる初のチェスロボットを発表した Aug 21, 2024 pm 07:33 PM

8月21日、2024年世界ロボット會議が北京で盛大に開催された。 SenseTimeのホームロボットブランド「Yuanluobot SenseRobot」は、全製品ファミリーを発表し、最近、世界初の家庭用チェスロボットとなるYuanluobot AIチェスプレイロボット - Chess Professional Edition（以下、「Yuanluobot SenseRobot」という）をリリースした。家。 Yuanluobo の 3 番目のチェス対局ロボット製品である新しい Guxiang ロボットは、AI およびエンジニアリング機械において多くの特別な技術アップグレードと革新を経て、初めて 3 次元のチェスの駒を拾う機能を実現(xiàn)しました。家庭用ロボットの機械的な爪を通して、チェスの対局、全員でのチェスの対局、記譜のレビューなどの人間と機械の機能を実行します。

クロードも怠け者になってしまった！ネチズン: 自分に休日を與える方法を學びましょう Sep 02, 2024 pm 01:56 PM

もうすぐ學校が始まり、新學期を迎える生徒だけでなく、大型AIモデルも気を付けなければなりません。少し前、レディットはクロードが怠け者になったと不満を漏らすネチズンでいっぱいだった。「レベルが大幅に低下し、頻繁に停止し、出力も非常に短くなりました。リリースの最初の週は、4 ページの文書全體を一度に翻訳できましたが、今では 0.5 ページの出力さえできません」 !」 https://www.reddit.com/r/ClaudeAI/comments/1by8rw8/something_just_feels_wrong_with_claude_in_the/ というタイトルの投稿で、「クロードには完全に失望しました」という內容でいっぱいだった。

Tencent 2025 キャンパスの募集開始: 卒業(yè)期間が 1 年から 2 年に延長 Aug 07, 2024 pm 08:17 PM

8月7日の當サイトのニュースによると、テンセントの2025年のキャンパス採用は昨日正式に開始され、2024年のインターン採用と「青雲計畫」AI大型モデル採用特別プロジェクトに続き、再び「登録拡大」のシグナルを発した。過去2年間に比べ採用規(guī)模が大きくなっただけでなく、卒業(yè)時期の幅もさらに拡大しました。報道によると、テンセントの2025年のキャンパス採用では、テクノロジー、製品、市場、デザイン、機能の5つの主要カテゴリーで70以上のポジションが募集される予定だという。今年、テンセントのキャンパス採用には多くの変更が加えられる予定で、キャンパス採用の卒業(yè)期間は 1 年から 2 年に拡大されます。 2024年1月から2025年12月までに卒業(yè)する學生（卒業(yè)証明書は中國本土で有効、學位証明書は香港、マカオ、臺灣および海外地域で有効）は、テンセントの公式採用ウェブサイトおよび「テンセント」を通じて応募できます。

Li Feifei 氏のチームは、ロボットに空間知能を與え、GPT-4o を統(tǒng)合する ReKep を提案しました Sep 03, 2024 pm 05:18 PM

ビジョンとロボット學習の緊密な統(tǒng)合。最近話題の1X人型ロボットNEOと合わせて、2つのロボットハンドがスムーズに連攜して服をたたむ、お茶を入れる、靴を詰めるといった動作をしていると、いよいよロボットの時代が到來するのではないかと感じられるかもしれません。実際、これらの滑らかな動きは、高度なロボット技術 + 精緻なフレーム設計 + マルチモーダル大型モデルの成果です。有用なロボットは多くの場合、環(huán)境との複雑かつ絶妙な相互作用を必要とし、環(huán)境は空間領域および時間領域の制約として表現(xiàn)できることがわかっています。たとえば、ロボットにお茶を注いでもらいたい場合、ロボットはまずティーポットのハンドルを摑んで、お茶をこぼさないように垂直に保ち、次にポットの口がカップの口と揃うまでスムーズに動かす必要があります。、そしてティーポットを一定の角度に傾けます。これ

宏蒙スマートトラベルS9とフルシナリオ新製品発売カンファレンス、多數の大ヒット新製品が一緒にリリースされました Aug 08, 2024 am 07:02 AM

今日の午後、Hongmeng Zhixingは新しいブランドと新車を正式に歓迎しました。 8月6日、ファーウェイはHongmeng Smart Xingxing S9およびファーウェイのフルシナリオ新製品発表カンファレンスを開催し、パノラマスマートフラッグシップセダンXiangjie S9、新しいM7ProおよびHuawei novaFlip、MatePad Pro 12.2インチ、新しいMatePad Air、Huawei Bisheng Withを発表しました。レーザープリンタ X1 シリーズ、FreeBuds6i、WATCHFIT3、スマートスクリーン S5Pro など、スマートトラベル、スマートオフィスからスマートウェアに至るまで、多くの新しいオールシナリオスマート製品を開発し、ファーウェイは消費者にスマートな體験を提供するフルシナリオのスマートエコシステムを構築し続けています。すべてのインターネット。宏孟志興氏：スマートカー業(yè)界のアップグレードを促進するための徹底的な権限付與ファーウェイは中國の自動車業(yè)界パートナーと提攜して、

分散型人工知能カンファレンス DAI 2024 論文募集: エージェントデイ、強化學習の父であるリチャードサットン氏が出席します。 Yan Shuicheng、Sergey Levine、DeepMind の科學者が基調講演を行います Aug 22, 2024 pm 08:02 PM

會議の紹介科學技術の急速な発展に伴い、人工知能は社會の進歩を促進する重要な力となっています。この時代に、分散型人工知能 (DAI) の革新と応用を目撃し、參加できることは幸運です。分散型人工知能は人工知能分野の重要な分野であり、近年ますます注目を集めています。大規(guī)模言語モデル (LLM) に基づくエージェントは、大規(guī)模モデルの強力な言語理解機能と生成機能を組み合わせることで、自然言語対話、知識推論、タスク計畫などにおいて大きな可能性を示しました。 AIAgent は大きな言語モデルを引き継ぎ、現(xiàn)在の AI 界隈で話題になっています。アウ

ACL 2024 賞の発表: HuaTech による Oracle 解読に関する最優(yōu)秀論文の 1 つ、GloVe Time Test Award Aug 15, 2024 pm 04:37 PM

貢獻者はこの ACL カンファレンスから多くのことを學びました。 6日間のACL2024がタイのバンコクで開催されています。 ACL は、計算言語學と自然言語処理の分野におけるトップの國際會議で、國際計算言語學協(xié)會が主催し、毎年開催されます。 ACL は NLP 分野における學術的影響力において常に第一位にランクされており、CCF-A 推奨會議でもあります。今年の ACL カンファレンスは 62 回目であり、NLP 分野における 400 以上の最先端の作品が寄せられました。昨日の午後、カンファレンスは最優(yōu)秀論文およびその他の賞を発表しました。今回の優(yōu)秀論文賞は7件（未発表2件）、最優(yōu)秀テーマ論文賞1件、優(yōu)秀論文賞35件です。このカンファレンスでは、3 つの Resource Paper Award (ResourceAward) と Social Impact Award (

See all articles

亚洲国产日韩欧美一区二区三区,精品亚洲国产成人av在线,国产99视频精品免视看7,99国产精品久久久久久久成人热,欧美日韩亚洲国产综合乱

Up の所有者はすでに、Tencent のオープンソース「AniPortrait」を悪用し、寫真に歌わせたりしゃべらせたりし始めています。