只用不到 10% 的訓(xùn)練參數(shù)，就能達(dá)到像 ControlNet 一樣的可控生成！

而且 SDXL、SD1.5 等 Stable Diffusion 家族的常見模型都能適配，還是即插即用。

同時(shí)還能搭配 SVD 控制影片生成，動(dòng)作細(xì)節(jié)控制得精準(zhǔn)到手指。

在這些影像和影片的背後，就是港中文賈佳亞團(tuán)隊(duì)推出的開源影像 / 影片產(chǎn)生引導(dǎo)工具－ControlNeXt。

從這個(gè)名字當(dāng)中就能看出，研發(fā)團(tuán)隊(duì)給它的定位，就是下一代的 ControlNet。

像大神何愷明與謝賽寧的經(jīng)典大作 ResNeXt（ResNet 的一種擴(kuò)展），起名字也是用的這個(gè)路數(shù)。

有網(wǎng)友認(rèn)為這個(gè)名字是實(shí)至名歸，確實(shí)是下一代的產(chǎn)品，將 ControlNet 提高了一個(gè)檔次。

還有人直言 ControlNeXt 是規(guī)則改變者，讓可控生成的效率提升了一大截，期待看到人們用它創(chuàng)作的作品。

蜘蛛人跳起美女舞蹈

ControlNeXt 支援多款 SD 系模型，而且即插即用。

其中包含了影像產(chǎn)生模型 SD1.5、SDXL、SD3（支援 Super Resolution），還有視訊產(chǎn)生模型 SVD。

話不多說(shuō)，直接看效果。

可以看到，在 SDXL 中加入邊緣（Canny）引導(dǎo)，繪製出的二次元少女和控制線條幾乎完美貼合。

即使控制輪廓又多又細(xì)碎，模型依然可以繪製出符合要求的圖片。

且無(wú)需額外訓(xùn)練就可與其他 LoRA 權(quán)重?zé)o縫整合。

例如在 SD1.5 中，可以把姿勢(shì)（Pose）控制條件與各種 LoRA 搭配使用，形成風(fēng)格迥異乃至跨越次元，但動(dòng)作相同的角色。

另外，ControlNeXt 也支援遮罩（mask）和景深（depth）的控制模式。

在 SD3 當(dāng)中也支援 Super Resolution（超級(jí)解析度），可產(chǎn)生超高清晰度的影像。

影片生成當(dāng)中，ControlNeXt 可以實(shí)現(xiàn)對(duì)人物動(dòng)作的控制。

例如讓蜘蛛人也跳起 TikTok 中的美女舞蹈，就連手指的動(dòng)作也模仿得相當(dāng)精準(zhǔn)。

甚至讓一把椅子也長(zhǎng)出手跳同樣的舞蹈，雖然是抽象了一些，但單看動(dòng)作復(fù)刻得還算不錯(cuò)。

而且相比於原始的 ControlNet，ControlNeXt 所需的訓(xùn)練參數(shù)更少，收斂速度也更快。

例如在 SD1.5 和 SDXL 中，ControlNet 所需的可學(xué)習(xí)參數(shù)分別是 3.61 億和 12.51 億，但 ControlNeXt 分別只需要 3 千萬(wàn)和 1.08 億，不到 ControlNet 的 10%。

Semasa proses latihan, ControlNeXt hampir kepada penumpuan pada sekitar 400 langkah, tetapi ControlNet memerlukan sepuluh kali atau bahkan berpuluh-puluh kali bilangan langkah.

Kelajuan penjanaan juga lebih pantas daripada ControlNet Secara purata, ControlNet adalah bersamaan dengan model asas, yang membawa kelewatan 41.9%, tetapi ControlNeXt hanya mempunyai 10.4%.

Jadi, bagaimanakah ControlNeXt dilaksanakan, dan apakah penambahbaikan yang telah dibuat pada ControlNet?

Modul kawalan bersyarat yang lebih ringan

Pertama, gunakan gambar untuk memahami keseluruhan aliran kerja ControlNeXt.

Kunci kepada pemberatan ringan ialah ControlNeXt mengalih keluar cawangan kawalan besar dalam ControlNet dan sebaliknya memperkenalkan modul lilitan ringan yang terdiri daripada sebilangan kecil blok ResNet.

Modul ini bertanggungjawab untuk mengekstrak representasi ciri keadaan kawalan (seperti topeng segmentasi semantik, titik awal utama, dll.).

Jumlah parameter latihan biasanya kurang daripada 10% daripada model pra-latihan dalam ControlNet, tetapi ia masih boleh mempelajari maklumat kawalan bersyarat input dengan baik Reka bentuk ini mengurangkan overhed pengiraan dan penggunaan memori.

Secara khusus, ia membuat sampel pada selang masa yang sama daripada lapisan rangkaian berbeza model pra-latihan untuk membentuk subset parameter yang digunakan untuk latihan, manakala parameter yang selebihnya dibekukan.

Selain itu, semasa mereka bentuk seni bina ControlNeXt, pasukan penyelidik juga mengekalkan ketekalan struktur model dengan seni bina asal, sekali gus mencapai plug-and-play.

Sama ada ControlNet atau ControlNeXt, suntikan maklumat kawalan bersyarat adalah pautan penting.

Semasa proses ini, pasukan penyelidik ControlNeXt menjalankan penyelidikan mendalam tentang dua isu utama - pemilihan lokasi suntikan dan reka bentuk kaedah suntikan.

Pasukan penyelidik memerhatikan bahawa dalam kebanyakan tugas penjanaan terkawal, bentuk maklumat bersyarat untuk membimbing penjanaan adalah agak mudah dan sangat berkorelasi dengan ciri dalam proses denoising.

Jadi pasukan percaya bahawa tidak perlu menyuntik maklumat kawalan ke dalam setiap lapisan rangkaian denoising, jadi mereka memilih untuk mengagregatkan ciri bersyarat dan ciri denoising hanya di lapisan tengah rangkaian.

Kaedah pengagregatan juga semudah mungkin - selepas menjajarkan pengedaran dua set ciri menggunakan penormalan silang, tambahkannya secara terus.

Ini bukan sahaja memastikan isyarat kawalan mempengaruhi proses denoising, tetapi juga mengelakkan pengenalan parameter pembelajaran tambahan dan ketidakstabilan oleh operasi yang kompleks seperti mekanisme perhatian.

Penormalan silang juga merupakan satu lagi teknologi teras ControlNeXt, menggantikan strategi permulaan progresif yang biasa digunakan sebelum ini seperti sifar-konvolusi.

Kaedah tradisional mengurangkan masalah keruntuhan dengan secara beransur-ansur melepaskan pengaruh modul baru dari awal, tetapi hasilnya selalunya adalah penumpuan yang perlahan.

Penormalan silang secara langsung menggunakan min μ dan varians σ bagi rangkaian tulang belakang yang menafikan ciri untuk menormalkan output ciri oleh modul kawalan, supaya pengedaran data kedua-duanya adalah sejajar yang mungkin.

(Nota: ialah pemalar kecil yang ditambah untuk kestabilan berangka, γ ialah parameter penskalaan.)

Ciri kawalan yang dinormalkan kemudiannya dilaraskan dalam amplitud dan garis dasar melalui skala dan parameter mengimbangi, dan kemudian digabungkan dengan Penambahan Ciri denoising bukan sahaja mengelakkan sensitiviti pemulaan parameter, tetapi juga membenarkan keadaan kawalan berkuat kuasa pada peringkat awal latihan untuk mempercepatkan proses penumpuan.

Selain itu, ControlNeXt juga menggunakan modul kawalan untuk mempelajari pemetaan maklumat keadaan kepada ciri ruang terpendam, menjadikannya lebih abstrak dan semantik, dan lebih kondusif untuk generalisasi kepada keadaan kawalan yang tidak kelihatan.

Laman utama projek:

https://pbihao.github.io/projects/controlnext/index.html

Alamat kertas:

https://arxiv.org/abs/2408.06070

:

以上是蜘蛛人妖嬈起舞，下一代 ControlNet 來(lái)了！賈佳亞團(tuán)隊(duì)推出，即插即用，還能控制影片生成的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！