ディズニーでさえ AI に投資している: 視覚効果のための顔のリエイジングの考察

Snapchat フィルターで楽しむため、映画のため、またはいくつかのなぞなぞを取り除くためであるかどうかにかかわらず、私たちは皆、写真で自分の年齢を変更できるようにするためのユーティリティを念頭に置いています。

これは通常、Photoshop などのツールを使用して写真を編集する熟練したアーティストによって行われます。最悪の場合、ビデオでは、フレームごとにこの種の手動編集を行う必要があります。そのために必要な作業量を想像してみてください。さて、これがこの状況に対する解決策と新しい問題の両方です...

参考文献

►記事全文を読む: https://www.louisbouchard.ai/disney-re-age/
►Loss et al., DisneyResearch, 2022: FRAN, https://studios.disneyresearch.com/2022/11/30/production-ready-face-re-aging-for-visual-effects/
►GAN の説明:
►SAM: https://yuval-alaluf.github.io/SAM/
►ディスコード: https://www.louisbouchard.ai/learn-ai-together/
►Twitter: https://twitter.com/Whats_AI
►マイ ニュースレター (新しい AI アプリケーションについて毎週メールで説明します!): https://www.louisbouchard.ai/newsletter/

ビデオトランスクリプト

0:02

[音楽]

0:06

楽しいSnapchatフィルターのためかどうか

0:08

映画の場合、またはいくつかを削除することさえあります

0:11

私たち全員が有用性を念頭に置いているなぞなぞ

0:13

私たちの年齢を変えることができるために

0:15

これは通常熟練者によって行われます

0:18

Photoshop などを使用するアーティスト

0:20

最悪の写真を編集するツール

0:23

彼らがこの種のことをしなければならないビデオ

0:24

すべてのフレームの手動編集

0:27

に必要な作業量を想像してください

0:29

ここに解決策と

0:32

この状況に新たな問題がディズニーの

0:35

最新の出版物 フランはそれを行うことができます

0:38

自動的にこれは

0:41

映画業界では、すぐに

0:43

で映画全体のために誰かをリエイジする

0:46

キャストは非常に少ないですが、それは問題です

0:48

同時にカットするアーティスト向け

0:51

いくつかの雇用機会と彼らがカットするのを助ける

0:53

集中するための長くて退屈な労働時間

0:56

ここで何かクールな才能関連のタスク

0:58

フロントベースのツールを作成したことです

1:01

アーティストが結果を使用および編集するため

1:03

によって彼らの仕事をより効率的にする

1:05

むしろ細部を改善することに焦点を当てる

1:08

からの単調なコピーペースト編集よりも

1:10

あるフレームから別のフレームへ

1:13

コメントでそれについてのあなたの考え

1:15

以下または Discord コミュニティでチャット

1:17

一緒に AI を学びますが、このビデオのために

1:20

もう一度純粋に焦点を当てましょう

1:22

この作品の良い面は

1:24

彼らが成し遂げた科学的進歩

1:26

ビデオ内の顔のデジタル リエイジング

1:29

あなたはこの結果を見てきました

1:31

新しいFranアルゴリズムと私はあなたができると信じています

1:33

これらがどれほど素晴らしいかについてはすでに同意しています

1:35

結果を見るだけで、あとどれくらい

1:38

他のものに比べてリアルに見える

1:40

最先端のリエージングアプローチ

1:42

多くのアーティファクトが含まれており、保持できません

1:44

その人のアイデンティティと同じプラス

1:47

友達のアプローチは必要ありません

1:49

これらの面を他の面の中心に配置します

1:51

アプローチはそれをさらに行います

1:53

印象的でさらに信じられないほど

1:55

彼らのアプローチが最初にどれほどシンプルかということです

1:58

フランは当然のことながら顔を表します

2:01

ネットワークの再エージングは、

2:04

モデルは顔を撮って変えることができます

2:06

その人が何歳に見えるか

2:08

一貫したリアリズムと高解像度

2:11

変数 Expression 全体の結果

2:13

の視点と照明条件

2:16

俳優の年齢出演は映画

2:19

通常は制作陣による変更

2:20

専用衣装の使用 髪型 など

2:23

対象年齢と

2:26

顔はデジタルアーティストが編集できるように残されています

2:29

フランが来る場所であるフレームごとのフレーム

2:32

の皮膚領域に厳密に焦点を当てることで

2:35

大人の年齢にも焦点を当てた顔

2:38

映画はすでに効率的で

2:40

非常に若いためのさまざまなテクニック

2:42

全身と顔の老化

2:44

形状が異なり、小さい

2:47

それらのケースですが、どうすれば顔を撮ることができますか

2:49

任意の位置から変更するだけ

2:52

数ダース追加または削除する外観

2:54

主に根拠がないため年

2:56

このタスクの真実は、彼らが

2:59

複製するようにアルゴリズムをトレーニングできません

3:01

彼ら以来の前後の写真

3:03

それらを持っていない 非常に少数の例が存在する

3:05

20歳以上の同一人物の

3:08

あらゆる角度で離れて、彼らは持っている必要があります

3:10

異なるアプローチと従来の

3:12

教師あり学習アプローチ

3:14

あなたの例を再現してみてください

3:16

すでにデータセットに含まれています

3:18

通常、研究者はこれに取り組みます

3:20

訓練された強力なモデルを使用した問題

3:22

しかし、すべての年齢の偽の顔を生成しました

3:25

結果はかなり印象的です

3:27

主に中心と正面に働きます

3:29

偽の訓練データによる顔

3:32

そのために生成された面、したがって結果

3:35

実世界に一般化することはほとんどできません

3:38

彼らは本当に保持していないので、シーン

3:40

そうではなかった人物の身元

3:42

で同じ人を使って訓練された

3:44

期間は異なりますが、

3:46

さまざまな

3:48

年齢とそのような静的モデルはほとんどできません

3:52

リアルな顔の動きを生み出す

3:54

静止画像のトレーニングに

3:57

現実世界の力学を知らない

3:58

照明の変更など

4:01

彼らの最初の貢献はタックルです

4:03

からの画像数のこのギャップ

4:05

異なる年齢の同じ人

4:08

ここでの目標は、と同じことをすることです

4:10

以前のアプローチですが、小さな

4:12

生成されたものを引き続き使用する微調整

4:15

偽の顔ですが、データセットを構築します

4:18

同じ顔でいっぱい

4:20

エッジだから基本的には同一人物

4:23

同じ背景と同じすべて

4:25

アルゴリズムを持つ年齢を除いて

4:27

で顔に厳密に焦点を当てた

4:29

たとえ年齢が違っても

4:32

これらのアプローチは実際には

4:33

現実の世界でうまく一般化し、

4:36

ビデオシーンでは、彼らはまだ理解しています

4:38

老化プロセスが非常にうまくいくので、彼らは

4:40

それらを使用してより多くの画像を生成できます

4:43

異なる年齢の同じ人の

4:45

より良いデータセットを構築するための最初のステップ

4:48

このステップは、と呼ばれるモデルを使用して行われます

4:50

その人の顔がとれる額

4:53

完全に中央に配置され、それを試薬化します

4:56

セットを構築するためにのみ使用されます

4:57

使用する前後の写真の

4:59

ファンをトレーニングするためのアルゴリズム

5:02

私たちのアルゴリズムのため、ステップが必要です

5:04

いくつかから一般化するには愚かすぎる

5:07

私たち人間ができるように、私たちにはできない例

5:10

本物とほぼ同じ数の写真を入手

5:12

同じ照明の顔

5:15

背景と同じ服

5:17

異なる年齢は人工的にする必要があります

5:19

彼らの2番目の貢献は

5:22

この新しい一連の画像を使用して、

5:24

作成され、トレーニングとアルゴリズムが可能

5:27

このプロセスを実世界で再現する

5:30

一貫性のあるシーン

5:32

ビデオフレーム全体で、アルゴリズムは

5:35

構築されたものは、実際には非常に単純であり、

5:37

ほとんどの画像から画像に似ています

5:39

あなたが見つける翻訳アルゴリズム

5:41

彼らは unet アーキテクチャを使用します。

5:44

入力と出力の年齢とイメージ

5:48

に変換する最良の方法を学ぶ

5:50

それを最も多くにエンコードすることによる新しい画像

5:53

意味のあるスペースの可能性とデコード

5:55

それを新しいイメージに入れるので、ネットワーク

5:58

任意の画像を取得して取得することを学習します

6:00

私たちが潜在空間と呼んでいるもの

6:03

私たちのエンコーディングにはこの潜在的なスペースがあります

6:06

基本的に必要なものはすべて含まれています

6:08

ネットワークが学習した情報

6:10

特定のタスクなので、基本的に

6:12

このための顔のさまざまな特徴

6:14

特定の個人ではありません

6:16

画像に関する情報を含む

6:18

背景またはそうでないその他の機能

6:20

再エージングに必要な場合、これが必要です

6:23

ある種の予測情報

6:25

リエイジング マスク このマスクは

6:27

編集が必要な部分を含む

6:29

リエイジング効果の写真で

6:31

タスクをより管理しやすくする

6:34

画像全体を一度予測するよりも

6:36

繰り返しますが、この予測を単純にマージします

6:39

取得するために初期画像にマスクします

6:41

リエイジングフェイス このマスクがメイン

6:43

彼らのアプローチがそれほど多くの理由

6:45

人をよりよく保存する

6:47

彼らは彼らを制限するので、アイデンティティ

6:49

リージに対するネットワークの作用範囲

6:51

全体ではなく変更のみ

6:54

画像でも顔全体でも

6:56

よりインテリジェントにすることはできません

6:59

より具体的には、モード人形は

7:01

銃のアプローチに従って訓練された

7:03

多くのビデオで説明したように、

7:05

ここに表示されている別のモデルを使用します

7:08

右側は弁別器と呼ばれる

7:10

同時に訓練され、慣れている

7:12

生成された再エージング画像かどうかを計算します

7:15

私たちが持っているものに似ています

7:17

トレーニングデータセットは基本的にその評価

7:20

トレーニングを導くための結果と

7:22

ほら、これがフランがあなたの老化を助ける方法です

7:25

あなたの顔は 18 から 85 の間のどこか

7:28

歳 もちろん、これはただの

7:30

この新しいディズニーの簡単な概要

7:32

研究出版物と私はお勧めします

7:34

詳細については、彼らの優れた論文を読んでください

7:36

情報と結果の分析

7:39

私が提案する銃に慣れていない

7:40

簡単な紹介ビデオを見て

7:43

見てくれてありがとう

7:45

次回はお会いしましょう

7:47

別の素晴らしい紙

7:48

[音楽]

7:59

ありがとうございました

[音楽]