BlobGAN: GAN の大きな一歩

BlobGAN は画像の非現実的な操作を可能にし、単純なブロブを非常に簡単に制御できるようにします。これらの小さなブロブはすべてオブジェクトを表し、それらを移動したり、大きくしたり、小さくしたり、削除したりすることができ、画像内で表すオブジェクトに同じ効果をもたらします.これはとてもクールです！

著者が結果を共有しているように、ブロブを複製することで斬新な画像を作成に、データセットに目に見えない画像を作成することもできます。間違っている場合は訂正してください。ただし、ブロブを移動し、トレーニング データセットでは見えなかった編集を可能にするのと同じくらい簡単に画像を変更できるようにする最初の論文の 1 つであると私は信じています。

そして、私たちが知っているいくつかの会社と比較して、実際にこれで遊ぶことができます!彼らはコードを公開し、すぐに試すことができる Colab Demo を公開しました。さらに興味深いのは、BlobGAN の仕組みです。詳しくは動画で！

ビデオを見る

参考文献

►記事全文を読む: https://www.louisbouchard.ai/blobgan/
►Epstein, D., Park, T., Zhang, R., Shechtman, E. and Efros, AA, 2022.
BlobGAN: 空間的に絡み合っていないシーン表現。 arXivプレプリント
arXiv:2205.02837.
►プロジェクトリンク: https://dave.ml/blobgan/
►コード: https://github.com/dave-epstein/blobgan
►コラボ デモ: https://colab.research.google.com/drive/1clvh28Yds5CvKsYYENGLS3iIIrlZK4xO?usp=sharing#scrollTo=0QuVIyVplOKu
►マイ ニュースレター (毎週メールで説明される新しい AI アプリケーション!): https://www.louisbouchard.ai/newsletter/

ビデオトランスクリプト

0:00

銃の進歩だと思うなら

0:02

あなたはこれ以上間違っていることはできませんでした

0:04

これがブロブガンで、この新しい紙は

0:07

信じられないほどのブロブガンが可能にします

0:09

画像の非現実的な操作がスーパーになった

0:12

単純なブロブをすべて簡単に制御

0:14

これらの小さなブロブはオブジェクトを表します

0:17

それらを動かして作ることができます

0:19

大きく小さくするか、それらを削除して

0:22

に同じ効果があります。

0:24

これが画像で表すオブジェクト

0:26

著者が共有したようにとてもクールです

0:29

その結果、小説を作成することさえできます

0:31

ブラブの複製による画像の作成

0:34

このようなデータセットの目に見えない画像

0:37

シーリングファンが 2 つある部屋

0:40

私は間違っていますが、それはifの1つであると信じています

0:42

最初の論文ではない

0:44

次のように簡単な画像の変更

0:46

ブロブを移動させ、

0:49

トレーニングで見られなかった編集

0:51

データセットと実際に遊ぶことができます

0:53

これは他社と比べて

0:55

彼らが共有したことをすべて知っている人は公に呼ばれます

0:58

すぐに試すことができるコラボデモ

1:00

さらに興味深いのは、Bloggian の仕組みです

1:03

数秒で説明します

1:05

のような優れた論文を出版する

1:07

研究者が実行する必要があった blobgun

1:09

複数のマシンでの多くの実験

1:12

銃で遊んだ人は、どれくらい長いか知っています

1:14

そして痛みを伴うこのプロセスはプラスになる可能性があります

1:16

彼らのコードは github で入手でき、

1:18

グーグルコラボこれは彼らのコードが持っていることを意味します

1:21

おかしなことにこれを再現できるように

1:24

これの本当に強い点でもあります

1:26

エピソードのスポンサーの重みとバイアス

1:28

重みと偏りが私の人生を変える

1:30

研究者は必要なものをすべて追跡します

1:32

コードを再現可能にするために

1:34

ハイパー パラメーター github コミット

1:36

ハードウェア使用状況の指標と python

1:38

頭痛のないバージョンでOK

1:41

一部はまだ表示される可能性があります。

1:43

締め切りやバグはありますが、試してからではありません

1:45

実験の重みを再現し、

1:47

バイアスは、次の場合にも非常に役立ちます

1:49

実験結果を共有する

1:51

あなたの同僚はそのための素晴らしいツールです

1:53

ダッシュボードとして機能できるレポート

1:56

スーパーバイザーpisまたはマネージャーが方法を確認します

1:59

実験はより多くの意味を持っています

2:01

あなたを改善しながら研究する時間

2:03

フィードバックの質を気にしないでください

2:06

ほとんどの研究者はコードを

2:08

秘密にして、重みとバイアスを使用してみてください

2:10

以下の最初のリンクで

2:13

では、ペーパー ブラブ ガンに戻りましょう

2:16

空間的に解きほぐされたシーン

2:18

タイトルはそれを言います

2:21

blovkian は blob を使用してもつれを解く

2:23

シーン内のオブジェクトは、

2:25

モデルは各ブロブを関連付けることを学習します

2:28

のようなシーン内の特定のオブジェクト

2:30

訓練を受けたベッドの窓または天井のファン

2:33

ブロブとオブジェクトを移動できます

2:35

周りを個別に大きくしたり、

2:37

それらを小さく複製するか、削除することさえできます

2:40

それらはもちろん写真から

2:42

結果は完全に現実的ではありませんが、

2:44

偉大な人が言うように、想像してみてください

2:47

このアプローチの可能性はあと2つ

2:49

論文

2:51

さらにクールなのは、このトレーニングです

2:53

これは教師なしスキームで発生します

2:55

すべてを必要としないことを意味します

2:57

あなたがするようにそれを訓練するための画像の例

3:00

教師あり学習の簡単な例

3:02

監督されたトレーニングが必要になるということです

3:05

あなたは望むものをすべて手に入れる

3:06

設定されている画像の操作

3:08

それらを学習するようにブロブを教える

3:10

教師なしでの変換

3:13

あなたがこれほど広範囲に及ぶ必要のない学習

3:15

データとモデルは達成することを学習します

3:17

ブラフを関連付けるこのタスク自体

3:20

明示せずにそれ自体でオブジェクトに

3:22

ラベルを付けてモデルをトレーニングします

3:24

銃のジェネレーターとディスクリミネーター

3:27

ファッション私は簡単にやります

3:28

銃について説明した概要

3:30

いつものように銃の前に多数のビデオ

3:33

差別者の責任は、

3:35

ジェネレーターをトレーニングして現実的なものを作成する

3:38

イメージの最も重要な部分

3:40

アーキテクチャは私たちの発電機です

3:42

ブロブとデコーダー i のようなスタイルガン 2

3:45

スタイルガンベースのジェネレーターもカバー

3:48

気になる方は他の動画で

3:50

それがどのように機能するかですが、要するに私たちは最初に

3:52

ブロブを作成します。これは次のようにして行われます

3:55

ほとんどのジェネレーターのようなランダム ノイズ

3:57

ネットワークを使用してブロブにマッピングする

4:00

これが最初のニューラルネットワーク

4:02

トレーニング中に学んだ場合は、する必要があります

4:05

このブロブを取ることは不可能です

4:07

表現し、実像を作成する

4:10

それのうち、これはガンマジックの場所です

4:12

あなたがまだ聞いているので起こる

4:14

への購読を検討してください

4:16

チャンネルとビデオを高く評価することは、

4:18

多く、無料で私の仕事もサポートします

4:21

私たちはlearn aiというコミュニティを持っています

4:23

交換を学ぶために不和で一緒に

4:26

仲間のAI愛好家と私は確信しています

4:28

あなたはそこでそれを好きになるでしょう、そして私はうれしいです

4:30

あなたに会いに

4:32

スターガンのようなアーキテクチャが必要です

4:34

これらのブロブから画像を作成します

4:37

もちろん、私たちは取るアーキテクチャを追加しました

4:39

入力として作成したブロブ

4:41

通常のランダムノイズの代わりに

4:43

次に、を使用してモデルを回転させます

4:45

生成することを学ぶ識別器

4:47

現実的な画像が得られたら

4:50

十分な結果は、モデルができることを意味します

4:52

代わりにブロブ表現を取る

4:54

ノイズと画像を生成しますが、それでも

4:57

どうやってもつれを解くことができるかという問題があります

4:59

それらのブロブをオブジェクトに一致させます

5:02

まあ、これは私たちの美しさです

5:04

モデルが行う教師なしアプローチ

5:06

繰り返し改善し、現実的なものを作成する

5:08

方法を学びながら結果を出す

5:11

これらのイメージを

5:13

ここで確認できる固定数のブロブ

5:15

ブラブがどのように表現されることが多いか

5:17

同じオブジェクトまたは非常に類似したオブジェクト

5:20

ここのシーンでは、方法も確認できます

5:22

同じ手袋を使用して表します

5:24

窓か絵画のどちらか

5:26

あなたができるのと同じように、多くの意味があります

5:29

光はほとんど常に

5:31

同様にフォートブラブで表されます

5:33

ブラブがどのように頻繁に発生するかを見ることができます

5:35

で同じ地域を表す

5:37

シーンは間違いなくあなたを導きます

5:39

データセット内の画像の類似性

5:42

この実験に使用され、出来上がり

5:45

ブロガンが操作を学ぶ方法です

5:47

非常に直感的なブロブを使用したシーン

5:50

私は見て興奮しています

5:52

結果のリアリズムは維持を改善します

5:54

そのような手法を使用した同様のアプローチ

5:57

シンプルなインタラクティブなアプリを設計できます

5:59

デザイナーや誰でも

6:01

画像を簡単に操作できます。

6:04

エキサイティングなもちろん、これはただの

6:06

この新しい論文の概要と私

6:08

彼らの論文を読むことを強くお勧めします

6:10

理解を深めるために

6:12

彼らのアプローチの詳細

6:13

彼らが私と同じように行った実装とテスト

6:16

彼らもビデオの前半で言った

6:18

コードを公開し、色を共有しました

6:20

すぐに試せるデモ

6:22

リンクは以下の説明にあります

6:24

最後までご覧いただき、ありがとうございました

6:27

来週また別の人と会いましょう

6:28

素晴らしい紙

[音楽]