BlobGAN : un GRAND pas pour les GAN

BlobGAN permet une manipulation irréelle des images, en contrôlant très facilement les blobs simples. Toutes ces petites gouttes représentent un objet, et vous pouvez les déplacer ou les agrandir, les réduire ou même les supprimer, et cela aura le même effet sur l'objet qu'il représente dans l'image. C'est trop cool!

Comme les auteurs ont partagé leurs résultats, vous pouvez même créer de nouvelles images en dupliquant des blobs, en créant des images invisibles dans l'ensemble de données  ! Corrigez-moi si je me trompe, mais je pense que c'est l'un des, sinon le premier, article à rendre la modification des images aussi simple que de déplacer des blobs et de permettre des modifications qui n'étaient pas visibles dans l'ensemble de données d'entraînement.

Et vous pouvez réellement jouer avec celui-ci par rapport à certaines entreprises que nous connaissons tous ! Ils ont partagé leur code publiquement et une démo Colab que vous pouvez essayer immédiatement. Le fonctionnement de BlobGAN est encore plus excitant. Apprenez-en plus dans la vidéo !

Voir la vidéo

Références

►Lire l'article complet : https://www.louisbouchard.ai/blobgan/
►Epstein, D., Park, T., Zhang, R., Shechtman, E. et Efros, AA, 2022.
BlobGAN : représentations de scène spatialement désenchevêtrées. prépublication arXiv
arXiv:2205.02837.
►Lien du projet : https://dave.ml/blobgan/
► Code : https://github.com/dave-epstein/blobgan
►Démo Colab : https://colab.research.google.com/drive/1clvh28Yds5CvKsYYENGLS3iIIrlZK4xO?usp=sharing#scrollTo=0QuVIyVplOKu
►Ma Newsletter (Une nouvelle application d'IA expliquée chaque semaine à vos mails !) : https://www.louisbouchard.ai/newsletter/

Transcription vidéo

0:00

si vous pensez que le progrès avec des armes à feu

0:02

c'était fini tu ne pouvais pas avoir plus tort

0:04

voici le pistolet blob et ce nouveau papier est

0:07

juste incroyable pistolet blob permet

0:09

manipulation irréelle d'images rendues super

0:12

contrôler facilement tous les blobs simples

0:14

ces petites gouttes représentent un objet

0:17

et vous pouvez les déplacer pour les faire

0:19

plus petit ou même les supprimer et

0:22

cela aura le même effet sur

0:24

objet qu'il représente dans l'image ce

0:26

est tellement cool que les auteurs ont partagé

0:29

leurs résultats, vous pouvez même créer un roman

0:31

images en dupliquant des blubs en créant

0:34

images inédites dans l'ensemble de données comme celui-ci

0:37

chambre avec deux ventilateurs de plafond corrigez-moi si

0:40

je me trompe mais je crois que c'est l'un des si

0:42

pas le premier papier à faire le

0:44

modification d'images aussi simple que

0:46

déplacer des blobs et permettre

0:49

modifications qui n'ont pas été vues dans la formation

0:51

ensemble de données et vous pouvez réellement jouer avec

0:53

celui-ci par rapport à d'autres entreprises que nous

0:55

tous savent qu'ils ont partagé sont appelés publiquement

0:58

et une démo de collaboration que vous pouvez essayer tout de suite

1:00

encore plus excitant est le fonctionnement de bloggian

1:03

dans lequel nous allons nous plonger dans quelques secondes

1:05

publier un excellent article comme

1:07

blobgun dont les chercheurs avaient besoin pour exécuter

1:09

de nombreuses expériences sur plusieurs machines

1:12

ceux qui ont joué avec des flingues savent combien de temps

1:14

et douloureux ce processus peut être plus

1:16

leur code est disponible sur github et

1:18

google collab cela signifie que leur code a

1:21

pour être reproductible assez drôlement ceci

1:24

est aussi un point très fort de ce

1:26

poids et préjugés des sponsors de l'épisode

1:28

les poids et les préjugés changent ma vie en tant que

1h30

chercheur, il suit tout ce dont vous avez besoin

1:32

pour que votre code soit reproductible

1:34

hyper paramètres le commit github

1:36

métriques d'utilisation du matériel et python

1:38

version vous laissant sans prise de tête ok

1:41

certains peuvent encore apparaître à cause de

1:43

délais ou bugs mais aucun d'essayer

1:45

reproduire des poids d'expériences et

1:47

les préjugés sont également très utiles lorsque

1:49

partager les résultats de vos expériences avec

1:51

vos collègues un excellent outil pour cela est

1:53

rapports pour lesquels ils peuvent servir de tableaux de bord

1:56

superviseur pis ou managers pour vérifier comment

1:59

l'expérimentation va signifier plus

2:01

du temps pour la recherche tout en améliorant votre

2:03

la qualité des commentaires s'il vous plaît ne soyez pas comme

2:06

la plupart des chercheurs qui gardent leur code un

2:08

secret et essayez d'utiliser des poids et des préjugés

2:10

avec le premier lien ci-dessous

2:13

revenons maintenant à notre arme à feu en papier

2:16

scène démêlée dans l'espace

2:18

représentations le titre le dit ital

2:21

blovkian utilise des blobs pour démêler

2:23

objets dans une scène, ce qui signifie que le

2:25

le modèle apprend à associer chaque blob à

2:28

un objet spécifique dans la scène comme un

2h30

fenêtre de lit ou ventilateur de plafond une fois formé

2:33

vous pouvez déplacer les blobs et les objets

2:35

autour individuellement, agrandissez-les ou

2:37

les plus petits dupliquez-les ou même supprimez-les

2:40

eux de l'image bien sûr le

2:42

les résultats ne sont pas tout à fait réalistes mais

2:44

comme dirait une grande personne, imaginez

2:47

le potentiel de cette approche deux autres

2:49

papiers sur toute la ligne

2:51

ce qui est encore plus cool c'est que cette formation

2:53

se produit dans un schéma non supervisé

2:55

signifie que vous n'avez pas besoin de chaque

2:57

exemple d'image pour l'entraîner comme vous le feriez

3:00

en apprentissage supervisé un exemple rapide

3:02

est que la formation supervisée nécessitera

3:05

à vous d'avoir tout ce que vous désirez

3:06

manipulations dans votre image qui sont définies

3:08

apprendre aux blobs à les apprendre

3:10

transformations alors qu'en non supervisé

3:13

apprendre que vous n'avez pas besoin de cette vaste

3:15

données et le modèle apprendra à atteindre

3:17

cette tâche en associant elle-même des bluffs

3:20

aux objets seuls sans explicite

3:22

étiquettes nous formons le modèle avec un

3:24

générateur et un discriminateur dans un pistolet

3:27

mode je vais simplement faire un rapide

3:28

vue d'ensemble car j'ai couvert les armes à feu dans

3h30

de nombreuses vidéos avant comme toujours dans les armes à feu

3:33

la responsabilité du discriminateur est de

3:35

former le générateur pour créer réaliste

3:38

images la partie la plus importante de la

3:40

l'architecture est le générateur avec notre

3:42

blobs et un style gun 2 comme décodeur i

3:45

couvre également les générateurs à base de pistolet de style

3:48

dans d'autres vidéos si vous êtes curieux de savoir

3:50

comment ça marche mais en bref nous d'abord

3:52

créer nos blobs cela se fait en prenant

3:55

bruit aléatoire comme dans la plupart des générateurs

3:57

réseaux et le cartographier en blobs à l'aide

4:00

un premier réseau de neurones ce sera

4:02

appris pendant la formation, vous devez

4:05

faire l'impossible prendre ce blob

4:07

représentation et créer une image réelle

4:10

c'est là que la magie du gan

4:12

se produit puisque vous écoutez toujours

4:14

pensez à vous abonner au

4:16

chaîne et aimer la vidéo, cela signifie un

4:18

beaucoup et soutient mon travail gratuitement aussi

4:21

nous avons une communauté appelée learn ai

4:23

ensemble sur discord pour apprendre échanger

4:26

avec d'autres passionnés d'IA, je suis convaincu

4:28

vous allez adorer là-bas et je serai heureux

4h30

Te rencontrer

4:32

nous avons besoin d'une architecture semblable à celle d'un pistolet à étoiles pour

4:34

créer nos images à partir de ces gouttes de

4:37

Bien sûr, nous avons ajouté l'architecture à prendre

4:39

les blobs que nous venons de créer comme entrées

4:41

au lieu du bruit aléatoire habituel

4:43

puis nous tournons notre modèle en utilisant le

4:45

discriminateur pour apprendre à générer

4:47

des images réalistes une fois qu'on a bien

4:50

suffisamment de résultats, cela signifie que notre modèle peut

4:52

prendre la représentation blob au lieu de

4:54

bruit et générer des images, mais nous avons encore

4:57

avoir un problème comment pouvons-nous démêler

4:59

ces blobs et les faire correspondre à des objets

5:02

bien c'est la beauté de notre

5:04

approche non supervisée, le modèle

5:06

améliorer et créer de manière itérative réaliste

5:08

résultats tout en apprenant à

5:11

représenter ces images sous la forme d'un

5:13

nombre fixe de blobs que vous pouvez voir ici

5:15

comment les blubs sont souvent utilisés pour représenter

5:17

les mêmes objets ou des objets très similaires

5:20

dans la scène ici, vous pouvez également voir comment

5:22

les mêmes gants sont utilisés pour représenter

5:24

une fenêtre ou un tableau qui

5:26

a beaucoup de sens de même que vous pouvez

5:29

voyez que la lumière est presque toujours

5:31

représenté dans le fort blub de la même manière

5:33

vous pouvez voir à quel point les blubs sont souvent

5:35

représentant les mêmes régions du

5:37

scène vous mène très certainement à la

5:39

similitudes des images dans le jeu de données

5:42

utilisé pour cette expérience et le tour est joué

5:45

c'est ainsi que blobgan apprend à manipuler

5:47

scènes utilisant un blob très intuitif

5:50

représentation je suis ravi de voir la

5:52

le réalisme des résultats améliorer le maintien d'un

5:54

approche similaire utilisant une telle technique

5:57

nous pourrions concevoir des applications interactives simples

5:59

pour permettre aux concepteurs et à quiconque de

6:01

manipuler facilement les images, ce qui est assez

6:04

passionnant bien sûr ce n'était qu'un

6:06

aperçu de ce nouvel article et je

6:08

recommande fortement de lire leur article

6:10

pour une meilleure compréhension et beaucoup

6:12

plus de détails sur leur approche

6:13

mise en œuvre et tests qu'ils ont fait comme moi

6:16

dit plus tôt dans la vidéo, ils ont aussi

6:18

partagé leur code publiquement et une couleur

6:20

démo, vous pouvez essayer tout de suite tous les

6:22

les liens sont dans la description ci-dessous

6:24

merci d'avoir regardé jusqu'au bout et

6:27

je vous verrai la semaine prochaine avec un autre

6:28

papier incroyable

[Musique]