Орус илимпоздору сүрөттүн алдындагы, жашыруун диффузияны колдонуу менен биринчи тексттен сүрөткө архитектурасын иштеп чыгышты

Шилтемелер таблицасы

• Аннотация жана киришүү
• Байланыштуу иш
• Демо системасы
• Кандинский архитектурасы
• Эксперименттер
• Жыйынтыктар
• Корутунду & Чектөөлөр
• Этикалык ой жүгүртүүлөр, ыраазычылыктар жана шилтемелер

Реферат

Тексттен сүрөткө генерация заманбап компьютердик көрүүнүн маанилүү домени болуп саналат жана генеративдик архитектуранын эволюциясы аркылуу олуттуу жакшыртууга жетишти. Алардын арасында сапаттын маанилүү жакшыртууларын көрсөткөн диффузиялык моделдер бар. Бул моделдер жалпысынан эки категорияга бөлүнөт: пикселдик деңгээлдеги жана жашыруун деңгээлдеги ыкмалар. Биз Кандинскийди [1] сунуштайбыз, латенттик диффузиялык архитектуранын жаңы изилдөөсү, мурунку моделдердин сүрөттөлүшүнүн принциптерин жашыруун диффузия ыкмалары менен айкалыштыруу. Сүрөттүн мурунку модели текстти CLIP сүрөттүн кыстаруу картасына түшүрүү үчүн өзүнчө үйрөтүлгөн. Сунушталган моделдин дагы бир айырмаланган өзгөчөлүгү сүрөттүн автокодер компоненти катары кызмат кылган өзгөртүлгөн MoVQ ишке ашыруу болуп саналат. Жалпысынан, иштелип чыккан модель 3.3B параметрлерин камтыйт. Ошондой эле биз колдонуучуга ыңгайлуу демо тутумду орноттук, ал текстти сүрөткө түзүү, сүрөттү бириктирүү, текст жана сүрөттү бириктирүү, сүрөттөрдүн вариацияларын түзүү жана текстти башкарган боёк/сырдоо сыяктуу түрдүү генеративдик режимдерди колдогон. Кошумчалай кетсек, биз Кандинский моделдеринин баштапкы кодун жана текшерүү пункттарын чыгардык. Эксперименттик баа берүүлөр COCO-30K маалымат топтомунда 8.03 FID упайын көрсөтүп, биздин моделибизди өлчөнгөн сүрөттүн сапаты боюнча эң мыкты ачык булак аткаруучусу катары белгилейт.

1 Киришүү

Кыска убакыттын ичинде тексттен сүрөткө моделдердин генеративдик мүмкүнчүлүктөрү кыйла жакшырып, колдонуучуларга фотореалдуу сапат, реалдуу убакыт режиминде болжолдуу ылдамдык, көптөгөн тиркемелер жана функциялар, анын ичинде жөнөкөй колдонууга оңой желе менен камсыз кылууда. - негизделген платформалар жана татаал AI графикалык редакторлору.

Бул документ изилдөөнүн бул динамикалык тармагына жаңы жана инновациялык көз карашты сунуш кылган, жашыруун диффузиялык архитектуралык дизайн боюнча уникалдуу изилдөөбүздү сунуштайт. Биринчиден, биз Кандинскийдин жаңы архитектурасын жана анын деталдарын сүрөттөп беребиз. моделдин ишке ашырылган өзгөчөлүктөрү менен демо системасы да сүрөттөлгөн. Экинчиден, биз сүрөттү түзүү сапаты боюнча жүргүзүлгөн эксперименттерди көрсөтөбүз жана учурдагы ачык булак моделдеринин ичинен эң жогорку FID упайына ээ болобуз. Кошумчалай кетсек, биз эң эффективдүү жана такталган моделдик дизайнга жетүү үчүн ар кандай конфигурацияларды кылдаттык менен талдап, баалоого мүмкүндүк берүүчү мурунку орнотууларды кылдат абляциялык изилдөөнү сунуштайбыз.

Биздин салымдар төмөнкүдөй:

• Биз сүрөткө чейинки жана жашыруун диффузиянын айкалышынын жардамы менен иштелип чыккан биринчи тексттен сүрөткө архитектураны сунуштайбыз.

• Биз FID метрикасы боюнча Stable Diffusion, IF жана DALL-E 2 сыяктуу заманбап (SotA) моделдерине окшош эксперименталдык натыйжаларды көрсөтөбүз жана бардык ачык булак моделдеринин ичинен SotA упайына жетебиз.

• Биз тексттин сүрөтүн түзүү үчүн сунушталган заманбап ыкманы программалык камсыздоону ишке ашырууну камсыз кылабыз жана алдын ала даярдалган моделдерди чыгарабыз. Apache 2.0 лицензиясы моделди коммерциялык эмес жана коммерциялык максаттарда колдонууга мүмкүндүк берет.2 3

• Биз сунуш кылынган ыкманын негизинде тексттик чакырыктар менен сүрөттөрдү интерактивдүү түзүү үчүн колдонула турган веб-сүрөт редактору тиркемесин түзөбүз (англис жана орус тилдери колдоого алынат) жана боёктоо/боёктоо функциясын камсыз кылат.4 Видео демонстрация төмөнкү сайтта жеткиликтүү: YouTube.5

[1] Система атактуу сүрөтчү жана искусство теоретиги Василий Кандинскийдин атынан коюлган.

[2] https://github.com/ai-forever/Kandinsky-2

[3] https://huggingface.co/kandinsky-community

[4] https://fusionbrain.ai/en/editor

[5] https://www.youtube.com/watch?v=c7zHPc59cWU