Recraft AI ke sesebediswa moralo matlafatsoa ke dikai phatlalatšo mong. Mohlala wa bona o mofsa Red Panda o feta dika ka moka tše di lego gona tša sengwalwa go ya go seswantšho go akaretšwa Midjourney, DALL-E 3, FLUX. Recraft e kopanya maitemogelo a moswananoši a mosediriši go batšweletši ka didirišwa tša AI tša maemo a godimo. Go thekga badiriši ba dimilione, dika tša phatlalatšo di nyaka mananeokgoparara a tiilego a go dira phetho—go kopanya didirišwa tše matla tša didirišwa tša go šoma le didirišwa tša khomphutha tše di šomago gabotse. Sehlogong se, re tla hlahloba kamoo didirišwa tša go akgofiša tša TheStage AI di thušitšego baentšeneare ba AI le banyakišiši ba Recraft go fihlelela tshepedišo ya go fihla go 2x go di-GPU tša Nvidia ka segokanyimmediamentsi sa sebolokigolo sa Python seo se kwešišegago gabonolo!

Matseno

Mehlala ya phatlalatšo e bontšhitše dipoelo tše di sa tlwaelegago nywageng ya morago bjale bakeng sa moloko wa diteng, go akaretša diswantšho, mmino, dibidio le meshes ya 3D. dikai tsena sebelisa nako ea phetho compute ditjeo ho iteratively ntlafatsa moloko diphetho, hanyenyane ntjhafatsa dipholo tsa ka mong le e mong inference mohato. Bjale re kgona go bona tshwantšhišo ka go di-LLM tšeo di šomišago mabaka ka phetho ya magato a mantši go fa karabo ya boleng bja godimo.

Ka TheStage AI re haha kakaretso dipalo tlhako bakeng sa boithatelo PyTorch dikai ho sebetsana rarahaneng mohlala potlakisa phallo ka botlalo ka tsela e iketsang. Tsamaiso ya rona ka tsela e iketsang lemoha optimizations teng ka hardware ya hao (qunatization, sparsification) le khetha bakeng sa mong le e mong lera algorithm e nepahetseng ho finyella boleng molemo ka ho fetisisa le lakatsa mohlala boholo le latency lithibelo kapa fumana molemo ka ho fetisisa potlakisa le thibeloa boleng lithibelo. Its a hard mathematical problem yeo re ka e rarollago ka tsela ye e šomago gabotse kudu! Sehlogo se se hlahloba ka moo re dirišago didirišwa tše ka tirišano ya rena le Recraft AI.

Ge re be re hlama didirišwa tša rena, re ile ra phetha ka go hlompha melao ya motheo ye e latelago:

• Hardware tlwaetšo. Ditšweletšwa tša maemo a godimo tša AI di šetše di na le mananeokgoparara a tšona ao di a ratago
• Go boloka boleng. Ditšweletšwa tša maemo a godimo tša AI di ka se amogele go senyega ga boleng
• Sephiring. Ditšweletšwa tša maemo a godimo tša AI di nyaka go boloka theknolotši ya tšona e le sephiri le go šoma ka didirišwa ka mananeokgoparara a tšona
• Di-DNN tša boithatelo. Ditšweletšwa tša maemo a godimo tša AI di ka šomiša ditlhamo tše di hlamilwego ka gare moo didirišwa tša go akgofiša tša setšhaba tša dika tša mohlodi wo o bulegilego di sa kgonego go swara ditlhamo tše di raraganego tša DNN go tšweletša dipoelo tše di nepagetšego.
• Pytorch ya go swana le yona. The ratoang ka ho fetisisa le loketseng tlhako bakeng sa e ngata AI baenjiniere.

Ka ge re filwe maemo a a mathomo, re be re ikemišeditše go hlama didirišwa tšeo di nago le dikarolo tše di latelago:

• Go akgofiša mo go laolegago. Re foreime ya go dira phetho optimization bjalo ka bothata bja go dira gore kgwebo e šome gabotse, re dumelela bareki go laetša bogolo bja bona bja mohlala bjo bo nyakegago, latency, goba boleng bakeng sa ya data ya bona.
• Kgoboketšo ye bonolo. Go kgoboketša dika tše di tšweleditšwego bakeng sa phethagatšo ya didirišwa tša go šoma gabotse go nyaka mola o tee feela wa khoutu. Re fana gape ka segokanyimmediamentsi sa sebolokigolo bonolo go swara kerafo khefu.
• Go thoma ka go tonya ka lebelo. Go fihlelela go thoma ka lebelo ka go tonya mo go kgonegago, re kgontšha go boloka dika tše di kgobokeditšwego. Ke ka lebaka leo re sa šomišego dikgoboketši tša JIT.
• Go tsenywa tirišong mo go bonolo. Go tsenya tirišong mohlala wo o lokišitšwego go swanetše go ba mo go otlologilego go swana le go tsenya wa mathomo.

Mehlala ya Phatlalatšo ya Sengwalwa go ya go Seswantšho

Ka iteration e nngwe le e nngwe ya tshepedišo ya phatlalatšo, netweke ya ditšhika e denoises seswantšho sebakeng se se utilwego sa Variational AutoEncoder. Ke moka seswantšho seo se sa tšwago go hwetšwa se tswakwa le lešata gape, eupša ka boima bjo bonyenyane ganyenyane-ganyenyane. Nakong ya dipoeletšo tša mathomo, mohlala wa phatlalatšo o thala lefelo le legolo, o diriša boima bja lešata bjo bohlokwa go dira dikaonafatšo tše kgolo. Dipoeletšong tša ka morago, e hlwekišwa dintlha tša maqhubu a magolo. Tebelelo ye e re dumelela go hlama diphaephe tše di itšego tša go akgofiša ka go aba ka maano bokgoni bja netweke go ralala le dillaga go tšwa go poeletšo go ya go poeletšo, go boloka boleng. Le ge go le bjalo, kabo ye bjalo e nyaka didirišwa tše di kgethegilego tšeo di kopanyago ditemogo tša dipalo le boentšeneare bja modumo — mo ke moo TheStage AI e ka thušago kudu!

Diffusion dikai Potlaka le Compression

Go akgofiša dika tša phatlalatšo go ka lebelelwa bjalo ka go akgofiša di-DNN tša boithatelo, eupša re swanetše go ikarabela ka ditlhohlo tše itšego. Ka mohlala, quantization e sa fetogego, yeo ka tlwaelo e fago go akgofiša mo gogolo, e tsebagatša tlhohlo dikaong tša phatlalatšo ge dikabo tša go tsenya tirišong di fetoga go tšwa go iteration go ya go iteration. Go rarolla se, re swanetše go akanyetša gabotse dikelo tše di loketšego bakeng sa dipoeletšo ka moka goba re diriše dipeakanyo tše di fapanego tša quantization bakeng sa poeletšo e nngwe le e nngwe.

dikai phatlalatšo di hlohla go tlwaetša le go fihlelela tshepedišo ya godimo. Lega go le bjalo, dipoelo tšeo di bontšhitšwego ke sehlopha sa Recraft di feta dika ka moka tša mehleng yeno tša mongwalo go ya go seswantšho . Go netefatša go senyega ga dika tše bjalo go ka ba thata, go dira gore go be bohlokwa go šomiša dithekniki tša go akgofiša tšeo di bolokago semantiki ya tšobotsi ya mathomo. Dialgoritmo tša quantization e ka ba kgetho ye botse ge di ka kgona go swaragana le tlhohlo ya dikabo tša go tsenya tirišong tše di fapanego. A re lebelele diphaephe tša rena tša go itiriša, tšeo re tlago di hlaloša dikarolong tše di latelago.

Go dira diprofaele

Profaele e filwego mohlala le ya data itseng lumella ho:

• Laola bogolo bja paramethara ye nngwe le ye nngwe
• Hlaola dialgoritmo tša quantization, sparsification, poma tše di šomago bakeng sa boloko bjo bongwe le bjo bongwe bja motheo
• Lekanyetša latency ya diboloko ka botee ka dipeakanyo tša memori tše di fapanego
• Kgoboketša tshedimošo ka moka yeo e kgobokeditšwego bakeng sa ANNA (Automated NNs Accelerator) .

Kgatelelo ya go itiriša & Potlaka

Ka morago ga ge profiler e kgobokeditše ya data ka moka ye e nyakegago, re ka thoma boto ya rena ya ANNA gomme ra sepetša slider go tšweletša diphetolelo tša mohlala tše di fapanego tše di lokišitšwego. Badiriši ba rena ka morago ba ka kgetha bonkgetheng ba kaone go ya ka boleng vs. inference cost trade-off. Didirišwa tša rena di swara diphetho tše tša boleng bja go itšeela godimo ka tsela ye bonolo.

Mešomo Fusion le Kgoboketšo

Bjalo ka ge go boletšwe pejana, ga re šomiše kgoboketšo ya JIT ka gobane e oketša nako ya go thoma ka go tonya ya noutu ye mpsha. Gape ga re šomiše dikgoboketši tša ka ntle ga šelefo. Go e na le moo, re kgoboketša peakanyo ya rena e raraganego ya go akgofiša yeo e ka tswakago dialgoritmo tše di fapanego. Go fihlelela se, re hlamile protocol ya rena ya ka gare go hlaloša dillaga tše di akgofišitšwego ke DNN ka tsela ya go se tsebe dilo tša go šoma ka thata. E nngwe ya mehola ye bohlokwa ya tlhako ya go akgofiša AI ya TheStage ke gore lefelo le tee la go hlahloba le ka kgoboketšwa bakeng sa mehutahuta ya didirišwa tša go šoma, go rarolla go sepelelana ga sefapano-sefala bakeng sa softwere ya AI. Sebopego se se tla ba bohlokwa kudu bakeng sa go tsenywa tirišong ga sedirišwa sa bokagodimo tlhabollong ya tirišo.

Dipakane tša bakgoboketši ba DNN ke go:

• Nolofatšo ya Kerafo. Nolofatsa phethagatšo kerafo ka dipalo tshebetso fusion, fokotsa inference nako
• Taolo ya Memory. Bala memori ye e nyakegago bakeng sa tshepedišo ye nngwe le ye nngwe gomme o laole peakanyo ya kabo ka tšhomišo leswa ya memori ye e šomago gabotse
• Phethagatšo ye e loketšego. Profaele ya phethagatšo ye e loketšego ya tshepedišo ye nngwe le ye nngwe ya motheo-mošomo wo o hlohlago, ka ge phethagatšo ye kaone e ka nyaka dipeakanyo tše itšego tša memori, yeo e lebišago go tshekatsheko ya dikgokagano tša magareng ga legato
• Peelano ya Mešomo. Theha lenaneo la tshebetso bakeng sa kerafo ya phethagatšo ye e lokišitšwego
• Serialization ya go latelana. Boloka tshedimošo ye ka moka go efoga go kgoboketša gape mohlala ka mabelo a latelago

Go tsenywa tirišong le go Direla

Di-server tša diphetho le diphaephe tša go lekanya ka go itiriša di kgatha tema ye bohlokwa go tshepedišong ye e nago le ditshenyagalelo tše di lekanego le ye e šomago gabotse ya dikgopelo tše di tsenago. E ka akaretša gape le go hlopha dikgopelo tše di itšego le kgoboketšo ya dipalopalo go hloma sekala sa go bolela e sa le pele bakeng sa di-auto-scaler. Dihlogong tša rena tša nakong e tlago, re tla ahla-ahla di-server tša go dira diphetho tše di šomago gabotse ka botlalo!

Dipoelo

Go diriša diphaephe ka moka re ka fihlelela tshepedišo yeo e lego kaone go feta mokgoboketši wa Pytorch ( torch.compile ) gomme go ba gona e kaone kudu go feta phethagatšo ya PyTorch yeo e fišegelago go float16. Ho feta moo e le PyTorch mokgoboketsi sebelisa JIT pokello mokgwa wa ka mong le e mong mohlala initialization e hloka recompilation bakeng sa e ngata input boholo seo se etsang ho tonya qala nako e telele ka ho lekaneng bakeng sa dikopo sebetsang moo latency e haholo bohlokoa.

Mehola ya Kgwebo

Mehola ye bohlokwa ya kgwebo ya go akgofiša mo go hlotšwego ke setšweletšwa sa Recraft ke ye:

• Fokotša ditshenyegelo tša mananeokgoparara ka go hlankela badiriši ba bantši gabedi ka didirišwa tša go swana tša didirišwa tša go šoma
• Boitemogelo bjo bo kaonafetšego bja mosediriši ka dinako tša karabelo ya go tšweletša diswantšho ka lebelo
• Bokgoni bja go hlankela badiriši ba bantši ba nako e tee nakong ya merwalo ya tlhōrō
• Mohola wa phadišano ka kabo ya ditirelo ka lebelo

TheStage AI optimization disebediswa re lumella ho potlakisa rona sengwalwa-ho-setšoantšo dikai ntle le ho senyeha boleng, bōpa molemo mosebedisi boiphihlelo bakeng sa bareki ba rona.

Mohlankedimogolophethiši Recraft, Anna Veronika Dorogush

Ditebogo tša go leboga

Dipoelo tše di fa netefatšo ye botse kudu ya didirišwa tša rena le dinyakišišo ka ga ditšweletšwa tša mošomo wa maemo a godimo. Sehlopha sa TheStage AI se tšwela pele go šomela go tliša tshepedišo ye kgolo le go feta. Go fihlelela se, re dirišana le balekane ba ba tšwetšego pele! Re leboga kudu go:

• Mohlankedimogolophethiši wa Recraft Anna Veronika ka tirišano ye e enywago dienywa. Re thabile kudu go ba le ge e le karolo ye nnyane ya leeto la bona le legolo la go tliša didirišwa tše kaone tša go hlama.
• Recraft Hlogo ya AI Pavel Ostyakov ka bokgoni bja gagwe ka go DNNs, ditshwaotshwao tše maatla ka ga didirišwa, le ka go bea dipakane tše di hlohlago bakeng sa projeke ya rena ya tirišano.
• Sehlopha sa Recraft AI sa go aga setšweletšwa se se segolo. Diswantšho sehlogong se di tšweleditšwe ka Recraft!
• Sehlopha sa Nebius ka thekgo ya bona ye e sa fetogego ka mananeokgoparara a mabotse kudu a GPU bakeng sa nyakišišo ya rena.

Dikgokagano / Methopo