AI demokratizēšana: kā IO.NET CTO veido “GPU Airbnb”

Mākslīgā intelekta uzplaukums ir radījis nepieredzētu pieprasījumu pēc GPU skaitļošanas jaudas, taču piekļuve joprojām ir koncentrēta dažu lielāko mākoņdatošanas pakalpojumu sniedzēju vidū. IO.NET, starta uzņēmums, kas koncentrējas uz decentralizētu GPU infrastruktūru, cenšas mainīt šo dinamiku, izveidojot to, ko tā vadītāji sauc par "GPU Airbnb". Šajā ekskluzīvajā intervijā Gauravs, IO.NET CTO un bijušais Binance tehniskais vadītājs, apspriež, kā uzņēmums veido platformu, kas varētu demokratizēt piekļuvi AI skaitļošanas resursiem, vienlaikus samazinot izmaksas līdz pat 75% salīdzinājumā ar tradicionālajiem pakalpojumu sniedzējiem.

Ishan : Laipni lūdzam mūsu sērijā “Behind the Startup”. Lūdzu, pastāstiet mums par sevi, savu ceļojumu un to, kas jūs iedvesmoja pievienoties IO.NET ?

Gauravs : Mans ceļš ir bijis diezgan vienkāršs, sākot ar programmatūras inženieri Punē. Pirms pārcelšanās uz Bangaloru es strādāju vairākos jaunuzņēmumos, kur pievienojos HP R&D un palīdzēju izveidot viņu tīkla failu sistēmu no nulles. Uzņēmumā Amazon es strādāju pie viņu Android lietotņu, e-grāmatu un Audible grāmatu publicēšanas. Pēc tam es pārcēlos uz eBay, kam sekoja liels OTA uzņēmums Taizemē, kas bija tirgus līderis Vjetnamā, Singapūrā un Malaizijā viesnīcu un lidojumu rezervēšanai.

Pirms pievienošanās Binance es pavadīju viņu vadības komandā apmēram 5–6 gadus, kur vadīju mērogojamas platformas izveidi KYC atbilstībai un krāpšanas atklāšanai vairāk nekā pusmiljardam lietotāju. Visas savas karjeras laikā esmu strādājis ar AI dažādos veidos un pieredzējis, kā cilvēki cīnās ar piekļuvi nepieciešamajiem skaitļošanas resursiem.

Ishan : Pastāstiet mums par savu lomu IO.NET un kādu nākotni jūs redzat decentralizētai skaitļošanai salīdzinājumā ar centralizēto arhitektūru?

Gauravs : Mans kā CTO galvenais uzdevums ir izveidot mērogojamu platformu, kas ļauj piegādātājiem viegli pievienoties un patērētājiem izmantot šos resursus. Mēs sākām ar GPU, taču mūsu redzējums sniedzas tālāk.

Mūsu decentralizētās pieejas galvenā priekšrocība ir mērogojamība. Tradicionālie datu centri saskaras ar ievērojamām problēmām, paplašinoties jaunos reģionos – tiem ir jāīrē telpa, jānoalgo komandas, jāpasūta aprīkojums un jāveic apkope. Tas rada lielas sākotnējās izmaksas, kas galu galā tiek nodotas lietotājiem. Mūsu decentralizētais modelis ļauj mums veikt mērogošanu daudz efektīvāk, izmantojot esošo infrastruktūru.

Ishan : Kā darbojas jūsu biznesa modelis salīdzinājumā ar centralizētiem piegādātājiem, piemēram, Azure, kas iekasē ievērojamas summas par AI modeļa mitināšanu?

Gaurav : Mēs sekojam modelim, kas ir līdzīgs Uber — lai gan ikviens var izveidot līdzīgu programmatūru, mūsu priekšrocība ir mūsu piedāvājuma puses savienojumi. Mūsu komanda ir izveidojusi dziļas attiecības ar infrastruktūras nodrošinātājiem visā pasaulē, ļaujot mums iegādāties GPU par konkurētspējīgām cenām. Mūsu cenas parasti ir par 75% zemākas nekā Amazon un Google.

Piedāvājam gan stundas likmes, gan ilgtermiņa saistības 6-9 mēnešus. Mēs piedāvājam arī pārvaldītus pakalpojumus jaunizveidotiem uzņēmumiem, kuri vēlas koncentrēties uz savu pamatdarbību, nevis pārvaldīt infrastruktūru.

Ishan : Kā līdz šim ir bijusi vilkme?

Gauravs : Atsaucība ir bijusi spēcīga. Mēs nesen izpildījām pasūtījumu par 1500 4090 un esam tuvu tam, lai parakstītu darījumus ar diviem Āzijas Web2 uzņēmumiem, kuriem katram ir vairāk nekā 200 miljoni lietotāju. Lai gan sākotnēji mūsu tīkla dēļ mēs koncentrējāmies uz kriptovalūtu uzņēmumiem, mēs redzam pieaugošu interesi no tradicionālajiem tehnoloģiju uzņēmumiem, kas vēlas ietaupīt izmaksas.

Ishan : Vai varat paskaidrot, kā darbotos decentralizēta apmācības arhitektūra? Decentralizācija var ietekmēt mērogojamību vai drošību. Kā mēs to varam saskaņot.

Gauravs : Tas ir atkarīgs no tā, kā jūs definējat mērogojamību. Ļaujiet man ilustrēt ar piemēru no datu centru biznesa. Ja esat datu centru nodrošinātājs Ziemeļamerikā un man ir nepieciešami 1000 H100 singapūrā, tradicionālais process ir ārkārtīgi sarežģīts. Jums būs jānomā telpa, jānoalgo komanda, jāpasūta GPU, jāveic piegāde, apkope un iestatīšana. Tas rada ievērojamas sākotnējās izmaksas un lēnu laiku līdz tirgum, kas galu galā tiek nodots lietotājiem.

Mūsu decentralizētajā modelī, jo krājumi ir sadalīti, mēs nesaskaramies ar šīm problēmām. Jaudas pievienošana ir tikpat vienkārša kā jaunu pakalpojumu sniedzēju pievienošana mūsu platformai. Tas ir līdzīgi tam, kā darbojas viesnīcu pieejamība — tas, ka lielākās ķēdes ir pilnībā rezervētas, nenozīmē, ka pilsētā nav numuru. Patiesībā ir pieejama ievērojama GPU jauda, taču neviens nav izveidojis "Airbnb GPU", lai efektīvi apkopotu šo krājumu.

Ishan : Lai pareizi saprastu, ja Bangalorā ir students vai spēlētājs un ASV uzņēmums ar dīkstāves GPU, viņi varētu izveidot savienojumu, izmantojot jūsu platformu?

Gauravs : Tieši tā. Šos GPU var izmantot kāds no Taizemes vai Indijas, kurš vēlas apmācīt konkrētu modeli – vai tas ir LSTM vai kāds cits. Tā kā tas ir uz nomu balstīts modelis, tas ir ekonomiskāks nekā tradicionālie pakalpojumu sniedzēji.

Ishan : Ko jūs domājat par sacensībām starp pierobežas modeļiem šobrīd - no Llama līdz OpenAI līdz Anthropic?

Gauravs : Šobrīd tās galvenokārt ir spekulācijas. Pēdējo pāris gadu laikā mēs esam veikuši ievērojamu lēcienu uz priekšu AI spēju jomā. Lai gan nav skaidrs, kurš uzņēmums galu galā vadīs telpu - tas varētu būt pat Web3 atskaņotājs -, noteikti ir tas, ka nākamo trīs gadu laikā mēs redzēsim milzīgus jauninājumus.

Ishan : Kā šobrīd ir strukturēts IO.NET pārvaldības modelis?

Gauravs : Pašlaik mēs esam daļēji decentralizēti. Mēs aktīvi uzklausām mūsu kopienu, izmantojot iknedēļas AMA, un īstenojam viņu atsauksmes. Mūsu iekšējā komanda katru nedēļu pārskata visas lietotāju biļetes un pieprasījumus, lai noteiktu mūsu attīstības prioritātes. Mūsu kopienas iesaistīšanās galvenokārt notiek, izmantojot X (agrāk Twitter), Discord un mūsu AMA, un platformām ir vairāk nekā pusmiljons sekotāju.

Ishan : Ar kādām tehniskām problēmām jūs saskārāties, izstrādājot šo platformu, ņemot vērā, ka tā ir jauna koncepcija bez esošās decentralizētās AI arhitektūras?

Gauravs : Mūsu straujā mērogošana sniedza gan iespējas, gan izaicinājumus. Kad es pievienojos, platforma bija paredzēta 100 000 GPU, taču mums ātri vajadzēja apstrādāt miljonus. Tam bija nepieciešamas būtiskas arhitektūras izmaiņas, lai pārvaldītu drošību, stabilitāti un mērogojamību. Dibinātājs atzina, ka ir nepieciešama pieredzējuša vadība mērogojamu platformu veidošanā, kā rezultātā mani pieņēma darbā un ļāva man izveidot pieredzējušu profesionāļu komandu no tādiem uzņēmumiem kā Amazon, VMware un labākajiem AI pētniekiem.

Galvenais bija cilvēki, kuri iepriekš bija izveidojuši līdzīgas mērogojamās sistēmas. Mēs esam izveidojuši komandu, kurā ir mašīnmācības doktori un veterāni no lielākajiem tehnoloģiju uzņēmumiem, kas visi ir koncentrējušies uz šo sarežģīto tehnisko izaicinājumu risināšanu, vienlaikus saglabājot platformas decentralizēto raksturu.

Ishan : Pastāstiet mums vairāk par komandas priekšvēsturi, kā sākās ceļojums, kāda bija pirmā ideja, kādi bija pagriezieni pirms došanās pie šī modeļa un kādu IO.NET nākotni redzat nākamajos 1–2 gados.

Gauravs : Es pievienojos apmēram pirms septiņiem mēnešiem, aptuveni trīs līdz četrus mēnešus pēc uzņēmuma dibināšanas. Jau no pirmās dienas vīzija bija izveidot DeFi un AI platformu hibrīdu, lai celtnieki varētu izveidot modeļus. Kad es pievienojos, dibinātāji un es saskaņojāmies ar izšķirošu stratēģiju — mums vajadzēja piedāvāt kaut ko tādu, ko konkurentiem būtu ārkārtīgi grūti saskaņot. Mēs identificējām GPU ieguvi par konkurētspējīgām cenām kā galveno atšķirīgo faktoru.

Lai gan citas kriptovalūtas platformas varētu piedāvāt līdzīgu cenu, tās cīnās ar mērogu. Ja jūs viņiem pieprasāt 1500 GPU, viņi bieži vien nevar piegādāt, jo viņu biznesa modelis nav īsti decentralizēts. Pat ja viņi izveido viedos līgumus, ja viņiem pieder savi datu centri, mērogošana kļūst ārkārtīgi sarežģīta. Tā ir tā pati problēma, ar kuru saskaras Azure — jūs nevarat apgalvot, ka esat decentralizēts, tikai pievienojot viedos līgumus centralizētajai infrastruktūrai.

Ishan : Programmatūras izstrāde vienmēr ir izaicinājums. Ar kādām tehniskām problēmām jūs saskārāties, izstrādājot šo platformu, kas ir patiesi jauna, jo pašlaik GPU mitināšanai nav decentralizētas AI arhitektūras?

Gauravs : Mēs saskārāmies ar interesantu izaicinājumu palielināt mērogošanu daudz ātrāk, nekā paredzēts — no biznesa viedokļa laba problēma, taču no inženierijas viedokļa sarežģīta. Iedomājieties, ka izveidojat platformu 100 000 GPU un pēkšņi ir nepieciešams apstrādāt pusmiljonu vai vairāk. Gaisa nolaišanās laikā mēs saskārāmies ar milzīgu lietotāju pieplūdumu un iespējamiem Sybil uzbrukumiem, vienlaikus strauji palielinoties.

Drošas, stabilas platformas izveide, kas vienlaikus varētu apstrādāt 50–100 klasterus bez sastrēgumiem, vienlaikus ļaujot ātri papildināt piegādi par 1000 GPU minūtē – tie bija nozīmīgi izaicinājumi. Dibinātājs atzina, ka, lai gan viņš var izveidot uzņēmumu līdz noteiktam līmenim, tā tālākai attīstībai bija nepieciešami cilvēki ar pieredzi mērogojamu platformu un uzņēmumu veidošanā.

Tas ir tas, ko es viņā cienu – viņš atzina šo nepieciešamību un deva man pilnvaras izveidot pareizo komandu. Mēs esam piesaistījuši talantus no Amazon, VMware un dažādiem citiem labākajiem uzņēmumiem. Mums ir doktora grādi mašīnmācībā, produktu eksperti no lielākajiem tehnoloģiju uzņēmumiem — jūs varat pārbaudīt šo pieredzi mūsu vietnē.

Dibinātāji atbalstīja šo pieeju, saprotot, ka, lai produktu pārvērstu par īstu biznesu, ir vajadzīgi cilvēki, kas to darījuši iepriekš. Viņu atbalsts šajā pārejā ir bijis ļoti svarīgs mūsu panākumiem.

Neaizmirsti nospiest like un dalīties ar stāstu!