Silicon Valleyn Pied Piper on nyt todellinen uuden pakkaustekniikan ansiosta

HBO:n komediasarja Piilaakso sai kriitikoiden suosiota ja lähes täydelliset pisteet Rotten Tomatoesissa.

Kuten useimmat suuret komediat, ohjelman menestys johtuu todennäköisesti sen kyvystä tarjota satiirista näkemystä tosielämän skenaarioista joistakin Bay Arean tekniikan omituisimmista elementeistä vuosina 2014–2019.

Tässä tapauksessa Pied Piperin perustajalla ja hänen tiimillään on tehtävä tuoda hänen uusi pakkausteknologiansa maailmalle, jossa se voi skaalata massoja.

Kun sarja oli tuotannossa, tämä pakkaustekniikka ei ollut paljon muuta kuin älykäs tarinankerrontalaite, joka osoitti, millaisen markkinaraon tämä surkea startup oli löytänyt uraauurtavalla ratkaisullaan.

Kuitenkin, jos siirrymme eteenpäin vuoteen 2024, GenAI-teknologian nousukauden ja ennennäkemättömän datan kysynnän myötä, ei ole koskaan ollut kiireellisemmin tarvetta Piilaakson luojien ehdottaman ratkaisun kaltaiselle ratkaisulle.

Näyttää kuitenkin siltä, että yksi yritys on onnistunut luomaan yllättävän samanlaisen pakkausmallin, joka näyttää murtautuvan nykyisten valtavien tietomäärien läpi.

Jos haluat ymmärtää Piilaakson, katso Silicon Valley

Sarjassa Pied Piper on pakkauskäynnistys, joka tarjoaa välittömän pääsyn tietoihisi.

Eikä se ole suinkaan ainoa esimerkki elämästä, joka jäljittelee taidetta. Tiedonpakkaustyökalun käsite ei todellakaan ole Pied Piperin ainoa osa, joka siirtyi todellisuuteen.

Itse asiassa näyttelyn tutkimusta varten kuultiin professoreita, ja Weissman Score oli uusi pakkausmittari, joka kehitettiin itse sarjalle. Tämä ei kuitenkaan estänyt todellisia tutkijoita käyttämästä sitä.

Samaan aikaan Vinith Misra, IBM:n Watson Groupin tutkija, joka konsultoi ohjelmaa, meni niin pitkälle, että hän kirjoitti teknisen paperin , joka tarjosi kuvitteellisen parannuksen pakkausalgoritmiin.

Vaikka esitykseen ehdotettu pakkausalgoritmi oli fiktiota, tehokkaat uudenlaiset GPU:t ja edistyneet prosessorisirut tarkoittavat, että seuraavan tason tietojenkäsittelyominaisuudet ovat nyt mahdollisuuksien rajoissa.

Pied Piperin unelman toteuttaminen

Samalla kun muutamat yritykset ovat tulossa lähemmäksi "todellisen Pied Piper" -tittelin ansaitsemista tietojen pakkaamisesta, yksi New Yorkin startup on kerännyt paljon huomiota viime aikoina tämän erikoisalan edistymisestä.

SQream Blue, datan kiihdytysalustan data Lakehouse -ratkaisu, ylitti äskettäin vastaavat ratkaisut markkinoilla maamailin verran.

Nopeuden ja kustannusten suhteen SQream Blue ja sen patentoitu teknologiapakkausratkaisu toimivat 3 kertaa nopeammin ja puolet Databricksin kustannuksista testin vertailuelementin aikana.

Tarkemmin sanottuna SQream Bluen kokonaisajoaika oli 2462,6 sekuntia, ja tietojen käsittelyn kokonaiskustannukset olivat 26,94 dollaria. Databricksin kokonaisajoaika oli 8332,4 sekuntia ja hinta 76,94 dollaria, mikä osoittaa SQream Bluen merkittävän kustannustehokkuuden edun ison datan analysoinnissa.

Näiden tulosten saamiseksi SQream suoritti Amazon Web Services (AWS) -testin skaalauskertoimella 30 000, mikä luo noin 30 TB:n tietojoukon SQreamin suhteellisten ominaisuuksien testaamiseksi mittakaavassa. Kaikki luodut tiedot tallennettiin Apache Parquet -tiedostoina Amazon Simple Storage Servicessä (Amazon S3), ja kyselyt käsiteltiin ilman esilatausta tietokantaan.

Ilmoituksen mukaan SQream Bluen vertaansa vailla oleva nopeus vastasi jokaisen luetteloidun kirjan lukemista USA:n kongressin kirjastossa alle tunnissa – ja sitten niiden kaikkien ostamista alle 25 dollarilla, mikä muistutti Pied Piperin upeista tuloksista Weissmanilla. testi pahamaineisessa Piilaakson jaksossa TechCrunch Disruptissa .

Vuonna 2024 tällaiset voitot eivät voi tulla tarpeeksi nopeasti.

Taistelemme datariippuvuudestamme

Gavin Belson, miljardööri johtava johtaja ja päävastustaja Piilaaksossa, esitti tästä aiheesta kertovan puheen: "Datan luominen räjähtää. Kaikista selfieistä ja hyödyttömistä tiedostoista, joita ihmiset kieltäytyvät poistamasta pilvestä, 92 prosenttia maailman tiedoista on luotu pelkästään viimeisen kahden vuoden aikana. Nykyisellä vauhdilla maailman tiedontallennuskapasiteetti ohitetaan ensi kevääseen mennessä. Siitä tulee pelkkä katastrofi."

”Datapula, datan säännöstely, datan mustat markkinat. Jonkun pakkaaminen pelastaa maailman data-geddonilta, ja helvetin parempi on olla Nucleus eikä pirun Pied Piper!"

Mutta tämä ei koske vain selfieitä ja sisältöä. Julkiset pilvet isännöivät nyt yli puolet kaikista yritysten työkuormista, ja jotkut yritykset käyttävät yli 12 miljoonaa dollaria vuodessa kyseiseen tilaan.

Tämä edustaa valtavaa määrää liiketoimintakriittistä dataa, jonka hallinta nykyisillä menetelmillä on lähes kestämätöntä. Tästä syystä todellinen maailma tarvitsee Pied Piperin.