Kan China se DeepSeek die 'More GPU's, More Power'-teorie vernietig?

Dit is vroeg in 2025, en ons sien dalk reeds 'n herdefiniërende oomblik vir KI soos ons dit die afgelope paar jaar leer ken het. Is die kanon van "meer GPU's al wat jy nodig het" op die punt om te verander?

Wat 'n ongewone wending. Eerstens, die Stargate-projek . Die gesamentlike onderneming wat deur OpenAI, SoftBank, Oracle en die beleggingsfirma MGX geskep is, beoog om teen 2029 tot US$500 miljard in KI-infrastruktuur in die Verenigde State te belê.

Arm, Microsoft, Nvidia, Oracle en OpenAI is die belangrikste aanvanklike tegnologievennote in wat “die Manhattan-projek van die 21ste eeu” genoem is, met direkte ondersteuning van die Amerikaanse administrasie. President Donald Trump het dit "die grootste KI-infrastruktuurprojek in die geskiedenis" genoem.

Die lys van toonaangewende VSA-gebaseerde tegnologievennote in die projek en die groot belegging in wat 'n strategiese inisiatief vir die VSA was – KI-infrastruktuur om leierskap in KI te verseker – is wat die parallelisme met die Manhattan-projek dryf.

Beide KI-skyfievervaardigers in die lys - Arm en Nvidia - word gelei deur uitvoerende hoofde van Taiwanese oorsprong. Dit is opmerklik, met inagneming van Taiwan se voortdurende gespanne verhoudings met China, en die feit dat die Stargate-projek die jongste in 'n reeks onlangse Amerikaanse beleide is wat daarop gemik is om binnelandse KI-infrastruktuur en -kundigheid te versterk, terwyl beperkings aan die res van die wêreld opgelê word , hoofsaaklik China.

Niks hiervan het egter vir die mark saak gemaak nie, wat Nvidia se aandeel die afgelope paar jaar vir nog 'n keer laat styg het by die aankondiging van die Stargate-projek . Maar dit was alles voor die vrystelling van DeepSeek R1.

DeepSeek R1 is 'n nuwe oopbron redenasiemodel, vrygestel enkele dae na die aankondiging van die Stargate-projek. Die model is ontwikkel deur die Chinese KI-begin DeepSeek, wat beweer dat R1 ooreenstem met of selfs oortref OpenAI se ChatGPT o1 op verskeie sleutelmaatstawwe, maar werk teen 'n fraksie van die koste.

Wat merkwaardig is van DeepSeek R1, is dat dit in China ontwikkel is, ondanks al die beperkings op KI-skyfies wat bedoel is om die vermoë om vordering met KI te maak, te belemmer. Beteken dit dat die OpenAI- en VS-gesentreerde konvensionele wysheid van "meer GPU's is al wat jy nodig het" in AI op die punt is om opgeknap te word ?

KI-skyfies, geld, talent en ingenieurswese

Die waarheid is, toe ons 'n paar dae gelede 'n gesprek oor KI-skyfies met Chris Kachris gereël het, het nóg die Stargate-projek nóg DeepSeek R1 op die KI-toneel gebars. Alhoewel ons nie hierdie ontwikkelings bewustelik verwag het nie, het ons geweet KI-skyfies is 'n onderwerp wat aandag verdien, en Kachris is 'n insider.

Dit het ietwat van 'n tradisie geword vir Orchestrate all the Things om KI-skyfies te ontleed en insigte van kundiges in die veld te huisves, en die gesprek met Kachris is die nuutste stuk in hierdie tradisie.

Chris Kachris is die stigter en uitvoerende hoof van InAccel . InAccel wat maatskappye help om hul toepassings te bespoedig deur hardewareversnellers in die wolk makliker as ooit te gebruik. Hy is ook 'n wyd aangehaalde navorser met meer as 20 jaar ondervinding op FPGA's en hardewareversnellers vir masjienleer, netwerkverwerking en dataverwerking.

Nadat InAccel onlangs deur Intel verkry is , het Kachris teruggegaan na navorsing en werk tans as 'n Assistent Professor in die Departement Elektriese en Elektroniese Ingenieurswese aan die Universiteit van Wes-Attika.

Toe Kachris die toneel vir die gesprek met hierdie tydige nuus gestel het, was Kachris se openingsopmerking dat innovasie in KI-skyfies 'n "duur sport" is, en daarom gebeur dit meestal in die bedryf in teenstelling met die akademie. Terselfdertyd het hy egter opgemerk dat die nodige hulpbronne nie net op geld neerkom nie, maar dit behels ook talent en ingenieurswese.

Vir Kachris was Amerikaanse beleide op die regte pad in terme van hul doel om kundigheid te repatrieer en die land selfonderhoudend te maak. Omdat hy 'n Europese burger is, het hy ook 'n beroep op die EU gedoen om soortgelyke inisiatiewe toe te pas, tesame met baie stemme wat die EU versoek om sy GPU-spel te versterk . Sou kyk na hoe DeepSeek se sukses behaal is, egter enigiets hê om ons te leer?

Leer uit DeepSeek se sukses

Volgens die “ Generatiewe KI in die BRICS+-lande ”-verslag, anders as ander BRICS-lande, gebruik China beide buitelandse grafiese kaarte (via die wolk en in sy eie datasentrums) en plaaslike kaarte wat deur Chinese maatskappye gemaak word.

Tans is daar meer as 10 maatskappye in China wat hul eie grafiese kaarte ontwikkel, en die proses om na plaaslike GPU's oor te skakel nadat NVIDIA gebruik is, is glo nie moeilik vir Chinese maatskappye nie.

Dit wil voorkom asof nasies hul opsies sal moet heroorweeg om mededingend te bly in die KI-wedloop, en moontlik bladsye uit China se speelboek sal leen . Kachris het saamgestem dat China met rasse skrede vorder, eers naboots en daarna vernuwende tegnieke van sy eie ontwikkel.

“Hulle kan meng en pas. Hulle kan verskillende weergawes van GPU's en ander verwerkingseenhede kombineer om 'n kragtige datasentrum of wolk te skep. Dit is baie nuttig, veral as jy dink dat jy in die verlede miskien elke drie of vier jaar nuwe toerusting moes koop.

Nou is die innovasie so vinnig dat jy byna elke jaar meer en kragtiger skyfies en kragtiger verwerkers het. Maak dit sin om verwerkers wat een of twee jaar oud is weg te gooi? So beslis, jy moet 'n manier vind om hulpbronne te benut, selfs al is dit heterogene hulpbronne. Dit sal baie meer kostedoeltreffend wees,” het Kachris gesê.

DeepSeek R1 se gerapporteerde koste om op te lei is 'n sterk argument ter ondersteuning van hierdie benadering. Benewens opleiding oor heterogene infrastruktuur, het DeepSeek se benadering die vermindering van numeriese akkuraatheid, multi-teken leesvermoë en die toepassing van 'n intelligente mengsel van kundiges-tegniek ingesluit.

Die resultaat is die vermindering van opleidingskoste van $100 miljoen tot ongeveer $5 miljoen en die vermindering van hardewarebehoeftes van 100,000 GPU's tot 'n skamele 2,000, wat KI-ontwikkeling toeganklik maak op standaard speletjie-GPU's. Wat meer is, selfs al is DeepSeek nie 100% oopbron nie - wat dit ook al vir LLM's beteken - kan die proses herhaal word.

KI-skyfies en oopbron-KI-modelle is deel van die omvattende Pragmatiese KI-opleiding.

Teorie en praktiese laboratoriums. Alles-insluitende toevlugsoord. Beperkte sitplekke kohort.

Klik hier om vir die Pragmatiese KI-opleiding te registreer

Evalueer die KI-skyfiemark

Die onmiddellike reaksie op die nuus was 'n uitverkooptydren , met Nvidia se aandeel wat 17% gedaal het ná die nuus . Die mark het reeds met die skryf hiervan begin koerskorrigeer, met beide die afwaartse en opwaartse neigings wat ietwat voorspelbaar is.

Aan die een kant, wat DeepSeek getoon het, was dat daar baie ruimte is vir doeltreffendheidswinste in die opleiding van toppresterende KI-modelle, wat die konvensionele wysheid aktief ondermyn. Aan die ander kant beteken dit nie dat Nvidia nie steeds die leier is nie , en ons kan verwag om Jevon se paradoks weer in aksie te sien .

Nvidia het die pas van innovasie in 2024 gehou, sy nuutste Blackwell-argitektuur aangekondig en daarna gestuur, sy ekosisteem uitgebrei en verskeie finansiële en sakemylpale bereik. Kachris het beklemtoon dat Nvidia nie net meer skyfies verkoop nie, maar hulle het beweeg na vertikale integrasie van hul NVLink-tegnologie met hul skyfies op die DGX-platform .

Maar Nvidia GPU's is nie die enigste speletjie in die stad nie. AMD het van sy kant 'n nuwe KI-versneller, die Instinct MI325X , aangekondig. Soos Kachris opgemerk het, is die MI300-reeks baie kragtig, met gespesialiseerde eenhede om transformators te versnel – 'n sleutelargitektuur vir groottaalmodelle. AMD se groei word na bewering aangedryf deur datasentrum en KI-produkte .

Die oorgrote meerderheid mense en organisasies sal KI-gebruikers wees, nie KI-bouers nie. Vir hulle is die gebruik of selfs die bou van KI-toepassings nie eintlik 'n kwessie van die opleiding van hul eie model nie, maar eerder om 'n vooraf-opgeleide model te gebruik of te verfyn.

Kachris het ook Intel se vordering met Gaudi genoem. Ten spyte van die hoë werkverrigtingvermoëns van Gaudi 3, blyk dit egter dat Intel agter is in terme van markaandeel, grootliks as gevolg van sagteware . Terselfdertyd maak Intel stappe om sy FPGA-eenheid, Altera, te verkoop .

FPGA's, hou Kachris vol, is dalk nie die beste oplossing vir KI-opleiding nie, maar dit maak baie sin vir afleidings, en dit is waar daar genoeg ruimte is vir mededinging en innovasie. Dit is presies dit – die bou van 'n sagtewarelaag om met FPGA's te werk – waaraan InAccel gewerk het, en wat gelei het tot die verkryging deur Intel.

Natuurlik het Kachris die belangrikheid van die sagtewarelaag beklemtoon. Aan die einde van die dag, selfs al het 'n skyfie uitstekende werkverrigting, as dit nie maklik is om vir ontwikkelaars via die sagtewarelaag te gebruik nie, gaan dit aanvaarding belemmer. Nvidia behou die beduidende voordeel op die sagtewarelaag as gevolg van sy alomteenwoordige CUDA-stapel , waarin hy aanhou belê.

Die res van die bedryf, gelei deur Intel via die UXL Foundation / OneAPI -inisiatief, wend pogings aan om in te haal. AMD het sy eie sagtewarelaag – ROCm. Maar om in te haal gaan nie oornag gebeur nie. Soos Kachris dit gestel het, moet die sagtewarelaag die gebruik van die hardewarelaag moontlik maak sonder om 'n enkele reël kode te verander.

Nvidia verhoog ook sy afleidings- en sagtewarestrategie met sy nuut vrygestelde NIM- raamwerk, wat blykbaar 'n mate van aanvaarding gekry het. Die kompetisie fokus ook op afleidings . Daar is 'n reeks uitdagers soos Groq , Tenstorrent , GraphCore , Cerebras en SambaNova , wat meeding om 'n stukkie van die afleidingsmarkpastei.

Die voorsprong: versnelling en energiedoeltreffendheid

Alhoewel DeepSeek 'n prominente vertoning van die voordele van optimalisering is, is dit ook nie die enigste nie. Kachris was betrokke by 'n onlangse omvattende opname en vergelyking van hardewareversnelling van LLM's , met baie van dié wat op afleidings gerig is.

Een manier om dit te doen is om dit te doen via AI-verskaffer-API's - tipies OpenAI of Anthropic. Vir meer gesofistikeerde gebruiksgevalle sal eindgebruikers egter KI-modelle op hul eie infrastruktuur wil ontplooi om redes wat met privaatheid, voldoening, mededingende voordeel, toepassingsvereistes of koste te doen het.

Dit kan 'n hele reeks omgewings insluit, wat wissel van op die perseel en private wolk tot rand en kaal metaal. Veral met LLM's is daar selfs die opsie om hulle plaaslik op die rakmasjiene te laat loop . Ons het Kachris gevra of hy glo dat die plaaslike / rand-ontplooiing van LLM's sin maak.

Kachris het opgemerk dat afleiding kan werk met "gekrimp", oftewel gekwantiseerde weergawes van KI-modelle. Navorsing dui daarop dat selfs 1-bis weergawes van modelle lewensvatbaar is . Kachris het daarop gewys dat alhoewel daar gespesialiseerde hardeware-argitekture is, van dié wat wyd beskikbaar is GPU's en FPGA's die beste werkverrigting lewer, met FPGA's wat meer energiedoeltreffend is.

Vooruitgaan: innovasie en spesialisasie

Wat toekomstige ontwikkelings betref, het Kachris in-geheue rekenaars uitgelig as 'n gebied om dop te hou. Die hoofgedagte is om berging en rekenaar op dieselfde eenheid te kombineer, en sodoende die behoefte aan data-oordrag uit te skakel en tot beter werkverrigting te lei. Dit is geïnspireer deur die manier waarop biologiese neurale netwerke werk, en word na verwys as neuromorfiese rekenaars.

Daar is meer gebiede van noemenswaardige ontwikkelings, soos chiplets , gespesialiseerde skyfies wat aangepas is vir die transformator-argitektuur wat LLM's aandryf , fotoniese tegnologie en nuwe programmeertale vir AI .

In terme van meer kort- tot middeltermyn-vooruitsigte, en die vraag of daar ruimte is vir innovasie in 'n Nvidia-gedomineerde wêreld, glo Kachris dat ingebedde stelsels en Edge AI 'n geleentheid vir uitdagers verteenwoordig:

“Daar is verskillende vereistes en verskillende spesifikasies in die domein van Edge AI. Ek dink daar is ruimte vir innovasie in Edge AI, byvoorbeeld in videotoepassings vir hospitale, of outonome bestuur en lugvaart.

Ek dink dit gaan gebeur. Kom ons praat oor GPU's. NVIDIA is dus die leier in GPU's, maar daar was 'n gebrek aan GPU's vir draagbare toestelle. En ons het gesien hoe 'n wonderlike maatskappy, Think Silicon , 'n GPU ontwikkel en ontwikkel wat vir fikse bands of slimhorlosies gespesialiseer is, en dan deur Applied Materials verkry word.

Innovasie gaan plaasvind in gebiede wat te klein is vir maatskappye soos Nvidia of Intel, maar goed genoeg vir kleiner maatskappye wat gespesialiseerde produkte kan maak”.