Може ли кинески ДеепСеек разбити теорију „више ГПУ-а, више снаге“?

Почетак је 2025. и можда смо већ сведоци тренутка редефинисања вештачке интелигенције какву смо упознали у последњих неколико година. Да ли ће се канон „више ГПУ-а све што вам треба“ променити?

Какав необичан развој догађаја. Прво, пројекат Звездане капије . Заједничко предузеће које су креирали ОпенАИ, СофтБанк, Орацле и инвестициона компанија МГКС има за циљ да инвестира до 500 милијарди долара у инфраструктуру вештачке интелигенције у Сједињеним Државама до 2029.

Арм, Мицрософт, Нвидиа, Орацле и ОпенАИ су кључни почетни технолошки партнери у ономе што је названо „пројекат Менхетна 21. века“, уз директну подршку америчке администрације. Председник Доналд Трамп назвао га је „највећим инфраструктурним пројектом вештачке интелигенције у историји“.

Листа водећих технолошких партнера са седиштем у САД у пројекту и огромна улагања у оно што је била стратешка иницијатива за САД – АИ инфраструктура за обезбеђивање лидерства у АИ – је оно што покреће паралелизам са пројектом на Менхетну.

Оба произвођача АИ чипова на листи – Арм и Нвидиа – предводе извршни директори тајванског порекла. То је значајно, имајући у виду текуће напете односе Тајвана са Кином, и чињеницу да је пројекат Звездана капија најновији у низу недавних политика САД које имају за циљ да ојачају домаћу инфраструктуру вештачке интелигенције и знање, а истовремено намећу ограничења остатку света , пре свега Кина.

Међутим, ништа од тога није било важно за тржиште, због чега су Нвидијине акције још једном порасле у последњих неколико година на најаву пројекта Старгате . Али то је било све пре објављивања ДеепСеек Р1.

ДеепСеек Р1 је нови модел расуђивања отвореног кода, објављен само неколико дана након најаве пројекта Старгате. Модел је развио кинески АИ стартуп ДеепСеек, који тврди да се Р1 поклапа или чак надмашује ОпенАИ ЦхатГПТ о1 на више кључних бенчмарка, али ради по мало нижој цени.

Оно што је изванредно у вези са ДеепСеек Р1 је то што је развијен у Кини, упркос свим ограничењима у вези са АИ чиповима који имају за циљ да ометају могућност напретка у АИ. Да ли то значи да ће конвенционална мудрост која се односи на ОпенАИ и САД о „више ГПУ-а је све што вам треба“ у АИ ускоро бити нарушена ?

АИ чипови, новац, таленат и инжењеринг

Истина је, када смо пре неколико дана договорили разговор о АИ чиповима са Крисом Какрисом, ни Старгате Пројецт ни ДеепСеек Р1 нису избили на АИ сцену. Иако нисмо свесно предвиђали овај развој догађаја, знали смо да су АИ чипови тема која заслужује пажњу, а Кацхрис је инсајдер.

Постало је донекле традиција да Орцхестрате алл тхе Тхингс анализира АИ чипове и угошћује увиде стручњака из ове области, а разговор са Кацхрисом је најновији комад у овој традицији.

Цхрис Кацхрис је оснивач и извршни директор компаније ИнАццел . ИнАццел који помаже компанијама да убрзају своје апликације користећи хардверске акцелераторе у облаку лакше него икад. Такође је широко цитирани истраживач са више од 20 година искуства на ФПГА и хардверским акцелераторима за машинско учење, мрежну обраду и обраду података.

Након што је Интел недавно купио ИнАццел , Кацхрис се вратио истраживањима, тренутно радећи као доцент на Одсеку за електротехнику и електронику на Универзитету Западне Атике.

Када је постављао сцену за разговор са овим благовременим вестима, Кацхрисова уводна напомена је била да је иновација у АИ чиповима „скуп спорт“, због чега се углавном дешава у индустрији, а не у академским круговима. Истовремено је, међутим, приметио да се потребни ресурси не своде само на новац, већ то подразумева и таленат и инжењеринг.

За Кацхриса, америчка политика је била на добром путу у смислу њиховог циља да репатријацију експертизе и учине земљу самодовољном. Будући да је грађанин Европе, он је такође позвао ЕУ да примени сличне иницијативе, а многи гласови позивају ЕУ да појача своју игру ГПУ-а . Међутим, да ли би нас гледање како је постигнут успех ДеепСеека имало чему да нас научи?

Учење из успеха ДеепСеек-а

Према извештају „ Генеративна вештачка интелигенција у земљама БРИКС+ “, за разлику од других земаља БРИКС-а, Кина користи и стране графичке картице (преко облака и у сопственим центрима података) и локалне картице које производе кинеске компаније.

Тренутно у Кини постоји више од 10 компанија које развијају сопствене графичке картице, а процес преласка на локалне ГПУ након коришћења НВИДИА-е наводно није тежак за кинеске компаније.

Чини се да ће земље морати да преиспитају своје опције, да би остале конкурентне у трци вештачке интелигенције, потенцијално позајмљујући странице из кинеске књиге . Кахрис се сложио да Кина напредује у скоковима и границама, прво имитирајући, а затим развијајући сопствене иновативне технике.

„Могу да се мешају и спајају. Они могу комбиновати различите верзије ГПУ-а и других процесорских јединица како би створили моћан центар података или облак. Ово је веома корисно, поготово ако мислите да сте у прошлости морали да купујете нову опрему можда сваке три или четири године.

Сада је иновација толико брза да скоро сваке године имате све моћније чипове и моћније процесоре. Има ли смисла бацати процесоре који су стари годину или две? Дакле, дефинитивно морате пронаћи начин да искористите ресурсе, чак и ако су то хетерогени ресурси. Ово би било много исплативије“, рекао је Кацхрис.

Пријављени трошкови обуке ДеепСеек Р1 су јак аргумент у прилог овом приступу. Поред обуке о хетерогеној инфраструктури, ДеепСеек-ов приступ је укључивао смањење нумеричке прецизности, могућност читања више токена и примену интелигентне технике мешавине стручњака.

Резултат је смањење трошкова обуке са 100 милиона долара на око 5 милиона долара и смањење потреба за хардвером са 100.000 ГПУ-а на само 2.000, чинећи развој вештачке интелигенције доступним на стандардним ГПУ-овима за игре. Штавише, чак и ако ДеепСеек није 100% отвореног кода – шта год то значило за ЛЛМ – његов процес се може реплицирати.

АИ чипови и АИ модели отвореног кода су део свеобухватног Прагматиц АИ тренинга.

Теорија и практичне лабораторије. Свеобухватно повлачење. Ограничена кохорта места.

Кликните овде да бисте се регистровали за Прагматични АИ тренинг

Процена тржишта АИ чипова

Тренутна реакција на вест била је раст продаје , при чему су Нвидијине акције пале за 17% након вести . Тржиште је већ почело да исправља курс у време писања, при чему су и силазни и узлазни трендови били донекле предвидљиви.

С једне стране, оно што је ДеепСеек показао је да постоји много простора за повећање ефикасности у обуци врхунских АИ модела, активно поткопавајући конвенционалну мудрост. С друге стране, то не значи да Нвидиа још увек није лидер , и можемо очекивати да ћемо поново видети Јевонов парадокс на делу .

Нвидиа је задржала темпо иновација 2024. године , најављујући и накнадно испоручујући своју најновију Блацквелл архитектуру, проширујући свој екосистем и достижући више финансијских и пословних прекретница. Кацхрис је истакао да Нвидиа више не продаје само чипове, већ је кренула ка вертикалној интеграцији своје НВЛинк технологије са својим чиповима на ДГКС платформи .

Али Нвидиа ГПУ-ови нису једина игра у граду. АМД је са своје стране најавио нови АИ акцелератор, Инстинцт МИ325Кс . Као што је Кацхрис приметио, серија МИ300 је веома моћна, садржи специјализоване јединице за убрзавање трансформатора – кључну архитектуру за велике језичке моделе. АМД-ов раст је наводно вођен датацентром и производима вештачке интелигенције .

Велика већина људи и организација биће корисници вештачке интелигенције, а не градитељи вештачке интелигенције. За њих, коришћење или чак израда АИ апликација заправо није ствар обуке сопственог модела, већ коришћење или фино подешавање унапред обученог модела.

Кацхрис је такође позвао Интелов напредак са Гаудијем. Упркос високим перформансама Гауди 3, међутим, чини се да Интел заостаје у погледу тржишног удела, углавном због софтвера . Истовремено, Интел прави потезе да прода своју ФПГА јединицу, Алтера .

ФПГА, тврди Кацхрис, можда нису најуспешније решење за обуку вештачке интелигенције, али имају много смисла за закључивање, и ту има довољно простора за конкуренцију и иновације. Управо је то – изградња софтверског слоја за рад са ФПГА – на чему је ИнАццел радио и што је довело до куповине од стране Интела.

Наравно, Кацхрис је нагласио важност софтверског слоја. На крају крајева, чак и ако чип има супериорне перформансе, ако програмерима није лак за употребу преко софтверског слоја, то ће ометати усвајање. Нвидиа задржава значајну предност на софтверском слоју због свог свеприсутног ЦУДА стека , у који наставља да улаже.

Остатак индустрије, предвођен Интелом преко УКСЛ Фоундатион / ОнеАПИ иницијативе, улаже напоре да сустигне корак. АМД има сопствени софтверски слој – РОЦм. Али сустизање се неће догодити преко ноћи. Како је рекао Кацхрис, софтверски слој мора омогућити коришћење слоја хардвера без промене једне линије кода.

Нвидиа такође појачава своју стратегију закључивања и софтвера са својим недавно објављеним НИМ оквиром, који је изгледа донекле усвојен . Конкуренција се такође фокусира на закључивање . Постоји низ изазивача као што су Грок , Тенсторрент , ГрапхЦоре , Церебрас и СамбаНова , који се боре за део колача тржишта закључивања.

Ивица: убрзање и енергетска ефикасност

Иако је ДеепСеек истакнути приказ предности оптимизације, он такође није једини. Кацхрис је био укључен у недавно свеобухватно истраживање и поређење хардверског убрзања ЛЛМ-а , при чему су многи од њих били усмерени на закључивање.

Један од начина да се то уради је да се то уради преко АПИ-ја добављача АИ – обично ОпенАИ или Антхропиц. За софистицираније случајеве употребе, међутим, из разлога који се односе на приватност, усклађеност, конкурентску предност, захтеве апликације или цену, крајњи корисници ће желети да примене АИ моделе на својој сопственој инфраструктури.

То може укључивати читав низ окружења, у распону од локалног и приватног облака до руба и голог метала. Нарочито са ЛЛМ-овима, постоји чак и опција да се они покрену локално на већим машинама . Питали смо Кацхриса да ли верује да локално/ивично постављање ЛЛМ-ова има смисла.

Кацхрис је приметио да закључивање може функционисати са „смањеним“, познатим као квантизованим верзијама АИ модела. Истраживања сугеришу да су чак и 1-битне верзије модела одрживе . Кацхрис је истакао да иако постоје специјализоване хардверске архитектуре, од оних широко доступних ГПУ-а и ФПГА-а дају најбоље перформансе, при чему су ФПГА енергетски ефикаснији.

Идемо напред: иновације и специјализација

Што се тиче будућег развоја, Кацхрис је истакао рачунарство у меморији као област на коју треба пазити. Главна идеја је могућност комбиновања складиштења и рачунара на истој јединици, чиме се елиминише потреба за преносом података и доводи до бољих перформанси. То је инспирисано начином на који функционишу биолошке неуронске мреже и назива се неуроморфно рачунарство.

Постоји више области вредних пажње, као што су чиплети , специјализовани чипови скројени за архитектуру трансформатора која покреће ЛЛМ , фотонска технологија и нови програмски језици за АИ .

Што се тиче краткорочних и средњорочних перспектива, и питања да ли има простора за иновације у свету којим доминира Нвидиа, Кацхрис верује да уграђени системи и Едге АИ представљају прилику за изазиваче:

„Постоје различити захтеви и различите спецификације у домену Едге АИ. Мислим да има простора за иновације у Едге АИ, на пример у видео апликацијама за болнице, или аутономној вожњи и авијацији.

Мислим да ће се то догодити. Хајде да причамо о ГПУ-овима. Дакле, НВИДИА је лидер у ГПУ-овима, али је недостајао ГПУ-а за носиве уређаје. Видели смо и сјајну компанију Тхинк Силицон како напредује и развија ГПУ који је специјализован за наруквице или паметне сатове, а затим га преузима Апплиед Материалс .

Иновације ће се десити у областима које су премале за компаније као што су Нвидиа или Интел, али довољно добре за мање компаније које могу да праве специјализоване производе.