Bolehkah DeepSeek China Menghancurkan Teori 'Lebih Banyak GPU, Lebih Kuasa'?

Ia adalah awal tahun 2025, dan kami mungkin sudah menyaksikan detik penentuan semula untuk AI kerana kami telah mengetahuinya dalam beberapa tahun kebelakangan ini. Adakah kanun "lebih banyak GPU adalah semua yang anda perlukan" akan berubah?

Satu kejadian yang luar biasa. Pertama, Projek Stargate . Usahasama yang diwujudkan oleh OpenAI, SoftBank, Oracle dan firma pelaburan MGX menyasarkan untuk melabur sehingga AS$500 bilion dalam infrastruktur AI di Amerika Syarikat menjelang 2029.

Arm, Microsoft, Nvidia, Oracle, dan OpenAI ialah rakan kongsi teknologi awal yang utama dalam apa yang digelar "projek Manhattan abad ke-21", dengan sokongan langsung daripada pentadbiran AS. Presiden Donald Trump menyebutnya "projek infrastruktur AI terbesar dalam sejarah".

Senarai rakan kongsi teknologi terkemuka yang berpangkalan di AS dalam projek itu dan pelaburan besar dalam apa yang telah menjadi inisiatif strategik untuk AS – infrastruktur AI untuk mendapatkan kepimpinan dalam AI – adalah perkara yang mendorong kesejajaran dengan projek Manhattan.

Kedua-dua pembuat cip AI dalam senarai - Arm dan Nvidia - diketuai oleh CEO asal Taiwan. Perkara itu ketara, memandangkan hubungan tegang Taiwan yang berterusan dengan China, dan hakikat bahawa Projek Stargate adalah yang terbaharu dalam garis keturunan dasar AS baru-baru ini yang bertujuan untuk menggiatkan infrastruktur AI domestik dan pengetahuan sambil mengenakan had kepada seluruh dunia , terutamanya China.

Walau bagaimanapun, semua itu tidak penting untuk pasaran, yang menyebabkan saham Nvidia melonjak untuk satu lagi masa dalam beberapa tahun kebelakangan ini pada pengumuman Projek Stargate . Tetapi itu sahaja sebelum keluaran DeepSeek R1.

DeepSeek R1 ialah model penaakulan sumber terbuka baharu, dikeluarkan hanya beberapa hari selepas pengumuman Projek Stargate. Model ini dibangunkan oleh DeepSeek permulaan AI China, yang mendakwa bahawa R1 sepadan atau bahkan mengatasi OpenAI's ChatGPT o1 pada pelbagai penanda aras utama tetapi beroperasi pada sebahagian kecil daripada kos.

Apa yang mengagumkan tentang DeepSeek R1 ialah ia telah dibangunkan di China, walaupun semua sekatan pada cip AI bertujuan untuk menghalang keupayaan untuk membuat kemajuan pada AI. Adakah itu bermakna bahawa kebijaksanaan konvensional OpenAI dan berpusatkan AS tentang "lebih banyak GPU adalah semua yang anda perlukan" dalam AI akan dinaikkan ?

Cip AI, wang, bakat dan kejuruteraan

Sebenarnya, apabila kami mengatur perbualan mengenai cip AI dengan Chris Kachris beberapa hari yang lalu, Projek Stargate mahupun DeepSeek R1 tidak mencecah adegan AI. Walaupun kami tidak menjangkakan perkembangan ini secara sedar, kami tahu cip AI ialah topik yang patut diberi perhatian, dan Kachris ialah orang dalam.

Sudah menjadi satu tradisi untuk Orkestrasi semua Perkara untuk menganalisis cip AI dan menjadi tuan rumah cerapan daripada pakar dalam bidang tersebut, dan perbualan dengan Kachris adalah bahagian terkini dalam tradisi ini.

Chris Kachris ialah pengasas dan Ketua Pegawai Eksekutif InAccel . InAccel yang membantu syarikat mempercepatkan aplikasi mereka menggunakan pemecut perkakasan dalam awan dengan lebih mudah berbanding sebelum ini. Beliau juga merupakan penyelidik yang disebut secara meluas dengan pengalaman lebih daripada 20 tahun dalam FPGA dan pemecut perkakasan untuk pembelajaran mesin, pemprosesan rangkaian dan pemprosesan data.

Selepas InAccel baru-baru ini diperoleh oleh Intel , Kachris kembali menjalankan penyelidikan, kini bekerja sebagai Penolong Profesor di Jabatan Kejuruteraan Elektrik dan Elektronik di Universiti Attica Barat.

Apabila menetapkan adegan untuk perbualan dengan berita tepat pada masa ini, ucapan pembukaan Kachris adalah bahawa inovasi dalam cip AI adalah "sukan yang mahal", itulah sebabnya ia kebanyakannya berlaku dalam industri berbanding dengan akademik. Pada masa yang sama, bagaimanapun, beliau menyatakan bahawa sumber yang diperlukan bukan sahaja berpunca daripada wang, tetapi ia juga melibatkan bakat dan kejuruteraan.

Bagi Kachris, dasar AS telah berada di landasan yang betul dari segi matlamat mereka untuk menghantar pulang kepakaran dan menjadikan negara ini berdikari. Sebagai warganegara Eropah, beliau turut menyeru agar EU menggunakan inisiatif yang sama, bersama-sama banyak suara yang menyeru EU untuk meningkatkan permainan GPUnya . Adakah melihat bagaimana kejayaan DeepSeek dicapai, bagaimanapun, adakah sesuatu untuk mengajar kita?

Belajar daripada kejayaan DeepSeek

Menurut laporan “ Generative AI in the BRICS+ Countries ”, tidak seperti negara BRICS yang lain, China menggunakan kedua-dua kad grafik asing (melalui awan dan di pusat datanya sendiri) dan kad tempatan yang dibuat oleh syarikat China.

Pada masa ini, terdapat lebih daripada 10 syarikat di China yang sedang membangunkan kad grafik mereka sendiri, dan proses menukar kepada GPU tempatan selepas menggunakan NVIDIA dilaporkan tidak sukar untuk syarikat China.

Nampaknya untuk kekal berdaya saing dalam perlumbaan AI, negara perlu mempertimbangkan semula pilihan mereka, yang berpotensi meminjam halaman daripada buku permainan China . Kachris bersetuju bahawa China telah berkembang pesat, mula-mula meniru dan kemudian membangunkan teknik inovatifnya sendiri.

“Mereka boleh campur dan padan. Mereka boleh menggabungkan versi GPU yang berbeza dan unit pemprosesan lain untuk mencipta pusat data atau awan yang berkuasa. Ini sangat berguna, terutamanya jika anda berfikir bahawa pada masa lalu, anda perlu membeli peralatan baru setiap tiga atau empat tahun mungkin.

Kini inovasi begitu pantas sehingga hampir setiap tahun, anda mempunyai lebih banyak cip berkuasa dan pemproses yang lebih berkuasa. Adakah masuk akal untuk membuang pemproses yang berumur satu atau dua tahun? Jadi sudah tentu, anda perlu mencari cara untuk menggunakan sumber, walaupun ia adalah sumber heterogen. Ini akan menjadi lebih menjimatkan kos”, kata Kachris.

Kos latihan DeepSeek R1 yang dilaporkan adalah hujah yang kukuh untuk menyokong pendekatan ini. Selain latihan mengenai infrastruktur heterogen, pendekatan DeepSeek termasuk mengurangkan ketepatan berangka, keupayaan membaca berbilang token dan menggunakan teknik Campuran Pakar yang bijak.

Hasilnya ialah mengurangkan kos latihan daripada $100 juta kepada sekitar $5 juta dan mengurangkan keperluan perkakasan daripada 100,000 GPU kepada 2,000 sahaja, menjadikan pembangunan AI boleh diakses pada GPU permainan standard. Lebih-lebih lagi, walaupun DeepSeek bukan sumber terbuka 100% – apa pun maknanya untuk LLM – prosesnya boleh direplikasi.

Cip AI dan model AI sumber terbuka adalah sebahagian daripada Latihan AI Pragmatik yang komprehensif.

Teori dan makmal praktikal. Berundur semua termasuk. Kohort tempat duduk terhad.

Klik di sini untuk mendaftar untuk Latihan AI Pragmatik

Menilai pasaran cip AI

Reaksi segera terhadap berita itu ialah rali jualan besar , dengan saham Nvidia turun 17% berikutan berita itu . Pasaran telah pun memulakan pembetulan kursus pada masa penulisan, dengan kedua-dua arah aliran menurun dan menaik agak boleh diramalkan.

Di satu pihak, apa yang DeepSeek tunjukkan ialah terdapat banyak ruang untuk peningkatan kecekapan dalam melatih model AI berprestasi tinggi, secara aktif menjejaskan kebijaksanaan konvensional. Sebaliknya, itu tidak bermakna Nvidia masih belum menjadi peneraju , dan kita boleh mengharapkan untuk melihat paradoks Jevon beraksi sekali lagi .

Nvidia mengekalkan rentak inovasi pada 2024 , mengumumkan dan seterusnya menghantar seni bina Blackwell terbaharunya, mengembangkan ekosistemnya dan mencapai pelbagai kejayaan kewangan dan perniagaan. Kachris menekankan bahawa Nvidia bukan hanya menjual cip lagi, tetapi mereka telah bergerak ke arah penyepaduan menegak teknologi NVLink mereka dengan cip mereka pada platform DGX .

Tetapi GPU Nvidia bukan satu-satunya permainan di bandar. AMD di pihaknya mengumumkan pemecut AI baharu, Instinct MI325X . Seperti yang dinyatakan oleh Kachris, siri MI300 sangat berkuasa, menampilkan unit khusus untuk mempercepatkan transformer – seni bina utama untuk Model Bahasa Besar. Pertumbuhan AMD dikatakan didorong oleh pusat data dan produk AI .

Sebilangan besar orang dan organisasi akan menjadi pengguna AI, bukan pembina AI. Bagi mereka, menggunakan atau bahkan membina aplikasi AI sebenarnya bukan soal melatih model mereka sendiri, sebaliknya menggunakan atau memperhalusi model pra-latihan.

Kachris juga menyeru kemajuan Intel dengan Gaudi. Walaupun keupayaan prestasi tinggi Gaudi 3, bagaimanapun, Intel nampaknya ketinggalan dari segi bahagian pasaran, sebahagian besarnya disebabkan oleh perisian . Pada masa yang sama, Intel sedang membuat langkah untuk menjual unit FPGAnya, Altera .

FPGA, Kachris mengekalkan, mungkin bukan penyelesaian yang paling berprestasi untuk latihan AI, tetapi ia sangat masuk akal untuk membuat inferens, dan di sinilah terdapat ruang yang cukup untuk persaingan dan inovasi. Ia adalah tepat - membina lapisan perisian untuk berfungsi dengan FPGA - yang InAccel sedang bekerja, dan apa yang membawa kepada pemerolehan oleh Intel.

Sememangnya, Kachris menekankan kepentingan lapisan perisian. Pada penghujung hari, walaupun cip mempunyai prestasi unggul, jika ia tidak mudah digunakan untuk pembangun melalui lapisan perisian, itu akan menghalang penggunaan. Nvidia mengekalkan kelebihan ketara pada lapisan perisian kerana timbunan CUDA yang ada di mana-mana , yang ia terus melabur.

Selebihnya industri, yang diketuai oleh Intel melalui inisiatif UXL Foundation / OneAPI , sedang berusaha untuk mengejar ketinggalan. AMD mempunyai lapisan perisian sendiri - ROCm. Tetapi mengejar tidak akan berlaku dalam sekelip mata. Seperti yang dikatakan oleh Kachris, lapisan perisian perlu mendayakan penggunaan lapisan perkakasan tanpa mengubah satu baris kod.

Nvidia juga meningkatkan inferens dan strategi perisiannya dengan rangka kerja NIM yang baru dikeluarkan , yang nampaknya telah diterima pakai . Pertandingan ini juga memfokuskan kepada inferens . Terdapat pelbagai pencabar seperti Groq , Tenstorrent , GraphCore , Cerebras dan SambaNova , bersaing untuk sekeping pai pasaran inferens.

Kelebihan: pecutan dan kecekapan tenaga

Walaupun DeepSeek ialah paparan yang menonjol tentang faedah pengoptimuman, ia juga bukan satu-satunya. Kachris terlibat dalam tinjauan komprehensif baru-baru ini dan perbandingan pecutan perkakasan LLM , dengan kebanyakannya menjurus kepada inferens.

Satu cara untuk melakukannya ialah melakukan ini melalui API pembekal AI - biasanya OpenAI atau Anthropic. Untuk kes penggunaan yang lebih canggih, walau bagaimanapun, atas sebab yang berkaitan dengan privasi, pematuhan, kelebihan daya saing, keperluan aplikasi atau kos, pengguna akhir akan mahu menggunakan model AI pada infrastruktur mereka sendiri.

Itu mungkin termasuk rangkaian keseluruhan persekitaran, dari pada premis dan awan peribadi ke tepi dan logam kosong. Terutamanya dengan LLM, malah terdapat pilihan untuk menjalankannya secara tempatan di luar mesin rak . Kami bertanya kepada Kachris sama ada dia percaya bahawa penggunaan tempatan / tepi LLM masuk akal.

Kachris menyatakan bahawa inferens mungkin berfungsi dengan "mengecut", aka versi model AI terkuantisasi. Penyelidikan mencadangkan bahawa walaupun versi 1-bit model adalah berdaya maju . Kachris menegaskan bahawa walaupun terdapat seni bina perkakasan khusus, daripada GPU dan FPGA yang tersedia secara meluas memberikan prestasi terbaik, dengan FPGA lebih cekap tenaga.

Melangkah ke hadapan: inovasi dan pengkhususan

Setakat perkembangan masa depan, Kachris menyerlahkan pengkomputeran dalam memori sebagai kawasan yang perlu diperhatikan. Idea utama ialah dapat menggabungkan storan dan mengira pada unit yang sama, sekali gus menghapuskan keperluan untuk pemindahan data dan membawa kepada prestasi yang lebih baik. Itu diilhamkan oleh cara rangkaian saraf biologi berfungsi, dan dirujuk sebagai pengkomputeran neuromorfik.

Terdapat lebih banyak bidang perkembangan yang patut diberi perhatian, seperti ciplet , cip khusus yang disesuaikan untuk seni bina pengubah yang menggerakkan LLM , teknologi fotonik dan bahasa pengaturcaraan baharu untuk AI .

Dari segi prospek jangka pendek hingga pertengahan, dan persoalan sama ada terdapat ruang untuk inovasi dalam dunia yang dikuasai Nvidia, Kachris percaya bahawa sistem terbenam dan AI Edge mewakili peluang untuk pencabar:

“Terdapat keperluan berbeza dan spesifikasi berbeza dalam domain Edge AI. Saya fikir terdapat ruang untuk inovasi dalam Edge AI, contohnya dalam aplikasi video untuk hospital, atau pemanduan dan penerbangan autonomi.

Saya fikir ia akan berlaku. Mari bercakap tentang GPU. Jadi NVIDIA adalah peneraju dalam GPU, tetapi terdapat kekurangan GPU untuk peranti boleh pakai. Dan kami melihat sebuah syarikat yang hebat, Think Silicon , meningkatkan dan membangunkan GPU yang khusus untuk band fit atau jam tangan pintar, dan kemudian diperoleh oleh Applied Materials .

Inovasi akan berlaku di kawasan yang terlalu kecil untuk syarikat seperti Nvidia atau Intel, tetapi cukup baik untuk syarikat yang lebih kecil yang boleh membuat produk khusus”.