ChipNeMo: Çip Tasarımı için Etki Alanına Uyarlanmış Yüksek Lisanslar: Özet ve Giriş

Bağlantı Tablosu

• Özet ve Giriş
• Veri kümesi
• ChipNemo Etki Alanı Uyarlama Yöntemleri
• Yüksek Lisans Başvuruları
• Değerlendirmeler
• Tartışma
• İlgili Çalışmalar
• Sonuçlar
• Teşekkür, Katkı ve Referanslar
• Ek

Soyut

ChipNeMo, endüstriyel çip tasarımı için büyük dil modellerinin (LLM) uygulamalarını keşfetmeyi amaçlamaktadır. Kullanıma hazır ticari veya açık kaynak LLM'leri doğrudan dağıtmak yerine, aşağıdaki etki alanı uyarlama tekniklerini benimsiyoruz: özel belirteçler, etki alanına uyarlanabilir sürekli ön eğitim, etki alanına özgü talimatlarla denetimli ince ayar (SFT) ve etki alanı- uyarlanmış erişim modelleri. Bu yöntemleri, çip tasarımı için seçilen üç LLM uygulamasında değerlendiriyoruz: bir mühendislik asistanı sohbet robotu, EDA komut dosyası oluşturma ve hata özetleme ve analizi. Sonuçlarımız, bu etki alanı uyarlama tekniklerinin, değerlendirilen üç uygulama genelinde genel amaçlı temel modellere göre önemli LLM performans iyileştirmeleri sağladığını ve çeşitli tasarım görevlerinde benzer veya daha iyi performansla model boyutunun 5 katına kadar küçültülmesine olanak sağladığını gösteriyor. Bulgularımız aynı zamanda mevcut sonuçlarımız ile ideal sonuçlarımız arasında hala iyileştirme için yer olduğunu gösteriyor. Alana uyarlanmış LLM yaklaşımlarının daha fazla araştırılmasının gelecekte bu boşluğun kapatılmasına yardımcı olacağına inanıyoruz.

I.GİRİŞ

Son birkaç on yılda Elektronik Tasarım Otomasyonu (EDA) algoritmaları ve araçları, çip tasarımı verimliliğinde büyük kazanımlar sağladı. Moore yasasının sağladığı transistör yoğunluklarındaki üstel artışlarla birleştiğinde EDA, milyarlarca transistörle zengin özelliklere sahip karmaşık SoC tasarımlarının geliştirilmesine olanak sağladı. Son zamanlarda araştırmacılar, çip tasarımı verimliliğini daha da artırmak için yapay zekayı EDA algoritmalarına ve çip tasarım sürecine uygulamanın yollarını araştırıyorlar [1] [2] [3]. Ancak, doğal diller veya programlama dilleri ile arayüz oluşturmayı içeren zaman alıcı çip tasarımı görevlerinin çoğu hala otomatikleştirilmemiştir. Ticari (ChatGPT, Bard, vb.) ve açık kaynaklı (Vicuna [4], LLaMA2 [5], vb.) büyük dil modellerindeki (LLM) en son gelişmeler, dille ilgili bu çip tasarımı görevlerinin otomatikleştirilmesine yardımcı olmak için benzeri görülmemiş bir fırsat sağlar. Aslında, ilk akademik araştırmalar [6] [7] [8], küçük tasarım modüllerinde basit görevleri yerine getirebilen ve aynı zamanda EDA araçları için komut dosyaları oluşturabilen RTL oluşturmaya yönelik LLM'lerin uygulamalarını araştırmıştır.

Yüksek Lisans'ların, kod oluşturma, doğal dil arayüzü yoluyla mühendislik sorularına yanıtlar, analiz §Eşit katkı ve rapor oluşturma ve hata önceliklendirme gibi dille ilgili birçok çip tasarımı görevini otomatikleştirmek için üretken yapay zekayı kullanarak çip tasarımı verimliliğine yardımcı olma potansiyeline sahip olduğuna inanıyoruz. . Bu çalışmada, bu üç özel Yüksek Lisans uygulamasına odaklanıyoruz: GPU ASIC ve Mimari tasarım mühendisleri için dahili HW tasarımlarını anlayan ve karmaşık tasarım konularını açıklayabilen bir mühendislik asistanı sohbet robotu; İngilizce olarak belirtilen VLSI zamanlama analizi görevleri için Python ve Tcl'yi temel alan iki alana özgü araç için EDA komut dosyaları oluşturma; Dahili hata ve sorun izleme sisteminin bir parçası olarak hata özetleme ve analizi.

Her ne kadar çok miktarda internet verisi üzerinde eğitilmiş genel amaçlı yüksek lisans eğitimleri, çeşitli alanlardaki üretken yapay zeka görevlerinde dikkate değer yetenekler gösterse de (Bubeck ve arkadaşlarının [9]'da gösterdiği gibi), BloombergGPT [10] ve BioMedLLM [11] gibi son çalışmalar şunu göstermektedir: alana özgü LLM modellerinin, alana özgü görevlerde genel amaçlı bir modelden daha iyi performans gösterebileceğini. Donanım tasarımı alanında [6] [12], ek Verilog verileri üzerinde ince ayar yapılan açık kaynaklı LLM'lerin (CodeGen [13]) en son teknolojiye sahip OpenAI modellerinden daha iyi performans gösterebileceğini gösterdi. LLM'lerin bu şekilde özelleştirilmesi aynı zamanda özel çip tasarım verilerinin API'ler aracılığıyla üçüncü taraf LLM'lere gönderilmesiyle ilişkili güvenlik risklerini de önler. Ancak her etki alanı için etki alanına özgü modelleri sıfırdan eğitmek, genellikle milyonlarca GPU eğitim saati gerektirdiğinden aşırı derecede pahalı olacaktır. Etki alanına özgü modelleri uygun maliyetli bir şekilde eğitmek için, bunun yerine aşağıdaki teknikleri birleştirmeyi öneriyoruz: Etki alanına uyarlanmış belirteçler içeren temel modellerin Etki Alanına Uyarlanabilir Ön Eğitimi (DAPT) [14], genel ve etki alanına özgü talimatları kullanarak model hizalama ve geri alma. artırılmış nesil (RAG) [15], eğitimli bir alana uyarlanmış erişim modeliyle.

Şekil 1'de gösterildiği gibi yaklaşımımız, temel bir temel modelle başlamak ve DAPT'yi ve ardından Denetimli İnce Ayar'ı (SFT) uygulamaktır. Alan içi verilerle sürekli ön eğitim olarak da bilinen DAPT'nin biyomedikal ve bilgisayar bilimi yayınları, haberler ve incelemeler gibi alanlarda etkili olduğu gösterilmiştir. Bizim durumumuzda, alana özgü eğitim öncesi veri setimizi, donanımla ilgili özel kodlardan (örn. yazılım, RTL, doğrulama test tezgahları vb.) ve doğal dil veri setlerinden (örn. donanım spesifikasyonları, belgeler vb.) oluşan bir koleksiyondan oluşturuyoruz. Ham veri kümesini temizleyip ön işliyoruz, ardından alana özgü verilerle bir temel modeli önceden eğitmeye devam ediyoruz. Ortaya çıkan modele ChipNeMo adını veriyoruz

Temel Modeli. DAPT, ön eğitimde kullanılan tokenların çok küçük bir kısmıyla yapılır ve çok daha ucuzdur, yalnızca birkaç bin GPU saati gerektirir. Bölüm V'te açıklandığı gibi, kullanım durumlarımız için bu yaklaşımın LoRA [16] gibi Parametre Verimli Eğitim (PEFT) tekniklerinden daha etkili olduğunu düşünüyoruz.

LLM belirteçleri, metni LLM eğitimi için belirteç dizilerine dönüştürür. Etki alanına özgü bir belirteç, RTL'de yaygın olarak bulunan anahtar kelimeler gibi alana özgü terimler için kuralları ve kalıpları uyarlayarak simgeleştirme verimliliğini artırır. DAPT için, temel modeli geçersiz kılacağından, alana özgü yeni bir tokenizer'ı sıfırdan yeniden eğitemeyiz. ChipNeMo'yu temel model tarafından kullanılan önceden eğitilmiş genel amaçlı tokenizer ile sınırlamak yerine, önceden eğitilmiş tokenizer'ı çip tasarım veri setimize uyarlayarak yalnızca alana özgü terimler için yeni tokenizerler ekliyoruz.

ChipNeMo temel modelleri, sohbet gibi görevlere uyum sağlamak için denetimli ince ayar (SFT) gerektiren tamamlama modelleridir. ChipNeMo Sohbet modelini üreten ChipNeMo temel modelinde SFT gerçekleştirmek için çok turlu sohbet için büyük ölçüde kamuya açık genel amaçlı sohbet talimat veri kümelerini ve az miktarda alana özgü talimat veri kümelerini kullanıyoruz. Genel amaçlı bir sohbet talimatı veri kümesine sahip SFT'nin, ChipNeMo temel modellerini çip tasarımı alanındaki sorgularla hizalamak için yeterli olduğunu gözlemliyoruz. Ayrıca hizalamayı daha da geliştiren az miktarda göreve özgü SFT talimat verisi ekledik. Temel temel modeli olarak kullanılan LLaMA2 modellerinin varyantlarına dayalı olarak birden fazla ChipNeMo Foundation ve Chat modelini eğittik.

Mühendislik asistanı chatbot uygulamasının performansını artırmak için ayrıca Alma Artırılmış Üretimden (RAG) yararlanıyoruz. RAG, LLM'lere kullanıcı sorguları için kesin bağlam sağlamaya yönelik açık kitaplı bir yaklaşımdır. Bir kullanıcı sorgusu verildiğinde yanıt oluşturmayı artırmak için ilgili alan içi bilgiyi veri deposundan alır. Bu yöntem, modelin belirli bir sorunun bağlamına dayandırılmasında önemli bir gelişme göstermektedir. Etki alanı verileriyle önceden eğitilmiş bir alma modeline ince ayar yaparken, alma isabet oranında önemli gelişmeler gözlemledik. Bu, model kalitesinde daha da iyileşmelere yol açtı.

Yüksek Lisans'ların çip tasarımı alanına uyarlanmasıyla ilgili aşağıdaki katkıları ve bulguları vurguluyoruz:

• Alana uyarlanmış LLM'nin etkinliğini üç kullanım durumunda gösteriyoruz: bir mühendislik asistanı sohbet robotu, EDA araç komut dosyası oluşturma ve hata özetleme ve analizi. Uzman değerlendirmelerine dayalı olarak mühendislik asistanı chatbot yanıtları için 10 puan üzerinden 7,4 puan elde ediyoruz, EDA komut dosyası oluşturmada %50'den fazla doğruluk elde ediyoruz ve özetlemeler ve ödev tanımlama için 7 puan üzerinden 4 ila 5 arasında uzman değerlendirme puanı elde ediyoruz görevler.

• Etki alanına uyarlanmış ChipNeMo modelleri, hem çoktan seçmeli alana özgü AutoEval kıyaslamalarında hem de uygulamalar için insan değerlendirmelerinde değerlendirilen tüm standart LLM'lerden önemli ölçüde daha iyi performans göstermektedir.

• Modelin bilgi istemi bağlamından metin üretmesinin mümkün olduğu görevlerde (örneğin, RAG isabetleriyle sohbet, özetleme, sağlanan belgelerle kod oluşturma), etki alanı uyarlaması, son teknoloji LLaMA2 70B modeli ile son teknoloji ürünü LLaMA2 70B modeli arasındaki boşluğu kapatır. çok daha küçük bir 13B modeli (küçük bir artan eğitim maliyeti, daha düşük çıkarım maliyeti için 5 kata kadar parametre azaltımına olanak tanır).

• Özelleştirilmiş belirteçler, uygulamaların etkinliğini etkilemeden DAPT belirteç sayısını %3,3'e kadar azaltır.

• İlave 1,1K alana özgü talimatlar üzerindeki SFT, mühendislik asistanı sohbet robotu, EDA komut dosyaları oluşturma ve hata özetlemede uygulama yeterliliğini 10 puanlık ölçekte 0,33'e, %18 doğruluk ve 7 puanlık ölçekte 0,79'a kadar önemli ölçüde artırır ve sırasıyla analiz.

• ChipNeMo alma modelimizin etki alanına özgü verilerle ince ayarının yapılması, toplayıcının isabet oranını, önceden eğitilmiş son teknoloji ürünü bir toplayıcıya göre %30 oranında artırır, dolayısıyla RAG yanıtlarının genel kalitesini artırır.

Makale şu şekilde düzenlenmiştir. Bölüm II, alan bilgisi doğrulaması için veri kümemizi ve otomatik değerlendirme kriterlerimizi açıklamaktadır. Bölüm III, uyarlanmış tokenizer, DAPT, SFT ve RAG dahil olmak üzere kullanılan etki alanı uyarlama ve eğitim yöntemlerini özetlemektedir. Bölüm IV, her uygulamanın ve deneysel kurulumun ayrıntılarını sağlar. Bölüm V, her uygulama için insan değerlendirmeleri de dahil olmak üzere deneysel sonuçları açıklamaktadır. Bölüm VI, ChipNeMo sınırlamalarını ve gelecekteki çalışmaları tartışmaktadır. Bölüm VII, ilgili Yüksek Lisans yöntemlerini ve çip tasarımı için Yüksek Lisans'ları hedefleyen diğer çalışmaları açıklamaktadır. Son olarak, ek model eğitimi ayrıntılarıyla birlikte tam sonuçlar ve uygulama kullanım senaryoları tarafından oluşturulan metin örnekleri Ek'te gösterilmektedir.