Bugungi kunda tezkor optimallashtirish haqida biz bilgan hamma narsa

Havolalar jadvali

Annotatsiya va 1. Kirish

2 Opro: Optimizator sifatida Llm va 2.1 Llms tomonidan optimallashtirish uchun kerakli narsalar

2.2 Meta-prompt dizayni

3 Motivatsion misol: Matematik optimallashtirish va 3.1 Lineer regressiya

3.2 Sayohatchi sotuvchi muammosi (TSP)

4 Ilova: Tez optimallashtirish va 4.1 Muammoni o'rnatish

4.2 Meta-prompt dizayni

5 Tez optimallashtirish tajribalari va 5.1 Baholashni sozlash

5.2 Asosiy natijalar

5.3 Ablatsiya bo'yicha tadqiqotlar

5.4 Tez optimallashtirishda haddan tashqari moslik tahlili va 5.5 Evoprompt bilan taqqoslash

6 Tegishli ish

7 Xulosa, minnatdorchilik va adabiyotlar

Ba'zi muvaffaqiyatsizlik holatlari

B Scorer Llm uchun so'rov formatlari

Matematik optimallashtirish uchun C Meta-so'rovlar va C.1 Meta-so'rov

C.2 Tez optimallashtirish uchun meta-so'rov

D Qolgan Bbh vazifalarida tezkor optimallashtirish egri chiziqlari

E Bbh vazifalarini tezkor optimallashtirish - jadvaldagi aniqliklar va topilgan ko'rsatmalar

6 BOG'LIQ ISHLAB CHIQARISH

Tez optimallashtirish. Oldingi ishlarda vazifaga xos uzluksiz vektorlar sifatida taqdim etilgan taklifni optimallashtiradigan yumshoq tezkor sozlash usullari ishlab chiqilgan (Lester va boshq., 2021; Li & Liang, 2021; Liu va boshq., 2021; Qin & Eisner, 2021), shuningdek, gradient bo'yicha boshqariladigan qidiruv (Shin va boshq., 2020; Wen va boshq., 2023; Gao va boshq., 2020; Chen va boshq., 2023d) va mustahkamlashni o'rganish (Deng va boshq., 2022); Chjan va boshq., 2023). LLMga faqat API ruxsati mavjud bo'lganda, bu yondashuvlar qo'llanilmaydi. Boshqa ishlar gradientsiz tezkor optimallashtirish uchun tahrirga asoslangan yondashuvlarni ishlab chiqdi (Xu va boshq., 2022; Prasad va boshq., 2022), bunda tahrirlash inson tomonidan aniqlangan operatsiyalar (masalan, ikkita iborani almashtirish) bilan amalga oshirilishi mumkin (Prasad va boshq. , 2022) yoki til modellari (masalan, orqaga tarjima) (Xu va boshq., 2022). Ba'zi so'nggi ishlar tezkor optimallashtirish uchun LLMlarni o'rganadi (Chjou va boshq., 2022b; Pryzant va boshq., 2023; Xu va boshq., 2023). Xususan, APE (Chjou va boshq., 2022b) dastlabki ko'rsatmalarni yaratish uchun birinchi navbatda LLM dan foydalanadi. Shundan so'ng, APE eng yuqori aniqlikdagi eng yuqori ko'rsatmalarni tanlaydi, so'ngra har bir alohida ko'rsatma bilan LLMga dastlabki ko'rsatmalarning semantik jihatdan o'xshash variantini yaratishni taklif qiladi. APO (Pryzant va boshq., 2023) har bir bosqichda LLMga eski yo'riqnomani qanday yangilash haqida matnli fikr-mulohazalarni ishlab chiqarishni buyuradi. Tahrirlashga asoslangan yondashuvlardan farqli o'laroq, bizning ishimizdagi optimallashtiruvchi LLM har bir optimallashtirish bosqichida to'g'ridan-to'g'ri yangi ko'rsatmalar ishlab chiqaradi va optimallashtiruvchi LLMdan avvalgi ko'rsatmalarga taqlid qilmasdan, faqat vazifaning aniqligini oshirish so'raladi. Zhou va boshqalar bilan solishtirganda. (2022b) va Pryzant va boshqalar. (2023), bizning optimallashtirish jarayonimiz o'tmishda yaratilgan ko'rsatmalarni ularning ballari bilan meta-salovda o'z ichiga oladi, bu optimallashtiruvchi LLMga yuqori sifatli ko'rsatmalarning umumiy namunalarini topishga imkon beradi.

Tabiiy tilda fikr-mulohazalarni taklif qilish. Yaqinda olib borilgan ishlar LLM samaradorligini oshirish bo'yicha yondashuvlarni o'rganadi, tabiiy tilda fikr-mulohazalarni taqdim etish orqali model natijalarini qayta ko'rib chiqishga yordam beradi, bu zararli LLM natijalarini kamaytirish samaradorligini ko'rsatdi (Bai va boshq., 2022; Ganguli va boshq., 2023) fikrlash (Shinn va boshq., 2023; Madaan va boshq., 2023) va kod ishlab chiqarish samaradorligi (Chen va boshq., 2023e; Olausson va boshq., 2023; Shinn va boshq., 2023; Chen va boshq., 2023b), dialog ilovalari (Nair va boshq., 2023; Madaan va boshq., 2023; Yuan va boshq., 2023) va boshqalar (Kim va boshq., 2023; Vang va boshq., 2023). Xususan, Yuan va boshqalar. (2023) misol darajasidagi fikr-mulohazalar to'plamidan tizim darajasidagi fikr-mulohazalarni olish uchun insonning tsikldagi asosini ishlab chiqadi va keyinchalik ma'lumotlarni qayta ishlash uchun ishlatiladi. Bizning ishimizda optimallashtiruvchi LLM taklifda optimallashtirish traektoriyasidan foydalanadi, bu esa LLMdan shunga o'xshash ballga ega bo'lgan echimlar orasidagi umumiy xususiyatlarni umumlashtirishni so'zsiz talab qiladi. Kelajakdagi ish sifatida keyingi optimallashtirish bosqichlari uchun ishlab chiqarilgan yechimlar bo'yicha aniq tabiiy tilda fikr-mulohazalarni kiritishni ko'rib chiqamiz.

Optimallashtirish uchun til modellarini sozlash. Ba'zi oldingi ishlar evolyutsiya algoritmlarida mutatsiya va krossover operatorlari sifatida harakat qilish uchun til modellarini sozlaydi yoki taklif qiladi. Meyerson va boshqalar. (2023) tasvir va kod yaratish kabi vazifalarda evolyutsion kesishuvlarni taklif qilish uchun bir nechta misollar bilan til modellaridan foydalanadi. Lehman va boshqalarda. (2022), kod farqini yaratish bo'yicha o'qitilgan katta til modeli mutatsiya operatori sifatida ishlatiladi va ular robot simulyatsiyasi uchun Sodarace domenida ish faoliyatini yaxshilash uchun yanada nozik sozlash usulini ishlab chiqadilar. EvoPrompting (Chen va boshq., 2023a) neyron tarmoq arxitekturasini rivojlantirish uchun katta til modellaridan foydalanadi, bu erda ular evolyutsion qidiruvni yumshoq tezkor sozlash bilan birlashtiradi. Traektoriyani optimallashtirish uchun kirish sifatida qabul qilishga kelsak, OptFormer (Chen va boshq., 2022) giperparametr optimallashtirish ma'lumotlarining katta to'plamlarida transformator modelini o'rgatadi. Boshqa tomondan, bizning ishimiz qo'shimcha treninglarsiz faqat taklif qilish orqali optimallashtirishni amalga oshiradi.