Энэ нэг практик нь LLM-ийг бий болгох, туршиж, түлхүүрлэхэд хялбар болгодог

Энэ нь үргэлжлүүлэн цуврал нэг хэсэг юм: үзнэ үү first болон другой бичлэг.

Principle III: Modularize The Prompts

Энэ нь гайхамшигтай чулуу юм. Бүх туршлагатай инженерийн нэг удаа үзсэн байна: код нь маш их, өндөр ризиктай, ямар ч хүн энэ нь харж чадахгүй гэж мэдэгдэж байна. ямар ч нэгж туршилт байдаг, бүр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр биш үед тэд хаана байна. Энэ нь хязгаарлалттай байдаг, ямар ч модулятор байдаг, өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр байдаг.

Миний анхны гайхамшигтай байдал мэдэгддэг. 5000-ийн шугам функц нь олон сая доллартой бизнесийн үйл ажиллагаа нь төвлөрсөн бөгөөд энэ нь харж чадахгүй байсан. Энэ нь хязгаарлагдмал үед бүх багц ноцтой хооронд буцах. Тус компанийн бүх хөгжлийн энэ гол компонент дээр суурилуулах нь хязгаарлагдмал байна. Миллионы доллар нь гайхамшиг хянахын тулд ашиглаж байна.

Энэ бүх зүйл нь LLM-ийн асуултуудтай юу вэ? Тэд ч бас гайхамшигтай байж болно! Зарим өөрчилж, ямар ч хүмүүс тэднийг харахгүй.

Хэрэглэгчийн хүсэлтүүд

Хэрэглэгчид зөвхөн долоо хоногт болон долоо хоногт зөв ажилладаг програм хангамжийг худалдан авахыг хүсдэггүй. Тэд байнгын найдвартай байдал, шинэ шинж чанарыг шаарддаг. Урт хугацааны өндөр найдвартай системийг бий болгох үед хэрэглээн боловсруулсан боломжийг олгож, байнгын гэрэл идэвхжүүлэхийн тулд чухал юм. Энэ нь Gen AI-д идэвхтэй програм хангамжүүд нь уламжлалт програм хангамжтай харьцуулагддаг.

Дараа нь та сайн AI-тай дэмжлэгтэй програм хангамжийг хэрхэн олж авах вэ, гайхамшигтай биш? Энэ цувралт хамарсан нь 12 гаруй арга хэрэгсэл байдаг. Тэд бүгд нэг принциптай эхлүүлсэн байна: нэг гинорхийг өөрчлөн хүсэж байгаа бол нэг асуудал шийдэхийн тулд бүгд нэг нэг зорилготой хэд хэдэн жижиг төвлөрсөн арга хэрэгслүүдийг хүсч байна.

Модуляризация гэж юу вэ

Modularization нь энгийн системийг багатай, өөрчлөн, өөрчилж болно бүрэлдэхүүн хэсгүүдээр хуваалцах үйл явдал юм. Албан ёсны програм хангамжийн инженерийн хувьд энэ нь функц, зэрэг, үйлчилгээг бичдэг. LLM-ийн prompt инженерийн контекстд, modularization нь том, монолит prompt-ийг багатай, төвлөрсөн prompt-ийг хуваалцах гэсэн үг юм.

Modularization нь ашигтай

Modularization нь цаг хугацаагаар системийн өөрчлөлтийг аюулгүй тохируулах боломжийг олгодог. Энэ нь чухал ач холбогдол:

• Хэрэглээний хадгалах хугацаа нь нэмэгдэж болно.
• Хэрэглээний нэмэх боломжууд нь ихэвчлэн ихэвчлэн нэмэгдэж болно.
• Системийн найдвартай байдлын шаардлага нь ихэвчлэн нэмэгдэж болно.

Системийн төлөвлөгөөний үед энэ бүх хэмжээгээр мэдэгдэх хэрэгтэй.

Хэдийгээр модулийг системийг дэмждэг вэ? Хамгийн алдартай үр дүнг доор тодорхойлогдсон байна.

Шинэлэг бууруулах

LLM prompt гүйцэтгэл нь байнгын байнгын юм. Тэдний байнгын энэ нь ямар ч өөрчлөлтийг урьдчилан сэргийлэхийн тулд output-ийг нөлөөлөж болно. Та том prompt-ийг бүрэлдэхүүн хэсэгт буцаж, өөрчилж системний нэг хэсэгт гүйцэтгэлийг нөлөөлөж болно. Хэрэв нэг prompt-ийг буцаж байгаа бол, системийн бусад бүрэлдэхүүн хэсэг нь өөрчлөлтийн өмнө шиг ажилладаг.

Хэдийгээр тавтай морилно уу? Нэг бүрэлдэхүүн хэсгүүдийг хамарна уу? Тавтай морилно уу? Тавтай морилно уу, харин энэ үзэсгэлэнт амархан хязгааргүй байдаг. Тавтай морилно уу цуврал дахь хязгааргүй идэвхжүүлэлт нь тавтай морилно уусмал идэвхжүүлэлттэй идэвхжүүлэлттэй идэвхжүүлэлттэй идэвхжүүлэлттэй идэвхжүүлэлттэй идэвхжүүлэлттэй идэвхжүүлэлттэй идэвхжүүлэлттэй байх болно, гэхдээ бүх бүрэлдэхүүн хэсгүүд нь тохиромжтой идэвхжүүлэлтээс өмнө үйл ажиллагаа явуулж болно. Энэ нь гигант идэвхжүүлэлттэй идэвхжүүлэлттэй өөрчлө

(Хэрэглээний цуврал нь аюулгүй ажиллуулах цуврал дахь идэвхтэй хэсэг юм. Та янз бүрийн төрлийн хязгаарлалыг төлөвлөж, хязгаарлалт төлөвлөж хэрэгтэй. Гэхдээ энэ нь энд хүрээээс гадна юм)

Шинэлгээний сайжруулах

Хөргөлтийн нэгжийн туршилтаар ямар ч нэг зүйл хийх нь энгийн функц нь олон янз бүрийн зүйл хийхыг туршиж буй энгийн функцээс илүү хялбар туршиж болно гэж мэддэг. Үүнээс гадна, жижиг, төвлөрсөн туршилт нь мануал, бүрэн автомат хэлбэрээр ихэвчлэн ихэвчлэн туршиж болно.

Шинэлтийн сайжруулах

Энэ шилдэг үр дүнд харьцуулахад харьцуулахад харьцуулахад харьцуулахад харьцуулахад байдаг: 2, 123

Шинэлэг гүйцэтгэл дээр олон талын үр нөлөө дээр судалгаа нь илүү хязгаарлагдмал юм: 4, 5. Үнэндээ тохиромжтой үзүүлэлт нь олон талын талаар multitask болох юм. Гэсэн хэдий ч, практикэд энэ нь маш их хялбар юм фокусируулсан үзүүлэлт, та45

Хэрэглээний хуваалцах хялбар байдал

Шинэлэг нь 3 000 хэлбэрээр шинэ багны гишүүдтэй супер хурдасгаж үзэх нь аялал юм. Тэгээд та ямар ч их хэлж байгаа бол, энэ зүрх нь мэдэрч байгаа хүмүүст зөвхөн туслах зохиогч байх болно.

Тавтай морилно уу, бүр хэсэг нь харьцуулахад хялбар байдаг нь систем нь илүү хурдан тавтай морилно уу; инженер нь илүү хурдан үйлдвэрлэх эхэлнэ.

Хэвийн зардал optimization

Системийн янз бүрийн хэсэгт янз бүрийн загварууд ашиглаж байгаа бол, хариу чанарын нөлөөгүйгээр маш их зардал, давтамж хэмнэх болно.

Дэлгэрэнгүйгээр, хэв маяг тодорхойлохын тулд хэв маяг тодорхойлох шаардлагатай биш юм - энэ нь таны хамгийн сүүлийн үеийн, хамгийн үнэтэй загвар шаардлагатай биш юм. Дараа нь, документын суурилсан хариултыг үүсгэхийн тулд хэв маяг хааралтай морилно уу өндөр түвшинд загваруудтай.

• Хэвлэхэд хурдан, хязгааргүй тохиргоог нэмэх чадвар. Хэвлэхэд зориулсан тохиргоог нь код баазын гадаадаас ачаалалтай байдаг. үзнэ үү Principle II: Load Prompts Safe (If You Really Have to).

Энэ нь хурдан, хязгааргүй хэлбэрийг стандарттай аргаар нэмэх боломжийг олгодог. Хязгаарлагдмал хэлбэрийг код баазын зүүнээс гадна байрлуулж байгаа үед ихэвчлэн чухал юм. үзнэ үү Principle II: Load Prompts Safe (If You Really Have to).

Хувцаслалт II: Load Prompts Safe (Хувцаслалт нь)

• Автомат хэлбэрээр зөвлөгөөг суулгах чадвар.

Автомат хэлбэрээр суулгах чадвар.

• Хэрэглээн бүртгүүлэх, тусгай зөвлөлүүд нь инд / outputs хянах чадвар.

Хэрэглээн бүртгүүлэх, тусгай ороомог нь ингэснүүд / outputs хянах чадвар.

• Автомат шалгалт нэмэх чадвар.

Промотууд хамардаг автомат шалгалт нэмэх чадвар.

• Хялбар token / $-ийн янз бүрийн зөвлөгөө дээр зарцуулах арга.

  
  

Хялбар token / $-ийг өөр өөр prompts дээр зарцуулах арга юм.




Хэрэглээний судалгаа

Дараа нь Gen AI-тай суурилсан систем бий болгох нь модуляцид болон ямар ч модуляцид практикэд хэрхэн ажилладаг.

Хэвгүй модуляцид

You are building a tech support app and are determined to implement it with a single prompt. Найдвартай хувилбардаас, та хариу үүсгэдэг монолит prompt гэж үзнэ үү RAG.

RAG





Энэ дуртай, хялбар гэж бодож байна уу? Гэсэн хэдий ч та шинж чанарыг нэмж байгаа бол энэ архитектур нь асуудал гарч:

• Тэв та хэлний тогтмол жагсаалтад хуваалцахыг хүсч байгаа боловч бусад хэлний жагсаалтад хуваалцахыг хүсч байгаа бол. Энэ нь та зарим хэл дээр зөвхөн хуваалцахыг хүсч байгаа эсэргүүцэл зааврыг нэмж, LLM-ийг өгөгдлийн зорилгоор "хүний" хавтгай дүүргэх болно.

Тэв та бүх хуваалтад хуваалцахыг хуваалцахыг хүсч байна.

Тэвшлийн хяналтын зорилгоор илгээсэн бүх хуваалтад "түүргэх хэрэгтэй.

When the user is unhappy - escalate the case to human support. Add "escalate

• Тэв та хэлний тогтмол жагсаалтыг хариулахыг хүсч байгаа боловч бусад хэлүүдтэй ажиллуулахыг хүсч байна. Энэ нь та зүгээр л тодорхой хэл дээр хариулахын тулд хурдан зааврыг нэмнэ үү.

Тэв та хэлний тогтмол жагсаалтад хуваалцахыг хүсэж байгаа боловч бусад хэлүүдтэй ажиллуулахыг хүсэж байгаа бол. Үүнийг авахын тулд та зөвхөн тодорхой хэл дээр хариулахын тулд хурдан зааврыг нэмж, LLM-ийг өгөгдлийн хэрэгцээг зориулсан "хүйн" тоноглогдсон болно.

• Та бүх хуваалцлыг ангилахыг хүсч байна. Загвар "этикэл" тавтай морилно уу output.

Тэв та бүх хуваалцах ангилалтай байхыг хүсч байна. Загвар "этикэл" тавтай морилно уу.

• Хэрэглэгчийн дуртай бол - хэрэглэгчийн дэмжлэг үзэх талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи

  Хэрэглэгчийн хязгаарлагдмал үед - хэрэглэгчийн дэмжлэгдэх талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаархи талаар

• Хэрэглээний интернетийн хяналт хийхэд илгээсэн бүх хуваалцах хэрэгтэй. Англи хэлний хуваалцад "translated" тоноглогдсон.

Хэрэглээний интернетийн хяналт хийхэд илгээсэн бүх хуваалцах хэрэгтэй. Англи хэлний хуваалцтай "translated" тоноглогдсон.

• Тавтай морилно уу, хэрэглэгчдэд тэдний байршуулалт, хамгийн сүүлийн үеийн сонголт нь тэдний замыг хайж чадахгүй байгаа эсэхийг баталгаажуулдаг.

  Хэрэглэгчийн байрлалд хэрэглэгчдэд тавтай морилно уу.

• Хэв та бүх хуваалцах нь нийтлэл хэрэгтэй вэ? Өнгөрсөн хуваалцахын тулд "зөвлөгөө" газар нэмнэ үү.

  
  

Дараа нь бүх харилцаа холбооны нийтлэл шаардлагатай байна уу? Дараа нь бүх outputs дээр "Summary" томоохон нэмнэ.




Морилно уу та асуудал харахын тулд эхэлж байна - энэ зөвлөгөө нь одоо 6 outputs байна. Энэ нь туршиж нь амархан байх болно. Та өөр хэл нь дэмжлэг нэмж, дараа нь дараа нь таны апп нь испани хэл дээр нийтлэг үзүүлэх эхэлдэг. Хэрэв юу вэ? Хэрэв та мэдэх болно, LLM outputs нь тогтвортой байдаг, Тиймээс зөвлөгөө өөрчлөх нь урьдчилан сэргийлэх үр дүнд байна.




Холбоо барих - Та чулуу үүсгэсэн байна! цаг хугацааны дараа энэ нь нэмэгдэж, түүнээс дээш болтыг үүсгэхийн тулд.

Учир нь модулятор





Бөөний Prompt Chain болон бүрэн тусгаарлагдмал түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр түлхүүр.ХууувцаслалтХөргөлтийн утас

One prompt суралцаж хэл, нэг перевод хангах, нэг хэрэглэгчийн хэзээ ч хэзээ ч байтугай хуваалцаж байгаа эсэхийг тодорхойлох, Reply prompt хариу үүсгэдэг, guardrail хариу тохиргоог баталгаажуулдаг. One prompt outputs are chained to be inputs of the next; traditional code can operate between these promps to, for example, check language eligibility, without involving LLMs.




Хэдийгээр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр байдаг.

A change can still break a given prompt, but risks are greatly reduced because:

• Дараа нь нэг хэсэгт өөрчлөх нь хэрэглээний логикийн бүх хэсэгт бэхжүүлэх боломжийг олгодоггүй.
• Тест хийх илүү хялбар бөгөөд эхлэхэд хязгаарлагддаг.
• Дараа нь харьцуулахад харьцуулахад хялбар байдаг.
• Дараа нь нэг хэсэгт өөрчлөх нь хэрэглээний логикийн бүх хэсэгт хязгааргүй байх болно.
• Тест хийх илүү хялбар бөгөөд хурдан буцаан авах шансууд өндөр байдаг.
• Дараа нь өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр өөр байдаг.
• Хөргөлтийн өөрчлөлтийг харьцуулахад хялбар байдаг.

You get all the benefits of Gen AI, гэхдээ эрсдэл маш бага байдаг. Плюс, та зардал хэмнэх нь зарим бүрэлдэхүүн хэсэгт хямд загварууд ашиглаж болно.




Хэвлэл

Modularization нь алдааг тусгаарлах, хадгалах боломжийг сайжруулах, илүү найдвартай систем бий болгох боломжийг олгодог. Хамгийн их хэмжээтэй програмууд нь бүр нэг үйл ажиллагаа явуулж, дараагийн модуляцийг ашигтай нь нэмэлт үйл ажиллагаатай цуглуулгыг хамардаг. Хэрэв таны AI-ийн програмууд нь найдвартай байхыг хүсч байгаа бол таны хэрэглээг модулийг модулийг бий болгохын тулд шаардлагатай бөгөөд урт хугацааны хугацаанд шинж чанарыг нэмнэ үү. Учир нь олон "монстр" систем байдаг - шинэ хэрэглээг үүсгэхгүй!




Хэрэв та энэ цуврал тавтай морилно уу - дэлгэрэнгүй бичлэг авах.