د LLMs سره غوره پايلې لپاره، د JSON پروپټ outputs کاروي

دا د اوسني سیریز د چارټ برخه ده. وګورئ برخود 1, د 2, and 3.

د 1د 1د 2د 2د 3د 3

AI Principle IV: Use Structured Prompt Outputs

د AI اصول IV: د جوړ شوي پروپټ پایلو کارولو

يو وخت دی، د اوږد، اوږد وخت مخکې، کله چې د LLM APIs یوازې راټول شوي دي او هیڅکله هم نه پوهیږئ چې څنګه د دوی سره په مناسبه توګه اړیکه ونیسئ. د اصلي ستونزوونو څخه یو واحد د پوښتنې ځواب څخه ډیری پایلو اخلي. کله چې د LLM د JSON تصدیق نه کوي (او دوی ډیری وختونه ناکام شوي)، تاسو هڅه وکړئ چې د LLM سره د خپل غوره غوښتنلیک انجنيرۍ کلمې کارولو سره همکارۍ وکړي.

دا د قدیم وختونه دي. په دې وخت کې، موږ په کڅوړې کې سفر کړ او د شمع رڼا له لارې پریکړه کړ، لکه څنګه چې بریښنا اوس هم اختراع نه وه. د ډبګګګګ کولو پریکړه معنی لري چې اوږد راتونو په پارچه رنګونو کې سپارښتنه وکړه، په امید کې چې د موډل به د haiku په ځای کې یو لیست ته ورسیږي. او که دا ناکام وي، تاسو د عمیق سوځ ته نه لري، خپل quill په ټانک کې ډک کړئ، او بیا بیا هڅه وکړئ.

ښه، زه دې وروستۍ برخه جوړ کړ. مګر د LLM APIs چې په دوامداره توګه د JSON ځواب راټول نه کیدی شي د واقعې څه دي او د ستونزو ډیری سبب شوي. دا ټول د بدلون سره پیل شو.جوړ شوی محصولپه نومبر کې 2023 - تاسو کولی شئ اوس د OpenAI API کاروئ ترڅو تاسو ته یو formatted JSON ورکړئ. په 2024 کې، OpenAI هم د سخت جوړ شوی محصولاتو ملاتړ اضافه کوي، کوم چې په بشپړه توګه د JSON واپسی تضمین کوي. ورته API پرمختګونه هم اضافه شوي ديد انساناود Googleد غیر تخنیکي چمتو کولو وخت دی، او موږ هیڅکله نه راځي.

جوړ شوی محصولد انساند Google

Benefits

ګټې

د نورو فارمونو په پرتله یا د ګمرک شوي فارمټ اختیاري کولو لپاره د JSON جوړولو پروپټ پایلو کارولو لپاره څه غوره دی؟

Reduced Error Rate

ډیری پلیټ فارمونه د سافټویر کچه د غلطو فارمیټ شوي محصولاتو څخه د ساتنې لري. د مثال په توګه، د OpenAI API د غیر JSON راځي کله چې کله چې د جوړ شوی محصول په سخت حالت کې راځي.

که تاسو د ګمرک شوي فارمټ استعمال کړئ ترڅو ډیری محصول بدلونونه ته ورسیږي، نو تاسو به د دې تفریح څخه ګټور نه وي، او د غلطی کچه به ډیر لوړ وي. د وخت به د پروپټ سره د reengineering او retries اضافه کولو لپاره اخلي وي.

Decoupled Prompts and Code

د JSON پایلې سره، دا غیر معمولي ده چې یو بل پایلې ځمکه اضافه کړئ، او په دې توګه باید ستاسو د موجودې کوډ له لاسه ورکړئ. دا له بدلونونو څخه د کوډ پروسس منطق بدلونونو ته د پلوهونو اضافه کولو څخه راټول کیږي. د پلوه کولو کولی شي تاسو ته وخت او هڅو خوندي کړي، په ځانګړي ډول په صورت کې چې پلوهونه د Git څخه بهر څخه لوستل کیږي؛ وګورئاصول II: په خوندي ډول د LLM لوډ کول (که تاسو واقعا باید)د

اصول II: په خوندي ډول د LLM لوډ کول (که تاسو واقعا باید)

Simplified System

آیا یو عملی دلیل شتون لري چې د پایپ پلیټ فارم پرته د جوړ شوي پلیټ فارم ملاتړ کاروي؟ دا به تاسو او د راتلونکي کوډ همکارانو لپاره د JSON په کارولو سره ځوابونه فارمولو لپاره آسانه وي. که تاسو اړتیا نلري د څرخ د دوبلو اختراع نه وکړئ.

When NOT to Use Structured Output

کله چې نه د جوړ شوی محصول کارول

Single Field Output

که ستاسو پروګرام په ځواب کې یو واحد فیلډ صادروي، د JSON صادرولو لپاره هیڅ ګټې نه شتون لري. یا دا شتون لري؟

امروزه واحد متغیر ځوابونه کولی شي په کلکه ځوابونو کې وده ورکړي. کله چې ځینې ساعتونه د ځینې ځمکې د صادراتو پریکړه په څو ځمکې د صادراتو پریکړه کې بدل کړئ، زه اوس د JSON کاروئ، حتی کله چې یوازې یو ځمکې ته ورسیږي. دا وروسته وخت خوندي کوي، په داسې حال کې چې د اضافي پیچیدو لږ تر لږه اضافي اضافه کوي.

حتی کله چې د پروګرام منطق کولی شي د ډیرو پایلو ته اړتیا نلري، د اضافي فیلډونو اضافه کولو لپاره د فوټ انجینریشن او ډبرګینګ فوټونه شتون لري. د هغه فیلډ اضافه کول چې د ځواب لپاره وضاحت ورکوي (یا په سند کې د سرچینې ته اشاره کوي) اغیزمنه کولی شي د فوټ فعالیت ښه کړي. (د 1). دا هم کولای شي د ماډل د فیصلې د وضاحت په توګه لیږد شي. د ځواب له پیل څخه JSON ده له دې امله چې د دې ډول د ځمکې اضافه کول ډیر آسانه ده.

د 1

لکه څنګه چې حتی که ستاسو پروپټ د یو واحد محصول متغیر لري، د JSON فارمټ په توګه د اختیار په توګه فکر وکړئ.

Streaming Response

د غوښتنلیکونو لپاره چې په هغه غوښتنلیکونو کې چې لټینټ مهم دی، د LLM سټراییم پایپونه معمولا کارول کیږي. دا اجازه ورکوي چې د ځواب برخو ته د بشپړ ځواب ترلاسه کولو مخکې عمل شي. دا نمونې د JSON سره ښه کار نه کوي، نو تاسو باید د ساده، سټراییم دوستانه فارم په بل ډول کار واخلئ.

د مثال په توګه، که ستاسو د پروپیلټ د ویډیو ګروپ شخصیت لخوا ترسره شوي عمل او هغه کلمې په اړه فیصلہ کوي چې د ګروپ وايي، تاسو کولی شئ دا په توګه کوډ کړئ "ACTION ÁthaSPEECH_TO_READ" او بیا د ځواب سره د سټراییم API، لکه:د OpenAI Streaming APIدا به تاسو ته ډیر ښه latency ورکړي.

د OpenAI Streaming API

د محصول د مثال:

دWAVE_AT_HERO.Hello، Adventurer! ښه راغلاست په زما د سوداګرۍ.WAVE_AT_HERO.Hello، Adventurer! ښه راغلاست په زما د سوداګرۍ.ددWAVE_AT_HERO.Hello، Adventurer! ښه راغلاست په زما د سوداګرۍ.دWAVE_AT_HERO.Hello، Adventurer! ښه راغلاست په زما د سوداګرۍ.

WAVE_AT_HERO|Hello, Adventurer! Welcome to my shop.

لکه څنګه چې د عمل ترلاسه کیږي، د شخصیت پیل کوي، او د متن په څیر صادر کیږي.

JSON کرښهاو نور stream-friendly فارمونو هم کولی شي په اغیزمنه توګه کارول شي.

JSON کرښه

Conclusion

د پایلو

د تمدن فایبرونه راټول نه وکړئ - د JSON جوړ شوی پروپټ پایپ استعمال کړئ. نږدې نږدې نږدې شتون لري او دا ستاسو په ژوند کې ډیر آسانه کوي ځکه چې LLMs په عمده توګه د اعتبار وړ JSON ځوابونه راټول کړي. د JSON پایپ کارولو په اړه فکر وکړئ که څه هم د استخراج شوي ډاټا په اوسني ډول یو واحد ساحه دی. د سټراییم پایپونو لپاره، د JSON کرښه یا یو ساده ګمرک فورمټ کارئ.

که تاسو د دې پست څخه خوند واخلئ، د نورو لپاره د سیریز ته Subscribe.