Pou pi bon rezilta ak LLMs, Sèvi ak JSON prompt pwodiksyon

Sa a se pati a nan yon seri kontinyèl. Al gade nan pati 1, 2, ak 3.

1 nan1 nan2 nan2 nan3 nan3 nan

AI Principle IV: Use Structured Prompt Outputs

Prensip AI IV: Sèvi ak estrikti prompt pwodiksyon

Li te gen yon tan, yon long, yon long tan de sa, lè APIs LLM te kounye a soti ak pa gen okenn moun te toujou asire w ke ou ta dwe interaksyon ak yo. Youn nan pwoblèm yo ki pi gwo te ekstrè pwodiksyon plizyè soti nan yon sèl repons pwomèt. Lè LLM yo pa konsistansman retounen JSON (ak yo pafwa souvan), ou te eseye persuade LLM a pou koperasyon lè l sèvi avèk pi bon oratè enjenyè pwomèt ou.

Li te tan anvan yo. Lè sa a, nou te vwayaje sou chèz la ak ekri prompts pa limyè chandèl, kòm elektrik pa te toujou te invente. Debugging prompts vle di lontan lannwit ki te pase squinting sou kouvèti parchm, espere modèl la pral retounen yon lis olye pou yon haiku. E si li te échoue, ou te gen pa gen okenn chwa ki san yo asye byen, plonje quill ou nan ink, ak eseye ankò.

Ok, mwen te fè sa a pati dènye. Men, APIs LLM ki pa kapab konsistan retounen yon repons JSON te yon bagay reyèl ak te koule plizyè pwoblèm. Tout te kòmanse chanje akOutput estriktinan Novanm 2023 - ou ka kounye a sèvi ak OpenAI API a bay ou yon JSON fòme. Nan 2024, OpenAI tou te ajoute sipò pou estrikteman estrikti soti, ki konplètman garanti yon retounen JSON. Ameliorasyon API menm jan an te tou te ajoute paAntropikakGoogle nanTan pou non-structurated pwodiksyon imedyatman te pase, epi nou pa janm ale tounen.

Output estriktiAntropikGoogle nan

Benefits

Avantaj

Poukisa li pi bon yo sèvi ak JSON-estriktire prompt pwodiksyon anvan lòt fòma oswa invente yon fòma Custom?

Reduced Error Rate

Modèn LLMs yo fin-tune pou pwodiksyon valab JSON lè mande - li se rare pou yo manke menm ak reponn trè konplèks. Anplis de sa, plizyè platfòm gen pwoteksyon nivo lojisyèl anvan pwodiksyon an mal fòme. Pou egzanp, OpenAI API lan jere yon eksepsyon lè yon non-JSON se retire lè nan estriktire pwodiksyon estrikti mòd.

Si ou itilize yon fòma koutim pou retounen plizyè varyab pwodiksyon, ou pa pral benefisye de sa a fin-tuning, ak pousantaj erè a pral anpil pi wo. Tan yo pral pase re-engineering prompt ak ajoute retries.

Decoupled Prompts and Code

Nan yon pwodiksyon JSON, li se trivial yo ajoute yon lòt jaden pwodiksyon, ak fè sa pa ta dwe frape kòd ki deja egziste ou. Sa a dekoupe ajoute jaden nan prompt soti nan chanjman yo nan logik pwosesis kòd la. Dekoupleman ka sove ou tan ak efò, espesyalman nan ka sa ki prompts yo chaje soti nan deyò nan Git; wèPrensip II: Load LLM prompts san danje (Si ou reyèlman bezwen)nan

Prensip II: Load LLM prompts san danje (Si ou reyèlman bezwen)

Simplified System

Èske gen yon rezon pratik pou sèvi ak yon fòma pwodiksyon san yo pa sipò nan yon platfòm entegre? Li ta pi fasil pou tou de ou ak contributors koòd la pita yo fòme repons yo lè l sèvi avèk JSON. Pa reinvente woulèt la si ou pa bezwen.

When NOT to Use Structured Output

Ki jan yo pa sèvi ak pwodiksyon estrikti

Single Field Output

Si prompt ou pwodui yon sèl jaden nan repons, pa gen okenn benefis pou pwodui yon JSON. Oswa yo gen?

Yon sèl varyab repons jodi a ka vin repons konplèks jodi a. Apre peye èdtan konvèti yon pwopòt pwodiksyon jaden nan plizyè pwopòt pwodiksyon jaden, mwen kounye a sèvi ak JSON pa default menm lè sèlman yon sèl jaden se retounen. Sa a sove tan pita pandan y ap ajoute minimòm plis kompleksite anvan.

Menm lè logik la nan pwogram pa bezwen plizyè pwodiksyon, gen avantaj enjenyè rapid ak debugging nan ajoute jaden adisyonèl. Ajoute yon jaden ki bay yon eksplike pou yon repons (oswa sitou yon sous nan dokiman an) ka souvan amelyore pèfòmans rapid (1 nan). Li kapab tou anrejistre kòm yon eksplike pou desizyon yo nan modèl la. Gen repons la dwe JSON soti nan kòmansman an fè ajoute yon jaden sa a pi fasil.

1 nan

Se konsa, menm si prompt ou gen yon sèl varyab pwodiksyon, konsidere fòma JSON kòm yon opsyon.

Streaming Response

Pou aplikasyon nan ki latans se kritik, streame LLM endpoints yo souvan itilize. Sa a pèmèt pati nan repons yo dwe ap travay sou anvan tout repons la resevwa. Modèl sa a pa travay byen ak JSON, se konsa ou ta dwe sèvi ak yon fòma senp, flux-friendly nan plas la.

Pou egzanp, si pwopriyete ou deside sou aksyon an ki te pote pa yon karaktè nan jwèt videyo ak pa gen anyen ke karaktè a di, ou ka kode li kòm "ACTION ÁthaSPEECH_TO_READ" ak Lè sa a, streame repons la ak yon API streaming, tankou:OpenAI Streaming API nanLi pral bay ou yon latence pi bon.

OpenAI Streaming API nan

Pou egzanp de pwodiksyon:

nanWAVE_AT_HERO BLOODSHello, Adventurer! Byenveni nan magazen mwen an.WAVE_AT_HERO BLOODSHello, Adventurer! Byenveni nan magazen mwen an.WAVE_AT_HERO BLOODSHello, Adventurer! Byenveni nan magazen mwen an.WAVE_AT_HERO BLOODSHello, Adventurer! Byenveni nan magazen mwen an.

WAVE_AT_HERO|Hello, Adventurer! Welcome to my shop.

Yon fwa aksyon an se resevwa, karaktè a kòmanse vibre, ak tèks la se pwodiksyon kòm li kouri nan.

JSON liyEpitou lòt fòma stream-friendly ka itilize efikasman.

JSON liy

Conclusion

Konklisyon

Pa refize benefis yo nan sivilizasyon - sèvi ak JSON-estriktire prompt pwodiksyon yo. Gen prèske pa gen okenn dezavantaj ak li pral fè lavi ou anpil pi fasil kòm LLMs yo trè optimisé pou retounen repons JSON valab. Konsidere lè l sèvi avèk yon pwodiksyon JSON menm si done a ekstrè se kounye a yon sèl jaden. Pou endpoints streaming, sèvi ak liy JSON oswa yon fòma Custom senp.

Si ou te jwi atik sa a, abònman nan seri a pou plis.