LLMs সঙ্গে সেরা ফলাফল জন্য, JSON স্প্যামট আউটপুট ব্যবহার করুন

এটি চলমান সিরিজের চতুর্থ অংশ. অংশ 1, 2 এবং 3 দেখুন।

AI Principle IV: Use Structured Prompt Outputs

একটি সময় ছিল, দীর্ঘ, দীর্ঘদিন আগে, যখন এলএলএম এপিআই কেবলমাত্র আউট হয়ে গিয়েছিল এবং কেউ এখনও তাদের সাথে সঠিকভাবে যোগাযোগ করার জন্য নিশ্চিত ছিল না। শীর্ষ সমস্যাগুলির মধ্যে একটি ছিল একক প্রম্পট প্রতিক্রিয়া থেকে একাধিক আউটপুট অতিক্রম করা।

এগুলি প্রাচীন সময়ে ছিল। তখন, আমরা ঘোড়ায় ভ্রমণ করতাম এবং স্কেল লাইট দ্বারা প্রম্পট লিখতাম, কারণ বিদ্যুৎ এখনও আবিষ্কার করা হয়নি। ডাবগিং প্রম্পটগুলি পার্শ্বমেন্ট স্কেলগুলিতে দীর্ঘ রাত্রি ব্যয় করে, মডেলটি একটি হাইকু পরিবর্তে একটি তালিকা ফেরত দেবে আশা করেছিল।

কিন্তু এলএলএম এপিআইগুলি যা একটি JSON প্রতিক্রিয়া ফেরত দিতে পারে না একটি বাস্তব জিনিস ছিল এবং অনেক সমস্যা তৈরি করে।গঠনমূলক আউটপুট২০২৩ সালের নভেম্বরে - আপনি এখন আপনাকে একটি ফর্ম্যাট JSON দিতে OpenAI API ব্যবহার করতে পারেন। ২০২৪ সালে, OpenAI কঠোর কাঠামোগত আউটপুটের জন্য সমর্থন যোগ করে, যা সম্পূর্ণরূপে একটি JSON ফেরত নিশ্চিত করে।অ্যান্টিবায়োটিকএবংগুগলঅস্থিতিশীল জরুরি আউটপুটের সময় শেষ হয়েছে, এবং আমরা কখনোই ফিরে যাব না।

Benefits

অন্য ফরম্যাটের পরিবর্তে JSON-Structured prompt outputs ব্যবহার করা বা একটি কাস্টম ফরম্যাট আবিষ্কার করা কেন ভাল?

Reduced Error Rate

আধুনিক এলএলএমগুলি অনুরোধের সময় যথাযথ JSON উত্পাদন করার জন্য চমৎকারভাবে কনফিগার করা হয় - এটি খুব জটিল প্রতিক্রিয়াগুলির সাথেও ব্যর্থ হওয়ার জন্য বিরল। উপরন্তু, অনেক প্ল্যাটফর্মের সফটওয়্যার স্তরের সুরক্ষাগুলি ভুলভাবে ফরম্যাট করা উত্পাদনগুলির বিরুদ্ধে রয়েছে।

যদি আপনি একাধিক আউটপুট পরিবর্তনগুলি ফেরত দেওয়ার জন্য একটি কাস্টম ফরম্যাট ব্যবহার করেন, তাহলে আপনি এই ফাইন-টু-টু থেকে সুবিধা পাবেন না, এবং ত্রুটি হার অনেক বেশি হবে।

Decoupled Prompts and Code

একটি JSON আউটপুটের সাথে, এটি অন্য আউটপুট ক্ষেত্র যোগ করা অস্বাভাবিক, এবং এটি আপনার বিদ্যমান কোডকে ভাঙতে হবে না।নীতি II: লোড LLM নিরাপদে দ্রুত (যদি আপনি সত্যিই করতে হবে).

Simplified System

একটি অভ্যন্তরীণ প্ল্যাটফর্ম সমর্থন ছাড়া একটি আউটপুট ফরম্যাট ব্যবহার করার একটি বাস্তব কারণ আছে? আপনি এবং পরবর্তী কোড অবদানকারীদের উভয়ই JSON ব্যবহার করে প্রতিক্রিয়া ফরম্যাট করতে সহজ হবে।

When NOT to Use Structured Output

Single Field Output

যদি আপনার অনুরোধ প্রতিক্রিয়া হিসাবে একটি একক ক্ষেত্র উত্পাদন করে, তাহলে একটি JSON উত্পাদন করার কোন সুবিধা নেই।

আজ একক পরিবর্তনীয় প্রতিক্রিয়াগুলি আগামীকাল জটিল প্রতিক্রিয়াগুলি হয়ে উঠতে পারে। একক ক্ষেত্রের আউটপুট প্রম্পটকে অনেক ক্ষেত্রের আউটপুট প্রম্পটে রূপান্তরিত করার সময় ব্যয় করার পরে, আমি এখন শুধুমাত্র একক ক্ষেত্র ফেরত দেওয়ার সময়ও ডিফল্ট হিসাবে JSON ব্যবহার করি।

যদিও প্রোগ্রামের যুক্তিগুলি একাধিক আউটপুট প্রয়োজন না হলেও, অতিরিক্ত ক্ষেত্রগুলি যোগ করার জন্য দ্রুত প্রকৌশল এবং ডাবগিং সুবিধা রয়েছে।1) এটি মডেলের সিদ্ধান্তগুলির ব্যাখ্যা হিসাবেও লগ করা যেতে পারে. প্রতিক্রিয়াটি শুরু থেকেই JSON হতে থাকলে এই ধরনের একটি ক্ষেত্র যোগ করা অনেক সহজ করে তোলে।

সুতরাং এমনকি যদি আপনার অনুরোধে একটি একক আউটপুট পরিবর্তনশীল থাকে তবে একটি বিকল্প হিসাবে JSON ফরম্যাট বিবেচনা করুন।

Streaming Response

অ্যাপ্লিকেশনগুলির জন্য যেখানে দীর্ঘস্থায়ীতা গুরুত্বপূর্ণ, স্ট্রিমিং এলএলএম এন্ডপয়েন্টগুলি প্রায়ই ব্যবহৃত হয়. এইগুলি পুরো প্রতিক্রিয়া প্রাপ্ত হওয়ার আগে প্রতিক্রিয়াগুলির অংশগুলি কাজ করার অনুমতি দেয়. এই প্যাটার্নটি JSON এর সাথে ভালভাবে কাজ করে না, তাই আপনি একটি সহজ, স্ট্রিম বন্ধুত্বপূর্ণ ফরম্যাট ব্যবহার করতে হবে।

উদাহরণস্বরূপ, যদি আপনার অনুরোধটি একটি ভিডিও গেম চরিত্র দ্বারা নেওয়া পদক্ষেপ এবং চরিত্রটি যে শব্দগুলি বলে তা নির্ধারণ করে, তাহলে আপনি এটি "এক্সটিসিএমএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএক্সএOpenAI স্ট্রিমিং APIএটি আপনাকে আরও ভাল ল্যাটিনতা দেবে।

উদাহরণ উৎপাদন:

অ্যাকশনটি প্রাপ্ত হওয়ার পরে, চরিত্রটি হাঁটতে শুরু করে এবং টেক্সটটি প্রবাহিত হয় যখন এটি প্রবাহিত হয়।

JSON linesএবং অন্যান্য স্ট্রিম বন্ধুত্বপূর্ণ ফরম্যাটগুলি কার্যকরভাবে ব্যবহার করা যেতে পারে।

Conclusion

সভ্যতার সুবিধাগুলি অস্বীকার করবেন না - JSON-র গঠিত প্রোপট আউটপুট ব্যবহার করুন। কখনোই কোনও অসুবিধা নেই এবং এটি আপনার জীবনকে অনেক সহজ করে তুলবে যেহেতু LLMs বৈধ JSON প্রতিক্রিয়াগুলি ফেরত দেওয়ার জন্য ব্যাপকভাবে অপ্টিমাইজ করা হয়েছে। একটি JSON আউটপুট ব্যবহার বিবেচনা করুন এমনকি যদি আউটপুট করা ডেটা বর্তমানে একটি একক ক্ষেত্র।

আপনি যদি এই পোস্টটি উপভোগ করেন তবে আরও জন্য সিরিজে সাবস্ক্রাইব করুন।