সাধারণ পুনরুদ্ধার অগমেন্টেড জেনারেশন চ্যালেঞ্জ মোকাবেলা করে প্রাসঙ্গিক এলএলএম প্রতিক্রিয়া অর্জন করা

এর সাথে জেনারেটিভ এআই অ্যাপ্লিকেশন ডেভেলপ করা হচ্ছে পুনরুদ্ধার বর্ধিত প্রজন্ম (RAG) এবং ভেক্টর ডাটাবেস চ্যালেঞ্জিং হতে পারে। প্রাসঙ্গিক প্রসঙ্গ পুনরুদ্ধার করা হয়েছে তা নিশ্চিত করতে আপনাকে প্রায়শই RAG বাস্তবায়নের সমস্যা সমাধান করতে হবে যা ভেক্টর ডেটাবেসের উপর নির্ভর করে; এটি সমালোচনামূলক, কারণ সেই প্রসঙ্গটি আরও সঠিক ফলাফল প্রদানের জন্য একটি বড় ভাষা মডেলের প্রম্পটে অন্তর্ভুক্ত করা হয়।

এই সিরিজের পূর্ববর্তী নিবন্ধে , আমরা এমবেডিং পাইপলাইনের দিকে তাকিয়েছি, যা জনবহুল করে ভেক্টর ডাটাবেস এমবেডিং সহ, এবং তিনটি ক্ষেত্র বিবেচনা করা হয়েছে যা খারাপ ফলাফলের দিকে নিয়ে যেতে পারে: সাবঅপ্টিমাল এমবেডিং মডেল, অদক্ষ খণ্ডন কৌশল এবং মেটাডেটা ফিল্টারিংয়ের অভাব।

এখানে, আমরা LLM-এর সাথে প্রকৃত মিথস্ক্রিয়া দেখব এবং কয়েকটি সাধারণ সমস্যা পরীক্ষা করব যা খারাপ ফলাফলের দিকে নিয়ে যেতে পারে: অসম্পূর্ণ প্রম্পট এবং অপর্যাপ্ত প্রজন্মের পদ্ধতি।

প্রম্পট পরিশোধন

এমনকি সেরা এম্বেডিং এবং চঙ্কিং কৌশলগুলিও মানের প্রয়োজন প্রতিস্থাপন করতে পারে না প্রম্পট ইঞ্জিনিয়ারিং . এর মধ্যে প্রম্পটগুলিকে আরও স্পষ্ট, নির্দিষ্ট এবং উদ্দেশ্যযুক্ত আউটপুটের সাথে সংযুক্ত করা জড়িত। RAG প্রক্রিয়াটি সূক্ষ্ম-সুর করার জন্য বিভিন্ন প্রম্পট ফর্ম্যাট, দৈর্ঘ্য এবং আভিধানিক পছন্দগুলি পরীক্ষা করা উচিত।

বিশেষত, RAG অ্যাপ্লিকেশনগুলির জন্য আপনার প্রম্পটগুলি তৈরি করার সময় আপনাকে বেশ কয়েকটি বিষয় বিবেচনা করা উচিত। এর মধ্যে রয়েছে:

LLM কে এর ভূমিকা বলুন: ChatGPT এর মত LLM এজেন্টদের সাথে ইন্টারঅ্যাক্ট করার সময়, তারা একটি সহায়ক চ্যাটবটের মতো কাজ করতে ডিফল্ট হবে। যাইহোক, আপনি প্রতিক্রিয়ার প্রকৃতি পরিবর্তন করতে পারেন যা LLM কে একটি নির্দিষ্ট উপায়ে কাজ করার নির্দেশ দিয়ে তৈরি করা হবে। উদাহরণগুলি হতে পারে যেমন "আপনি একজন অ্যাটর্নি মূল্যায়ন করছেন যদি কোন পক্ষই চুক্তি লঙ্ঘন করে" বা "আপনি একজন ইন্টারনেট পরিষেবা প্রদানকারীর গ্রাহক পরিষেবা এজেন্ট; আপনার কাজ হল লোকেদের তাদের ইন্টারনেট সমস্যা সমাধানে সাহায্য করা" বা আপনার বিশেষ পরিস্থিতির জন্য যা কিছু বোঝায়।

প্রদত্ত প্রসঙ্গটি ব্যবহার করতে LLM-কে স্পষ্টভাবে বলুন : LLM-কে এটা স্পষ্ট করে দিন যে আপনি প্রসঙ্গটি প্রদান করছেন এবং আপনি সেই প্রসঙ্গটি প্রতিফলিত করতে উত্পন্ন প্রতিক্রিয়া চান। আপনি প্রসঙ্গ অনুসরণ করে "আপনার প্রতিক্রিয়া নিম্নলিখিত প্রসঙ্গটি বিবেচনায় নেওয়া উচিত" এর মতো কিছু বলে এটি করতে পারেন। উদাহরণ ব্যবহার করুন: LLM-কে চুক্তির মূল্যায়নকারী অ্যাটর্নি হিসাবে কাজ করার জন্য বলার এইমাত্র উল্লিখিত পরিস্থিতিতে, আপনি প্রম্পটে বেশ কয়েকটি উদাহরণ অন্তর্ভুক্ত করতে চাইতে পারেন। উদাহরণস্বরূপ, আপনি একটি চুক্তির একটি উদাহরণ প্রদান করতে পারেন যা বলে যে অর্থপ্রদান 30 দিনের মধ্যে দিতে হবে, কিন্তু চুক্তি স্বাক্ষর হওয়ার 40 দিন পর্যন্ত ক্রেতা তাদের অর্থপ্রদান পাঠাননি এবং তাই চুক্তিটি লঙ্ঘন করেছেন। আপনি প্রতিকারের অধিকারের অতিরিক্ত উদাহরণ এবং চুক্তি লঙ্ঘন সমাধানের সম্ভাব্য উপায় প্রদান করতে পারেন।

আউটপুট বিন্যাস নির্দিষ্ট করুন: আপনার ব্যবহারের ক্ষেত্রে যদি নির্দিষ্ট আউটপুটের প্রয়োজন হয়, আপনি যে বিন্যাসটি উত্পন্ন আউটপুট মেনে চলতে হবে তা নির্দিষ্ট করতে পারেন। আপনি এই কৌশলটি উপরের টিপের সাথে একত্রিত করতে পারেন যাতে আপনি LLM কে কীভাবে প্রতিক্রিয়া জানাতে চান এবং সেইসাথে আপনি যে তথ্যগুলি উত্পন্ন প্রতিক্রিয়াতে আশা করছেন তার মূল পয়েন্টগুলি উভয়ই স্পষ্ট করতে উদাহরণ প্রদান করতে পারেন।

চিন্তার চেইন ব্যবহার করুন : উপযুক্ত প্রতিক্রিয়া নির্ধারণের জন্য যুক্তি জড়িত এমন ক্ষেত্রে ব্যবহার করার জন্য, আপনি একটি জেনারেটেড প্রতিক্রিয়ায় পৌঁছানোর জন্য যে পদক্ষেপগুলি LLM অনুসরণ করতে চান তা ব্যাখ্যা করতে সাহায্য করার জন্য আপনি চেইন অফ থিন্ট নামে একটি কৌশল ব্যবহার করার কথা বিবেচনা করতে পারেন। উদাহরণস্বরূপ, আইনি চুক্তির ক্ষেত্রে, আপনি লজিক্যাল পদক্ষেপের মাধ্যমে এলএলএম করতে চাইতে পারেন যা একজন ব্যক্তি চুক্তির শর্ত লঙ্ঘন করা হয়েছে কিনা তা নির্ধারণ করতে অনুসরণ করবে। উদাহরণস্বরূপ, আইনি চুক্তির সাথে কাজ করার সময় আপনি LLM কে বলতে পারেন প্রথমে অর্থপ্রদানের শর্তাবলী উল্লেখ করে এমন ধারাগুলি সন্ধান করতে, তারপরে ক্রেতাকে কত সময় পেমেন্ট জমা দিতে হয়েছিল তা চিহ্নিত করুন, তারপর অর্থপ্রদানের সময় এবং প্রাপ্ত সময়ের মধ্যে দিনের সংখ্যা গণনা করুন। চুক্তি স্বাক্ষরিত হওয়ার তারিখ। তারপর, যদি অর্থপ্রদান সম্মত সময় ফ্রেমের চেয়ে বেশি সময় নেয়, তাহলে ক্রেতা চুক্তি লঙ্ঘন করেছে।

আপনার প্রম্পট ইঞ্জিনিয়ারিং উন্নত করার জন্য এই কৌশলগুলি ব্যবহার করা আপনার RAG অ্যাপ্লিকেশনগুলিতে আপনি যে ফলাফলগুলি তৈরি করতে সক্ষম হন তার মানের উপর উল্লেখযোগ্য প্রভাব ফেলতে পারে। যাইহোক, কখনও কখনও আপনাকে এমন কৌশলগুলি ব্যবহার করতে হবে যা একটি গ্রহণযোগ্য প্রতিক্রিয়া অর্জনের জন্য এলএলএম-এর সাথে একাধিক বিনিময় জড়িত।

উন্নত নিদর্শন

ফ্লেয়ার

দূরদর্শী সক্রিয় পুনরুদ্ধার, বা ফ্লেয়ার , একটি মাল্টি-কোয়েরি RAG কৌশলের একটি উদাহরণ যা আপনার প্রম্পটে কাস্টম নির্দেশাবলী সহ LLM-কে পুনরাবৃত্তিমূলকভাবে কল করে যা LLM-কে মূল বাক্যাংশ সম্পর্কে অতিরিক্ত প্রশ্ন প্রদান করতে বলে যা এটি একটি ভাল উত্তর তৈরি করতে সহায়তা করবে। একবার এলএলএম-এর কোন ফাঁক ছাড়া প্রসঙ্গ থাকে, এটি চূড়ান্ত প্রতিক্রিয়ার সাথে শেষ হয়। প্রক্রিয়াটি LLM এবং AI এজেন্টের মধ্যে একটি লুপ যোগ করে (চিত্রে এআই চ্যাটবট) এই পুনরাবৃত্তিগুলি সহজতর করার জন্য:

আপনি ফ্লেয়ার ল্যাংচেইন কুকবুক উদাহরণে ফ্লেয়ার কীভাবে কাজ করে তার একটি উদাহরণ দেখতে পারেন।

RAG ফিউশন

ব্যবহারকারীর ক্যোয়ারীতে অনুরূপ ক্যোয়ারী তৈরি করে এবং মূল ক্যোয়ারী এবং জেনারেট করা অনুরূপ প্রশ্ন উভয়ের জন্য প্রাসঙ্গিক প্রসঙ্গ পুনরুদ্ধার করে, আমরা সঠিক ফলাফল তৈরি করার জন্য সবচেয়ে দরকারী প্রসঙ্গ নির্বাচন করার সম্ভাবনা বাড়াতে সক্ষম। প্রক্রিয়া, "RAG ফিউশন" বলা হয়, এই মত দেখায়:

এখানে মূল পদক্ষেপ হল ANN ফলাফলগুলিকে আরও পরিমার্জিত করার জন্য একটি পারস্পরিক র‌্যাঙ্ক ফাংশন ব্যবহার করা একটি প্রতিক্রিয়া তৈরি করতে ব্যবহার করার জন্য সবচেয়ে প্রাসঙ্গিক প্রসঙ্গ সনাক্ত করতে।

উপসংহার

RAG হল এমন একটি পদ্ধতি যা দিয়ে শুরু করা সহজ, কিন্তু প্রায়শই অস্পষ্ট কারণে অসন্তোষজনক ফলাফল নিয়ে ডেভেলপারদের হতাশ করে। RAG-সক্ষম জেনারেটিভ এআই অ্যাপ্লিকেশনগুলিতে আউটপুটগুলির প্রাসঙ্গিকতা বিভিন্ন কারণের দ্বারা প্রভাবিত হতে পারে। এম্বেডিং মডেলগুলি যত্ন সহকারে নির্বাচন করে, চঙ্কিং কৌশলগুলি প্রণয়ন করে এবং প্রম্পট ডিজাইন করে, আপনি ChatGPT-এর মতো LLM দ্বারা চালিত সিস্টেমগুলিতে উত্পন্ন প্রতিক্রিয়াগুলির গুণমান এবং নির্ভুলতাকে উল্লেখযোগ্যভাবে উন্নত করতে পারেন। আশা করি এই টিপসগুলি আপনাকে আরও দরকারী RAG অ্যাপ্লিকেশন তৈরি করতে সাহায্য করবে যা আপনার লক্ষ্য করা অভিজ্ঞতা এবং মূল্য প্রদান করে।

DataStax Astra DB ব্যবহার করে দেখুন , রিয়েল-টাইম ডেটাতে উৎপাদন-স্তরের AI অ্যাপ্লিকেশন তৈরির জন্য একমাত্র ভেক্টর ডাটাবেস ।

ক্রিস ল্যাটিমার, ডেটাস্ট্যাক্স দ্বারা