RAG کا دوبارہ جائزہ لیا گیا۔

آر اے جی آر اے جی آر اے جی

کاروباری عمل اور مصنوعات میں مصنوعی ذہانت کو لاگو کرنے کی دوڑ میں، ایک پریشان کن رجحان رہا ہے: Retrieval-Augmented Generation (RAG) کا جنون۔ اگرچہ RAG — ایک طریقہ جو بڑے لینگویج ماڈلز (LLMs) کو بیرونی علم کی بازیافت کے ساتھ ملاتا ہے — نے بلا شبہ علم کے ساتھ تعامل کے لیے نئی راہیں کھول دی ہیں، بہت سارے پریکٹیشنرز اس کے ساتھ جدوجہد کر رہے ہیں۔

اب وقت آگیا ہے کہ ہم AI کے نفاذ کے ارد گرد گفتگو کو دوبارہ ترتیب دیں، RAG پر حد سے زیادہ انحصار کے نقصانات کو تسلیم کریں، اور متبادل طریقوں کو تلاش کریں جو زیادہ موزوں، سرمایہ کاری مؤثر اور خوبصورت ہو سکتے ہیں۔

RAG انماد: بہت سے استعمال کے معاملات کے لیے اوور کِل

RAG بہت سے AI انجینئرز کے لیے جانے والی تکنیک بن گئی ہے جو بیرونی سیاق و سباق فراہم کر کے زبان کے ماڈلز کی درستگی کو بہتر بنانا چاہتے ہیں۔ بنیاد کافی آسان ہے: ویکٹر اسٹورز میں متن کی بڑی مقدار اپ لوڈ کرکے، یہ AI سسٹم متعلقہ دستاویزات کو تلاش کرسکتے ہیں، ڈیٹا کو بازیافت کرسکتے ہیں، اور اسے زبان کے ماڈل کی تخلیقی صلاحیتوں کے ساتھ جوڑ کر مزید درست جوابات تیار کرسکتے ہیں۔

تاہم، RAG کے لیے جوش و خروش نے ان نفاذات کا ایک دھماکہ کیا ہے جو اس کی افادیت کو زیادہ اہمیت دیتے ہیں۔ انجینئرز کو لاکھوں دستاویزات ویکٹر اسٹورز میں ڈمپ کرتے ہوئے، کلاؤڈ سٹوریج اور پروسیسنگ کے اخراجات کو یہ سمجھے بغیر دیکھنا کوئی معمولی بات نہیں ہے کہ آیا استعمال کے معاملے میں بھی اس طرح کی پیچیدگی کی ضرورت ہے۔ بہت سے لوگ اس بات پر غور کرنے میں ناکام رہتے ہیں کہ آیا ایک آسان حل کافی ہو سکتا ہے یا ان کے مخصوص مسئلے کے لیے RAG بھی ضروری ہے۔

بولی RAG کے نفاذ کے نقصانات

اس سے بھی بدتر بات یہ ہے کہ زیادہ تر انجینئرز طویل المدتی اخراجات اور دیکھ بھال کے بوجھ کو نظر انداز کرتے ہوئے ایک سادہ مزاج کے ساتھ RAG کے نفاذ سے رجوع کرتے ہیں۔ ان کا ماننا ہے کہ متن کے ہر ٹکڑے کو ویکٹر اسٹور میں اپ لوڈ کرنے سے کسی نہ کسی طرح AI زیادہ ہوشیار ہو جائے گا۔ لیکن اکثر نہیں، یہ عمل اس کے برعکس کرتا ہے۔ بے کار اور غیر ضروری دستاویزات سے بھرے ویکٹر اسٹورز کے ساتھ، ایل ایل ایم ڈیٹا کی بازیافت سے مغلوب ہیں جس کی قدر میں اضافہ نہیں ہوتا ہے۔ اس کے نتیجے میں ردعمل کا وقت کم، زیادہ لاگت اور کم موثر حل ہوتے ہیں۔

RAG اس وقت بہترین کام کرتا ہے جب اسے درست اور متعلقہ علم کو بڑھانے کے لیے استعمال کیا جاتا ہے، نہ کہ جب اسے دستیاب کسی بھی دستاویز کے ڈمپ کے لیے کیچ آل کے طور پر استعمال کیا جاتا ہے۔ RAG کے ذریعے اوور انجینئرنگ دیگر کلیدی AI صلاحیتوں کو کم استعمال کرنے اور بازیافت پر زیادہ توجہ مرکوز کرنے کا باعث بنتی ہے جب بہت سے مسائل کو آسان منطق اور ساخت سے حل کیا جا سکتا ہے۔

ہر مسئلہ کو RAG کی ضرورت نہیں ہے۔

یہاں سچ ہے: استعمال کے تمام معاملات میں RAG سیٹ اپ کی ضرورت نہیں ہے۔ اگر کام تنگ اور اچھی طرح سے بیان کیا گیا ہے — جیسے اکثر پوچھے گئے سوالات کا جواب دینا، کسٹمر سپورٹ کے سوالات، یا ساختی مکالمے میں مشغول ہونا — ایک سادہ تلاش کی میز یا علم کا گراف کافی ہو سکتا ہے۔ بڑے پیمانے پر ویکٹر سٹور اور ملٹی ملین پیرامیٹر ماڈل کو چلانے کی ضرورت نہیں ہے جب حل کو اصول پر مبنی نظام یا ایجنٹ فریم ورک کا استعمال کرتے ہوئے بنایا جا سکتا ہے۔

RAG استعمال کرنے کا جوش اس خیال سے پیدا ہوتا ہے کہ زیادہ ڈیٹا بہتر کارکردگی کے برابر ہے۔ لیکن بہت سے معاملات میں، معیار ٹرمپ مقدار. ٹارگٹڈ علم کے ساتھ ایک عمدہ ماڈل، یا اصول پر مبنی صلاحیتوں کے ساتھ علم سے آگاہ چیٹ بوٹ، کبھی بھی RAG پائپ لائن کو چھوئے بغیر بہتر کارکردگی کا مظاہرہ کر سکتا ہے۔ RAG کو لاگو کرنے کا فیصلہ کام کی پیچیدگی سے ہونا چاہیے، نہ کہ AI کے شوقینوں میں اس کی مقبولیت سے۔

تنگ علم کے ساتھ چھوٹے ایجنٹوں کے لئے کیس

پھولے ہوئے RAG سسٹم کا متبادل اکثر زیادہ خوبصورت اور موثر ہوتا ہے: چھوٹے، مخصوص ایجنٹس جن کے پاس محدود لیکن درست علم ہے۔ یہ ایجنٹ، جب ٹینڈم میں استعمال ہوتے ہیں، ٹیکسٹ کے ٹیرا بائٹس کے بوجھ والے ایک بڑے ماڈل کو پیچھے چھوڑ سکتے ہیں۔ ہر ایجنٹ کو ورک فلو کے مخصوص حصوں کو سنبھالنے یا مخصوص قسم کے سوالات کا جواب دینے کے لیے ڈیزائن کیا جا سکتا ہے، جس سے ماڈیولر اور لچکدار AI سسٹمز کی اجازت دی جا سکتی ہے۔ یہ نہ صرف لاگت کو کم کرتا ہے بلکہ پورے نظام کو برقرار رکھنے اور پیمانے پر آسان بناتا ہے۔

ایک ایسے منظر نامے کا تصور کریں جہاں ایک ایجنٹ شیڈولنگ کے لیے، دوسرا خلاصہ کے لیے، اور تیسرا ویب تلاش کرنے کے لیے ذمہ دار ہے۔ ان میں سے ہر ایک ایجنٹ مل کر کام کر سکتا ہے، صرف اس علم کا فائدہ اٹھاتے ہوئے جس کی انہیں ضرورت ہے، بغیر کسی یک سنگی نظام کے۔ بہت سے چھوٹے ماڈلز یا منطق پر مبنی ایجنٹوں کی تعیناتی سے، کاروبار زیادہ درست اور تیز نتائج حاصل کر سکتے ہیں جبکہ پروسیسنگ اور اسٹوریج کے اخراجات میں نمایاں کمی کر سکتے ہیں۔

LLMs کا زیادہ استعمال: جب سادہ منطق کام کرے گی۔

آخر میں، ایسے منظرناموں میں LLMs کا زیادہ استعمال ہے جہاں سادہ منطق کام کرے گی۔ ایل ایل ایم قدرتی زبان کو سمجھنے اور تخلیق کرنے میں نمایاں طور پر اچھے ہیں، لیکن اس کا مطلب یہ نہیں ہے کہ انہیں تمام قسم کے آٹومیشن کو تبدیل کرنا چاہیے۔ بہت سے کام جیسے ڈیٹا کی توثیق، فارم بھرنا، یا سٹرکچرڈ رپورٹ جنریشن — بنیادی اسکرپٹس، رول انجنز، یا ڈیٹرمنسٹک سسٹمز کے ساتھ تیز اور زیادہ قابل اعتماد طریقے سے کیے جا سکتے ہیں۔

ایک اہم مثال ریاضی کے کام یا چھانٹنے کے مسئلے کے لئے ایل ایل ایم کا استعمال کرنا ہے۔ یہ ناکارہ اور غیر ضروری ہے۔ یہ نہ صرف کمپیوٹیشنل وسائل کو ضائع کرتا ہے، بلکہ یہ ان معاملات میں غلطیوں کے امکانات کو بھی بڑھاتا ہے جہاں ایک سادہ فنکشن یا الگورتھم زیادہ درست ہوگا۔ ہر چیز کے لیے LLMs کو لاگو کرنے کی بے تابی ایک "ایل ایل ایم ہتھوڑا ناخنوں کی تلاش" کے سنڈروم میں بدل گئی ہے۔ یہ غلط استعمال توقعات میں اضافہ اور حتمی مایوسی کا باعث بنتا ہے جب ماڈل ان کاموں میں توقع کے مطابق کارکردگی کا مظاہرہ نہیں کرتے ہیں جن کو سنبھالنے کے لیے ڈیزائن نہیں کیا گیا تھا۔

AI انجینئرنگ پر دوبارہ غور کرنا

اب وقت آگیا ہے کہ اے آئی انجینئرنگ پر دوبارہ غور کیا جائے اور فضول سے آگے بڑھیں۔ ٹول کٹ میں RAG کی اپنی جگہ ہے، لیکن یہ کوئی علاج نہیں ہے۔ مستقبل صحیح کاموں کے لیے صحیح ماڈلز کی تعیناتی میں مضمر ہے — بعض اوقات اس کا مطلب RAG ہوتا ہے، لیکن اکثر ایسا نہیں ہوتا ہے۔ AI صلاحیتوں کی ایک باریک بینی کے ساتھ، انجینئرز ایسے نظاموں کو ڈیزائن کر سکتے ہیں جو زیادہ موثر، موثر اور برقرار رکھنے میں آسان ہوں۔

میرے بارے میں: ڈیٹا، AI، رسک مینجمنٹ، حکمت عملی، اور تعلیم کو یکجا کرنے والے 20+ سالہ تجربہ کار۔ ڈیٹا ایڈووکیٹ سے 4x ہیکاتھون کا فاتح اور سماجی اثر۔ فی الحال فلپائن میں AI افرادی قوت کو جمپ اسٹارٹ کرنے کے لیے کام کر رہے ہیں۔ میرے بارے میں یہاں مزید جانیں: https://docligot.com