এই পোস্টের একটি সংক্ষিপ্ত সংস্করণ 19 ই মার্চ, 2024-এ দ্য নিউ স্ট্যাকে উপস্থিত হয়েছিল।

এন্টারপ্রাইজ কৃত্রিম বুদ্ধিমত্তায়, দুটি প্রধান ধরণের মডেল রয়েছে: বৈষম্যমূলক এবং উত্পাদনশীল। বৈষম্যমূলক মডেলগুলি ডেটা শ্রেণীবদ্ধ করতে বা ভবিষ্যদ্বাণী করতে ব্যবহৃত হয়, যখন জেনারেটিভ মডেলগুলি নতুন ডেটা তৈরি করতে ব্যবহৃত হয়। যদিও জেনারেটিভ এআই দেরিতে সংবাদে প্রাধান্য পেয়েছে, সংস্থাগুলি এখনও উভয় ধরণের এআই অনুসরণ করছে। বৈষম্যমূলক AI এখনও সেই সংস্থাগুলির জন্য একটি গুরুত্বপূর্ণ উদ্যোগ হিসাবে রয়ে গেছে যারা আরও দক্ষতার সাথে কাজ করতে এবং অতিরিক্ত রাজস্ব স্ট্রিমগুলি অনুসরণ করতে চায়। এই বিভিন্ন ধরণের AI এর মধ্যে অনেক মিল রয়েছে, কিন্তু একই সাথে, উল্লেখযোগ্য পার্থক্য রয়েছে যা আপনার AI ডেটা পরিকাঠামো তৈরি করার সময় অবশ্যই বিবেচনায় নেওয়া উচিত।

বিজনেস ইন্টেলিজেন্স, ডেটা অ্যানালিটিক্স, এবং ডেটা সায়েন্সের মতো কাজের চাপগুলিকে নিজেদের রক্ষা করার জন্য সংস্থাগুলিকে শুধুমাত্র AI এবং AI-তে নিবেদিত একটি অবকাঠামো তৈরি করা উচিত নয়। এটি একটি সম্পূর্ণ ডেটা অবকাঠামো তৈরি করা সম্ভব যা সংস্থার সমস্ত চাহিদাকে সমর্থন করে - ব্যবসায়িক বুদ্ধিমত্তা, ডেটা অ্যানালিটিক্স, ডেটা সায়েন্স, বৈষম্যমূলক এআই এবং জেনারেটিভ এআই।

অন্য একটি পোস্টে, আমরা একটি আধুনিক ডেটালেকের জন্য একটি রেফারেন্স আর্কিটেকচার উপস্থাপন করেছি যা ব্যবসায়িক বুদ্ধিমত্তা, ডেটা অ্যানালিটিক্স, ডেটা সায়েন্স এবং AI/ML-এর চাহিদা পূরণ করতে সক্ষম। আসুন আধুনিক ডেটালেক রেফারেন্স আর্কিটেকচার পর্যালোচনা করি এবং এআই/এমএল কাজের চাপকে সমর্থন করার জন্য এর ক্ষমতাগুলি হাইলাইট করি।

আধুনিক ডাটালকে

চলুন শুরু করা যাক একটি আধুনিক ডেটালেককে সংজ্ঞায়িত করে যেটি আমাদের রেফারেন্স আর্কিটেকচারের ভিত্তি হিসেবে কাজ করবে। এই স্থাপত্যটি "পুনরায় সাইকেল করা" নয় বরং এটি প্রকৌশলের প্রথম নীতিগুলিকে প্রতিফলিত করে যা ব্যাপকভাবে প্রযোজ্য। একটি আধুনিক ডেটালেক হল এক-অর্ধেক ডেটা গুদাম এবং এক-অর্ধেক ডেটা লেক এবং সবকিছুর জন্য অবজেক্ট স্টোরেজ ব্যবহার করে। একটি ডেটা লেকের জন্য অবজেক্ট স্টোরেজ ব্যবহার করা নিখুঁত বোধগম্য হয় কারণ অবজেক্ট স্টোরেজ হল অসংগঠিত ডেটার জন্য, যা ডেটা লেক সংরক্ষণের জন্য বোঝানো হয়। যাইহোক, ডেটা ওয়ারহাউসের জন্য অবজেক্ট স্টোরেজ ব্যবহার করা অদ্ভুত শোনাতে পারে - তবে এইভাবে নির্মিত একটি ডেটা গুদাম ডেটা গুদামগুলির পরবর্তী প্রজন্মের প্রতিনিধিত্ব করে। Netflix, Uber, এবং Databricks দ্বারা রচিত ওপেন টেবিল ফরম্যাট স্পেসিফিকেশন (OTFs) দ্বারা এটি সম্ভব হয়েছে, যা ডেটা গুদামের মধ্যে অবজেক্ট স্টোরেজ নিয়োগ করাকে নির্বিঘ্ন করে তোলে।

OTFগুলি হল Apache Iceberg, Apache Hudi, এবং Delta Lake. এগুলি যথাক্রমে Netflix, Uber এবং Databricks দ্বারা রচিত হয়েছিল - কারণ বাজারে এমন কোনও পণ্য ছিল না যা তাদের ডেটা প্রয়োজনগুলি পরিচালনা করতে পারে৷ মূলত, তারা সবাই যা করে (বিভিন্ন উপায়ে) তা হল একটি ডেটা গুদাম সংজ্ঞায়িত করা যা অবজেক্ট স্টোরেজ (MinIO) এর উপরে তৈরি করা যেতে পারে। অবজেক্ট স্টোরেজ স্কেলযোগ্য ক্ষমতা এবং উচ্চ কর্মক্ষমতার সমন্বয় প্রদান করে যা অন্যান্য স্টোরেজ সমাধান করতে পারে না। যেহেতু এগুলি আধুনিক স্পেসিফিকেশন, তাই তাদের উন্নত বৈশিষ্ট্য রয়েছে যা পুরানো আমলের ডেটা গুদামগুলিতে নেই - যেমন পার্টিশন বিবর্তন, স্কিমা বিবর্তন এবং জিরো-কপি ব্রাঞ্চিং। অবশেষে, যেহেতু ডেটা গুদামটি অবজেক্ট স্টোরেজ দিয়ে তৈরি করা হয়েছে, আপনি এই একই অবজেক্ট স্টোরটি ব্যবহার করতে পারেন অসংগঠিত ডেটা যেমন ছবি, ভিডিও ফাইল, অডিও ফাইল এবং নথির জন্য।

অসংগঠিত ডেটা সাধারণত সংরক্ষণ করা হয় যাকে শিল্প ডেটা লেক বলে। আপনার ডেটা লেক এবং আপনার ডেটা গুদাম উভয়ের ভিত্তি হিসাবে একটি অবজেক্ট স্টোর ব্যবহার করার ফলে আপনার সমস্ত ডেটা ধারণ করতে সক্ষম একটি সমাধান পাওয়া যায়। স্ট্রাকচার্ড স্টোরেজ OTF-ভিত্তিক ডেটা ওয়ারহাউসে থাকে এবং ডাটা লেকে অসংগঠিত স্টোরেজ থাকে। MinIO এর একই উদাহরণ উভয়ের জন্য ব্যবহার করা যেতে পারে।

MinIO-তে, আমরা একটি OTF-ভিত্তিক ডেটা গুদাম এবং একটি ডেটা লেকের এই সংমিশ্রণটিকে আধুনিক ডেটালেক বলি এবং আমরা এটিকে আপনার সমস্ত AI/ML কাজের চাপের ভিত্তি হিসাবে দেখি৷ এটি যেখানে ডেটা সংগ্রহ, সংরক্ষণ, প্রক্রিয়াকরণ এবং রূপান্তরিত হয়। বৈষম্যমূলক AI (তত্ত্বাবধানে, অ-তত্ত্বাবধান করা, এবং শক্তিবৃদ্ধি শেখার) ব্যবহার করে প্রশিক্ষণের মডেলগুলির জন্য প্রায়ই একটি স্টোরেজ সমাধান প্রয়োজন যা ডেটা গুদামে থাকতে পারে এমন কাঠামোগত ডেটা পরিচালনা করতে পারে। অন্যদিকে, আপনি যদি লার্জ ল্যাঙ্গুয়েজ মডেল (LLMs) প্রশিক্ষণ দিচ্ছেন, তাহলে আপনাকে অবশ্যই ডাটা লেকে তাদের কাঁচা এবং প্রক্রিয়াকৃত আকারে অসংগঠিত ডেটা বা নথিগুলি পরিচালনা করতে হবে।

উৎস : আধুনিক ডাটালকে রেফারেন্স আর্কিটেকচার

এই পোস্টটি AI/ML-এর জন্য আধুনিক Datalake রেফারেন্স আর্কিটেকচারের সেই ক্ষেত্রগুলিতে ফোকাস করে যা বিভিন্ন AI/ML কাজের চাপকে সমর্থন করে। এই কার্যকরী এলাকা নীচে তালিকাভুক্ত করা হয়. আধুনিক ডাটালেকের একটি চাক্ষুষ চিত্র উপরে দেখানো হয়েছে। যে স্তরগুলিতে এই কার্যকরী ক্ষেত্রগুলি পাওয়া যায় তা হাইলাইট করা হয়েছে।

• বৈষম্যমূলক এআই

  
  

  • অসংগঠিত ডেটার জন্য স্টোরেজ

  • সেমি-স্ট্রাকচার্ড ডেটার জন্য স্টোরেজ

  • ডেটা গুদামে জিরো কপি ব্রাঞ্চিং

    
    

• জেনারেটিভ এআই

  
  

  • একটি ভেক্টর ডেটাবেস সহ একটি কাস্টম কর্পাস তৈরি করা

  • একটি নথি পাইপলাইন নির্মাণ

  • পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG)

  • ফাইন-টিউনিং বড় ভাষার মডেল

  • LLM নির্ভুলতা পরিমাপ

    
    

• মেশিন লার্নিং অপারেশন

  
  

এই পোস্টটি জিপিইউগুলির বর্তমান অবস্থা এবং কীভাবে তারা আপনার এআই ডেটা পরিকাঠামোকে প্রভাবিত করে তাও দেখে। আমরা কয়েকটি পরিস্থিতিও দেখব যেগুলি কীভাবে আপনার অবকাঠামো তৈরি করতে হবে এবং কীভাবে আপনার অবকাঠামো তৈরি করতে হবে না তা ব্যাখ্যা করে। অবশেষে, এই পোস্টটি আপনার নিজস্ব একটি AI ডেটা অবকাঠামো তৈরি করার জন্য কয়েকটি সুপারিশ উপস্থাপন করে।

• GPU-এর বর্তমান অবস্থা

  
  

  • হাংরি জিপিইউ সমস্যা

  • সুপারচার্জিং অবজেক্ট স্টোরেজ

    
    

• আ টেল অফ টু অর্গানাইজেশন

• আপনার AI ডেটা পরিকাঠামো তৈরির জন্য একটি পরিকল্পনা

বৈষম্যমূলক এআই

বৈষম্যমূলক এআই মডেলের প্রশিক্ষণের জন্য সব ধরনের ডেটা প্রয়োজন। ছবির শ্রেণীবিভাগ এবং বক্তৃতা শনাক্তকরণের মডেলগুলি চিত্র এবং অডিও ফাইলের আকারে অসংগঠিত ডেটা ব্যবহার করবে। অন্যদিকে, জালিয়াতি সনাক্তকরণ এবং চিকিৎসা নির্ণয়ের মডেলগুলি কাঠামোগত ডেটার উপর ভিত্তি করে ভবিষ্যদ্বাণী করে। আসুন বৈষম্যমূলক AI দ্বারা প্রয়োজনীয় ডেটা সংরক্ষণ এবং ম্যানিপুলেট করার জন্য আধুনিক ডেটালেকের মধ্যে উপলব্ধ বিকল্পগুলি দেখুন।

অসংগঠিত ডেটার জন্য স্টোরেজ

অসংগঠিত ডেটা ডেটা লেকে থাকবে, যেখানে এটি প্রশিক্ষণ এবং মডেল পরীক্ষার জন্য ব্যবহার করা যেতে পারে। মেমরিতে ফিট হতে পারে এমন প্রশিক্ষণ সেটগুলি প্রশিক্ষণের আগে লোড করা যেতে পারে (আপনার যুগের লুপ শুরু হওয়ার আগে)। যাইহোক, যদি আপনার প্রশিক্ষণ সেটটি বড় হয় এবং মেমরিতে ফিট না হয়, তাহলে প্রশিক্ষণের আগে আপনাকে অবজেক্টের একটি তালিকা লোড করতে হবে এবং আপনার ইপোচ লুপে প্রতিটি ব্যাচ প্রক্রিয়া করার সময় প্রকৃত বস্তুগুলি পুনরুদ্ধার করতে হবে। আপনি যদি একটি উচ্চ-গতির নেটওয়ার্ক এবং উচ্চ-গতির ডিস্ক ড্রাইভ ব্যবহার করে আপনার ডেটা লেক তৈরি না করেন তবে এটি আপনার ডেটা লেকের উপর চাপ সৃষ্টি করতে পারে। আপনি যদি এমন ডেটা সহ মডেলদের প্রশিক্ষণ দেন যা মেমরিতে ফিট করতে পারে না, তাহলে 100 GB নেটওয়ার্ক এবং NVMe ড্রাইভের সাথে আপনার ডেটা লেক তৈরি করার কথা বিবেচনা করুন।

সেমি-স্ট্রাকচার্ড ডেটার জন্য স্টোরেজ

Parquet ফাইল, AVRO ফাইল, JSON ফাইল এবং এমনকি CSV ফাইলের মতো আধা-গঠিত ফাইলগুলি সংরক্ষণ করার জন্য আধুনিক ডেটালেকের মধ্যে কয়েকটি বিকল্প উপলব্ধ রয়েছে৷ সবচেয়ে সহজ কাজ হল সেগুলিকে আপনার ডেটা লেকে সংরক্ষণ করুন এবং আপনি যেভাবে অসংগঠিত বস্তু লোড করেন সেভাবে লোড করুন৷ যদি এই আধা-গঠিত ফাইলগুলির ডেটা অন্যান্য কাজের চাপের প্রয়োজন না হয় যা আধুনিক ডেটালেক সমর্থন করে (ব্যবসায়িক বুদ্ধিমত্তা, ডেটা অ্যানালিটিক্স এবং ডেটা সায়েন্স), তাহলে এটিই সেরা বিকল্প।

আরেকটি বিকল্প হল এই ফাইলগুলিকে আপনার ডেটা গুদামে লোড করা, যেখানে অন্য কাজের চাপগুলি সেগুলি ব্যবহার করতে পারে। যখন আপনার ডেটা গুদামে ডেটা লোড হয়, আপনি ব্যবহার করতে পারেন পরীক্ষা-নিরীক্ষা করার জন্য জিরো কপি ব্রাঞ্চিং আপনার ডেটা দিয়ে।

ডেটা গুদামে জিরো কপি ব্রাঞ্চিং

ফিচার ইঞ্জিনিয়ারিং হল একটি মডেলকে প্রশিক্ষণের জন্য ব্যবহৃত ডেটাসেটগুলিকে উন্নত করার একটি কৌশল। OTF-ভিত্তিক ডেটা গুদামগুলির একটি খুব চটকদার বৈশিষ্ট্য হল জিরো-কপি ব্রাঞ্চিং৷ এটি একটি Git সংগ্রহস্থলের মধ্যে কোড ব্রাঞ্চ করা যেতে পারে একইভাবে ডেটা ব্রাঞ্চ করার অনুমতি দেয়। নাম অনুসারে, এই বৈশিষ্ট্যটি ডেটার একটি অনুলিপি তৈরি করে না - বরং, এটি ডেটার অনন্য অনুলিপি তৈরি করতে ডেটা গুদাম বাস্তবায়নের জন্য ব্যবহৃত খোলা টেবিল বিন্যাসের মেটাডেটা স্তর ব্যবহার করে। ডেটা বিজ্ঞানীরা একটি শাখা নিয়ে পরীক্ষা-নিরীক্ষা করতে পারেন - যদি তাদের পরীক্ষা সফল হয়, তবে তারা অন্য ডেটা বিজ্ঞানীদের ব্যবহারের জন্য তাদের শাখাটিকে আবার মূল শাখায় মার্জ করতে পারে। যদি পরীক্ষা সফল না হয়, তাহলে শাখাটি মুছে ফেলা যেতে পারে।

জেনারেটিভ এআই

সমস্ত মডেল, সেগুলি স্কিকিট-লার্ন দিয়ে তৈরি ছোট মডেল, পাইটর্চ বা টেনসরফ্লো দিয়ে তৈরি কাস্টম নিউরাল নেটওয়ার্ক, বা ট্রান্সফরমার আর্কিটেকচারের উপর ভিত্তি করে বড় ল্যাঙ্গুয়েজ মডেল, ইনপুট হিসাবে সংখ্যার প্রয়োজন হয় এবং আউটপুট হিসাবে সংখ্যা তৈরি করে। এই সাধারণ তথ্যটি আপনার AI/ML পরিকাঠামোতে কিছু অতিরিক্ত প্রয়োজনীয়তা রাখে যদি আপনি Generative AI-তে আগ্রহী হন, যেখানে শব্দগুলিকে সংখ্যায় পরিণত করতে হবে (বা ভেক্টর, যেমনটি আমরা দেখব)। একটি জেনারেটিভ এআই সমাধান আরও জটিল হয়ে যায় যদি আপনি ব্যক্তিগত নথিগুলি ব্যবহার করতে চান যাতে আপনার কোম্পানির মালিকানা জ্ঞান থাকে এলএলএম দ্বারা উত্পাদিত উত্তরগুলিকে উন্নত করতে। এই বর্ধনটি পুনরুদ্ধার অগমেন্টেড জেনারেশন বা এলএলএম ফাইন-টিউনিং আকারে হতে পারে।

এই বিভাগে এই সমস্ত কৌশলগুলি (শব্দগুলিকে সংখ্যায় পরিণত করা, RAG, এবং ফাইন-টিউনিং) এবং AI পরিকাঠামোতে তাদের প্রভাব নিয়ে আলোচনা করা হবে। কিভাবে একটি কাস্টম কর্পাস তৈরি করা যায় এবং এটি কোথায় থাকা উচিত তা নিয়ে আলোচনা করে শুরু করা যাক।

একটি ভেক্টর ডাটাবেস দিয়ে একটি কাস্টম কর্পাস তৈরি করা

আপনি যদি জেনারেটিভ এআই সম্পর্কে গুরুতর হন, তাহলে আপনার কাস্টম কর্পাস আপনার প্রতিষ্ঠানকে সংজ্ঞায়িত করবে। এটিতে এমন নথি থাকা উচিত যা অন্য কারও কাছে নেই এবং শুধুমাত্র সত্য এবং নির্ভুল তথ্য রয়েছে। উপরন্তু, আপনার কাস্টম কর্পাস একটি ভেক্টর ডেটাবেস দিয়ে তৈরি করা উচিত। একটি ভেক্টর ডাটাবেস ইনডেক্স করে, সঞ্চয় করে এবং তাদের ভেক্টর এমবেডিংয়ের পাশাপাশি আপনার নথিগুলিতে অ্যাক্সেস প্রদান করে, যা আপনার নথির সংখ্যাসূচক উপস্থাপনা। (এটি উপরে বর্ণিত সংখ্যা সমস্যার সমাধান করে।)

ভেক্টর ডেটাবেস শব্দার্থগত অনুসন্ধানের সুবিধা দেয়। এটি কীভাবে করা হয় তার জন্য প্রচুর গাণিতিক পটভূমি প্রয়োজন এবং এটি জটিল। যাইহোক, শব্দার্থক অনুসন্ধান ধারণাগতভাবে বোঝা সহজ। ধরা যাক আপনি "কৃত্রিম বুদ্ধিমত্তা" সম্পর্কিত যেকোন কিছু আলোচনা করে এমন সমস্ত নথি খুঁজে পেতে চান। একটি প্রচলিত ডাটাবেসে এটি করার জন্য, আপনাকে "কৃত্রিম বুদ্ধিমত্তা" এর প্রতিটি সম্ভাব্য সংক্ষেপণ, প্রতিশব্দ এবং সম্পর্কিত শব্দ অনুসন্ধান করতে হবে। আপনার ক্যোয়ারী এই মত কিছু দেখতে হবে:

 SELECT snippet FROM MyCorpusTable WHERE (text like '%artificial intelligence%' OR text like '%ai%' OR text like '%machine learning%' OR text like '%ml%' OR ... and on and on ...

শুধুমাত্র ম্যানুয়াল সাদৃশ্য অনুসন্ধান কঠিন এবং ত্রুটি প্রবণ কিন্তু অনুসন্ধান নিজেই খুব ধীর. একটি ভেক্টর ডাটাবেস নীচের মত একটি অনুরোধ নিতে পারে এবং দ্রুত এবং অধিক নির্ভুলতার সাথে ক্যোয়ারী চালাতে পারে। আপনি যদি পুনরুদ্ধার অগমেন্টেড জেনারেশন ব্যবহার করতে চান তবে শব্দার্থগত প্রশ্নগুলি দ্রুত এবং নির্ভুলভাবে চালানোর ক্ষমতা গুরুত্বপূর্ণ।

 { Get { MyCorpusTable(nearText: {concepts: ["artificial intelligence"]}) {snippet} } }

আপনার কাস্টম কর্পাসের জন্য আরেকটি গুরুত্বপূর্ণ বিবেচনা হল নিরাপত্তা। নথিগুলিতে অ্যাক্সেস মূল নথিগুলিতে অ্যাক্সেসের সীমাবদ্ধতাকে সম্মান করা উচিত। (এটি দুর্ভাগ্যজনক হবে যদি একজন ইন্টার্ন CFO-এর আর্থিক ফলাফলগুলিতে অ্যাক্সেস পেতে পারে যা এখনও ওয়াল স্ট্রিটে প্রকাশিত হয়নি।) আপনার ভেক্টর ডাটাবেসের মধ্যে, আপনাকে মূল বিষয়বস্তুর অ্যাক্সেস স্তরের সাথে মেলে অনুমোদন সেট আপ করা উচিত। এটি আপনার প্রতিষ্ঠানের পরিচয় এবং অ্যাক্সেস ম্যানেজমেন্ট সমাধানের সাথে আপনার ভেক্টর ডাটাবেসকে সংহত করে করা যেতে পারে।

তাদের মূলে, ভেক্টর ডেটাবেসগুলি অসংগঠিত ডেটা সঞ্চয় করে। অতএব, তাদের স্টোরেজ সমাধান হিসাবে আপনার ডেটা লেক ব্যবহার করা উচিত।

একটি নথি পাইপলাইন নির্মাণ

দুর্ভাগ্যবশত, বেশিরভাগ সংস্থার পরিষ্কার এবং সঠিক নথি সহ একটি একক সংগ্রহস্থল নেই। বরং, নথিগুলি বিভিন্ন ফরম্যাটে বিভিন্ন টিম পোর্টালে সংস্থা জুড়ে ছড়িয়ে রয়েছে। ফলস্বরূপ, একটি কাস্টম কর্পাস তৈরির প্রথম ধাপ হল একটি পাইপলাইন তৈরি করা যা শুধুমাত্র সেই নথিগুলি নেয় যা জেনারেটিভ এআই-এর সাথে ব্যবহারের জন্য অনুমোদিত হয়েছে এবং সেগুলিকে আপনার ভেক্টর ডাটাবেসে রাখুন৷ বড় বৈশ্বিক সংস্থাগুলির জন্য, এটি একটি জেনারেটিভ এআই সমাধানের সম্ভাব্য সবচেয়ে কঠিন কাজ হতে পারে। দলগুলির জন্য তাদের পোর্টালগুলিতে ডকুমেন্টেশন ড্রাফ্ট ফর্ম্যাটে থাকা সাধারণ৷ এমন নথিও থাকতে পারে যেগুলি কী হতে পারে সে সম্পর্কে র্যান্ডম মিউজিং। এই নথিগুলি একটি কাস্টম কর্পাসের অংশ হওয়া উচিত নয় কারণ তারা সঠিকভাবে ব্যবসার প্রতিনিধিত্ব করে না। দুর্ভাগ্যবশত, এই নথিগুলি ফিল্টার করা একটি ম্যানুয়াল প্রচেষ্টা হবে৷

একটি নথি পাইপলাইনও নথিগুলিকে পাঠ্যে রূপান্তর করতে হবে। সৌভাগ্যবশত, কয়েকটি ওপেন সোর্স লাইব্রেরি অনেক সাধারণ নথি বিন্যাসের জন্য এটি করতে পারে। উপরন্তু, একটি নথি পাইপলাইন ভেক্টর ডাটাবেসে সংরক্ষণ করার আগে নথিগুলিকে ছোট ছোট অংশে বিভক্ত করতে হবে। এটি প্রম্পট আকারের সীমাবদ্ধতার কারণে যখন এই নথিগুলি পুনরুদ্ধার অগমেন্টেড জেনারেশনের জন্য ব্যবহার করা হয়, যা পরবর্তী বিভাগে আলোচনা করা হবে।

ফাইন-টিউনিং বড় ভাষার মডেল

যখন আমরা একটি বৃহৎ ভাষার মডেল ফাইন-টিউন করি, তখন আমরা কাস্টম কর্পাসের তথ্য দিয়ে এটিকে একটু বেশি প্রশিক্ষণ দিই। এটি একটি ডোমেন-নির্দিষ্ট এলএলএম পাওয়ার একটি ভাল উপায় হতে পারে। যদিও এই বিকল্পটি আপনার কাস্টম কর্পাসের বিপরীতে সূক্ষ্ম-টিউনিং সম্পাদন করার জন্য গণনার প্রয়োজন হয়, এটি স্ক্র্যাচ থেকে একটি মডেলকে প্রশিক্ষণ দেওয়ার মতো নিবিড় নয় এবং একটি পরিমিত সময় ফ্রেমে সম্পন্ন করা যেতে পারে।

যদি আপনার ডোমেনে এমন শর্ত থাকে যা দৈনন্দিন ব্যবহারে পাওয়া যায় না, তাহলে ফাইন-টিউনিং এলএলএম-এর প্রতিক্রিয়াগুলির গুণমান উন্নত করতে পারে। উদাহরণস্বরূপ, যে প্রকল্পগুলি চিকিৎসা গবেষণা, পরিবেশগত গবেষণা এবং প্রাকৃতিক বিজ্ঞানের সাথে সম্পর্কিত যেকোন কিছুর নথি ব্যবহার করে সেগুলি ফাইন-টিউনিং থেকে উপকৃত হতে পারে। ফাইন-টিউনিং আপনার নথিতে পাওয়া অত্যন্ত নির্দিষ্ট আঞ্চলিক ভাষা নেয় এবং সেগুলিকে মডেলের প্যারামেট্রিক প্যারামিটারে বেক করে। এই পদ্ধতির বিষয়ে সিদ্ধান্ত নেওয়ার আগে ফাইন-টিউনিংয়ের সুবিধা এবং অসুবিধাগুলি বোঝা উচিত।

অসুবিধা

• ফাইন-টিউনিংয়ের জন্য গণনা সংস্থানগুলির প্রয়োজন হবে।

• ব্যাখ্যা করা সম্ভব নয়।

• আপনার কর্পাস বিকশিত হওয়ার সাথে সাথে আপনাকে পর্যায়ক্রমে নতুন ডেটার সাথে পুনরায় সূক্ষ্ম-টিউন করতে হবে।

• হ্যালুসিনেশন একটি উদ্বেগের বিষয়।

• নথি-স্তরের নিরাপত্তা অসম্ভব।

  
  

সুবিধাদি

• এলএলএম আপনার কাস্টম কর্পাস থেকে ফাইন-টিউনিংয়ের মাধ্যমে জ্ঞান রাখে।

• অনুমান প্রবাহ RAG থেকে কম জটিল।

  
  

যদিও ফাইন-টিউনিং একটি LLM-কে আপনার ব্যবসার ভাষা শেখানোর একটি ভাল উপায়, এটি ডেটা কমিয়ে দেয় কারণ বেশিরভাগ LLM-এ বিলিয়ন প্যারামিটার থাকে এবং আপনার ডেটা এই সমস্ত প্যারামিটার জুড়ে ছড়িয়ে পড়ে৷ ফাইন-টিউনিংয়ের সবচেয়ে বড় অসুবিধা হল নথি-স্তরের অনুমোদন অসম্ভব। একবার একটি নথি ফাইন-টিউনিংয়ের জন্য ব্যবহার করা হলে, এর তথ্য মডেলের একটি অংশ হয়ে যায়। ব্যবহারকারীর অনুমোদনের স্তরের উপর ভিত্তি করে এই তথ্য সীমাবদ্ধ করা সম্ভব নয়।

আসুন এমন একটি কৌশল দেখি যা অনুমানের সময়ে আপনার কাস্টম ডেটা এবং প্যারামেট্রিক ডেটাকে একত্রিত করে।

পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG)

Retrieval Augmented Generation (RAG) হল এমন একটি কৌশল যা প্রশ্ন করা থেকে শুরু হয় - একটি ভেক্টর ডাটাবেস ব্যবহার করে প্রশ্নগুলিকে অতিরিক্ত ডেটা দিয়ে বিয়ে করে, এবং তারপর বিষয়বস্তু তৈরির জন্য একটি LLM-এর কাছে প্রশ্ন এবং ডেটা পাস করে৷ RAG-এর সাথে, কোনো প্রশিক্ষণের প্রয়োজন নেই কারণ আমরা আমাদের মানসম্পন্ন নথির কর্পাস থেকে প্রাসঙ্গিক পাঠ্য স্নিপেট পাঠিয়ে এলএলএমকে শিক্ষিত করি।

এটি একটি প্রশ্ন-উত্তর টাস্ক ব্যবহার করে এই মত কাজ করে: একজন ব্যবহারকারী আপনার অ্যাপ্লিকেশনের ব্যবহারকারী ইন্টারফেসে একটি প্রশ্ন জিজ্ঞাসা করে। আপনার অ্যাপ্লিকেশনটি প্রশ্নটি নেবে - বিশেষ করে এর মধ্যে থাকা শব্দগুলি - এবং, একটি ভেক্টর ডাটাবেস ব্যবহার করে, প্রাসঙ্গিকভাবে প্রাসঙ্গিক পাঠ্য স্নিপেটের জন্য আপনার গুণমানের নথিগুলির কর্পাস অনুসন্ধান করুন৷ এই স্নিপেট এবং মূল প্রশ্ন এলএলএম-এ পাঠানো হয়। এই সম্পূর্ণ প্যাকেজ - প্রশ্ন প্লাস স্নিপেট (প্রসঙ্গ) একটি প্রম্পট হিসাবে পরিচিত। LLM আপনার উত্তর তৈরি করতে এই তথ্য ব্যবহার করবে। এটি একটি মূর্খ জিনিস মনে হতে পারে - আপনি যদি ইতিমধ্যেই উত্তর (স্নিপেট) জানেন তবে কেন এলএলএম নিয়ে বিরক্ত করবেন? মনে রাখবেন, এটি রিয়েল-টাইমে ঘটছে, এবং লক্ষ্য হল পাঠ্য তৈরি করা - এমন কিছু যা আপনি আপনার গবেষণায় অনুলিপি এবং পেস্ট করতে পারেন। আপনার কাস্টম কর্পাস থেকে তথ্য একত্রিত করে এমন পাঠ্য তৈরি করতে আপনার LLM প্রয়োজন।

এটি ফাইন-টিউনিংয়ের চেয়ে আরও জটিল। যাইহোক, ব্যবহারকারীর অনুমোদন কার্যকর করা যেতে পারে যেহেতু নথি (বা নথির স্নিপেট) ভেক্টর ডাটাবেস থেকে অনুমানের সময় নির্বাচন করা হয়। নথির তথ্য কখনই মডেলের প্যারামেট্রিক প্যারামিটারের অংশ হয়ে ওঠে না। RAG এর সুবিধা এবং অসুবিধাগুলি নীচে তালিকাভুক্ত করা হয়েছে।

অসুবিধা

• অনুমান প্রবাহ আরো জটিল।

  
  

সুবিধাদি

• এলএলএম আপনার কাস্টম কর্পাস থেকে সরাসরি জ্ঞান আছে।
• ব্যাখ্যাযোগ্যতা সম্ভব।
• কোন সূক্ষ্ম টিউনিং প্রয়োজন নেই.
• হ্যালুসিনেশন উল্লেখযোগ্যভাবে হ্রাস পেয়েছে এবং ভেক্টর ডাটাবেস কোয়েরি থেকে ফলাফল পরীক্ষা করে নিয়ন্ত্রণ করা যেতে পারে।
• অনুমোদন বাস্তবায়ন করা যেতে পারে।

মেশিন লার্নিং অপারেশন (MLOps)

MLOps-এর গুরুত্ব আরও ভালভাবে বোঝার জন্য, প্রচলিত অ্যাপ্লিকেশন বিকাশের সাথে মডেল তৈরির তুলনা করা সহায়ক। প্রচলিত অ্যাপ্লিকেশন বিকাশ, যেমন একটি নতুন মাইক্রোসার্ভিস প্রয়োগ করা যা একটি অ্যাপ্লিকেশনে একটি নতুন বৈশিষ্ট্য যুক্ত করে, একটি স্পেসিফিকেশন পর্যালোচনা করে শুরু হয়। যেকোন নতুন ডাটা স্ট্রাকচার বা বিদ্যমান ডাটা স্ট্রাকচারে কোন পরিবর্তন প্রথমে ডিজাইন করা হয়। কোডিং শুরু হওয়ার পরে ডেটার নকশা পরিবর্তন করা উচিত নয়। তারপর পরিষেবাটি বাস্তবায়িত হয় এবং কোডিং এই প্রক্রিয়ার প্রধান কার্যকলাপ। ইউনিট পরীক্ষা এবং শেষ থেকে শেষ পরীক্ষাগুলিও কোডেড। এই পরীক্ষাগুলি প্রমাণ করে যে কোডটি ত্রুটিপূর্ণ নয় এবং সঠিকভাবে স্পেসিফিকেশন প্রয়োগ করে। পুরো অ্যাপ্লিকেশনটি স্থাপন করার আগে এগুলি একটি CI/CD পাইপলাইন দ্বারা স্বয়ংক্রিয়ভাবে চালানো যেতে পারে।

একটি মডেল তৈরি করা এবং প্রশিক্ষণ দেওয়া আলাদা। কাঁচা তথ্য এবং প্রয়োজনীয় ভবিষ্যদ্বাণী বোঝা প্রথম ধাপ। এমএল ইঞ্জিনিয়ারদের তাদের নিউরাল নেটওয়ার্ক বাস্তবায়ন বা একটি অ্যালগরিদম সেট আপ করার জন্য কিছু কোড লিখতে হবে, কিন্তু কোডিং প্রভাবশালী কার্যকলাপ নয়। বারবার পরীক্ষা-নিরীক্ষাই প্রধান কার্যকলাপ। পরীক্ষার সময়, ডেটার নকশা, মডেলের নকশা এবং ব্যবহৃত পরামিতিগুলি সবই পরিবর্তিত হবে। প্রতিটি পরীক্ষার পরে, মেট্রিক্স তৈরি করা হয় যা দেখায় যে মডেলটি প্রশিক্ষিত হিসাবে কীভাবে পারফর্ম করেছে। একটি বৈধতা সেট এবং একটি পরীক্ষা সেটের বিপরীতে মডেল পারফরম্যান্সের জন্যও মেট্রিক্স তৈরি করা হয়। এই মেট্রিকগুলি মডেলের গুণমান প্রমাণ করতে ব্যবহৃত হয়। একবার একটি মডেল একটি অ্যাপ্লিকেশনে অন্তর্ভুক্ত করার জন্য প্রস্তুত হলে, এটি প্যাকেজ করা এবং স্থাপন করা প্রয়োজন।

MLOps, মেশিন লার্নিং অপারেশনের জন্য সংক্ষিপ্ত, এই পার্থক্যগুলি সমাধান করার লক্ষ্যে অনুশীলন এবং সরঞ্জামগুলির একটি সেট। এক্সপেরিমেন্ট ট্র্যাকিং এবং সহযোগিতা হল MLOPs-এর সাথে সবচেয়ে বেশি যুক্ত বৈশিষ্ট্য, কিন্তু শিল্পের আরও আধুনিক MLOPs সরঞ্জামগুলি আরও অনেক কিছু করতে পারে। উদাহরণস্বরূপ, তারা আপনার পরীক্ষার জন্য একটি রানটাইম পরিবেশ প্রদান করতে পারে, এবং তারা একটি অ্যাপ্লিকেশনে একত্রিত হওয়ার জন্য প্রস্তুত হয়ে গেলে তারা প্যাকেজ এবং মডেল স্থাপন করতে পারে। নীচে আজ MLOps সরঞ্জামগুলিতে পাওয়া বৈশিষ্ট্যগুলির একটি সুপারসেট রয়েছে৷ এই তালিকায় অন্যান্য বিষয়গুলিও অন্তর্ভুক্ত রয়েছে, যেমন সমর্থন এবং ডেটা ইন্টিগ্রেশন।

1. একটি প্রধান খেলোয়াড় থেকে সমর্থন - MLOps কৌশল এবং বৈশিষ্ট্য ক্রমাগত বিকশিত হয়. আপনি এমন একটি সরঞ্জাম চান যা একটি প্রধান খেলোয়াড় দ্বারা সমর্থিত, নিশ্চিত করে যে সরঞ্জামটি ক্রমাগত বিকাশ এবং উন্নতির অধীনে রয়েছে।

   
   

2. আধুনিক ডেটালেক ইন্টিগ্রেশন - পরীক্ষাগুলি অনেকগুলি কাঠামোগত এবং অসংগঠিত ডেটা তৈরি করে৷ আদর্শভাবে, এটি ডেটা গুদাম এবং ডেটা লেকে সংরক্ষণ করা যেতে পারে। যাইহোক, অনেক MLOps টুল ওপেন টেবিল ফরম্যাটের আগে ছিল যা আধুনিক ডেটালেকের জন্ম দিয়েছে, তাই বেশিরভাগেরই তাদের স্ট্রাকচার্ড ডেটার জন্য আলাদা সমাধান থাকবে।

   
   

3. পরীক্ষা ট্র্যাকিং - প্রতিটি পরীক্ষার ডেটাসেট, মডেল, হাইপারপ্যারামিটার এবং মেট্রিক্সের উপর নজর রাখুন। এক্সপেরিমেন্ট ট্র্যাকিংও পুনরাবৃত্তিযোগ্যতা সহজতর করা উচিত।

   
   

4. সহযোগিতার সুবিধা দিন - দলের সদস্যদের সকল ML ইঞ্জিনিয়ারদের দ্বারা পরিচালিত সমস্ত পরীক্ষার ফলাফল দেখার অনুমতি দিন।

   
   

5. মডেল প্যাকেজিং - মডেলটিকে প্যাকেজ করুন যাতে এটি অন্যান্য প্রোগ্রামিং পরিবেশ থেকে অ্যাক্সেসযোগ্য হয়।

   
   

6. মডেল পরিবেশন - একটি প্রতিষ্ঠানের আনুষ্ঠানিক পরিবেশে মডেল স্থাপন। আপনি যদি আপনার মডেলগুলিকে একটি বিদ্যমান CI/CD পাইপলাইনে অন্তর্ভুক্ত করার উপায় খুঁজে পান তবে আপনার এটির প্রয়োজন হবে না।

   
   

7. মডেল রেজিস্ট্রি - সমস্ত মডেলের সমস্ত সংস্করণ বজায় রাখুন।

   
   

8. সার্ভারহীন ফাংশন - কিছু টুল এমন বৈশিষ্ট্য প্রদান করে যা কোডকে এমনভাবে টীকা করার অনুমতি দেয় যাতে একটি ফাংশন বা মডেলকে ক্লাস্টারে পরীক্ষা চালানোর জন্য একটি ধারক পরিষেবা হিসাবে স্থাপন করা যেতে পারে।

   
   

9. ডেটা পাইপলাইন ক্ষমতা - কিছু MLOps টুলের লক্ষ্য হল সম্পূর্ণ এন্ড-টু-এন্ড ক্ষমতা প্রদান করা এবং এমন বৈশিষ্ট্য রয়েছে যা আপনাকে আপনার কাঁচা ডেটা পুনরুদ্ধার এবং সংরক্ষণ করার জন্য পাইপলাইন তৈরি করতে দেয়। আপনার যদি ইতিমধ্যে একটি ডেটা পাইপলাইন থাকে তবে আপনার এটির প্রয়োজন হবে না।

   
   

10. প্রশিক্ষণ পাইপলাইন ক্ষমতা - আপনার সার্ভারহীন ফাংশনগুলিকে নির্দেশিত অ্যাসাইক্লিক গ্রাফে সাজানোর ক্ষমতা। এছাড়াও প্রশিক্ষণ পাইপলাইনগুলির সময়সূচী এবং চালানোর অনুমতি দেয়।

আপনার AI ডেটা পরিকাঠামোতে GPU-এর প্রভাব

একটি চেইন তার দুর্বলতম লিঙ্কের মতো শক্তিশালী - এবং আপনার AI/ML পরিকাঠামো আপনার ধীরতম উপাদানের মতো দ্রুত। আপনি যদি GPU গুলি দিয়ে মেশিন লার্নিং মডেলকে প্রশিক্ষণ দেন, তাহলে আপনার দুর্বল লিঙ্ক হতে পারে আপনার স্টোরেজ সমাধান। ফলাফল যাকে আমরা বলি "ক্ষুধার্ত GPU সমস্যা।" ক্ষুধার্ত জিপিইউ সমস্যাটি ঘটে যখন আপনার নেটওয়ার্ক বা আপনার স্টোরেজ সলিউশন আপনার জিপিইউগুলি সম্পূর্ণরূপে ব্যবহার করার জন্য যথেষ্ট দ্রুত আপনার প্রশিক্ষণ যুক্তিতে প্রশিক্ষণ ডেটা পরিবেশন করতে পারে না। লক্ষণগুলি মোটামুটি সুস্পষ্ট। আপনি যদি আপনার GPU গুলি নিরীক্ষণ করেন, আপনি লক্ষ্য করবেন যে সেগুলি কখনই সম্পূর্ণরূপে ব্যবহারের কাছাকাছি যায় না। আপনি যদি আপনার প্রশিক্ষণের কোড তৈরি করে থাকেন, তাহলে আপনি লক্ষ্য করবেন যে মোট প্রশিক্ষণের সময় IO দ্বারা প্রভাবিত হয়।

দুর্ভাগ্যবশত, যারা এই সমস্যা নিয়ে কুস্তি করছেন তাদের জন্য খারাপ খবর আছে। GPU দ্রুততর হচ্ছে। চলুন GPU গুলির বর্তমান অবস্থা এবং তাদের সাথে কিছু অগ্রগতি করা হচ্ছে তা বোঝার জন্য এই সমস্যাটি আগামী বছরগুলিতে কীভাবে আরও খারাপ হবে তা দেখুন।

GPU-এর বর্তমান অবস্থা

GPU দ্রুততর হচ্ছে। শুধুমাত্র কাঁচা কর্মক্ষমতা ভালো হচ্ছে না, মেমরি এবং ব্যান্ডউইথও বাড়ছে। চলুন Nvidia-এর সাম্প্রতিক GPU-এর এই তিনটি বৈশিষ্ট্য দেখে নেওয়া যাক A100 , দ্য H100 এবং H200 .

উপরের পরিসংখ্যানে কয়েকটি তুলনামূলক পর্যবেক্ষণ আহ্বান করার মতো। প্রথমত, H100 এবং H200-এর কার্যক্ষমতা একই (1,979 TFLOPS), যা A100-এর থেকে 3.17 গুণ বেশি। H100-এ A100 এর চেয়ে দ্বিগুণ মেমরি রয়েছে এবং মেমরি ব্যান্ডউইথ একই পরিমাণে বৃদ্ধি পেয়েছে - যা বোঝায় অন্যথায়, GPU নিজেই ক্ষুধার্ত হবে। H200 একটি বিশাল 141GB মেমরি পরিচালনা করতে পারে এবং এর মেমরি ব্যান্ডউইথ অন্যান্য জিপিইউগুলির সাথে সমানুপাতিকভাবে বৃদ্ধি পেয়েছে।

আসুন এই প্রতিটি পরিসংখ্যানকে আরও বিশদে দেখি এবং মেশিন লার্নিং বলতে কী বোঝায় তা নিয়ে আলোচনা করি।

কর্মক্ষমতা - একটি টেরাফ্লপ (TFLOP) হল প্রতি সেকেন্ডে এক ট্রিলিয়ন (10^12) ফ্লোটিং-পয়েন্ট অপারেশন। এটি একটি 1 যার পরে 12টি শূন্য রয়েছে (1,000,000,000,000)। গিগাবাইটে IO চাহিদার সাথে TFLOP-এর সমতুল্য করা কঠিন কারণ মডেল প্রশিক্ষণের সময় যে ফ্লোটিং পয়েন্ট অপারেশনগুলি ঘটে তাতে সাধারণ টেনসর গণিতের পাশাপাশি ক্ষতির ফাংশন (ওরফে গ্রেডিয়েন্ট) এর বিরুদ্ধে প্রথম ডেরিভেটিভ জড়িত থাকে। যাইহোক, আপেক্ষিক তুলনা সম্ভব। উপরের পরিসংখ্যানের দিকে তাকালে, আমরা দেখতে পাচ্ছি যে H100 এবং H200, যা উভয়ই 1,979 TFLOPS-এ পারফর্ম করে, তিনগুণ দ্রুত - সম্ভাব্যভাবে 3 গুণ দ্রুত ডেটা খরচ করে যদি অন্য সবকিছু ঠিক রাখতে পারে।

GPU মেমরি - ভিডিও RAM বা গ্রাফিক্স RAM নামেও পরিচিত। GPU মেমরি সিস্টেমের প্রধান মেমরি (RAM) থেকে আলাদা এবং গ্রাফিক্স কার্ড দ্বারা সম্পাদিত নিবিড় গ্রাফিকাল প্রসেসিং কাজগুলি পরিচালনা করার জন্য বিশেষভাবে ডিজাইন করা হয়েছে। মডেল প্রশিক্ষণের সময় GPU মেমরি ব্যাচের আকার নির্দেশ করে। অতীতে, যখন প্রশিক্ষণ লজিক একটি CPU থেকে একটি GPU-তে স্থানান্তরিত হয় তখন ব্যাচের আকার হ্রাস পায়। যাইহোক, GPU মেমরি ধারণক্ষমতার পরিপ্রেক্ষিতে CPU মেমরির সাথে যুক্ত হওয়ায়, GPU প্রশিক্ষণের জন্য ব্যবহৃত ব্যাচের আকার বৃদ্ধি পাবে। যখন কর্মক্ষমতা এবং মেমরির ক্ষমতা একই সময়ে বৃদ্ধি পায়, ফলাফলটি বড় অনুরোধ যেখানে প্রতিটি গিগাবাইট প্রশিক্ষণ ডেটা দ্রুত প্রক্রিয়া করা হচ্ছে।

মেমরি ব্যান্ডউইথ - GPU মেমরি ব্যান্ডউইথকে "হাইওয়ে" হিসাবে ভাবুন যা মেমরি এবং কম্পিউটেশন কোরকে সংযুক্ত করে। এটি নির্ধারণ করে যে প্রতি ইউনিটে কত ডেটা স্থানান্তর করা যেতে পারে। একটি প্রশস্ত মহাসড়ক যেমন একটি নির্দিষ্ট সময়ের মধ্যে আরও গাড়িকে যেতে দেয়, তেমনি একটি উচ্চ মেমরি ব্যান্ডউইথ মেমরি এবং GPU-এর মধ্যে আরও ডেটা স্থানান্তর করতে দেয়। আপনি দেখতে পাচ্ছেন, এই GPU-র ডিজাইনাররা মেমরির সমানুপাতিক প্রতিটি নতুন সংস্করণের জন্য মেমরি ব্যান্ডউইথ বাড়িয়েছে; অতএব, চিপের অভ্যন্তরীণ ডেটা বাসটি বাধা হয়ে দাঁড়াবে না।

মডেল প্রশিক্ষণের জন্য সুপারচার্জ অবজেক্ট স্টোরেজ

আপনি যদি ক্ষুধার্ত GPU সমস্যার সম্মুখীন হন, তাহলে 100 GB নেটওয়ার্ক এবং NVMe ড্রাইভ ব্যবহার করার কথা বিবেচনা করুন। ক সাম্প্রতিক বেঞ্চমার্ক এই ধরনের কনফিগারেশনের সাথে MinIO ব্যবহার করে GETs-এ 325 GiB/s এবং PUTs-এ 165 GiB/s অর্জিত হয়েছে মাত্র 32টি নোড অফ-দ্য-শেল্ফ NVMe SSD-এর সাথে।

কম্পিউটিং বিশ্ব যেমন বিবর্তিত হয়েছে এবং DRAM এর দাম কমে গেছে আমরা দেখতে পাই যে সার্ভার কনফিগারেশন প্রায়শই 500GB বা তার বেশি DRAM এর সাথে আসে। আপনি যখন বৃহত্তর স্থাপনার সাথে কাজ করছেন, এমনকি অতি-ঘন NVMe ড্রাইভের সাথে, সেই সার্ভারগুলিতে DRAM দ্বারা গুণিত সার্ভারের সংখ্যা দ্রুত যোগ করতে পারে - প্রায়শই প্রতি দৃষ্টান্তে অনেকগুলি টিবি। সেই DRAM পুলটি মেমরির একটি বিতরণ করা শেয়ার্ড পুল হিসাবে কনফিগার করা যেতে পারে এবং বিশাল IOPS এবং থ্রুপুট কর্মক্ষমতা দাবি করে এমন কাজের চাপের জন্য আদর্শ। ফলস্বরূপ, আমরা আমাদের এন্টারপ্রাইজ এবং এন্টারপ্রাইজ লাইট গ্রাহকদের তাদের পরিকাঠামো কনফিগার করতে সক্ষম করার জন্য MinIO ক্যাশে তৈরি করেছি যাতে মূল AI ওয়ার্কলোডগুলির জন্য কার্যক্ষমতা আরও উন্নত করতে - যেমন GPU প্রশিক্ষণ - একই সাথে সম্পূর্ণ অধ্যবসায় বজায় রাখার জন্য এই ভাগ করা মেমরি পুলের সুবিধা নিতে।

আ টেল অফ টু অর্গানাইজেশন

একটি সমাপ্তি চিন্তা পরীক্ষা হিসাবে, আসুন দুটি সংস্থার গল্প বলি যেগুলি তাদের AI/ML যাত্রায় খুব আলাদা পন্থা নেয়৷ অর্গানাইজেশন # 1 এর একটি "পুনরাবৃত্ত উন্নতি" এর সংস্কৃতি রয়েছে। তারা বিশ্বাস করে যে সমস্ত বড় উদ্যোগগুলিকে ছোট, আরও পরিচালনাযোগ্য প্রকল্পগুলিতে বিভক্ত করা যেতে পারে। এই ছোট প্রকল্পগুলি এমনভাবে নির্ধারিত হয় যে প্রত্যেকটি বৃহত্তর এবং বৃহত্তর জটিলতার সমস্যা সমাধানের জন্য পূর্ববর্তী প্রকল্পের ফলাফলের উপর ভিত্তি করে তৈরি করে। তারা এমনভাবে সংগঠিত এই ছোট প্রকল্পগুলিও পছন্দ করে যাতে প্রত্যেকে ব্যবসার মূল্য দেয়। তারা দেখেছে যে ব্যবসার জন্য কোনো নতুন বৈশিষ্ট্য ছাড়াই পরিকাঠামোর উন্নতি বা সফ্টওয়্যার আধুনিকীকরণের বিষয়ে বিশুদ্ধভাবে প্রকল্পগুলি বাজেট নিয়ন্ত্রণে নির্বাহীদের কাছে খুব জনপ্রিয় নয়। ফলস্বরূপ, তারা শিখেছে যে ধারণার একটি জেনারেটিভ এআই প্রমাণের জন্য অভিনব স্টোরেজ অ্যাপ্লায়েন্স এবং কম্পিউট ক্লাস্টারগুলির জন্য অনুরোধ করা অবকাঠামোগত উন্নতি এবং নতুন সফ্টওয়্যার সক্ষমতা অর্কেস্ট্রেট করার সেরা উপায় নয়। বরং, তারা অবকাঠামোগত পণ্যগুলির সাথে ছোট শুরু করবে যা তারা বাড়ার সাথে সাথে স্কেল করতে পারে - এবং তারা সাধারণ AI মডেলগুলি দিয়ে শুরু করবে যাতে তারা তাদের MLOPs টুলিং জায়গায় পেতে পারে এবং বিদ্যমান DevOps টিম এবং CI/CD পাইপলাইনগুলির সাথে কীভাবে কাজ করতে হয় তা নির্ধারণ করতে পারে।

সংগঠন #2 এর একটি "চকচকে বস্তু" সংস্কৃতি রয়েছে। যখন নতুন ধারণাটি শিল্পে প্রবেশ করে, এটি প্রথমে তার প্রযুক্তিগত শক্তি প্রদর্শনের জন্য সর্বোচ্চ-প্রোফাইল চ্যালেঞ্জ মোকাবেলা করে। তারা দেখেছে যে এই প্রকল্পগুলি অভ্যন্তরীণ এবং বাহ্যিকভাবে অত্যন্ত দৃশ্যমান। যদি কিছু ভেঙ্গে যায়, তবে স্মার্ট লোকেরা সর্বদা এটি ঠিক করতে পারে।

অর্গানাইজেশন #1 তার প্রধান ই-কমার্স সাইটের জন্য একটি সুপারিশ মডেলে কাজ করার সময় তার AI ডেটা পরিকাঠামোর একটি অংশ তৈরি করে তার প্রথম প্রকল্প গঠন করেছে। সুপারিশ মডেল প্রশিক্ষণ অপেক্ষাকৃত সহজ ছিল. এটি একটি বৈষম্যমূলক মডেল যা ডেটাসেট ব্যবহার করে যা ইতিমধ্যেই একটি ফাইল শেয়ারে বিদ্যমান। যাইহোক, এই প্রকল্পের শেষে দলটি একটি ছোট (কিন্তু স্কেলযোগ্য) আধুনিক ডেটালেক তৈরি করেছিল, এমএলওপি টুলিং প্রয়োগ করেছিল এবং প্রশিক্ষণ এবং মডেল স্থাপনের জন্য কিছু সেরা অনুশীলন করেছিল। যদিও মডেলটি জটিল নয়, তবুও এটি তাদের সাইটে অনেক দক্ষতা যোগ করেছে। তারা তাদের পরবর্তী প্রকল্পের জন্য তহবিল পেতে এই ইতিবাচক ফলাফলগুলি ব্যবহার করেছে, যা একটি জেনারেটিভ AI সমাধান হবে।

প্রতিষ্ঠান #2 তাদের ই-কমার্স সাইটের জন্য একটি চ্যাটবট তৈরি করেছে যা পণ্য সম্পর্কে গ্রাহকদের প্রশ্নের উত্তর দেয়। বড় ভাষার মডেলগুলি মোটামুটি জটিল - দলটি ফাইন-টিউনিং বা পুনরুদ্ধার অগমেন্টেড জেনারেশনের সাথে পরিচিত ছিল না - তাই এই প্রকল্পের সমস্ত প্রকৌশলী চক্র একটি খাড়া শেখার বক্ররেখার উপর দিয়ে দ্রুত এগিয়ে যাওয়ার দিকে মনোনিবেশ করেছিল৷ মডেলটি সম্পূর্ণ হয়ে গেলে, এটি ঠিকঠাক ফলাফল দেয় - দর্শনীয় কিছুই নয়। দুর্ভাগ্যবশত, এটিকে প্রি-প্রোডাকশন এবং প্রোডাকশন এনভায়রনমেন্টে ম্যানুয়ালি সাইড-লোড করতে হয়েছিল কারণ এটি মোতায়েন করার জন্য কোনও MLOps টুলিং ছিল না। এটি DevOps দলের সাথে সামান্য ঘর্ষণ সৃষ্টি করেছে। মডেলের নিজেই উত্পাদনে কয়েকটি স্থিতিশীলতার সমস্যা ছিল। এটি যে ক্লাস্টারে চলছিল তাতে জেনারেটিভ এআই কাজের চাপের জন্য পর্যাপ্ত গণনা ছিল না। কয়েকটি তীব্রতা-একটি কল ছিল, যার ফলে ক্লাস্টারে একটি জরুরী উন্নতি হয়েছে যাতে LLM ভারী ট্র্যাফিক পরিস্থিতিতে ব্যর্থ না হয়। প্রকল্পের পরে, একটি পূর্ববর্তী স্থির করেছে যে তারা যদি AI এর সাথে সফল হতে চলেছে তবে তাদের অবকাঠামো বাড়ানো দরকার।

আপনার AI/ML ডেটা পরিকাঠামো তৈরির জন্য একটি পরিকল্পনা

উপরের ছোট গল্পটি দুটি চরম পরিস্থিতির একটি সরল বর্ণনা। এআই মডেল তৈরি করা (বৈষম্যমূলক এবং উৎপন্ন উভয়ই) প্রচলিত সফ্টওয়্যার বিকাশ থেকে উল্লেখযোগ্যভাবে আলাদা। একটি AI/ML প্রচেষ্টা সারিবদ্ধ করার সময় এটি বিবেচনা করা উচিত। নীচের গ্রাফিকটি পূর্ববর্তী বিভাগে বলা গল্পটির একটি চাক্ষুষ চিত্র। এটি এআই ডেটা ইনফ্রাস্ট্রাকচার ফার্স্ট বনাম মডেল ফার্স্ট পদ্ধতির পাশাপাশি তুলনা। উপরের গল্পটি যেমন দেখিয়েছে - অবকাঠামো প্রথম পদ্ধতির জন্য নীচের প্রতিটি ইট একটি স্বতন্ত্র প্রকল্প হতে হবে না। সংস্থাগুলিকে তাদের পরিকাঠামো তৈরি করার সময় AI সরবরাহ করার জন্য সৃজনশীল উপায়গুলি সন্ধান করা উচিত - এটি AI এর সাথে সমস্ত সম্ভাবনা বোঝা, সহজ শুরু করে এবং তারপরে ক্রমবর্ধমান জটিলতার AI প্রকল্পগুলি বেছে নেওয়ার মাধ্যমে করা যেতে পারে।

উপসংহার

এই পোস্টটি এআই/এমএল-এর জন্য একটি আধুনিক ডেটালেক রেফারেন্স আর্কিটেকচার তৈরি করতে উদ্যোগগুলির সাথে কাজ করার আমাদের অভিজ্ঞতার রূপরেখা তুলে ধরেছে। এটি মূল উপাদান, মূল বিল্ডিং ব্লক এবং বিভিন্ন এআই পদ্ধতির ট্রেডঅফ সনাক্ত করে। মৌলিক উপাদান হল একটি বস্তুর দোকানের উপরে নির্মিত একটি আধুনিক ডেটা লেক। অবজেক্ট স্টোরটি অবশ্যই স্কেলে কর্মক্ষমতা প্রদান করতে সক্ষম হবে - যেখানে স্কেল শত শত পেটাবাইট এবং প্রায়শই এক্সাবাইট।

এই রেফারেন্স আর্কিটেকচার অনুসরণ করে, আমরা আশা করি ব্যবহারকারী একটি নমনীয়, এক্সটেনসিবল ডেটা অবকাঠামো তৈরি করতে সক্ষম হবেন যা AI এবং ML-এ লক্ষ্যবস্তু থাকাকালীন, সমস্ত OLAP কাজের চাপে সমানভাবে কার্যকর হবে৷ উপাদান অংশ সম্পর্কে নির্দিষ্ট সুপারিশ পেতে, আমার সাথে যোগাযোগ করতে দ্বিধা করবেন না দয়া করে [email protected] .