Ethereum এবং Ethereum ঝাঁক নিয়ে সম্মিলিত AI এর একটি ধারণা

বর্তমানে, AI এর মূল খেলোয়াড়দের দুটি প্রধান গ্রুপে ভাগ করা যেতে পারে: ওপেন-সোর্স AI এর সমর্থক এবং বন্ধ AI এর সমর্থকরা।

মজার বিষয় হল, বন্ধ AI এর অন্যতম বড় সমর্থক হল OpenAI নিজেই, যেটি তার মডেলগুলির সোর্স কোড প্রকাশ করে না, শুধুমাত্র তাদের অ্যাক্সেস প্রদান করে। তারা সাধারণত যুক্তি দেয় যে এই মডেলগুলি প্রকাশ করা খুব বিপজ্জনক হবে, এইভাবে কেন্দ্রীভূত নিয়ন্ত্রণ প্রয়োজন, ঠিক যেমন পারমাণবিক শক্তির মতো। স্পষ্টতই, এই যুক্তির একটি ভিত্তি আছে, তবে সিদ্ধান্তের পিছনে ব্যবসায়িক স্বার্থ দেখা কঠিন নয়। যদি ChatGPT-এর সোর্স কোড সবার কাছে পাওয়া যেত, তাহলে পরিষেবাটির জন্য অর্থ প্রদান করবে কে?!

বিপরীতে, মেটা (ফেসবুক) এর মতো ওপেন-সোর্স এআই-এর সমর্থকরা বিশ্বাস করে যে বন্ধ এআই অগ্রগতিতে বাধা দেয় এবং ওপেন-সোর্স এআই সঠিক দিকনির্দেশনা। অবশ্য এখানে ব্যবসার দিকগুলোও দেখার মতো। মেটার জন্য, এআই মডেল প্রধান পণ্য নয়। তাদের জন্য, AI শুধুমাত্র একটি টুল, এবং মডেল শেয়ার করা ব্যবসায়িক অসুবিধার কারণ হয় না। বিপরীতে, এটি একটি ব্যবসায়িক সুবিধা প্রদান করে, কারণ মেটা পরবর্তীতে সম্প্রদায়ের উন্নয়নগুলিকে কাজে লাগাতে পারে। যাইহোক, এই মডেলের সাথে একটি ছোট সমস্যা আছে। এটা সত্যিই ওপেন সোর্স নয়।

একটি এআই মডেল মূলত সামঞ্জস্যযোগ্য পরামিতি সহ একটি বিশাল গাণিতিক সমীকরণ। এই পরামিতিগুলি প্রশিক্ষণ প্রক্রিয়া চলাকালীন সেট করা হয়। যখনই একটি কোম্পানি ওপেন-সোর্স AI সম্পর্কে কথা বলে, তার মানে এই প্যারামিটারগুলি অবাধে অ্যাক্সেসযোগ্য করা হয়েছে যাতে যে কেউ তাদের মেশিনে মডেলটি চালাতে পারে। কিন্তু এটা পুরোপুরি ওপেন সোর্স নয়!

এআই-এর ক্ষেত্রে, প্রশিক্ষণ ঐতিহ্যগত প্রোগ্রাম তৈরির অনুরূপ। এর উপর ভিত্তি করে, মডেল প্যারামিটারগুলি বাইনারি ফাইলের প্রতিনিধিত্ব করে। সুতরাং যখন মেটা, এক্স (টুইটার), বা অন্যান্য কোম্পানিগুলি তাদের মডেলের উত্স উন্মুক্ত করে, তারা আসলে ফলাফলটি দেয়।

তাই আমরা যা পাই তা হল একটি নির্দিষ্ট আর্কিটেকচারের প্যারামিটারাইজেশন। আমরা যদি আর্কিটেকচারে কিছু পরিবর্তন বা উন্নতি করতে চাই, উদাহরণস্বরূপ, একটি ট্রান্সফরমার আর্কিটেকচারের পরিবর্তে একটি মাম্বা আর্কিটেকচার ব্যবহার করুন, আমাদের মডেলটিকে পুনরায় প্রশিক্ষণ দিতে হবে, যা আমরা প্রশিক্ষণ সেট ছাড়া করতে পারি না। অতএব, এই মডেলগুলি শুধুমাত্র সূক্ষ্ম সুর করা যেতে পারে, আরও উন্নত নয়।

তথাকথিত ওপেন-সোর্স মডেলগুলি প্রকৃতপক্ষে ওপেন-সোর্স নয়, কারণ আর্কিটেকচার স্থির। এই মডেলগুলি শুধুমাত্র সূক্ষ্ম সুর করা যেতে পারে তবে আরও উন্নত করা যাবে না, কারণ এটির জন্য প্রশিক্ষণ সেটেরও প্রয়োজন হবে। সত্যিকারের ওপেন সোর্স এআই মডেল এবং প্রশিক্ষণ সেট উভয়ই নিয়ে গঠিত!

"ওপেন সোর্স" এআই মডেলগুলি সাধারণত বড় কোম্পানির পণ্য। এটি বোধগম্য, কারণ একটি বড় মডেলের প্রশিক্ষণের জন্য প্রচুর পরিমাণে গণনার ক্ষমতার প্রয়োজন হয় এবং ফলস্বরূপ, প্রচুর অর্থ। শুধুমাত্র বড় কোম্পানির কাছেই এই ধরনের সম্পদ রয়েছে, যে কারণে এআই উন্নয়ন কেন্দ্রীভূত হয়।

বিটকয়েনের আকারে ব্লকচেইন প্রযুক্তি যেমন বিকেন্দ্রীকৃত অর্থের সম্ভাবনা তৈরি করেছে, এটি আমাদেরকে সত্যিকারের ওপেন-সোর্স AI তৈরি করতে দেয় যা কোম্পানির পরিবর্তে সম্প্রদায়ের মালিকানাধীন।

এই নিবন্ধটি ব্লকচেইন প্রযুক্তি ব্যবহার করে কীভাবে সত্যিকারের ওপেন সোর্স, কমিউনিটি-চালিত এআই তৈরি করা যেতে পারে তার একটি ধারণা।

আমি আগেই উল্লেখ করেছি, সত্যিকারের ওপেন-সোর্স এআই-এর ভিত্তি হল একটি ওপেন ডেটাসেট। ডেটাসেট আসলে সবচেয়ে মূল্যবান সম্পদ। ChatGPT-এর ক্ষেত্রে, উদাহরণস্বরূপ, ভাষা মডেলটি সর্বজনীনভাবে উপলব্ধ ডাটাবেসে (যেমন, কমন ক্রল) প্রশিক্ষিত হয়েছিল এবং তারপরে পরবর্তী পর্যায়ে মানব সহায়তায় (RLHF) সূক্ষ্ম-টিউন করা হয়েছিল। জড়িত মানব শ্রমের কারণে এই সূক্ষ্ম-টিউনিংটি অত্যন্ত ব্যয়বহুল, কিন্তু এটিই ChatGPT এর শক্তি দেয়। আর্কিটেকচারটি নিজেই (সম্ভবত) একটি সাধারণ ট্রান্সফরমার বা এটির একটি পরিবর্তিত সংস্করণ, বিশেষজ্ঞদের মিশ্রণ, যার অর্থ একাধিক সমান্তরাল ট্রান্সফরমার। মূল বিষয় হল স্থাপত্য বিশেষ নয়। যা ChatGPT (এবং অন্য প্রতিটি মডেলকে) অনন্য করে তোলে তা হল ভাল ডেটাসেট। এটিই মডেলটিকে তার শক্তি দেয়।

একটি AI প্রশিক্ষণ ডেটাসেট সাধারণত বেশ কয়েক টেরাবাইট আকারের হয় এবং এই ধরনের ডেটাসেটে কী অন্তর্ভুক্ত করা যেতে পারে বা কী করা যাবে না তা গোষ্ঠী এবং সংস্কৃতি অনুসারে পরিবর্তিত হতে পারে। ডেটার পছন্দ খুবই গুরুত্বপূর্ণ, কারণ এটি নির্ধারণ করবে, উদাহরণস্বরূপ, একটি বড় ভাষার মডেলের 'ব্যক্তিত্ব'। বেশ কয়েকটি বড় কেলেঙ্কারির সূত্রপাত হয়েছে কারণ বড় কোম্পানিগুলির (Google, Microsoft, ইত্যাদি) AI মডেলগুলি বর্ণবাদী আচরণ করেছে৷ এটি ডেটাসেটের অনুপযুক্ত নির্বাচনের কারণে হয়েছে। যেহেতু ডেটাসেটের প্রয়োজনীয়তা সংস্কৃতি অনুসারে পরিবর্তিত হতে পারে, তাই একাধিক কাঁটা প্রয়োজন হতে পারে। বিকেন্দ্রীভূত, আইপিএফএস বা ইথেরিয়াম সোয়ার্মের মতো বিষয়বস্তু-অ্যাড্রেসড স্টোরেজ সমাধানগুলি এই ধরনের সংস্করণযুক্ত, মাল্টি-ফর্ক বড় ডেটাসেটগুলি সংরক্ষণের জন্য আদর্শ। এই স্টোরেজ সলিউশনগুলি জিআইটি সংস্করণ নিয়ন্ত্রণ ব্যবস্থার অনুরূপভাবে কাজ করে, যেখানে পৃথক ফাইলগুলিকে বিষয়বস্তু থেকে তৈরি করা হ্যাশের সাহায্যে সম্বোধন করা যেতে পারে। এই ধরনের সিস্টেমে, কাঁটাগুলি সস্তায় তৈরি করা যেতে পারে কারণ শুধুমাত্র পরিবর্তনগুলি সংরক্ষণ করা প্রয়োজন, এবং দুটি ডেটাসেটের সাধারণ অংশ একটি একক উদাহরণে সংরক্ষণ করা হয়।

একবার আমাদের কাছে উপযুক্ত ডেটাসেট হয়ে গেলে, আমরা মডেলের প্রশিক্ষণ নিয়ে এগিয়ে যেতে পারি।

ভূমিকায় উল্লিখিত হিসাবে, একটি AI মডেল মূলত অসংখ্য বিনামূল্যের প্যারামিটার সহ একটি বিশাল গাণিতিক সমীকরণ। এটি সাধারণত সত্য যে একটি মডেলের যত বেশি ফ্রি প্যারামিটার আছে, এটি তত 'স্মার্ট', তাই মডেলের নামে প্রায়শই প্যারামিটারের সংখ্যা নির্দেশিত হয়। উদাহরণস্বরূপ, llma-2-7b মডেলের মানে হল মডেল আর্কিটেকচার হল llma-2 এবং এর 7 বিলিয়ন প্যারামিটার রয়েছে। প্রশিক্ষণের সময়, এই প্যারামিটারগুলি ডেটাসেট ব্যবহার করে সেট করা হয় যাতে মডেলটি প্রদত্ত ইনপুটের জন্য নির্দিষ্ট আউটপুট প্রদান করে। Backpropagation প্রশিক্ষণের জন্য ব্যবহৃত হয়, যা আংশিক ডেরিভেটিভের সাহায্যে সবচেয়ে উপযুক্ত পরামিতি খুঁজে পায়।

প্রশিক্ষণের সময়, ডেটাসেটটি ব্যাচে বিভক্ত করা হয়। প্রতিটি ধাপে, একটি প্রদত্ত ব্যাচ ইনপুট এবং আউটপুট পরামিতি প্রদান করে, এবং প্রদত্ত ইনপুট থেকে প্রদত্ত আউটপুটকে সঠিকভাবে গণনা করার জন্য মডেলের পরামিতিগুলিকে কীভাবে পরিবর্তন করতে হবে তা গণনা করতে ব্যাকপ্রোপ্যাগেশন ব্যবহার করা হয়। এই প্রক্রিয়াটি প্রদত্ত ডেটাসেটে একাধিকবার পুনরাবৃত্তি করতে হবে যতক্ষণ না মডেলটি পছন্দসই নির্ভুলতা অর্জন করে। পরীক্ষার ডেটাসেট দিয়ে নির্ভুলতা পরীক্ষা করা যেতে পারে।

বড় কোম্পানিগুলি বিশাল GPU ক্লাস্টারগুলিতে প্রশিক্ষণ পরিচালনা করে কারণ প্রশিক্ষণের জন্য প্রচুর গণনীয় ক্ষমতা প্রয়োজন। একটি বিকেন্দ্রীভূত ব্যবস্থায়, একটি অতিরিক্ত চ্যালেঞ্জ হল যে পৃথক নোডগুলি অবিশ্বস্ত, এবং অবিশ্বস্ততার সাথে সর্বদা একটি খরচ যুক্ত থাকে! এই অবিশ্বস্ততার কারণেই বিটকয়েন একটি ছোট দেশের শক্তি খরচ করে। বিটকয়েন প্রুফ অফ ওয়ার্ক কনসেনসাস ব্যবহার করে, যেখানে কম্পিউটেশনাল ক্ষমতা নির্ভরযোগ্যতা প্রতিস্থাপন করে। পৃথক নোডগুলিকে বিশ্বাস করার পরিবর্তে, আমরা বিশ্বাস করি যে নেটওয়ার্কের ক্ষতিকারক নোডগুলির চেয়ে ভাল উদ্দেশ্যযুক্ত নোডগুলি বেশি গণনা ক্ষমতার অধিকারী। সৌভাগ্যবশত, অন্যান্য ঐকমত্য প্রক্রিয়া আছে, যেমন Ethereum দ্বারা ব্যবহৃত প্রুফ অফ স্টেক, যেখানে স্টেকড মানি কম্পিউটেশনাল ক্ষমতার পরিবর্তে আমাদের নির্ভরযোগ্যতার গ্যারান্টি দেয়। এই ক্ষেত্রে, বড় কম্পিউটেশনাল ক্ষমতার প্রয়োজন নেই, যার ফলে শক্তির চাহিদা এবং পরিবেশগত প্রভাব উল্লেখযোগ্যভাবে কম হয়।

বিকেন্দ্রীভূত প্রশিক্ষণে, প্রশিক্ষণ নোড এবং অনুরোধকারীর মধ্যে বিশ্বাস প্রতিস্থাপন করার জন্য কিছু প্রক্রিয়া প্রয়োজন। একটি সম্ভাব্য সমাধান হল প্রশিক্ষণ নোডের জন্য সমগ্র প্রশিক্ষণ প্রক্রিয়ার একটি লগ তৈরি করা, এবং একটি তৃতীয় পক্ষ, একটি যাচাইকারী নোড, নির্দিষ্ট পয়েন্টগুলিতে এলোমেলোভাবে লগ পরীক্ষা করে। যদি যাচাইকারী নোড প্রশিক্ষণটি সন্তোষজনক মনে করে, প্রশিক্ষণ নোড প্রস্তাবিত অর্থপ্রদান পায়। যাচাইকারী সম্পূর্ণ লগ পরীক্ষা করতে পারে না, কারণ এর অর্থ হবে সমস্ত গণনা পুনরায় করা, এবং বৈধকরণের গণনাগত প্রয়োজনীয়তা প্রশিক্ষণের সমান হবে।

আরেকটি বিকল্প হল আশাবাদী সমাধান, যেখানে আমরা অনুমান করি যে নোডটি সঠিকভাবে গণনা করেছে এবং একটি চ্যালেঞ্জ সময় প্রদান করে যার সময় যে কেউ অন্যথা প্রমাণ করতে পারে। এই ক্ষেত্রে, গণনা সম্পাদনকারী নোড একটি বড় পরিমাণ (জরিমানা) এবং গণনার অনুরোধকারী নোডটিও একটি পরিমাণ (পুরস্কার) দখল করে। নোড গণনা সম্পাদন করে এবং তারপর ফলাফল প্রকাশ করে। এটি চ্যালেঞ্জের সময়কাল দ্বারা অনুসরণ করা হয় (উদাহরণস্বরূপ, 1 দিন)। যদি কেউ এই সময়ের মধ্যে র্যান্ডম চেক সহ গণনায় একটি ত্রুটি খুঁজে পায় এবং এটি প্রকাশ করে, তবে তারা কম্পিউটিং নোড দ্বারা আটকে রাখা জরিমানা পাবে এবং অনুরোধকারী তাদের পুরষ্কার ফিরে পাবে। যদি কেউ প্রমাণ করতে না পারে যে চ্যালেঞ্জের সময় গণনাটি ভুল, কম্পিউটিং নোড পুরস্কার পায়।

zkSNARK নামক শূন্য-জ্ঞান প্রমাণের একটি বৈকল্পিক রয়েছে, যা কেউ একটি গণনা করেছে তা যাচাই করার জন্যও উপযুক্ত। এই পদ্ধতির প্রধান সুবিধা হল যাচাইকরণ সস্তায় করা যেতে পারে, তবে প্রমাণ তৈরি করা একটি গণনামূলকভাবে নিবিড় কাজ। যেহেতু এই পদ্ধতিটি খুব ব্যয়বহুল এমনকি সহজ কম্পিউটেশনের জন্য, এটি প্রশিক্ষণের চেয়ে AI প্রশিক্ষণের জন্য উল্লেখযোগ্যভাবে বেশি গণনামূলক সংস্থানগুলির প্রয়োজন হবে, তাই আমরা সম্ভবত বর্তমানে এই উদ্দেশ্যে এটি ব্যবহার করতে পারি না। তবুও, zkML হল একটি সক্রিয় গবেষণা ক্ষেত্র, এবং এটা অনুমেয় যে ভবিষ্যতে, তৃতীয় পক্ষকে একটি স্মার্ট চুক্তি দ্বারা প্রতিস্থাপিত করা যেতে পারে যা SNARK যাচাই করে।

উপরের থেকে, এটা স্পষ্ট যে গণনা যাচাই করার জন্য বেশ কয়েকটি সমাধান রয়েছে। এগুলোর উপর ভিত্তি করে, আসুন দেখি কীভাবে আমাদের ব্লকচেইন-ভিত্তিক বিকেন্দ্রীভূত প্রশিক্ষণ সহায়তা ব্যবস্থা তৈরি করা হবে।

এই সিস্টেমে, ডেটাসেটগুলি DAO-এর মাধ্যমে সম্প্রদায়ের মালিকানাধীন। DAO সিদ্ধান্ত নেয় ডেটাসেটে কোন ডেটা অন্তর্ভুক্ত করা যেতে পারে। যদি সদস্যদের একটি গ্রুপ সিদ্ধান্তের সাথে একমত না হয়, তারা DAO থেকে বিভক্ত হয়ে একটি নতুন DAO গঠন করতে পারে, যেখানে তারা বিদ্যমান ডেটাসেটকে কাঁটাচামচ করে এবং স্বাধীনভাবে এটি তৈরি করা চালিয়ে যেতে পারে। এইভাবে, DAO ডেটাসেটের সাথে কাঁটাচামচ করা হয়। যেহেতু ডেটাসেট কনটেন্ট-অ্যাড্রেসড বিকেন্দ্রীভূত স্টোরেজে (যেমন, Ethereum Swarm) সংরক্ষণ করা হয়, তাই কাঁটাচামচ ব্যয়বহুল নয়। ডেটাসেটের সঞ্চয়স্থান সম্প্রদায় দ্বারা অর্থায়ন করা হয়।

প্রশিক্ষণ প্রক্রিয়াটিও একটি DAO দ্বারা নিয়ন্ত্রিত হয়। DAO-এর মাধ্যমে, প্রশিক্ষণ নোড যারা তাদের অতিরিক্ত কম্পিউটেশনাল ক্ষমতা বিক্রি করতে চায় তারা নিবন্ধন করতে পারে। আবেদন করার জন্য, তাদের অবশ্যই একটি স্মার্ট চুক্তিতে অংশীদারিত্ব করতে হবে। একটি নোড গণনার সময় প্রতারণা করার চেষ্টা করলে, এটি এই অংশীদারিত্ব হারাবে।

অনুরোধকারী ডেটাসেট এবং যে মডেলটিকে তারা প্রশিক্ষণ দিতে চান তা নির্বাচন করে এবং তারপর একটি পুরষ্কার অফার করে। অফারটি সর্বজনীন, তাই যে কোনও প্রশিক্ষণ নোড কাজটি সম্পাদন করতে আবেদন করতে পারে। প্রশিক্ষণ নোড প্রশিক্ষণ প্রক্রিয়ার একটি সম্পূর্ণ লগ তৈরি করে, যেখানে প্রতিটি এন্ট্রি একটি ব্যাচের প্রশিক্ষণের সাথে মিলে যায়। এন্ট্রিতে ইনপুট, আউটপুট, ওজন ম্যাট্রিক্স এবং সমস্ত প্রাসঙ্গিক পরামিতি অন্তর্ভুক্ত থাকে (যেমন, ড্রপআউট স্তর দ্বারা ড্রপ করা ডেটা নির্বাচন করতে ব্যবহৃত এলোমেলো বীজ)। সুতরাং, লগের উপর ভিত্তি করে সম্পূর্ণ গণনা পুনরুত্পাদন করা যেতে পারে।

পূর্বে উল্লিখিত হিসাবে, গণনা যাচাই করতে বিভিন্ন পদ্ধতি ব্যবহার করা যেতে পারে। সবচেয়ে সহজ হল আশাবাদী পদ্ধতি। এই ক্ষেত্রে, অনুরোধকারী একটি স্মার্ট চুক্তিতে পুরষ্কার রাখে এবং প্রশিক্ষণ নোড প্রশিক্ষণ লগ প্রকাশ করে। প্রকাশের পরে, গণনা যাচাইয়ের জন্য একটি নির্দিষ্ট সময়সীমা (যেমন, 1 দিন) উপলব্ধ। যদি এই সময়ের মধ্যে অনুরোধকারী বা অন্য কেউ প্রমাণ জমা দেয় যে একটি নির্দিষ্ট পদক্ষেপ ভুল, প্রশিক্ষণ নোড তার অংশীদারিত্ব হারায়, এবং অনুরোধকারী পুরষ্কার ফিরে পায়। এই ক্ষেত্রে, যে নোডটি সঠিক প্রমাণ জমা দেয় সে অংশ গ্রহণ করে, প্রত্যেককে গণনাগুলি যাচাই করতে উত্সাহিত করে। যদি কেউ এই ধরনের প্রমাণ জমা না দেয়, তবে প্রশিক্ষণ নোড সময় শেষ হওয়ার পরে পুরস্কার পায়।

সংক্ষেপে, এই পদ্ধতিটি কীভাবে কাজ করে। অবশ্য কয়েকটি প্রশ্ন জাগে।

প্রশিক্ষণ এবং ডেটাসেট সংরক্ষণের খরচ কে দেবে?

সিস্টেমের ব্যবসায়িক মডেলটি বেশিরভাগ ফ্রি এবং ওপেন সোর্স সলিউশনের মতো, যেমন লিনাক্স ব্যবসায়িক মডেল। যদি একটি কোম্পানির একটি মডেলের প্রয়োজন হয় এবং এটি বিনামূল্যে এবং ওপেন সোর্স হওয়ার সাথে কোন সমস্যা না হয়, তবে এটির নিজস্ব মডেলকে প্রশিক্ষণ দেওয়ার চেয়ে এটিতে বিনিয়োগ করা অনেক বেশি সাশ্রয়ী। কল্পনা করুন যে 10 টি কোম্পানির একই ভাষা মডেল প্রয়োজন। যদি তারা মডেলটি খোলার বিষয়ে কিছু মনে না করে, তবে প্রত্যেকের জন্য প্রশিক্ষণের খরচের 1/10 তম প্রদান করা অনেক বেশি লাভজনক হবে প্রত্যেকের সম্পূর্ণ অর্থ প্রদানের চেয়ে। প্রশিক্ষণের ভিত্তি তৈরি করা ডেটাসেটের ক্ষেত্রেও একই কথা প্রযোজ্য। এমনকি প্রশিক্ষণ মডেলের জন্য ক্রাউডফান্ডিং প্রচারাভিযান তৈরি করা যেতে পারে, যেখানে মডেলের ভবিষ্যত ব্যবহারকারীরা এর উন্নয়নে অবদান রাখতে পারে।

ক্লাউডে মডেলদের প্রশিক্ষণ দেওয়া কি সস্তা নয়?

যেহেতু এই ধরনের ব্যবস্থায় দাম বাজার দ্বারা নিয়ন্ত্রিত হয়, তাই এর একটি নির্দিষ্ট উত্তর দেওয়া কঠিন। এটি ব্যবহারকারীদের জন্য কতটা বিনামূল্যে গণনা ক্ষমতা উপলব্ধ তার উপর নির্ভর করে। আমরা ইতিমধ্যে বিটকয়েনের সাথে সম্প্রদায়ের শক্তি দেখেছি। বিটকয়েন নেটওয়ার্কের কম্পিউটেশনাল ক্ষমতা যেকোনো সুপার কম্পিউটারের থেকেও বেশি। ক্লাউড প্রদানকারীদের লাভ জেনারেট করতে হবে, যেখানে এই ধরনের বিকেন্দ্রীভূত সিস্টেমে, ব্যবহারকারীরা তাদের অতিরিক্ত গণনা ক্ষমতা অফার করে। উদাহরণস্বরূপ, একটি শক্তিশালী গেমিং পিসি সহ কেউ যখন খেলছে না তখন তাদের অতিরিক্ত ক্ষমতা দিতে পারে। এই ক্ষেত্রে, যদি পরিষেবাটি ব্যবহৃত শক্তির চেয়ে সামান্য বেশি উৎপন্ন করে, তবে এটি ব্যবহারকারীর জন্য ইতিমধ্যেই সার্থক। উপরন্তু, বিশ্বে প্রচুর বর্জ্য শক্তি রয়েছে যা ঐতিহ্যগত উপায়ে ব্যবহার করা যায় না। এর একটি উদাহরণ হল আগ্নেয়গিরি দ্বারা উত্পাদিত তাপ শক্তি। এই অবস্থানগুলিতে সাধারণত একটি প্রতিষ্ঠিত বৈদ্যুতিক গ্রিড নেই, যা ব্যবহারযোগ্য বিদ্যুৎ উৎপাদনের জন্য তাদের অনুপযুক্ত করে তোলে। বিটকয়েন মাইনিংয়ের জন্য এই শক্তি ব্যবহার করে ইতিমধ্যেই স্টার্টআপ রয়েছে। কেন এটি 'গোয়েন্দা মাইনিং' এর জন্য ব্যবহার করবেন না? যেহেতু এই ক্ষেত্রে শক্তি কার্যত বিনামূল্যে, শুধুমাত্র হার্ডওয়্যারের খরচ কভার করা প্রয়োজন। এইভাবে, এটা স্পষ্ট যে এমন অনেক কারণ রয়েছে যা এই ধরনের বিকেন্দ্রীভূত ব্যবস্থায় প্রশিক্ষণকে ক্লাউডের তুলনায় অনেক সস্তা করতে পারে।

অনুমান সম্পর্কে কি?

এআই মডেল চালানোর ক্ষেত্রে, গোপনীয়তা একটি অত্যন্ত গুরুত্বপূর্ণ বিষয়। বড় পরিষেবা প্রদানকারীরা স্বাভাবিকভাবেই গ্যারান্টি দেয় যে তারা আমাদের ডেটা গোপনীয়ভাবে পরিচালনা করে, কিন্তু আমরা কি নিশ্চিত হতে পারি যে ChatGPT-এর সাথে আমাদের কথোপকথন কেউ লুকিয়ে রাখছে না? এমন পদ্ধতি রয়েছে (যেমন, হোমোমরফিক এনক্রিপশন) যা সার্ভারগুলিকে এনক্রিপ্ট করা ডেটার উপর গণনা করার অনুমতি দেয়, তবে এগুলোর ওভারহেডগুলি বেশি। সবচেয়ে নিরাপদ সমাধান স্থানীয়ভাবে মডেল চালানো হয়. সৌভাগ্যবশত, হার্ডওয়্যার শক্তিশালী হচ্ছে, এবং AI চালানোর জন্য ইতিমধ্যে বিশেষ হার্ডওয়্যার সমাধান রয়েছে। মডেলগুলিও উল্লেখযোগ্যভাবে উন্নতি করছে। গবেষণা দেখায় যে অনেক ক্ষেত্রে, পরিমাপকরণের পরেও কর্মক্ষমতা খুব বেশি হ্রাস পায় না, এমনকি চরম ক্ষেত্রে যেখানে ওজনের প্রতিনিধিত্ব করতে শুধুমাত্র 1.5 বিট ব্যবহার করা হয়। এই পরবর্তী সমাধানটি বিশেষভাবে প্রতিশ্রুতিশীল কারণ এটি গুণকে দূর করে, যা সবচেয়ে ব্যয়বহুল অপারেশন। এইভাবে, ভবিষ্যতে, মডেল এবং হার্ডওয়্যারগুলির বিকাশের জন্য ধন্যবাদ, আমরা সম্ভবত এমন মডেলগুলি চালাতে পারি যা স্থানীয়ভাবে মানুষের স্তরকে ছাড়িয়ে যায়। তাছাড়া, আমরা LoRA এর মত সমাধান দিয়ে এই মডেলগুলোকে আমাদের পছন্দ অনুযায়ী কাস্টমাইজ করতে পারি।

বিতরণ করা জ্ঞান

আরেকটি খুব প্রতিশ্রুতিশীল দিক হল পুনরুদ্ধার-বর্ধিত প্রজন্ম (RAG)। এর মানে হল যে 'আভিধানিক জ্ঞান' একটি ভেক্টর ডাটাবেসে সংরক্ষিত আছে, এবং আমাদের ভাষা মডেল প্রদত্ত প্রশ্নের জন্য এই ডাটাবেস থেকে উপযুক্ত প্রসঙ্গ সংগ্রহ করে। এটা আমরা মানুষের কাজ কিভাবে খুব অনুরূপ. স্পষ্টতই, কেউ একটি সম্পূর্ণ অভিধান মুখস্থ করে না। একটি প্রশ্ন জিজ্ঞাসা করা হলে, প্রয়োজনীয় জ্ঞান কোথায় পাবেন তা জানা যথেষ্ট। প্রাসঙ্গিক এন্ট্রি পড়া এবং ব্যাখ্যা করে, আমরা একটি সুসংগত উত্তর প্রদান করতে পারি। এই সমাধান অনেক সুবিধা আছে. একদিকে, একটি ছোট মডেল যথেষ্ট, যা স্থানীয়ভাবে চালানো সহজ, এবং অন্যদিকে, হ্যালুসিনেশন, ভাষা মডেলগুলির একটি প্রধান সমস্যা, কমিয়ে আনা যেতে পারে। উপরন্তু, মডেলের জ্ঞান পুনরায় প্রশিক্ষণ ছাড়াই সহজে প্রসারিত করা যেতে পারে, কেবল ভেক্টর ডাটাবেসে নতুন জ্ঞান যোগ করে। Ethereum Swarm এই ধরনের একটি ভেক্টর ডাটাবেস তৈরি করার জন্য একটি আদর্শ সমাধান, কারণ এটি শুধুমাত্র একটি বিকেন্দ্রীভূত স্টোরেজ ইঞ্জিন নয়, এটি একটি যোগাযোগ সমাধানও। উদাহরণস্বরূপ, একটি সাধারণ বিতরণ করা ভেক্টর ডাটাবেস তৈরি করতে সক্ষম করে, সোয়ার্মের মাধ্যমে গ্রুপ মেসেজিং প্রয়োগ করা যেতে পারে। নোড অনুসন্ধান ক্যোয়ারী প্রকাশ করে, এবং অন্যান্য নোডগুলি সম্পর্কিত জ্ঞান ফেরত দিয়ে প্রতিক্রিয়া জানায়।

সারাংশ: Ethereum এবং Swarm উপর LLM OS এর বাস্তবায়ন

LLM OS এর ধারণাটি আন্দ্রেজ কার্পাথি থেকে এসেছে, যা তিনি টুইটারে প্রকাশ করেছেন। LLM OS হল একটি কাল্পনিক অপারেটিং সিস্টেম যা একটি বড় ভাষা মডেলকে কেন্দ্র করে। আমাদের ব্লকচেইন-ভিত্তিক ডিস্ট্রিবিউটেড সিস্টেমে, আমরা এটিকে ব্যবহারকারীর নোডে চলমান একটি এজেন্ট হিসাবে বিবেচনা করতে পারি। এই এজেন্ট অন্যান্য এজেন্ট এবং ঐতিহ্যগত সফটওয়্যার 1.0 টুলের সাথে যোগাযোগ করতে পারে। এর মধ্যে একটি ক্যালকুলেটর, একটি পাইথন দোভাষী বা এমনকি একটি শারীরিক রোবট, গাড়ি বা স্মার্ট হোম নিয়ন্ত্রণ করা থাকতে পারে। আমাদের সিস্টেমে, ফাইল সিস্টেম সোয়ার্ম এবং সোয়ার্মের উপর তৈরি ভেক্টর ডাটাবেস দ্বারা প্রতিনিধিত্ব করা হয়, যেখানে সাধারণ জ্ঞান অ্যাক্সেসযোগ্য। সমগ্র ব্যবস্থা (এজেন্টদের সমষ্টি) সমষ্টিগত বুদ্ধিমত্তার একটি রূপ হিসাবে দেখা যেতে পারে।

আমি বিশ্বাস করি যে ভবিষ্যতে, কৃত্রিম বুদ্ধিমত্তা আমাদের দৈনন্দিন জীবনের একটি অংশ হয়ে উঠবে, এটি এখনকার তুলনায় অনেক বেশি অবিচ্ছিন্নভাবে। AI আমাদের একটি অংশ হয়ে যাবে! মোবাইল ফোনের পরিবর্তে, আমরা ক্যামেরা সহ স্মার্ট চশমা পরব যা সবকিছু রেকর্ড করে এবং মাইক্রোফোন যা সবকিছু শোনে। আমরা আমাদের স্থানীয়ভাবে চলমান ভাষা মডেল এবং অন্যান্য এজেন্টদের সাথে ক্রমাগত কথোপকথন করব, যা ফাইন-টিউনিংয়ের মাধ্যমে সময়ের সাথে সাথে আমাদের প্রয়োজনের সাথে খাপ খাইয়ে নেবে। কিন্তু এই এজেন্টরা শুধুমাত্র আমাদের সাথে যোগাযোগ করবে না বরং একে অপরের সাথেও যোগাযোগ করবে, ক্রমাগত সমগ্র সম্প্রদায়ের দ্বারা উত্পাদিত সমষ্টিগত জ্ঞান ব্যবহার করবে। এই ব্যবস্থা মানবতাকে এক ধরনের যৌথ বুদ্ধিমত্তায় সংগঠিত করবে, যা একটি অত্যন্ত তাৎপর্যপূর্ণ বিষয়। এই সমষ্টিগত বুদ্ধিমত্তা কোন একক কোম্পানি বা সত্তার সম্পত্তি হয়ে যাওয়া গ্রহণযোগ্য নয়। এই কারণেই আমাদের উপরে বর্ণিত সিস্টেমগুলি বা অনুরূপগুলির প্রয়োজন!