কাফকার সাথে মাল্টি-ক্লাস্টার স্থাপনা এবং প্রতিলিপি আয়ত্ত করা

অ্যাপাচি কাফকা এবং সাধারণ ব্যবহারের ক্ষেত্রে সংক্ষিপ্ত বিবরণ, মাল্টি-ক্লাস্টার স্থাপনার স্কেল করার জন্য বর্তমান সরঞ্জাম এবং মাল্টি-ক্লাস্টার স্থাপনাকে সহজ করার জন্য সংযোগ সমাধান।

সুচিপত্র

• কাফকা কি?

• কাফকা এবং কুবারনেটস

• মাল্টি ক্লাস্টার কাফকার জন্য কেস

• মাল্টি ক্লাস্টার কাফকা

  • প্রসারিত ক্লাস্টার - সিঙ্ক্রোনাস প্রতিলিপি
  • সংযুক্ত ক্লাস্টার - অ্যাসিঙ্ক্রোনাস প্রতিলিপি

• উপসংহার

  
  

কাফকা কি?

সাধারণত কাফকা নামে পরিচিত, Apache Kafka হল একটি ওপেন সোর্স ইভেন্ট স্ট্রিমিং প্ল্যাটফর্ম যা Apache Software Foundation দ্বারা পরিচালিত হয়। প্রাথমিকভাবে লিঙ্কডইন- এ ধারণা করা হয়েছিল, অ্যাপাচি কাফকা যৌথভাবে জে ক্রেপস , নেহা নারখেদে এবং জুন রাও দ্বারা তৈরি করা হয়েছিল এবং পরবর্তীতে 2011 সালে একটি ওপেন-সোর্স প্রকল্প হিসাবে প্রকাশিত হয়েছিল । উইকি পেজ

আজ, কাফকা হল সবচেয়ে জনপ্রিয় ইভেন্ট স্ট্রিমিং প্ল্যাটফর্মগুলির মধ্যে একটি যা রিয়েল-টাইম ডেটা ফিডগুলি পরিচালনা করার জন্য ডিজাইন করা হয়েছে৷ এটি ব্যাপকভাবে স্কেলযোগ্য, ত্রুটি-সহনশীল, এবং উচ্চ-পারফরম্যান্স স্ট্রিমিং ডেটা পাইপলাইন তৈরি করতে ব্যবহৃত হয়।

কাফকার ব্যবহার ক্রমাগত প্রসারিত হচ্ছে, শীর্ষ 5টি কেস ব্রিজ পান্ডে দ্বারা সংসর্গী চিত্রে সুন্দরভাবে চিত্রিত করা হয়েছে।

একটি সংক্ষিপ্ত প্রাইমার হিসাবে, কাফকা প্ল্যাটফর্মের উপাদানগুলি এবং তারা কীভাবে কাজ করে তা বোঝা গুরুত্বপূর্ণ।

কাফকা একটি বিতরণ করা ইভেন্ট স্ট্রিমিং প্ল্যাটফর্ম হিসাবে কাজ করে, রিয়েল-টাইম ডেটা ফিডগুলি দক্ষতার সাথে পরিচালনা করার জন্য ডিজাইন করা হয়েছে। এটি প্রকাশ-সাবস্ক্রাইব মেসেজিং মডেলের উপর ভিত্তি করে কাজ করে এবং একটি বিতরণ করা এবং ত্রুটি-সহনশীল আর্কিটেকচার অনুসরণ করে। এটি "বিষয়" নামক রেকর্ডগুলির একটি অবিচ্ছিন্ন, আদেশকৃত এবং বিভাজিত ক্রম বজায় রাখে। প্রযোজকরা এই বিষয়গুলিতে ডেটা লেখেন এবং ভোক্তারা সেগুলি থেকে পড়েন। এটি ডেটা প্রযোজক এবং ভোক্তাদের মধ্যে ডিকপলিং সক্ষম করে এবং একাধিক অ্যাপ্লিকেশনকে একই ডেটা স্ট্রিম স্বাধীনভাবে ব্যবহার করার অনুমতি দেয়।

কাফকার মূল উপাদানগুলির মধ্যে রয়েছে:

1. বিষয় এবং বিভাজন: কাফকা বিষয়গুলিতে ডেটা সংগঠিত করে। প্রতিটি বিষয় রেকর্ডের একটি প্রবাহ, এবং একটি বিষয়ের মধ্যে থাকা ডেটা একাধিক পার্টিশনে বিভক্ত হয়। প্রতিটি বিভাজন রেকর্ডের একটি আদেশকৃত, অপরিবর্তনীয় ক্রম। পার্টিশনগুলি একাধিক কাফকা দালালদের মধ্যে ডেটা বিতরণ করার অনুমতি দিয়ে অনুভূমিক মাপযোগ্যতা এবং সমান্তরালতা সক্ষম করে।

   
   

2. প্রযোজক : প্রযোজক হল এমন অ্যাপ্লিকেশন যা কাফকা বিষয়গুলিতে ডেটা লেখে। তারা নির্দিষ্ট বিষয়গুলিতে রেকর্ড প্রকাশ করে, যা পরে বিষয়ের পার্টিশনে সংরক্ষণ করা হয়। প্রযোজকরা স্পষ্টভাবে একটি নির্দিষ্ট পার্টিশনে রেকর্ড পাঠাতে পারেন বা পার্টিশনিং কৌশল ব্যবহার করে কাফকাকে পার্টিশন নির্ধারণ করার অনুমতি দিতে পারেন।

   
   

3. ভোক্তা : ভোক্তারা এমন অ্যাপ্লিকেশন যা কাফকা বিষয় থেকে ডেটা পড়ে। তারা এক বা একাধিক বিষয় সাবস্ক্রাইব করে এবং তাদের নির্ধারিত পার্টিশন থেকে রেকর্ড গ্রহণ করে। ভোক্তা গোষ্ঠীগুলি ব্যবহার স্কেল করতে ব্যবহৃত হয় এবং একটি বিষয়ের মধ্যে প্রতিটি পার্টিশন একটি গ্রুপের মধ্যে শুধুমাত্র একজন ভোক্তা দ্বারা গ্রাস করতে পারে। এটি একাধিক ভোক্তাদের একই বিষয়ের বিভিন্ন পার্টিশন থেকে ডেটা প্রক্রিয়া করার জন্য সমান্তরালভাবে কাজ করার অনুমতি দেয়।

   
   

4. দালাল : কাফকা সার্ভারের একটি ক্লাস্টার হিসাবে চলে এবং প্রতিটি সার্ভারকে ব্রোকার বলা হয়। ব্রোকাররা প্রযোজক এবং ভোক্তাদের কাছ থেকে পড়ার এবং লেখার অনুরোধগুলি পরিচালনা করার পাশাপাশি বিষয় পার্টিশনগুলি পরিচালনা করার জন্য দায়ী। একটি কাফকা ক্লাস্টারে লোড বিতরণ এবং ত্রুটি সহনশীলতা নিশ্চিত করতে একাধিক দালাল থাকতে পারে।

   
   

5. পার্টিশন/প্রতিলিপি : ত্রুটি সহনশীলতা এবং ডেটা স্থায়িত্ব অর্জনের জন্য, কাফকা টপিক পার্টিশনের জন্য প্রতিলিপি কনফিগার করার অনুমতি দেয়। প্রতিটি পার্টিশনের একাধিক প্রতিলিপি থাকতে পারে, যার একটি প্রতিলিপি নেতা হিসাবে মনোনীত এবং অন্যটি অনুগামী হিসাবে। লিডার রেপ্লিকা সেই পার্টিশনের জন্য সমস্ত পড়ার এবং লেখার অনুরোধগুলি পরিচালনা করে, যখন অনুগামীরা সিঙ্কে থাকার জন্য নেতার ডেটা প্রতিলিপি করে। যদি একটি নেতার প্রতিরূপ সহ একটি ব্রোকার ব্যর্থ হয়, অনুগামীদের মধ্যে একজন স্বয়ংক্রিয়ভাবে ক্রমাগত অপারেশন নিশ্চিত করতে নতুন নেতা হয়ে ওঠে।

   
   

6. অফসেট ম্যানেজমেন্ট : কাফকা প্রতিটি পার্টিশনের জন্য অফসেটের ধারণা বজায় রাখে। একটি অফসেট একটি পার্টিশনের মধ্যে একটি রেকর্ডের জন্য একটি অনন্য শনাক্তকারীর প্রতিনিধিত্ব করে। ভোক্তারা তাদের বর্তমান অফসেটের ট্র্যাক রাখে, ব্যর্থতা বা পুনঃপ্রক্রিয়াকরণের ক্ষেত্রে তারা যেখান থেকে ছেড়েছিল সেখান থেকে ব্যবহার পুনরায় শুরু করার অনুমতি দেয়।

   
   

7. ZooKeeper : কাফকার অংশ না হলেও, ZooKeeper প্রায়ই মেটাডেটা পরিচালনা করতে এবং কাফকা ক্লাস্টারে দালালদের সমন্বয় করতে ব্যবহৃত হয়। এটি নেতা নির্বাচন, বিষয় এবং বিভাজনের তথ্য এবং ভোক্তা গোষ্ঠী সমন্বয় পরিচালনা করতে সহায়তা করে। [দ্রষ্টব্য: Zookeeper মেটাডেটা ম্যানেজমেন্ট টুল, শীঘ্রই কাফকা রাফ্ট বা KRaft, অভ্যন্তরীণভাবে পরিচালিত মেটাডেটার জন্য একটি প্রোটোকলের পক্ষে পর্যায়ক্রমে আউট করা হবে ]

   
   

সামগ্রিকভাবে, কাফকার নকশা এবং স্থাপত্য এটিকে একটি উচ্চ মাত্রায় পরিমাপযোগ্য, ত্রুটি-সহনশীল, এবং রিয়েল-টাইম ডেটা স্ট্রিমের বিশাল ভলিউম পরিচালনার জন্য দক্ষ প্ল্যাটফর্ম করে তোলে। এটি অনেক ডেটা-চালিত অ্যাপ্লিকেশন এবং ডেটা অবকাঠামোতে একটি কেন্দ্রীয় উপাদান হয়ে উঠেছে, ডেটা ইন্টিগ্রেশন, ইভেন্ট প্রসেসিং এবং স্ট্রিম অ্যানালিটিক্সকে সহজতর করে।

একটি সাধারণ কাফকা স্থাপত্য তাহলে নিম্নরূপ হবে:

কাফকা ক্লাস্টারিং কাফকা ক্লাস্টার গঠনের জন্য একাধিক কাফকা দালালকে একটি গ্রুপ হিসাবে একসাথে চালানোর অনুশীলনকে বোঝায়। ক্লাস্টারিং হল কাফকার স্থাপত্যের একটি মৌলিক দিক, যা স্কেলেবিলিটি, দোষ সহনশীলতা এবং উচ্চ প্রাপ্যতা সহ বেশ কিছু সুবিধা প্রদান করে। একটি কাফকা ক্লাস্টার বড় আকারের ডেটা স্ট্রিমগুলি পরিচালনা করতে এবং ব্যর্থতার মুখেও সিস্টেমটি কার্যকর থাকে তা নিশ্চিত করতে ব্যবহৃত হয়।

ক্লাস্টারে, কাফকা বিষয়গুলিকে মাপযোগ্যতা এবং সমান্তরালতা অর্জনের জন্য একাধিক পার্টিশনে বিভক্ত করা হয়েছে। প্রতিটি পার্টিশন একটি রৈখিকভাবে আদেশকৃত, রেকর্ডের অপরিবর্তনীয় ক্রম। পার্টিশনগুলি তাই ক্লাস্টারে একাধিক ব্রোকারের মধ্যে ডেটা বিতরণ করার অনুমতি দেয়।

এটি উল্লেখ করা উচিত যে একটি ন্যূনতম কাফকা ক্লাস্টারে 3টি কাফকা ব্রোকার থাকে, যার প্রত্যেকটি একটি পৃথক সার্ভারে (ভার্চুয়াল বা শারীরিক) চালানো যেতে পারে। 3 নোড নির্দেশিকা হল ব্রোকার ব্যর্থতার ক্ষেত্রে একটি বিভক্ত মস্তিষ্কের দৃশ্যকল্প এড়াতে সাহায্য করা।

কাফকা এবং কুবারনেটস

যেহেতু আরও কোম্পানি কাফকাকে গ্রহণ করে, কুবারনেটসে কাফকাকে মোতায়েন করার আগ্রহও বাড়ছে।

প্রকৃতপক্ষে, ডাইনাট্রেসের 2023 সালের ওয়াইল্ড রিপোর্টে সবচেয়ে সাম্প্রতিক Kubernetes দেখায় যে 40% এরও বেশি বড় সংস্থাগুলি Kubernetes- এর মধ্যে তাদের ওপেন সোর্স মেসেজিং প্ল্যাটফর্ম চালায় - এর বেশিরভাগই কাফকা।

উৎস

একই প্রতিবেদনে একটি সাহসী দাবি করা হয়েছে যে, "কুবারনেটস ক্লাউডের 'অপারেটিং সিস্টেম' হিসাবে আবির্ভূত হচ্ছে।"

তখন কাফকা প্রশাসকদের জন্য কাফকা এবং কুবারনেটসের মধ্যে পারস্পরিক সম্পর্ক বোঝা এবং কীভাবে এগুলো যথাযথভাবে স্কেলের জন্য বাস্তবায়ন করা যায় তা বোঝা অপরিহার্য।

মাল্টি ক্লাস্টার কাফকার জন্য কেস

একটি একক Kubernetes ক্লাস্টার সেটআপে একটি কাফকা ক্লাস্টার চালানো মোটামুটি সহজ এবং তাত্ত্বিকভাবে প্রয়োজন অনুসারে মাপযোগ্যতা সক্ষম করে। যদিও প্রযোজনায়, ছবিটা একটু ঘোলাটে হতে পারে।

আমাদের কাফকা এবং কুবারনেটসের মধ্যে ক্লাস্টার শব্দটির ব্যবহারকে আলাদা করা উচিত। একটি Kubernetes স্থাপনা এছাড়াও সংযুক্ত নোডের একটি গ্রুপিং মনোনীত করার জন্য ক্লাস্টার শব্দটি ব্যবহার করে, যাকে Kubernetes ক্লাস্টার বলা হয়। যখন কাফকা কাজের চাপ Kubernetes-এ স্থাপন করা হয়, তখন আপনি একটি Kubernetes ক্লাস্টারের অভ্যন্তরে একটি কাফকা ক্লাস্টার চালাতে পারবেন, কিন্তু আমাদের আলোচনার সাথে আরও প্রাসঙ্গিক, আপনার কাছে একটি কাফকা ক্লাস্টারও থাকতে পারে যা একাধিক কুবারনেটস ক্লাস্টারে বিস্তৃত - স্থিতিস্থাপকতা, কর্মক্ষমতা, ডেটা সার্বভৌমত্বের জন্য ইত্যাদি

শুরুতে, কাফকা মাল্টি-টেন্যান্ট সেটআপের জন্য ডিজাইন করা হয়নি। প্রযুক্তিগত পরিভাষায়, কাফকা কুবারনেটেস নামস্থান বা সম্পদ বিচ্ছিন্নতার মতো ধারণাগুলি বোঝেন না। একটি নির্দিষ্ট বিষয়ের মধ্যে, একাধিক ব্যবহারকারী গোষ্ঠীর মধ্যে নিরাপত্তা অ্যাক্সেস বিধিনিষেধ প্রয়োগ করার জন্য কোন সহজ প্রক্রিয়া নেই।

উপরন্তু, বিভিন্ন কাজের চাপের বিভিন্ন আপডেট ফ্রিকোয়েন্সি এবং স্কেলের প্রয়োজনীয়তা থাকতে পারে যেমন ব্যাচ অ্যাপ্লিকেশন বনাম রিয়েল-টাইম অ্যাপ্লিকেশন। একটি একক ক্লাস্টারে দুটি কাজের চাপ একত্রিত করা বিরূপ প্রভাব সৃষ্টি করতে পারে বা প্রয়োজনের তুলনায় অনেক বেশি সম্পদ গ্রহণ করতে পারে।

ডেটা সার্বভৌমত্ব এবং নিয়ন্ত্রক সম্মতি একটি নির্দিষ্ট অঞ্চল বা অ্যাপ্লিকেশনে সহ-লোকেটিং ডেটা এবং বিষয়গুলিতে বিধিনিষেধ আরোপ করতে পারে।

একাধিক কাফকা ক্লাস্টারের প্রয়োজনের পিছনে অবশ্যই স্থিতিস্থাপকতা আরেকটি শক্তিশালী চালিকা শক্তি। যদিও কাফকা ক্লাস্টারগুলি বিষয়গুলির ত্রুটি সহনশীলতার জন্য ডিজাইন করা হয়েছে, আমাদের এখনও একটি সম্পূর্ণ ক্লাস্টারের একটি বিপর্যয়কর ব্যর্থতার জন্য পরিকল্পনা করতে হবে। এই ধরনের ক্ষেত্রে, একটি সম্পূর্ণরূপে প্রতিলিপি করা ক্লাস্টারের প্রয়োজনীয়তা সঠিক ব্যবসায়িক ধারাবাহিকতা পরিকল্পনাকে সক্ষম করে।

যে সকল ব্যবসায়গুলি ক্লাউডে কাজের চাপ স্থানান্তরিত করছে বা একটি হাইব্রিড ক্লাউড কৌশল রয়েছে, আপনি একাধিক কাফকা ক্লাস্টার সেট আপ করতে এবং একটি ঝুঁকিপূর্ণ পূর্ণ মাত্রার কাফকা মাইগ্রেশনের পরিবর্তে সময়ের সাথে পরিকল্পিত ওয়ার্কলোড মাইগ্রেশন করতে চাইতে পারেন৷

এগুলি হল কয়েকটি কারণ যার কারণে বাস্তবে, উদ্যোগগুলি নিজেদেরকে একাধিক কাফকা ক্লাস্টার তৈরি করতে হয় যেগুলি একে অপরের সাথে যোগাযোগ করতে হবে।

মাল্টি ক্লাস্টার কাফকা

একে অপরের সাথে সংযুক্ত একাধিক কাফকা ক্লাস্টার থাকার জন্য, একটি ক্লাস্টারের মূল আইটেমগুলিকে অন্য ক্লাস্টারে প্রতিলিপি করতে হবে। এর মধ্যে রয়েছে বিষয়, অফসেট এবং মেটাডেটা। কাফকার পরিভাষায়, এই নকলকে মিররিং বলে মনে করা হয়। মাল্টি-ক্লাস্টার সেটআপের দুটি পদ্ধতি রয়েছে যা সম্ভব। প্রসারিত ক্লাস্টার বা সংযুক্ত ক্লাস্টার।

প্রসারিত ক্লাস্টার - সিঙ্ক্রোনাস প্রতিলিপি

একটি প্রসারিত ক্লাস্টার হল একটি যৌক্তিক ক্লাস্টার যা বেশ কয়েকটি শারীরিক ক্লাস্টার জুড়ে 'প্রসারিত'। বিষয় এবং প্রতিলিপিগুলি ভৌত ক্লাস্টার জুড়ে বিতরণ করা হয়, কিন্তু যেহেতু তারা একটি লজিক্যাল ক্লাস্টার হিসাবে উপস্থাপিত হয়, তাই অ্যাপ্লিকেশনগুলি নিজেরাই এই বহুগুণ সম্পর্কে সচেতন নয়৷

প্রসারিত ক্লাস্টারগুলির শক্তিশালী সামঞ্জস্য রয়েছে এবং পরিচালনা ও পরিচালনা করা সহজ। যেহেতু অ্যাপ্লিকেশনগুলি একাধিক ক্লাস্টারের অস্তিত্ব সম্পর্কে অবগত নয়, তাই সংযুক্ত ক্লাস্টারগুলির তুলনায় প্রসারিত ক্লাস্টারগুলিতে স্থাপন করা সহজ।

প্রসারিত ক্লাস্টারগুলির খারাপ দিকগুলি হল যে এটি ক্লাস্টারগুলির মধ্যে একটি সিঙ্ক্রোনাস সংযোগ প্রয়োজন। তারা একটি হাইব্রিড ক্লাউড স্থাপনার জন্য আদর্শ নয়, এবং একটি 'বিভক্ত-মস্তিষ্ক' দৃশ্যকল্প এড়াতে কমপক্ষে 3 ক্লাস্টারের একটি কোরামের প্রয়োজন হবে।

সংযুক্ত ক্লাস্টার - অ্যাসিঙ্ক্রোনাস প্রতিলিপি

অন্যদিকে একটি সংযুক্ত ক্লাস্টার, একাধিক স্বাধীন ক্লাস্টার সংযুক্ত করে স্থাপন করা হয়। এই স্বাধীন ক্লাস্টারগুলি বিভিন্ন অঞ্চলে বা ক্লাউড প্ল্যাটফর্মে চলতে পারে এবং পৃথকভাবে পরিচালিত হয়।

সংযুক্ত ক্লাস্টার মডেলের প্রাথমিক সুবিধা হল যে ক্লাস্টার ব্যর্থতার ক্ষেত্রে কোনও ডাউনটাইম নেই, যেহেতু অন্যান্য ক্লাস্টারগুলি স্বাধীনভাবে চলছে। প্রতিটি ক্লাস্টার তার নির্দিষ্ট সংস্থানগুলির জন্যও অপ্টিমাইজ করা যেতে পারে।

সংযুক্ত ক্লাস্টারগুলির প্রধান ক্ষতি হল যে এটি ক্লাস্টারগুলির মধ্যে অসিঙ্ক্রোনাস সংযোগের উপর নির্ভর করে। যে বিষয়গুলি ক্লাস্টারগুলির মধ্যে প্রতিলিপি করা হয় তা 'লিখনে অনুলিপি' নয় বরং , চূড়ান্ত ধারাবাহিকতার উপর নির্ভর করে। এটি অ্যাসিঙ্ক মিররিং প্রক্রিয়া চলাকালীন সম্ভাব্য ডেটা ক্ষতির কারণ হতে পারে।

উপরন্তু, সংযুক্ত ক্লাস্টার জুড়ে কাজ করে এমন অ্যাপ্লিকেশনগুলিকে একাধিক ক্লাস্টার সম্পর্কে সচেতন হতে পরিবর্তন করতে হবে।

এই সমস্যাটির সমাধান করার আগে, আমি কাফকা ক্লাস্টার সংযোগ সক্ষম করার জন্য বাজারের সাধারণ সরঞ্জামগুলিকে সংক্ষেপে কভার করব।

ওপেন সোর্স কাফকা নিজেই মিরর মেকার নামক একটি মিররিং টুল দিয়ে জাহাজে পাঠায়।

মিরর মেকার একটি অন্তর্নির্মিত প্রযোজকের মাধ্যমে বিভিন্ন ক্লাস্টারের মধ্যে বিষয়গুলি নকল করে৷ এইভাবে ডেটা ক্রস প্রতিলিপি করা হয় ক্লাস্টারগুলির মধ্যে চূড়ান্ত ধারাবাহিকতা সহ, কিন্তু পৃথক প্রক্রিয়াগুলিকে বাধা না দিয়ে।

এটি লক্ষ করা গুরুত্বপূর্ণ যে মিরর মেকার তার ধারণায় সহজ হলেও, মিরর মেকারকে স্কেলে সেট আপ করা আইটি সংস্থাগুলির জন্য বেশ চ্যালেঞ্জ হতে পারে। আইপি অ্যাড্রেস, নামকরণ প্রথা, প্রতিলিপির সংখ্যা ইত্যাদি পরিচালনা অবশ্যই সঠিকভাবে করা উচিত নয়তো এটি 'অসীম প্রতিলিপি' নামে পরিচিত যেখানে একটি বিষয় অসীমভাবে প্রতিলিপি করা হয়, যা শেষ পর্যন্ত ক্র্যাশের দিকে পরিচালিত করতে পারে।

মিরর মেকারের অন্যান্য খারাপ দিক হল আপডেটের জন্য অনুমোদিত/অনুমোদিত তালিকার গতিশীল কনফিগারেশনের অভাব। মিরর মেকারও বিষয়ের বৈশিষ্ট্যগুলিকে সঠিকভাবে সিঙ্ক করে না, যা প্রতিলিপি করার জন্য বিষয়গুলি যোগ করার বা অপসারণ করার সময় এটিকে একটি অপারেশনাল মাথাব্যথা করে তোলে। মিরর মেকার 2 এই চ্যালেঞ্জগুলির কিছু সমাধান করার চেষ্টা করে কিন্তু অনেক আইটি দোকান এখনও মিরর মেকারকে সঠিকভাবে সেট আপ করার জন্য লড়াই করে।

কাফকা প্রতিলিপির জন্য অন্যান্য ওপেন সোর্স টুলের মধ্যে রয়েছে Salesforce থেকে Mirus, Uber থেকে uReplicator এবং Netflix থেকে কাস্টমাইজড ফ্লিঙ্ক।

বাণিজ্যিক লাইসেন্সকৃত বিকল্পগুলির জন্য, কনফ্লুয়েন্ট দুটি বিকল্প অফার করে, কনফ্লুয়েন্ট রেপ্লিকেটর এবং ক্লাস্টার লিঙ্কিং। কনফ্লুয়েন্ট রেপ্লিকেটর মূলত একটি কাফকা সংযোগ সংযোগকারী যা ক্লাস্টারগুলির মধ্যে বিষয় ডেটা অনুলিপি করার জন্য একটি উচ্চ-কর্মক্ষমতা এবং স্থিতিস্থাপক উপায় প্রদান করে। ক্লাস্টার লিঙ্কিং হল আরেকটি অফার, যা অভ্যন্তরীণভাবে বিকশিত হয় এবং টপিক অফসেটগুলি সংরক্ষণ করার সময় বহু অঞ্চলের প্রতিলিপিকে লক্ষ্য করে।

তারপরেও, ক্লাস্টার লিঙ্কিং হল একটি অ্যাসিঙ্ক্রোনাস রেপ্লিকেশন টুল যার ডেটা নেটওয়ার্কের সীমানা অতিক্রম করতে হয় এবং পাবলিক ট্রাফিক পথ অতিক্রম করতে হয়৷ যেমনটি এখন পরিষ্কার হওয়া উচিত, কাফকা প্রতিলিপি স্কেলে উত্পাদন অ্যাপ্লিকেশনগুলির জন্য একটি গুরুত্বপূর্ণ কৌশল, প্রশ্ন হল কোন বিকল্পটি বেছে নেওয়া হবে৷

কল্পনাপ্রসূত কাফকা প্রশাসকরা দ্রুত উপলব্ধি করবেন যে অ্যাপ্লিকেশন কার্যকারিতা এবং স্থিতিস্থাপকতার প্রয়োজনীয়তার উপর নির্ভর করে আপনার সংযুক্ত ক্লাস্টার এবং প্রসারিত ক্লাস্টার বা এই স্থাপনার সংমিশ্রণের প্রয়োজন হতে পারে।

যাইহোক, যা ভয়ঙ্কর, তা হল ক্লাস্টার কনফিগারেশন সেট আপ করার এবং একাধিক ক্লাস্টার জুড়ে স্কেল এগুলি পরিচালনা করার সূচকীয় চ্যালেঞ্জ। এই দুঃস্বপ্ন সমাধান করার একটি আরো মার্জিত উপায় কি?

Avesha দ্বারা KubeSlice হল উভয় জগতের সেরা পাওয়ার একটি সহজ উপায়। ক্লাস্টার বা নেমস্পেসগুলির মধ্যে একটি সরাসরি পরিষেবা সংযোগ তৈরি করে, KubeSlice কাফকা ক্লাস্টারগুলির মধ্যে স্বতন্ত্র সংযোগ ম্যানুয়ালি কনফিগার করার প্রয়োজনীয়তা দূর করে৷

এর মূল অংশে, KubeSlice ক্লাস্টারগুলির মধ্যে একটি সুরক্ষিত, সিঙ্ক্রোনাস লেয়ার 3 নেটওয়ার্ক গেটওয়ে তৈরি করে; অ্যাপ্লিকেশন বা নামস্থান স্তরে বিচ্ছিন্ন। একবার এটি সেট আপ হয়ে গেলে, কাফকা প্রশাসকরা যেকোন ক্লাস্টারে কাফকা দালালদের মোতায়েন করতে স্বাধীন।

প্রতিটি ব্রোকারের সাথে একটি সিঙ্ক্রোনাস কানেক্টিভিটি থাকে প্রতিটি ব্রোকারের সাথে যা স্লাইসের মাধ্যমে যুক্ত হয়, যদিও ব্রোকাররা নিজেদের আলাদা ক্লাস্টারে থাকতে পারে। এটি কার্যকরভাবে ব্রোকারদের মধ্যে একটি প্রসারিত ক্লাস্টার তৈরি করে এবং একটি শক্তিশালী সামঞ্জস্য এবং নিম্ন প্রশাসনের সুবিধা প্রদান করে।

আপনার কেক আছে এবং এটাও খাও!

যারা তাদের ক্লাস্টারে মিরর মেকার স্থাপন করতে চান তাদের জন্য, এটি ন্যূনতম প্রচেষ্টার সাথে করা যেতে পারে যেহেতু ক্লাস্টারগুলির মধ্যে সংযোগটি KubeSlice-এ অর্পণ করা হয়েছে। এইভাবে, কাফকা অ্যাপ্লিকেশনগুলির সাথে একই স্থাপনায় সিঙ্ক্রোনাস (গতি, স্থিতিস্থাপকতা) এবং অসিঙ্ক্রোনাস (স্বাধীনতা, স্কেল) প্রতিলিপির সুবিধা থাকতে পারে এবং প্রয়োজন অনুসারে ক্ষমতাগুলিকে মিশ্রিত করার এবং মেলে। এটি অন-প্রিম ডেটা সেন্টারের ক্ষেত্রে সত্য, পাবলিক ক্লাউড জুড়ে বা হাইব্রিড সেটআপে এইগুলির যে কোনও সংমিশ্রণ।

সবচেয়ে ভালো দিক হল KubeSlice হল একটি অ-ব্যহত স্থাপনা, যার অর্থ হল ইতিমধ্যেই স্থাপন করা কোনো টুল আনইনস্টল করার প্রয়োজন নেই। এটি কেবল একটি স্লাইস স্থাপন এবং সেই স্লাইসে কাফকা স্থাপনার যোগ করার বিষয়।

উপসংহার

এই ব্লগটি অ্যাপাচি কাফকার একটি সংক্ষিপ্ত ওভারভিউ প্রদান করেছে এবং আরো কিছু সাধারণ ব্যবহারের ক্ষেত্রে স্পর্শ করেছে। আমরা একাধিক ক্লাস্টার জুড়ে কাফকা স্থাপনার স্কেল করার জন্য উপলব্ধ বর্তমান সরঞ্জামগুলিকে কভার করেছি এবং প্রতিটির সুবিধা/অসুবিধা নিয়ে আলোচনা করেছি। অবশেষে, নিবন্ধটি কুবেস্লাইসও প্রবর্তন করেছে - একটি উদীয়মান পরিষেবা সংযোগ সমাধান যা কাফকা মাল্টি-ক্লাস্টার স্থাপনাকে সহজ করে এবং স্কেলে একাধিক ক্লাস্টার জুড়ে কাফকা প্রতিলিপি কনফিগার করার সাথে সম্পর্কিত মাথাব্যথা দূর করে।

কয়েকটি লিঙ্ক যা পাঠকদের কাজে লাগতে পারে:

AWS-এ কাফকা চালানোর সর্বোত্তম অনুশীলনের একটি পুরানো ব্লগ (কুবস্লাইস চালু হওয়ার আগে)

KubeSlice এর নির্দেশিত সেটআপ

GKE-তে কাফকাকে স্থাপন করা হচ্ছে