काफ्का के साथ मल्टी-क्लस्टर परिनियोजन और प्रतिकृति में महारत हासिल करना

अपाचे काफ्का और सामान्य उपयोग के मामलों का संक्षिप्त अवलोकन, मल्टी-क्लस्टर परिनियोजन को स्केल करने के लिए वर्तमान उपकरण, और मल्टी-क्लस्टर परिनियोजन को सरल बनाने के लिए कनेक्टिविटी समाधान।

विषयसूची

• काफ्का क्या है?

• काफ्का और कुबेरनेट्स

• मल्टी क्लस्टर काफ्का का मामला

• मल्टी क्लस्टर काफ्का

  • विस्तारित क्लस्टर - तुल्यकालिक प्रतिकृति
  • कनेक्टेड क्लस्टर - अतुल्यकालिक प्रतिकृति

• निष्कर्ष

  
  

काफ्का क्या है?

आमतौर पर काफ्का के नाम से जाना जाने वाला अपाचे काफ्का अपाचे सॉफ्टवेयर फाउंडेशन द्वारा संचालित एक ओपन-सोर्स इवेंट स्ट्रीमिंग प्लेटफॉर्म है। प्रारंभ में लिंक्डइन पर कल्पना की गई, अपाचे काफ्का को जय क्रेप्स , नेहा नरखेड़े और जून राव द्वारा सहयोगात्मक रूप से बनाया गया था, और बाद में 2011 में एक ओपन-सोर्स प्रोजेक्ट के रूप में जारी किया गया था । विकी पेज

आज, काफ्का सबसे लोकप्रिय इवेंट स्ट्रीमिंग प्लेटफार्मों में से एक है जिसे वास्तविक समय डेटा फ़ीड को संभालने के लिए डिज़ाइन किया गया है। इसका व्यापक रूप से स्केलेबल, दोष-सहिष्णु और उच्च-प्रदर्शन स्ट्रीमिंग डेटा पाइपलाइन बनाने के लिए उपयोग किया जाता है।

काफ्का का उपयोग लगातार बढ़ रहा है, शीर्ष 5 मामलों को ब्रिज पांडे ने संलग्न छवि में अच्छी तरह से चित्रित किया है।

एक संक्षिप्त प्राइमर के रूप में, काफ्का मंच के घटकों और वे कैसे काम करते हैं, इसे समझना महत्वपूर्ण है।

काफ्का एक वितरित इवेंट स्ट्रीमिंग प्लेटफॉर्म के रूप में काम करता है, जिसे वास्तविक समय डेटा फ़ीड को कुशलतापूर्वक संभालने के लिए डिज़ाइन किया गया है। यह पब्लिश-सब्सक्राइब मैसेजिंग मॉडल के आधार पर संचालित होता है और एक वितरित और दोष-सहिष्णु वास्तुकला का पालन करता है। यह "विषय" नामक रिकॉर्ड्स का एक सतत, क्रमबद्ध और विभाजित अनुक्रम बनाए रखता है। निर्माता इन विषयों पर डेटा लिखते हैं, और उपभोक्ता उनसे पढ़ते हैं। यह डेटा उत्पादकों और उपभोक्ताओं के बीच अलगाव को सक्षम बनाता है और कई अनुप्रयोगों को स्वतंत्र रूप से एक ही डेटा स्ट्रीम का उपभोग करने की अनुमति देता है।

काफ्का के प्रमुख घटकों में शामिल हैं:

1. विषय और विभाजन: काफ्का डेटा को विषयों में व्यवस्थित करता है। प्रत्येक विषय रिकॉर्ड्स की एक धारा है, और एक विषय के भीतर डेटा को कई विभाजनों में विभाजित किया गया है। प्रत्येक विभाजन अभिलेखों का एक क्रमबद्ध, अपरिवर्तनीय अनुक्रम है। विभाजन कई काफ्का दलालों में डेटा वितरित करने की अनुमति देकर क्षैतिज मापनीयता और समानता को सक्षम बनाता है।

   
   

2. निर्माता : निर्माता ऐसे एप्लिकेशन हैं जो काफ्का विषयों पर डेटा लिखते हैं। वे विशिष्ट विषयों पर रिकॉर्ड प्रकाशित करते हैं, जिन्हें बाद में विषय के विभाजन में संग्रहीत किया जाता है। निर्माता स्पष्ट रूप से किसी विशेष विभाजन में रिकॉर्ड भेज सकते हैं या काफ्का को विभाजन रणनीति का उपयोग करके विभाजन निर्धारित करने की अनुमति दे सकते हैं।

   
   

3. उपभोक्ता : उपभोक्ता ऐसे एप्लिकेशन हैं जो काफ्का विषयों से डेटा पढ़ते हैं। वे एक या अधिक विषयों की सदस्यता लेते हैं और उन्हें सौंपे गए विभाजनों से रिकॉर्ड का उपभोग करते हैं। उपभोक्ता समूहों का उपयोग उपभोग को मापने के लिए किया जाता है, और किसी विषय के प्रत्येक विभाजन का उपभोग समूह के भीतर केवल एक उपभोक्ता द्वारा किया जा सकता है। यह कई उपभोक्ताओं को एक ही विषय के विभिन्न विभाजनों से डेटा को संसाधित करने के लिए समानांतर में काम करने की अनुमति देता है।

   
   

4. ब्रोकर्स : काफ्का सर्वरों के एक समूह के रूप में चलता है, और प्रत्येक सर्वर को ब्रोकर कहा जाता है। दलाल उत्पादकों और उपभोक्ताओं से पढ़ने और लिखने के अनुरोधों को संभालने के साथ-साथ विषय विभाजन को प्रबंधित करने के लिए जिम्मेदार हैं। एक काफ्का क्लस्टर में लोड वितरित करने और दोष सहनशीलता सुनिश्चित करने के लिए कई ब्रोकर हो सकते हैं।

   
   

5. विभाजन/प्रतिकृति : दोष सहनशीलता और डेटा स्थायित्व प्राप्त करने के लिए, काफ्का विषय विभाजन के लिए प्रतिकृति को कॉन्फ़िगर करने की अनुमति देता है। प्रत्येक विभाजन में कई प्रतिकृतियां हो सकती हैं, एक प्रतिकृति को नेता के रूप में और अन्य को अनुयायियों के रूप में नामित किया गया है। लीडर प्रतिकृति उस विभाजन के लिए सभी पढ़ने और लिखने के अनुरोधों को संभालती है, जबकि अनुयायी सिंक में रहने के लिए लीडर से डेटा की नकल करते हैं। यदि लीडर प्रतिकृति वाला ब्रोकर विफल हो जाता है, तो निरंतर संचालन सुनिश्चित करने के लिए अनुयायियों में से एक स्वचालित रूप से नया लीडर बन जाता है।

   
   

6. ऑफसेट प्रबंधन : काफ्का प्रत्येक विभाजन के लिए ऑफसेट की अवधारणा को बनाए रखता है। एक ऑफसेट एक विभाजन के भीतर एक रिकॉर्ड के लिए एक अद्वितीय पहचानकर्ता का प्रतिनिधित्व करता है। उपभोक्ता अपने वर्तमान ऑफसेट पर नज़र रखते हैं, जिससे विफलता या पुनर्प्रसंस्करण की स्थिति में उन्हें वहीं से उपभोग फिर से शुरू करने की अनुमति मिलती है, जहां से उन्होंने छोड़ा था।

   
   

7. चिड़ियाघरकीपर : हालांकि काफ्का का हिस्सा नहीं, चिड़ियाघरकीपर का उपयोग अक्सर मेटाडेटा को प्रबंधित करने और काफ्का क्लस्टर में दलालों के समन्वय के लिए किया जाता है। यह नेता के चुनाव, विषय और विभाजन की जानकारी और उपभोक्ता समूह समन्वय के प्रबंधन में मदद करता है। [नोट: ज़ूकीपर मेटाडेटा प्रबंधन उपकरण, जल्द ही काफ्का राफ्ट , या केराफ्ट, आंतरिक रूप से प्रबंधित मेटाडेटा के लिए एक प्रोटोकॉल, के पक्ष में चरणबद्ध किया जाएगा ]

   
   

कुल मिलाकर, काफ्का का डिज़ाइन और वास्तुकला इसे वास्तविक समय डेटा स्ट्रीम की बड़ी मात्रा को संभालने के लिए एक अत्यधिक स्केलेबल, दोष-सहिष्णु और कुशल मंच बनाता है। यह कई डेटा-संचालित अनुप्रयोगों और डेटा इंफ्रास्ट्रक्चर में एक केंद्रीय घटक बन गया है, जो डेटा एकीकरण, इवेंट प्रोसेसिंग और स्ट्रीम एनालिटिक्स की सुविधा प्रदान करता है।

एक विशिष्ट काफ्का वास्तुकला इस प्रकार होगी:

काफ्का क्लस्टरिंग का तात्पर्य काफ्का क्लस्टर बनाने के लिए एक समूह के रूप में कई काफ्का दलालों को एक साथ चलाने की प्रथा से है। क्लस्टरिंग काफ्का की वास्तुकला का एक मूलभूत पहलू है, जो स्केलेबिलिटी, दोष सहनशीलता और उच्च उपलब्धता सहित कई लाभ प्रदान करता है। काफ्का क्लस्टर का उपयोग बड़े पैमाने पर डेटा स्ट्रीम को संभालने और यह सुनिश्चित करने के लिए किया जाता है कि सिस्टम विफलताओं की स्थिति में भी चालू रहे।

क्लस्टर में, स्केलेबिलिटी और समानता प्राप्त करने के लिए काफ्का विषयों को कई विभाजनों में विभाजित किया गया है। प्रत्येक विभाजन अभिलेखों का एक रैखिक रूप से क्रमबद्ध, अपरिवर्तनीय अनुक्रम है। इसलिए विभाजन क्लस्टर में कई ब्रोकरों के बीच डेटा वितरित करने की अनुमति देता है।

यह ध्यान दिया जाना चाहिए कि न्यूनतम काफ्का क्लस्टर में 3 काफ्का दलाल होते हैं, जिनमें से प्रत्येक को एक अलग सर्वर (आभासी या भौतिक) पर चलाया जा सकता है। 3 नोड मार्गदर्शन ब्रोकर की विफलता की स्थिति में विभाजित मस्तिष्क परिदृश्य से बचने में मदद करने के लिए है।

काफ्का और कुबेरनेट्स

जैसे-जैसे अधिक कंपनियां काफ्का को अपना रही हैं, कुबेरनेट्स पर काफ्का को तैनात करने में रुचि भी बढ़ रही है।

वास्तव में, डायनाट्रेस की नवीनतम कुबेरनेट्स इन द वाइल्ड रिपोर्ट 2023 से पता चलता है कि 40% से अधिक बड़े संगठन कुबेरनेट्स के भीतर अपना ओपन सोर्स मैसेजिंग प्लेटफॉर्म चलाते हैं - इसमें से अधिकांश काफ्का है।

स्रोत .

यही रिपोर्ट एक साहसिक दावा भी करती है, कि "कुबेरनेट्स क्लाउड के 'ऑपरेटिंग सिस्टम' के रूप में उभर रहा है।"

ऐसे में, काफ्का प्रशासकों के लिए यह जरूरी है कि वे काफ्का और कुबेरनेट्स के बीच परस्पर क्रिया को समझें और पैमाने के लिए इन्हें उचित रूप से कैसे लागू किया जाए।

मल्टी क्लस्टर काफ्का का मामला

एकल कुबेरनेट्स क्लस्टर सेटअप में काफ्का क्लस्टर चलाना काफी सरल है और सिद्धांत में आवश्यकतानुसार स्केलेबिलिटी को सक्षम बनाता है। हालाँकि उत्पादन में, तस्वीर थोड़ी धुंधली हो सकती है।

हमें काफ्का और कुबेरनेट्स के बीच क्लस्टर शब्द के उपयोग में अंतर करना चाहिए। कुबेरनेट्स परिनियोजन कनेक्टेड नोड्स के समूह को निर्दिष्ट करने के लिए क्लस्टर शब्द का भी उपयोग करता है, जिसे कुबेरनेट्स क्लस्टर कहा जाता है। जब काफ्का कार्यभार कुबेरनेट्स पर तैनात किया जाता है, तो आप कुबेरनेट्स क्लस्टर के अंदर चलने वाले काफ्का क्लस्टर के साथ समाप्त हो जाएंगे, लेकिन हमारी चर्चा के लिए अधिक प्रासंगिक, आपके पास एक काफ्का क्लस्टर भी हो सकता है जो कई कुबेरनेट्स समूहों तक फैला हुआ है - लचीलापन, प्रदर्शन, डेटा संप्रभुता के लिए वगैरह।

आरंभ करने के लिए, काफ्का बहु-किरायेदार सेटअप के लिए डिज़ाइन नहीं किया गया है। तकनीकी शब्दों में, काफ्का कुबेरनेट्स नेमस्पेस या संसाधन अलगाव जैसी अवधारणाओं को नहीं समझता है। किसी विशेष विषय के भीतर, एकाधिक उपयोगकर्ता समूहों के बीच सुरक्षा पहुंच प्रतिबंधों को लागू करने के लिए कोई आसान तंत्र नहीं है।

इसके अतिरिक्त, अलग-अलग कार्यभार में अलग-अलग अद्यतन आवृत्ति और पैमाने की आवश्यकताएं हो सकती हैं जैसे बैच एप्लिकेशन बनाम वास्तविक समय एप्लिकेशन। दो कार्यभारों को एक ही क्लस्टर में संयोजित करने से प्रतिकूल प्रभाव पड़ सकता है या आवश्यकता से अधिक संसाधनों का उपभोग हो सकता है।

डेटा संप्रभुता और नियामक अनुपालन किसी विशिष्ट क्षेत्र या एप्लिकेशन में डेटा और विषयों को सह-स्थानित करने पर प्रतिबंध भी लगा सकते हैं।

बेशक, कई काफ्का समूहों की आवश्यकता के पीछे लचीलापन एक और मजबूत प्रेरक शक्ति है। जबकि काफ्का क्लस्टर विषयों की गलती सहनशीलता के लिए डिज़ाइन किए गए हैं, हमें अभी भी पूरे क्लस्टर की विनाशकारी विफलता की योजना बनानी होगी। ऐसे मामलों में, पूरी तरह से प्रतिकृति क्लस्टर की आवश्यकता उचित व्यवसाय निरंतरता योजना को सक्षम बनाती है।

उन व्यवसायों के लिए जो कार्यभार को क्लाउड पर स्थानांतरित कर रहे हैं या जिनके पास हाइब्रिड क्लाउड रणनीति है, आप जोखिम भरे पूर्ण पैमाने के काफ्का प्रवास के बजाय कई काफ्का क्लस्टर स्थापित करना और समय के साथ नियोजित कार्यभार प्रवासन करना चाह सकते हैं।

ये कुछ कारण हैं जिनकी वजह से व्यवहार में, उद्यमों को कई काफ्का क्लस्टर बनाने पड़ते हैं जिन्हें फिर भी एक-दूसरे के साथ बातचीत करने की आवश्यकता होती है।

मल्टी क्लस्टर काफ्का

कई काफ्का क्लस्टर एक-दूसरे से जुड़े होने के लिए, एक क्लस्टर की प्रमुख वस्तुओं को दूसरे क्लस्टर में दोहराया जाना चाहिए। इनमें विषय, ऑफसेट और मेटाडेटा शामिल हैं। काफ्का के शब्दों में, इस दोहराव को मिररिंग माना जाता है। मल्टी-क्लस्टर सेटअप के दो दृष्टिकोण संभव हैं। विस्तारित क्लस्टर या कनेक्टेड क्लस्टर।

विस्तारित क्लस्टर - तुल्यकालिक प्रतिकृति

एक फैला हुआ क्लस्टर एक तार्किक क्लस्टर है जो कई भौतिक समूहों में 'विस्तारित' होता है। विषयों और प्रतिकृतियों को भौतिक समूहों में वितरित किया जाता है, लेकिन चूंकि उन्हें एक तार्किक क्लस्टर के रूप में दर्शाया जाता है, इसलिए एप्लिकेशन को स्वयं इस बहुलता के बारे में पता नहीं चलता है।

विस्तारित समूहों में मजबूत स्थिरता होती है और प्रबंधन और प्रशासन करना आसान होता है। चूँकि एप्लिकेशन कई क्लस्टरों के अस्तित्व से अनजान होते हैं, इसलिए कनेक्टेड क्लस्टर्स की तुलना में उन्हें स्ट्रेच्ड क्लस्टर्स पर तैनात करना आसान होता है।

विस्तारित समूहों का नकारात्मक पक्ष यह है कि इसके लिए समूहों के बीच एक समकालिक कनेक्शन की आवश्यकता होती है। वे हाइब्रिड क्लाउड परिनियोजन के लिए आदर्श नहीं हैं, और 'स्प्लिट-ब्रेन' परिदृश्य से बचने के लिए कम से कम 3 समूहों के कोरम की आवश्यकता होगी।

कनेक्टेड क्लस्टर - अतुल्यकालिक प्रतिकृति

दूसरी ओर, एक कनेक्टेड क्लस्टर, कई स्वतंत्र क्लस्टरों को जोड़कर तैनात किया जाता है। ये स्वतंत्र क्लस्टर विभिन्न क्षेत्रों या क्लाउड प्लेटफ़ॉर्म पर चल सकते हैं और व्यक्तिगत रूप से प्रबंधित किए जाते हैं।

कनेक्टेड क्लस्टर मॉडल का प्राथमिक लाभ यह है कि क्लस्टर विफलता के मामलों में कोई डाउनटाइम नहीं होता है, क्योंकि अन्य क्लस्टर स्वतंत्र रूप से चल रहे हैं। प्रत्येक क्लस्टर को उसके विशेष संसाधनों के लिए भी अनुकूलित किया जा सकता है।

कनेक्टेड क्लस्टर का प्रमुख नकारात्मक पक्ष यह है कि यह क्लस्टर के बीच अतुल्यकालिक कनेक्शन पर निर्भर करता है। क्लस्टर के बीच दोहराए जाने वाले विषय 'लिखने पर कॉपी' नहीं हैं, बल्कि अंततः निरंतरता पर निर्भर करते हैं। इससे एसिंक मिररिंग प्रक्रिया के दौरान संभावित डेटा हानि हो सकती है।

इसके अतिरिक्त, कनेक्टेड क्लस्टरों पर काम करने वाले एप्लिकेशन को कई क्लस्टरों के बारे में जागरूक होने के लिए संशोधित करना होगा।

इससे पहले कि हम इस पहेली का समाधान निकालें, मैं काफ्का क्लस्टर कनेक्टिविटी को सक्षम करने के लिए बाजार में उपलब्ध सामान्य उपकरणों के बारे में संक्षेप में बताऊंगा।

ओपन सोर्स काफ्का स्वयं मिरर मेकर नामक मिररिंग टूल के साथ आता है।

मिरर मेकर एक अंतर्निहित निर्माता के माध्यम से विभिन्न समूहों के बीच विषयों की नकल करता है। इस तरह डेटा को अंतिम स्थिरता के साथ समूहों के बीच दोहराया जाता है, लेकिन व्यक्तिगत प्रक्रियाओं को बाधित किए बिना।

यह ध्यान रखना महत्वपूर्ण है कि जबकि मिरर मेकर अपनी अवधारणा में सरल है, मिरर मेकर को बड़े पैमाने पर स्थापित करना आईटी संगठनों के लिए काफी चुनौतीपूर्ण हो सकता है। आईपी पते, नामकरण परंपरा, प्रतिकृतियों की संख्या आदि का प्रबंधन सही ढंग से किया जाना चाहिए अन्यथा यह 'अनंत प्रतिकृति' के रूप में जाना जा सकता है, जहां एक विषय को असीमित रूप से दोहराया जाता है, जिससे अंततः दुर्घटना हो सकती है।

मिरर मेकर के अन्य नुकसान अपडेट के लिए अनुमत/अस्वीकृत सूचियों के गतिशील कॉन्फ़िगरेशन की कमी है। मिरर मेकर विषय गुणों को ठीक से सिंक नहीं करता है, जिससे दोहराए जाने वाले विषयों को जोड़ते या हटाते समय यह बड़े पैमाने पर परिचालन सिरदर्द बन जाता है। मिरर मेकर 2 इनमें से कुछ चुनौतियों को ठीक करने का प्रयास करता है लेकिन कई आईटी दुकानें अभी भी मिरर मेकर को सही ढंग से स्थापित करने के लिए संघर्ष कर रही हैं।

काफ्का प्रतिकृति के लिए अन्य ओपन सोर्स टूल में सेल्सफोर्स से मिरस, उबर से यूरेप्लिकेटर और नेटफ्लिक्स से अनुकूलित फ्लिंक शामिल हैं।

वाणिज्यिक लाइसेंस प्राप्त विकल्पों के लिए, कॉन्फ्लुएंट दो विकल्प प्रदान करता है, कॉन्फ्लुएंट रेप्लिकेटर और क्लस्टर लिंकिंग। कंफ्लुएंट रेप्लिकेटर अनिवार्य रूप से एक काफ्का कनेक्ट कनेक्टर है जो क्लस्टर के बीच विषय डेटा को कॉपी करने के लिए एक उच्च-प्रदर्शन और लचीला तरीका प्रदान करता है। क्लस्टर लिंकिंग एक और पेशकश है, जिसे आंतरिक रूप से विकसित किया गया है और विषय ऑफसेट को संरक्षित करते हुए बहु-क्षेत्र प्रतिकृति पर लक्षित है।

फिर भी, क्लस्टर लिंकिंग एक अतुल्यकालिक प्रतिकृति उपकरण है जिसमें डेटा को नेटवर्क सीमाओं को पार करना और सार्वजनिक यातायात मार्गों को पार करना होता है। जैसा कि अब तक स्पष्ट होना चाहिए, काफ्का प्रतिकृति बड़े पैमाने पर उत्पादन अनुप्रयोगों के लिए एक महत्वपूर्ण रणनीति है, सवाल यह है कि कौन सा विकल्प चुनना है।

कल्पनाशील काफ्का प्रशासकों को तुरंत एहसास होगा कि आपको एप्लिकेशन प्रदर्शन और लचीलापन आवश्यकताओं के आधार पर कनेक्टेड क्लस्टर और विस्तारित क्लस्टर, या इन तैनाती के संयोजन की आवश्यकता हो सकती है।

हालाँकि, जो चुनौतीपूर्ण है, वह है क्लस्टर कॉन्फ़िगरेशन स्थापित करने और कई क्लस्टरों में बड़े पैमाने पर इन्हें प्रबंधित करने की घातीय चुनौतियाँ। इस दुःस्वप्न को हल करने का इससे अधिक शानदार तरीका क्या है?

अवेशा द्वारा क्यूबस्लाइस दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त करने का एक सरल तरीका है। क्लस्टर या नेमस्पेस के बीच सीधी सेवा कनेक्टिविटी बनाकर, क्यूबस्लाइस काफ्का क्लस्टर के बीच व्यक्तिगत कनेक्टिविटी को मैन्युअल रूप से कॉन्फ़िगर करने की आवश्यकता को समाप्त करता है।

इसके मूल में, KubeSlice क्लस्टरों के बीच एक सुरक्षित, तुल्यकालिक लेयर 3 नेटवर्क गेटवे बनाता है; एप्लिकेशन या नेमस्पेस स्तर पर अलग किया गया। एक बार यह स्थापित हो जाने के बाद, काफ्का प्रशासक किसी भी क्लस्टर में काफ्का दलालों को तैनात करने के लिए स्वतंत्र हैं।

प्रत्येक ब्रोकर के पास प्रत्येक अन्य ब्रोकर के साथ एक समकालिक कनेक्टिविटी होती है जो स्लाइस के माध्यम से जुड़ती है, भले ही ब्रोकर स्वयं अलग-अलग समूहों में हों। यह प्रभावी रूप से दलालों के बीच एक विस्तृत समूह बनाता है और एक मजबूत स्थिरता और कम प्रशासन ओवरहेड का लाभ प्रदान करता है।

अपना केक लो और इसे भी खा लो !

उन लोगों के लिए जो मिरर मेकर को अपने क्लस्टर में तैनात करना चाहते हैं, यह न्यूनतम प्रयास के साथ किया जा सकता है क्योंकि क्लस्टर के बीच कनेक्टिविटी क्यूबस्लाइस को सौंपी गई है। इस प्रकार, काफ्का अनुप्रयोगों में आवश्यकतानुसार क्षमताओं को मिलाने और मिलान करने की क्षमता के साथ एक ही तैनाती में सिंक्रोनस (गति, लचीलापन) और एसिंक्रोनस (स्वतंत्रता, स्केल) प्रतिकृति का लाभ हो सकता है। यह ऑन-प्रिमाइसेस डेटा केंद्रों, सार्वजनिक क्लाउडों या हाइब्रिड सेटअप में इनके किसी भी संयोजन के लिए सच है।

सबसे अच्छी बात यह है कि KubeSlice एक गैर-विघटनकारी परिनियोजन है, जिसका अर्थ है कि पहले से तैनात किसी भी टूल को अनइंस्टॉल करने की कोई आवश्यकता नहीं है। यह बस एक स्लाइस स्थापित करने और उस स्लाइस पर काफ्का परिनियोजन जोड़ने का मामला है।

निष्कर्ष

इस ब्लॉग ने अपाचे काफ्का का एक संक्षिप्त अवलोकन प्रदान किया है और कुछ अधिक सामान्य उपयोग के मामलों को छुआ है। हमने कई समूहों में काफ्का की तैनाती को मापने के लिए उपलब्ध मौजूदा उपकरणों को कवर किया और प्रत्येक के फायदे/नुकसान पर चर्चा की। अंत में, लेख में क्यूबस्लाइस भी पेश किया गया - उभरता हुआ सेवा कनेक्टिविटी समाधान जो काफ्का मल्टी-क्लस्टर तैनाती को सरल बनाता है और बड़े पैमाने पर कई समूहों में काफ्का प्रतिकृति को कॉन्फ़िगर करने से जुड़े सिरदर्द को दूर करता है।

कुछ लिंक जो पाठकों को उपयोगी लग सकते हैं:

AWS पर काफ्का चलाने की सर्वोत्तम प्रथाओं का एक पुराना ब्लॉग (क्यूबस्लाइस पेश होने से पहले)

क्यूबस्लाइस का निर्देशित सेटअप

जीकेई पर काफ्का की तैनाती