मल्टी-क्लाउड डेटा झीलों के लिए डेल्टा झील को मिनिओ के साथ जोड़ना

डेल्टा लेक एक ओपन-सोर्स स्टोरेज फ्रेमवर्क है जिसका उपयोग लेकहाउस आर्किटेक्चर में ऑब्जेक्ट स्टोरेज के शीर्ष पर डेटा लेक बनाने के लिए किया जाता है। डेल्टा लेक ACID लेनदेन, स्केलेबल मेटाडेटा हैंडलिंग और एकीकृत स्ट्रीमिंग और बैच डेटा प्रोसेसिंग का समर्थन करता है। डेल्टा लेक का उपयोग आमतौर पर अपाचे स्पार्क अनुप्रयोगों को विश्वसनीयता, स्थिरता और स्केलेबिलिटी प्रदान करने के लिए किया जाता है। डेल्टा लेक मौजूदा डेटा लेक स्टोरेज, जैसे कि मिनियो, के शीर्ष पर चलता है और अपाचे स्पार्क एपीआई के साथ संगत है।

मूल डेल्टा लेक पेपर ( डेल्टा लेक: क्लाउड ऑब्जेक्ट स्टोर्स पर हाई-परफॉर्मेंस एसिड टेबल स्टोरेज ) बताता है कि इसे क्लाउड ऑब्जेक्ट स्टोरेज के लिए कैसे बनाया गया था। जब वर्टिका ने बाहरी तालिकाओं के लिए डेल्टा लेक के उपयोग का परीक्षण किया , तो उन्होंने मिनिओ पर भरोसा किया। एचपीई एज़मेरल रनटाइम एंटरप्राइज़ ग्राहक मिनियो पर डेल्टा लेक चलाते हैं । मिनिओ स्थायित्व के लिए डेल्टा लेक की आवश्यकताओं का समर्थन करता है क्योंकि मिनिओ वितरित और स्टैंडअलोन मोड दोनों में सभी आई/ओ संचालन के लिए सख्त रीड-आफ्टर-राइट और लिस्ट-आफ्टर-राइट स्थिरता मॉडल का पालन करता है और डेल्टा लेक वर्कलोड को चलाने के लिए व्यापक रूप से स्वीकार किया जाता है।

कई संगठन बड़े संरचित, अर्ध-संरचित और असंरचित डेटासेट रखने के लिए मिनिओ और एडब्ल्यूएस एस3 जैसे क्लाउड नेटिव ऑब्जेक्ट स्टोर पर भरोसा करते हैं। प्रत्येक तालिका को वस्तुओं के एक सेट के रूप में संग्रहीत किया जाता है जो कि Parquet या ORC हैं, और विभाजन में व्यवस्थित हैं। बड़ी फ़ाइलों पर क्वेरीज़ मूल रूप से स्कैन होती हैं जो शीघ्रता से निष्पादित होती हैं।

डेल्टा लेक के बिना, अधिक जटिल स्पार्क वर्कलोड, विशेष रूप से वे जो डेटा को संशोधित करते हैं, जोड़ते हैं या हटाते हैं, भारी मल्टी-यूज़र/मल्टी-ऐप लोड के तहत प्रदर्शन और शुद्धता के लिए चुनौतियों का सामना करते हैं। मल्टी-ऑब्जेक्ट अपडेट परमाणु नहीं हैं और क्वेरी अलग नहीं हैं, जिसका अर्थ है कि यदि एक क्वेरी में डिलीट किया जाता है तो अन्य समवर्ती क्वेरी को आंशिक परिणाम मिलेंगे क्योंकि मूल क्वेरी प्रत्येक ऑब्जेक्ट को अपडेट करती है। राइट्स को वापस रोल करना मुश्किल है, और अपडेट के बीच में क्रैश के परिणामस्वरूप तालिका दूषित हो सकती है। वास्तविक प्रदर्शन हत्यारा मेटाडेटा है - लाखों वस्तुओं वाली विशाल तालिकाओं के लिए जो अरबों या खरबों रिकॉर्ड रखने वाली Parquet फ़ाइलें हैं, मेटाडेटा संचालन डेटा लेक पर निर्मित अनुप्रयोगों को एक मृत स्थिति में ला सकता है।

डेल्टा लेक को डेटा लेक की क्षैतिज मापनीयता के साथ डेटाबेस की लेनदेन संबंधी विश्वसनीयता को संयोजित करने के लिए डिज़ाइन किया गया था। डेल्टा लेक को मिनिओ जैसे क्लाउड नेटिव ऑब्जेक्ट स्टोर्स पर ACID टेबल स्टोरेज लेयर के साथ OLAP-शैली वर्कलोड का समर्थन करने के लिए बनाया गया था। जैसा कि पेपर डेल्टा लेक: क्लाउड ऑब्जेक्ट स्टोर्स पर उच्च-प्रदर्शन एसीआईडी टेबल स्टोरेज में वर्णित है, "डेल्टा लेक का मूल विचार सरल है: हम एसीआईडी तरीके से इस बारे में जानकारी बनाए रखते हैं कि कौन सी वस्तुएं डेल्टा टेबल का हिस्सा हैं, एक लेखन का उपयोग करके- आगे का लॉग जो स्वयं क्लाउड ऑब्जेक्ट स्टोर में संग्रहीत होता है।" वस्तुओं को Parquet में एन्कोड किया गया है और इसे ऐसे इंजन द्वारा पढ़ा जा सकता है जो Parquet को समझता है। एकाधिक ऑब्जेक्ट को एक साथ "क्रमबद्ध तरीके से उच्च समानांतर पढ़ने और लिखने के प्रदर्शन को प्राप्त करते हुए" अपडेट किया जा सकता है। लॉग में प्रत्येक फ़ाइल के लिए न्यूनतम/अधिकतम आँकड़े जैसे मेटाडेटा शामिल होते हैं, सीधे ऑब्जेक्ट स्टोर में फ़ाइलों को खोजने की तुलना में "तीव्र मेटाडेटा खोजों के परिमाण को सक्षम करना"।

डेल्टा झील निम्नलिखित प्रदान करती है:

• ACID गारंटी: डेल्टा लेक यह सुनिश्चित करता है कि डेटा में सभी परिवर्तन भंडारण के लिए लिखे गए हैं और उपयोगकर्ताओं और ऐप्स के लिए परमाणु रूप से उपलब्ध होने के दौरान स्थायित्व के लिए प्रतिबद्ध हैं। अब आपके डेटा लेक में कोई आंशिक या दूषित फ़ाइलें नहीं हैं।
• स्केलेबल डेटा और मेटाडेटा हैंडलिंग: स्पार्क (या किसी अन्य वितरित प्रोसेसिंग इंजन) का उपयोग करके सभी पढ़ने और लिखने को पेटाबाइट्स तक स्केल किया जा सकता है। अधिकांश अन्य भंडारण प्रारूपों और क्वेरी इंजनों के विपरीत, डेल्टा लेक सभी मेटाडेटा प्रसंस्करण को स्केल करने के लिए स्पार्क का लाभ उठाता है और पेटाबाइट-स्केल तालिकाओं के लिए अरबों फ़ाइलों के मेटाडेटा को कुशलतापूर्वक संभाल सकता है।
• ऑडिट इतिहास और समय यात्रा: डेल्टा लेक लेनदेन लॉग डेटा में किए गए प्रत्येक संशोधन के बारे में विवरण दर्ज करता है, जिसमें परिवर्तनों का पूरा ऑडिट ट्रेल भी शामिल है। डेटा स्नैपशॉट डेवलपर्स को ऑडिट, रोलबैक या किसी अन्य कारण से डेटा के पुराने संस्करणों तक पहुंचने और वापस लाने में सक्षम बनाता है।
• स्कीमा प्रवर्तन और स्कीमा विकास: डेल्टा लेक स्वचालित रूप से उस डेटा के सम्मिलन को रोकता है जो मौजूदा तालिका स्कीमा से मेल नहीं खाता है। हालाँकि, डेटा संरचना और प्रारूप में परिवर्तनों को समायोजित करने के लिए तालिका स्कीमा को स्पष्ट रूप से और सुरक्षित रूप से विकसित किया जा सकता है।
• डिलीट, अपडेट और मर्ज के लिए समर्थन: अधिकांश वितरित प्रोसेसिंग फ्रेमवर्क डेटा लेक पर परमाणु डेटा संशोधन संचालन का समर्थन नहीं करते हैं। इसके विपरीत, डेल्टा लेक परिवर्तन-डेटा-कैप्चर, धीरे-धीरे-परिवर्तन-आयाम संचालन और स्ट्रीमिंग अप्सर्ट जैसे जटिल उपयोग के मामलों के लिए मर्ज, अपडेट और डिलीट ऑपरेशंस का समर्थन करता है।
• स्ट्रीमिंग और बैच एकीकरण: डेल्टा लेक टेबल में बैच मोड में और स्ट्रीमिंग स्रोत और सिंक के रूप में काम करने की क्षमता होती है। डेल्टा लेक वास्तविक समय की इंटरैक्टिव क्वेरीज़ प्रदान करने के लिए स्ट्रीमिंग डेटा इंजेस्ट और बैच ऐतिहासिक बैकफ़िल सहित कई प्रकार की विलंबता पर काम करता है। स्ट्रीमिंग नौकरियां कम विलंबता पर छोटी वस्तुओं को तालिका में लिखती हैं, बाद में बेहतर प्रदर्शन के लिए उन्हें बड़ी वस्तुओं में लेनदेन के रूप में संयोजित करती हैं।
• कैशिंग: ऑब्जेक्ट स्टोरेज पर भरोसा करने का मतलब है कि डेल्टा टेबल और उसके लॉग में ऑब्जेक्ट अपरिवर्तनीय हैं और उन्हें स्थानीय रूप से सुरक्षित रूप से कैश किया जा सकता है - जहां भी मल्टीक्लाउड में स्थानीय रूप से होता है।

लेकहाउस आर्किटेक्चर, विशेष रूप से डेल्टा लेक, ऑब्जेक्ट स्टोरेज पर निर्मित डेटा लेक में महत्वपूर्ण नई कार्यक्षमता लाता है। डेल्टा लेक स्पार्क, स्टारबर्स्ट, ट्रिनो, फ्लिंक और हाइव जैसे अनुप्रयोगों और कंप्यूट इंजनों की एक बड़ी और बढ़ती सूची के साथ काम करता है, और इसमें स्काला, जावा, रस्ट, रूबी और पायथन के लिए एपीआई भी शामिल हैं। क्लाउड के लिए निर्मित, कुबेरनेट्स-नेटिव मिनिओ हर जगह - किनारे पर, डेटा सेंटर में और सार्वजनिक/निजी क्लाउड में प्रदर्शनशील, लचीला और सुरक्षित डेटा लेक अनुप्रयोगों को सक्षम बनाता है।

डेल्टा झील फ़ाइलें

डेल्टा तालिका उन फ़ाइलों का एक संग्रह है जो एक निर्देशिका (फ़ाइल सिस्टम के लिए) या बकेट (मिनियो और अन्य ऑब्जेक्ट स्टोरेज के लिए) में एक साथ संग्रहीत होती हैं। ऑब्जेक्ट स्टोरेज से पढ़ने और लिखने के लिए, डेल्टा लेक स्टोरेज सिस्टम को गतिशील रूप से पहचानने के लिए पथ की योजना का उपयोग करता है और ACID गारंटी प्रदान करने के लिए संबंधित लॉगस्टोर कार्यान्वयन का उपयोग करता है। मिनिओ के लिए, आप S3A का उपयोग करेंगे, स्टोरेज कॉन्फ़िगरेशन - डेल्टा लेक डॉक्यूमेंटेशन देखें। यह महत्वपूर्ण है कि डेल्टा झील के लिए उपयोग की जाने वाली अंतर्निहित भंडारण प्रणाली समवर्ती परमाणु पढ़ने/लिखने में सक्षम है, जैसा कि मिनिओ है।

डेल्टा तालिकाएँ बनाना वास्तव में किसी निर्देशिका या बकेट में फ़ाइलें लिखना है। डेल्टा तालिकाएँ स्पार्क डेटाफ़्रेम को लिखकर (पढ़कर) और delta प्रारूप और पथ को निर्दिष्ट करके बनाई (खोली) जाती हैं। उदाहरण के लिए, स्काला में:

 // Create a Delta table on MinIO: spark.range(5).write.format("delta").save("s3a://<your-minio-bucket>/<path-to-delta-table>") // Read a Delta table on S3: spark.read.format("delta").load("s3a://<your-mnio-bucket>/<path-to-delta-table>").show()

डेल्टा लेक प्रति टेबल एक बाल्टी पर निर्भर करती है, और बाल्टियाँ आमतौर पर फ़ाइल सिस्टम पथों के आधार पर तैयार की जाती हैं। डेल्टा लेक टेबल एक बकेट है जिसमें डेटा, मेटाडेटा और एक लेनदेन लॉग होता है। तालिका को Parquet प्रारूप में संग्रहित किया गया है। तालिकाओं को कई फ़ाइलों में विभाजित किया जा सकता है। फ़ाइल-सिस्टम-शैली पथों का उपयोग करके वस्तुओं को कुशलतापूर्वक सूचीबद्ध करने के लिए मिनिओ S3 LIST का समर्थन करता है। बड़ी Parquet फ़ाइल के सबसेट को अधिक कुशलता से पढ़ने के लिए MiniIO बाइट-रेंज अनुरोधों का भी समर्थन करता है।

उद्योग-अग्रणी प्रदर्शन के कारण मिनियो डेल्टा लेक टेबल के लिए एक उत्कृष्ट घर बन गया है। मिनियो का स्केलेबिलिटी और उच्च-प्रदर्शन का संयोजन हर कार्यभार को, चाहे कितना भी कठिन क्यों न हो, पहुंच के भीतर रखता है। मिनिओ जबरदस्त प्रदर्शन करने में सक्षम है - हाल ही में बेंचमार्क ने GETs पर 325 GiB/s (349 GB/s) और PUTs पर 165 GiB/s (177 GB/s) केवल 32 नोड्स ऑफ-द-शेल्फ NVMe SSDs के साथ हासिल किया है। डेल्टा लेक पर सबसे अधिक मांग वाले कार्यभार को बिजली देने के लिए आवश्यक प्रदर्शन से कहीं अधिक मिनियो प्रदान करता है।

यह संभावना है कि डेल्टा लेक बकेट में कई Parquet और JSON फ़ाइलें होंगी, जो डेटा लेक के रूप में उपयोग के लिए MiniIO में हमारे द्वारा बनाए गए सभी छोटे फ़ाइल अनुकूलन के साथ वास्तव में अच्छी तरह से संरेखित होती हैं। छोटी वस्तुओं को मेटाडेटा के साथ इनलाइन सहेजा जाता है, जिससे डेल्टा लेक लेनदेन जैसी छोटी फ़ाइलों को पढ़ने और लिखने दोनों के लिए आवश्यक IOPS कम हो जाता है।

अधिकांश उद्यमों को डेल्टा लेक के लिए मल्टी-क्लाउड कार्यक्षमता की आवश्यकता होती है। मिनिआईओ में स्थानों के बीच डेटा को सिंक्रनाइज़ करने के लिए सक्रिय-सक्रिय प्रतिकृति शामिल है - ऑन-प्रिमाइसेस, सार्वजनिक/निजी क्लाउड में और किनारे पर। सक्रिय-सक्रिय प्रतिकृति उद्यमों को मल्टी-जियो लचीलापन और तेज़ हॉट-हॉट फेलओवर के लिए आर्किटेक्ट बनाने में सक्षम बनाती है। प्रत्येक बकेट, या डेल्टा लेक टेबल को अधिकतम सुरक्षा और उपलब्धता के लिए अलग से प्रतिकृति के लिए कॉन्फ़िगर किया जा सकता है।

डेल्टा झील के साथ ACID लेनदेन

डेटा लेक में ACID (एटोमिसिटी, कंसिस्टेंसी, आइसोलेशन और ड्यूरेबिलिटी) लेनदेन को जोड़ना एक बहुत बड़ी बात है क्योंकि अब डेटा लेक में संग्रहीत डेटा के द्रव्यमान पर संगठनों का अधिक नियंत्रण है, और इसलिए अधिक भरोसा है। पहले, जो उद्यम डेटा लेक के साथ काम करने के लिए स्पार्क पर निर्भर थे, उनके पास परमाणु एपीआई और एसीआईडी लेनदेन का अभाव था, लेकिन अब डेल्टा लेक इसे संभव बनाता है। डेटा को कैप्चर और लिखे जाने के बाद अपडेट किया जा सकता है, और ACID के समर्थन के साथ, यदि ऑपरेशन के दौरान एप्लिकेशन विफल हो जाता है तो डेटा नष्ट नहीं होगा। डेल्टा लेक डेटा को पढ़ने और लिखने के लिए स्पार्क और मिनिओ के बीच मध्यस्थ के रूप में कार्य करके इसे पूरा करता है।

डेल्टा झील के मध्य में डेल्टालॉग है, जो उपयोगकर्ताओं और अनुप्रयोगों द्वारा किए गए लेनदेन का एक क्रमबद्ध रिकॉर्ड है। उपयोगकर्ता द्वारा डेल्टा लेक टेबल पर किया गया प्रत्येक ऑपरेशन (जैसे अपडेट या इंसर्ट) कई क्रियाओं या नौकरियों से बना एक परमाणु प्रतिबद्धता है। जब प्रत्येक क्रिया सफलतापूर्वक पूरी हो जाती है, तो कमिट को डेल्टालॉग में एक प्रविष्टि के रूप में दर्ज किया जाता है। यदि कोई कार्य विफल हो जाता है, तो प्रतिबद्धता डेल्टालॉग में दर्ज नहीं की जाती है। परमाणुता के बिना, हार्डवेयर या सॉफ़्टवेयर विफलता की स्थिति में डेटा दूषित हो सकता है जिसके परिणामस्वरूप डेटा केवल आंशिक रूप से लिखा जा सकता है।

डेल्टा लेक संचालन को निम्नलिखित में से एक या अधिक क्रियाओं में विभाजित करती है:

• फ़ाइल जोड़ें - एक फ़ाइल जोड़ता है

• फ़ाइल हटाएँ - एक फ़ाइल हटाता है

• मेटाडेटा अद्यतन करें - तालिका के नाम, स्कीमा या विभाजन में परिवर्तन रिकॉर्ड करता है

• लेन-देन सेट करें - रिकॉर्ड करता है कि स्ट्रीमिंग कार्य ने डेटा प्रतिबद्ध किया है

• प्रतिबद्ध जानकारी - ऑपरेशन, उपयोगकर्ता और समय सहित प्रतिबद्धता के बारे में जानकारी

• प्रोटोकॉल बदलें - DeltaLog को नवीनतम सॉफ़्टवेयर प्रोटोकॉल में अद्यतन करता है

  
  

यह उतना जटिल नहीं है जितना दिखता है। उदाहरण के लिए, यदि कोई उपयोगकर्ता किसी तालिका में एक नया कॉलम जोड़ता है और उसमें डेटा जोड़ता है, तो डेल्टा लेक उसे अपने घटक कार्यों में तोड़ देता है - कॉलम जोड़ने के लिए मेटाडेटा अपडेट करें और जोड़ी गई प्रत्येक नई फ़ाइल के लिए फ़ाइल जोड़ें - और उन्हें इसमें जोड़ता है जब वे पूरा हो जाएं तो डेल्टालॉग करें।

डेल्टा लेक किसी दिए गए टेबल के कई पाठकों और लेखकों को एक ही समय में टेबल पर काम करने की अनुमति देने के लिए आशावादी समवर्ती नियंत्रण पर निर्भर करता है। आशावादी समवर्ती नियंत्रण मानता है कि विभिन्न उपयोगकर्ताओं द्वारा तालिका में किए गए परिवर्तन बिना किसी विरोध के पूरे हो सकते हैं। जैसे-जैसे डेटा की मात्रा बढ़ती है, वैसे-वैसे यह संभावना भी बढ़ती है कि उपयोगकर्ता विभिन्न तालिकाओं पर काम करेंगे। डेल्टा लेक कमिट को क्रमबद्ध करता है और एक ही समय में दो या दो से अधिक कमिट होने पर पारस्परिक बहिष्कार के नियम का पालन करता है। ऐसा करने पर, डेल्टा लेक ACID के लिए आवश्यक अलगाव को प्राप्त कर लेता है और कई समवर्ती लेखन के बाद तालिका वैसी ही दिखेगी जैसे कि यदि वे लेखन क्रमिक रूप से और एक दूसरे से अलग-अलग हुए हों।

जब कोई उपयोगकर्ता एक खुली तालिका पर एक नई क्वेरी चलाता है जिसे पिछली बार पढ़ने के बाद से संशोधित किया गया है, तो स्पार्क यह निर्धारित करने के लिए डेल्टालॉग से परामर्श करता है कि क्या नए लेनदेन तालिका में पोस्ट किए गए हैं और उन नए परिवर्तनों के साथ उपयोगकर्ता की तालिका को अपडेट करता है। यह सुनिश्चित करता है कि उपयोगकर्ता की तालिका का संस्करण नवीनतम ऑपरेशन के लिए डेल्टा लेक में मास्टर तालिका के साथ सिंक्रनाइज़ है और उपयोगकर्ता किसी तालिका में परस्पर विरोधी अपडेट नहीं कर सकते हैं।

डेल्टालॉग, आशावादी समवर्ती नियंत्रण और स्कीमा प्रवर्तन (स्कीमा विकसित करने की क्षमता के साथ संयुक्त) परमाणुता और स्थिरता दोनों सुनिश्चित करते हैं।

डेल्टालॉग में खोदना

जब कोई उपयोगकर्ता डेल्टा लेक तालिका बनाता है, तो उस तालिका का लेनदेन लॉग स्वचालित रूप से _delta_log उपनिर्देशिका में बनाया जाता है। जैसे ही उपयोगकर्ता तालिका को संशोधित करता है, प्रत्येक कमिट को JSON फ़ाइल के रूप में _delta_log उपनिर्देशिका में आरोही क्रम में लिखा जाता है, अर्थात 000000.json , 000001.json , 000002.json इत्यादि।

मान लीजिए कि हम डेटा फ़ाइलों 1.parquet और 2.parquet से अपनी तालिका में नए रिकॉर्ड जोड़ते हैं। उस लेनदेन को DeltaLog में जोड़ा जाता है और फ़ाइल 000000.json के रूप में सहेजा जाता है। बाद में, हम उन फ़ाइलों को हटा देते हैं और उसके स्थान पर एक नई फ़ाइल 3.parquet जोड़ते हैं। उन कार्रवाइयों को एक नई फ़ाइल, 000001.json के रूप में रिकॉर्ड किया जाता है।

1.parquet और 2.parquet जोड़ने के बाद, उन्हें हटा दिया गया। लेन-देन लॉग में दोनों ऑपरेशन शामिल हैं, भले ही वे एक-दूसरे को नकारते हों। डेल्टा लेक संपूर्ण ऑडिट इतिहास और समय यात्रा सुविधाओं को सक्षम करने के लिए सभी परमाणु प्रतिबद्धताओं को बरकरार रखता है जो उपयोगकर्ताओं को दिखाता है कि एक तालिका समय में एक विशिष्ट बिंदु पर कैसे दिखती है। इसके अलावा, जब तक VACUUM कार्य नहीं चलाया जाता है तब तक फ़ाइलें भंडारण से तुरंत नहीं हटाई जाती हैं। मिनियो संस्करण आकस्मिक विलोपन के विरुद्ध आश्वासन की एक और परत प्रदान करता है।

डेल्टा लेक और मिनिओ के साथ स्थायित्व

डेल्टा लेक लगातार मीडिया पर तालिकाओं और लेनदेन लॉग को संग्रहीत करके स्थायित्व प्राप्त करता है। फ़ाइलें कभी भी ओवरराइट नहीं की जातीं और उन्हें सक्रिय रूप से हटा दिया जाना चाहिए। भंडारण में लिखे गए सभी डेटा परिवर्तन उपयोगकर्ताओं के लिए परमाणु रूप से उपलब्ध होते हैं। आंशिक और भ्रष्ट फ़ाइलें अतीत की बात हो गई हैं। डेल्टा लेक रैम में टेबल और लॉग को बहुत लंबे समय तक नहीं रखता है और उन्हें सीधे मिनियो को लिखता है। जब तक प्रतिबद्ध डेटा डेल्टालॉग में दर्ज किया गया था और JSON फ़ाइलें बकेट में लिखी गई थीं, तब तक सिस्टम या जॉब क्रैश की स्थिति में डेटा टिकाऊ होता है।

मिनिआईओ एक तालिका और उसके घटकों को कई तंत्रों के माध्यम से लिखे जाने के बाद स्थायित्व की गारंटी देता है:

• इरेज़र कोडिंग डेटा फ़ाइलों को डेटा और पैरिटी ब्लॉक में विभाजित करती है और इसे एनकोड करती है ताकि एन्कोडेड डेटा का हिस्सा उपलब्ध न होने पर भी प्राथमिक डेटा पुनर्प्राप्त किया जा सके। क्षैतिज रूप से स्केलेबल वितरित स्टोरेज सिस्टम कई ड्राइव और नोड्स में एन्कोडेड डेटा को सहेजकर डेटा सुरक्षा प्रदान करने के लिए इरेज़र कोडिंग पर निर्भर करते हैं। यदि कोई ड्राइव या नोड विफल हो जाता है या डेटा दूषित हो जाता है, तो मूल डेटा को अन्य ड्राइव और नोड्स पर सहेजे गए ब्लॉक से पुनर्निर्माण किया जा सकता है।
• बिट रोट प्रोटेक्शन डेटा स्थायित्व के लिए इस मूक खतरे को दूर करने के लिए दूषित वस्तुओं को तुरंत पकड़ लेता है और ठीक कर देता है
• बकेट और ऑब्जेक्ट इम्युटेबिलिटी ऑब्जेक्ट लॉकिंग, रिटेंशन और अन्य शासन तंत्रों के संयोजन का उपयोग करके मिनिआईओ में सहेजे गए डेटा को हटाने या संशोधन से बचाता है। मिनिओ को लिखी गई वस्तुएं कभी भी ओवरराइट नहीं की जातीं।
• बकेट और ऑब्जेक्ट वर्जनिंग वस्तुओं की और सुरक्षा करते हैं। मिनियो प्रत्येक वस्तु के हर संस्करण का रिकॉर्ड रखता है, भले ही उसे हटा दिया गया हो, जिससे आप समय में पीछे जा सकते हैं (काफी हद तक डेल्टा लेक की समय यात्रा की तरह)। वर्जनिंग डेटा जीवनचक्र प्रबंधन का एक प्रमुख घटक है जो प्रशासकों को स्तरों के बीच बकेट को स्थानांतरित करने की अनुमति देता है, उदाहरण के लिए प्रदर्शन गहन कार्यभार के लिए एनवीएमई का उपयोग करना, और संस्करणों पर एक समाप्ति तिथि निर्धारित करना ताकि भंडारण दक्षता में सुधार के लिए उन्हें सिस्टम से शुद्ध किया जा सके।

मिनिओ एन्क्रिप्शन का उपयोग करके डेल्टा लेक तालिकाओं को सुरक्षित करता है और आईएएम और नीति आधारित पहुंच नियंत्रणों के संयोजन का उपयोग करके उन तक पहुंच को नियंत्रित करता है। मिनिओ आधुनिक, उद्योग-मानक एन्क्रिप्शन एल्गोरिदम, जैसे एईएस-256-जीसीएम, चाचा20-पॉली1305 और एईएस-सीबीसी का उपयोग करके टीएलएस के साथ पारगमन में डेटा और ग्रैन्युलर ऑब्जेक्ट-स्तरीय एन्क्रिप्शन के साथ ड्राइव पर डेटा एन्क्रिप्ट करता है । MiniIO IAM के लिए ActiveDirectory/LDAP, Okta और Keycloak जैसे बाहरी पहचान प्रदाताओं के साथ एकीकृत होता है। उपयोगकर्ता और समूह तब AWS IAM-संगत PBAC के अधीन होते हैं क्योंकि वे डेल्टा लेक तालिकाओं तक पहुँचने का प्रयास करते हैं।

डेल्टा झील और मिनिओ ट्यूटोरियल

यह अनुभाग बताता है कि सिंगल-क्लस्टर मोड का उपयोग करके मिनिओ पर डेल्टा तालिकाओं को जल्दी से कैसे पढ़ना और लिखना शुरू करें।

आवश्यक शर्तें

1. अपाचे स्पार्क डाउनलोड और इंस्टॉल करें ।
2. मिनिआईओ डाउनलोड और इंस्टॉल करें । आईपी एड्रेस, टीसीपी पोर्ट, एक्सेस कुंजी और गुप्त कुंजी रिकॉर्ड करें।
3. मिनियो क्लाइंट डाउनलोड और इंस्टॉल करें ।
4. निम्नलिखित जार फ़ाइलें आवश्यक हैं. आप स्पार्क मशीन पर किसी भी आवश्यक स्थान पर जार की प्रतिलिपि बना सकते हैं, उदाहरण के लिए /home/spark ।
5. Hadoop - hadoop-aws-2.6.5.jar - डेल्टा लेक को hadoop-aws पैकेज से org.apache.hadoop.fs.s3a.S3AFileSystem क्लास की आवश्यकता है, जो S3 के लिए Hadoop के FileSystem एपीआई को लागू करता है। सुनिश्चित करें कि इस पैकेज का संस्करण Hadoop संस्करण से मेल खाता है जिसके साथ स्पार्क बनाया गया था।
6. AWS - aws-java-sdk-1.7.4.jar

डेल्टा झील के साथ अपाचे स्पार्क स्थापित करें

डेल्टा लेक के साथ स्पार्क शेल (स्कैला या पायथन) शुरू करें और कोड स्निपेट को इंटरैक्टिव रूप से चलाएं।

स्काला में:

 bin/spark-shell --packages io.delta:delta-core_2.12:1.2.1 --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"

अपाचे स्पार्क पर डेल्टा लेक और AWS S3 कॉन्फ़िगर करें

मिनिआईओ के लिए डेल्टा लेक और एस3 समर्थन के साथ स्पार्क शेल लॉन्च करने के लिए निम्नलिखित कमांड चलाएँ:

 bin/spark-shell \ --packages io.delta:delta-core_2.12:1.2.1,org.apache.hadoop:hadoop-aws:3.3.1 \ --conf spark.hadoop.fs.s3a.access.key=<your-MinIO-access-key> \ --conf spark.hadoop.fs.s3a.secret.key=<your-MinIO-secret-key> --conf "spark.hadoop.fs.s3a.endpoint=<your-MinIO-IP:port> \ --conf "spark.databricks.delta.retentionDurationCheck.enabled=false" \ --conf "spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension" \ --conf "spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"

मिनिओ में एक बकेट बनाएं

डेल्टा झील के लिए बकेट बनाने के लिए मिनियो क्लाइंट का उपयोग करें:

 mc alias set minio http://<your-MinIO-IP:port> <your-MinIO-access-key> <your-MinIO-secret-key> mc mb minio\delta-lake

मिनिओ पर एक परीक्षण डेल्टा लेक तालिका बनाएं

इसे आज़माएं और स्काला का उपयोग करके एक सरल डेल्टा लेक तालिका बनाएं:

 // Create a Delta table on MinIO: spark.range(500).write.format("delta").save("s3a://delta-lake/demo1")

आपको कुछ आउटपुट दिखाई देगा जो दर्शाता है कि स्पार्क ने तालिका सफलतापूर्वक लिखी है।

अपनी एक्सेस कुंजी और गुप्त कुंजी के साथ http://<your-MinIO-IP:9001> पर MiniIO में लॉग इन करने के लिए एक ब्राउज़र खोलें। आप बाल्टी में डेल्टा लेक टेबल देखेंगे:

डेटा लेक पर उच्च-प्रदर्शन ACID लेनदेन के लिए मिनिओ और डेल्टा लेक

मिनिओ और डेल्टा लेक का संयोजन उद्यमों को एक मल्टी-क्लाउड डेटा लेक बनाने में सक्षम बनाता है जो सत्य के समेकित एकल स्रोत के रूप में कार्य करता है। डेल्टा लेक तालिकाओं को क्वेरी करने और अपडेट करने की क्षमता उद्यमों को उनके व्यवसायों और ग्राहकों के बारे में समृद्ध अंतर्दृष्टि प्रदान करती है। विभिन्न समूह अपने स्वयं के विश्लेषण या मशीन सीखने की पहल के लिए डेल्टा लेक टेबल तक पहुंचते हैं, यह जानते हुए कि उनका काम सुरक्षित है और डेटा समय पर है।

अधिक गहराई में जाने के लिए, मिनियो डाउनलोड करें और स्वयं देखें या किसी सार्वजनिक क्लाउड पर मार्केटप्लेस उदाहरण तैयार करें। आप कोई सवाल पूछना चाहते हैं? स्लैक पर या [email protected] के माध्यम से पूछें।