এই গ্রীষ্মে Databricks এবং Apache Iceberg উভয়ই তাদের ওপেন টেবিল ফরম্যাটে বর্ধিতকরণ রোল আউট করেছে। ডেটাব্রিক্স ঘোষণা করেছে ডেল্টা লেক 3.0 সবচেয়ে জনপ্রিয় ওপেন টেবিল ফরম্যাটে ডেটা পড়তে এবং লিখতে পারে: ডেল্টা টেবিল, আইসবার্গ এবং অ্যাপাচি হুডি। ডেল্টা ইউনিভার্সাল ফরম্যাট (ইউনিফর্ম) এটিকে তৈরি করে যাতে ওপেন টেবিল ফরম্যাটগুলি ইন্টারঅপারেবল হয়ে ওঠে, এই বা সেই ফর্ম্যাটে ডেটার অতিরিক্ত কপি তৈরি এবং সংরক্ষণ করার প্রয়োজন এড়িয়ে যায়। বিদ্যমান ক্যোয়ারী ইঞ্জিন ব্যবহার করে ডেটা টিম ডাকডিবি , ড্রেমিও , এবং অন্যরা আইসবার্গ বা হুডি ফাইল সম্পর্কে জিজ্ঞাসা করতে রূপান্তর ছাড়াই সরাসরি ডেল্টা টেবিল পড়তে পারে।

প্রায় একই সময়ে, আইসবার্গ ক্যোয়ারী ইঞ্জিন এবং প্ল্যাটফর্ম সহ বেশ কয়েকটি নতুন সমর্থন ঘোষণা করেছে স্নোফ্লেক , এডব্লিউএস এথেনা , অ্যাপাচি ডরিস এবং StarRocks. ডেটাব্রিক্স এবং আইসবার্গের এই ঘোষণাগুলির সাথে, আন্তঃকার্যকারিতা ডেটা পোর্টেবিলিটির সাথে হাতে হাত মিলিয়েছে। ডিজাইনের মাধ্যমে খোলা টেবিল ফরম্যাটগুলি এই ধারণাটিকে প্রচার করে যে আপনি আপনার ডেটা অ্যাক্সেস করতে, নিয়ন্ত্রণ করতে, ভাগ করতে এবং পরিচালনা করতে সক্ষম হবেন যে কোনো টুল দিয়ে, আপনি যেখানেই চান, তা পাবলিক ক্লাউডে, আপনার ব্যক্তিগত ক্লাউডে, অন - প্রান্ত, বা বেয়ার মেটাল উপর.

ওপেন টেবিল ফরম্যাট বোঝা

প্রেক্ষাপটে এই ঘোষণা করা যাক. ওপেন টেবিল ফরম্যাটগুলি ডেটা লেকগুলিকে পারফরম্যান্স এবং কমপ্লায়েন্স স্ট্যান্ডার্ডগুলি অর্জন করতে দেয় যা অতীতে শুধুমাত্র ঐতিহ্যগত ডেটা গুদাম বা ডেটাবেস দ্বারা অর্জন করা যেত, সব সময় ডেটা লেকের পরিবেশের নমনীয়তা সংরক্ষণ করে।

তিনটি প্রধান খোলা টেবিল বিন্যাস আছে:

আইসবার্গ মূলত নেটফ্লিক্স দ্বারা বিশেষভাবে ডেটা লেকের মধ্যে উল্লেখযোগ্য ডেটা ভলিউম পরিচালনা করার জন্য ডিজাইন করা হয়েছিল। এই ওপেন টেবিল ফরম্যাটে স্বাতন্ত্র্যসূচক বৈশিষ্ট্য রয়েছে যেমন সময় ভ্রমণ, গতিশীল স্কিমা বিবর্তন, এবং পার্টিশন বিবর্তন। এই ক্ষমতাগুলি এটিকে বৈপ্লবিক করে তোলে, একই ডেটাসেটে ক্যোয়ারী ইঞ্জিন দ্বারা সমসাময়িক এবং সুরক্ষিত ক্রিয়াকলাপ সক্ষম করে৷

ডেল্টা লেক লেকহাউস আর্কিটেকচারের একটি ওপেন সোর্স স্টোরেজ ফ্রেমওয়ার্ক যা MinIO-এর মতো অবজেক্ট স্টোরেজের ডেটা লেককে শক্তিশালী করে। এটি ACID লেনদেন, স্কেলযোগ্য মেটাডেটা হ্যান্ডলিং, এবং Apache Spark-এর জন্য ইউনিফাইড প্রসেসিং নিশ্চিত করে, নির্ভরযোগ্যতা এবং মাপযোগ্যতা প্রদান করে। ডেল্টা লেক জটিল স্পার্ক ওয়ার্কলোডের কার্যকারিতা এবং সঠিকতা চ্যালেঞ্জগুলি পরিচালনা করতে পারে, বিশেষত ভারী সমঝোতার অধীনে, অ-পারমাণবিক আপডেট এবং মেটাডেটা অপারেশনগুলির সাথে উল্লেখযোগ্য বাধা সৃষ্টি করে।

হুদি Hadoop ইকোসিস্টেমে রুট করা, এবং হুডির প্রাথমিক উদ্দেশ্য হল স্ট্রিমিং ডেটার ইনজেশনের সময় লেটেন্সি কমানো, টেবিল, লেনদেন, আপসার্ট/ডিলিট, অ্যাডভান্স ইনডেক্স, এবং ক্লাউড-নেটিভ অবজেক্ট স্টোরেজ সহ বিভিন্ন স্টোরেজ ইমপ্লিমেন্টেশনের সাথে সামঞ্জস্যপূর্ণ বৈশিষ্ট্যগুলি অফার করা। MinIO এর মত।

বিভিন্ন ফরম্যাটের মধ্যে বেছে নেওয়ার বিষয়ে অনেক কিছু লেখা হয়েছে, কিছু দাবি করে 80% কার্যকরী সমতা তিনটি প্রাথমিক ওপেন টেবিল ফরম্যাটের মধ্যে। এই উন্মুক্ত সারণী বিন্যাসগুলি তৈরি করা হয়েছে এবং ক্রমাগত উন্নতি লাভ করছে এমন আন্তঃকার্যযোগ্যতার পরিবেশে পার্থক্যের এই মিশ্রণটি বোঝা যায়। এই ফরম্যাটগুলির নির্মাতারা বিক্রেতা লক-ইন এবং অপারেশনাল নিয়ন্ত্রণের ঐতিহ্যগত ধারণার চেয়ে ক্ষমতাকে অগ্রাধিকার দিয়েছেন।

আধুনিক ডেটা স্ট্যাকের অংশ হিসাবে টেবিল বিন্যাস খুলুন

এই সাম্প্রতিক ঘোষণার আগেও, খোলা টেবিল ফরম্যাটগুলি ইতিমধ্যেই আধুনিক ডেটা লেক ডিজাইনের অবিচ্ছেদ্য হয়ে উঠেছে। এবং পারস্পরিকভাবে, ডেটা লেকগুলি আধুনিক ডেটা স্ট্যাকের সাথে অবিচ্ছেদ্য হয়েছে। সাম্প্রতিক জরিপ দ্বারা ড্রেমিও দেখা গেছে যে 70% উত্তরদাতারা বলেছেন যে তাদের বিশ্লেষণের অর্ধেকেরও বেশি তিন বছরের মধ্যে ডেটা লেকে থাকবে বা হবে। এই ব্যাপক গ্রহণযোগ্যতা আন্তঃকার্যযোগ্যতা, নমনীয়তা এবং কর্মক্ষমতার উপর দৃঢ় জোর দিয়ে সংস্থাগুলি কীভাবে তাদের ডেটা গঠন এবং পরিচালনা করে তার একটি দৃষ্টান্ত পরিবর্তনকে নির্দেশ করে।

এটা সত্যিই অবাক হওয়ার কিছু নেই যে ক্লাউড-নেটিভ ডাটা লেক এবং তাদের উপাদান এবং প্রযুক্তি যেমন ওপেন টেবিল ফরম্যাট আধুনিক ডেটা স্ট্যাকের কেন্দ্র পর্যায়ে পরিণত হয়েছে। এটি ঐতিহ্যগত, একচেটিয়া লিগ্যাসি হার্ডওয়্যার এবং সফ্টওয়্যার পাইকারি বিক্রি করা সংস্থাগুলির কাছে তাদের বার্ধক্যজনিত সিস্টেমে 'ক্লাউড প্রযুক্তি' শব্দটি চড় মারার আশায় সম্পূর্ণ বিপরীতে দাঁড়িয়েছে। ক্লাউড-নেটিভ হয়ে ওঠা একটি API যোগ করার চেয়েও বেশি কিছু - আধুনিক ডেটা স্ট্যাক হল একটি মডুলার এবং বিশেষায়িত টুলের সমাহার যা বিভিন্ন ডেটা পরিচালনার দিকগুলির জন্য তৈরি করা হয়েছে৷ এটি অভিযোজনযোগ্যতার জন্য তৈরি করা হয়েছে, ক্লাউডে জন্মগ্রহণ করে এবং উচ্চ-কার্যক্ষমতার মান ধরে রাখে। যে বৈশিষ্ট্যগুলি আধুনিক ডেটা স্ট্যাককে সংস্থাগুলির জন্য একটি বাধ্যতামূলক পছন্দ করে তোলে৷ স্ট্যাকের মডুলারিটি বিকল্পগুলির একটি পরিসর প্রদান করে, যা সংস্থাগুলিকে তাদের নির্দিষ্ট প্রয়োজনের সাথে সামঞ্জস্যপূর্ণ একটি বেসপোক ডেটা অবকাঠামো তৈরি করতে দেয়, ক্রমাগত বিকশিত ডেটা ল্যান্ডস্কেপে চটপটতা বৃদ্ধি করে।

বিকল্পগুলির এই ক্রমাগত ক্রমবর্ধমান পরিসীমা সত্ত্বেও, স্ট্যাকের উপাদানগুলির মাধ্যমে বুনন করা নির্দিষ্ট বৈশিষ্ট্য রয়েছে:

• ক্লাউড-নেটিভ: আধুনিক ডেটা স্ট্যাকটি বিক্রেতা লক-ইন রোধ করতে একাধিক ক্লাউডের সাথে সামঞ্জস্য নিশ্চিত করে বিভিন্ন ক্লাউড পরিবেশ জুড়ে নির্বিঘ্নে স্কেল করার জন্য ডিজাইন করা হয়েছে।

  
  

• অপ্টিমাইজড পারফরম্যান্স: দক্ষতার জন্য ইঞ্জিনিয়ারড, স্ট্যাক এমন উপাদানগুলিকে অন্তর্ভুক্ত করে যা একটি সফ্টওয়্যার-প্রথম পদ্ধতি গ্রহণ করে এবং কার্য সম্পাদনের জন্য ডিজাইন করে।

  
  

• RESTful API সামঞ্জস্যতা: স্ট্যাকটি এর উপাদানগুলির মধ্যে একটি প্রমিত যোগাযোগ কাঠামো স্থাপন করে। এটি আন্তঃব্যবহারযোগ্যতাকে উৎসাহিত করে এবং মাইক্রোসার্ভিস তৈরিতে সহায়তা করে।

  
  

• ডিস্যাগ্রিগেটেড স্টোরেজ এবং কম্পিউট: স্ট্যাক কম্পিউটেশনাল রিসোর্স এবং স্টোরেজ ক্ষমতার স্বাধীন স্কেলিং সক্ষম করে। এই পদ্ধতিটি খরচ দক্ষতা অপ্টিমাইজ করে এবং প্রতিটি দিককে নির্দিষ্ট চাহিদা অনুযায়ী স্কেল করার অনুমতি দিয়ে সামগ্রিক কর্মক্ষমতা বাড়ায়।

  
  

• উন্মুক্ততার প্রতি অঙ্গীকার: ওপেন টেবিল ফরম্যাট সমর্থন করার বাইরে, আধুনিক ডেটা স্ট্যাক ওপেন-সোর্স সমাধানের আকারে উন্মুক্ততাকে আলিঙ্গন করে। এই প্রতিশ্রুতি মালিকানাধীন সাইলোগুলিকে দূর করে এবং বিক্রেতা লক-ইনকে প্রশমিত করে, সহযোগিতা, উদ্ভাবন, এবং উন্নত ডেটা অ্যাক্সেসযোগ্যতা বৃদ্ধি করে। উন্মুক্ততার প্রতি উত্সর্গ বিভিন্ন প্ল্যাটফর্ম এবং সরঞ্জাম জুড়ে স্ট্যাকের অভিযোজনযোগ্যতাকে শক্তিশালী করে, অন্তর্ভুক্তি নিশ্চিত করে।

বিজনেস স্ট্যান্ডার্ড হিসেবে ডেটা পোর্টেবিলিটি এবং ইন্টারঅপারেবিলিটি

ডেটা পোর্টেবিলিটি এবং ইন্টারঅপারেবিলিটিকে সত্যিকার অর্থে আলিঙ্গন করা মানে যেখানেই ডেটা তৈরি এবং অ্যাক্সেস করতে সক্ষম হওয়া। এই পদ্ধতিটি নমনীয়তাকে সহজতর করে, সংস্থাগুলিকে বিক্রেতা লক-ইন বা ডেটা সাইলোগুলির দ্বারা সীমাবদ্ধ না হয়ে বিভিন্ন সরঞ্জামগুলির ক্ষমতা ব্যবহার করার অনুমতি দেয়। লক্ষ্য হল ডেটাতে সার্বজনীন অ্যাক্সেস সক্ষম করা, সংস্থাগুলির মধ্যে আরও চটপটে এবং অভিযোজিত ডেটা ইকোসিস্টেম প্রচার করা।

একটি অপারেটিং মডেল হিসাবে ক্লাউড একটি নির্দিষ্ট অবস্থানের পরিবর্তে ক্লাউড-নেটিভ প্রযুক্তির নীতির ভিত্তিতে তৈরি করা হয়েছে তা বোঝা ডেটা বহনযোগ্যতা অর্জনের জন্য গুরুত্বপূর্ণ। কিছু সংগঠন সংগ্রাম এই প্রচেষ্টা এবং একটি অসাধারণ খরচে ক্লাউডে তাদের পথ কেনার প্রচেষ্টা। বাস্তবতা হল যখন ক্লাউড গ্রহণ গড় কোম্পানির জন্য একটি সুযোগ উপস্থাপন করে 20 থেকে 30 শতাংশ লাভজনকতা বৃদ্ধি করুন , প্রকৃত প্রভাব এবং সত্যিকারের খরচ সঞ্চয় আসে ব্যক্তিগত পরিকাঠামোতে ক্লাউড অপারেটিং মডেল গ্রহণ করার মাধ্যমে।

অনেক প্রতিষ্ঠিত সংস্থা সক্রিয়ভাবে এই দর্শনকে গ্রহণ করছে, ক্লাউড থেকে কাজের চাপ প্রত্যাবাসন বেছে নিয়েছে এবং যথেষ্ট খরচ সাশ্রয় করছে, যেমন কোম্পানিগুলির সাথে X.com , 37 সিগন্যাল, এবং একটি প্রধান এন্টারপ্রাইজ নিরাপত্তা সংস্থা গড় সঞ্চয় 60% মেঘ থেকে প্রস্থান। ক্লাউড অপারেটিং মডেল আপাতদৃষ্টিতে পরস্পর বিরোধী ধারণাগুলির সহাবস্থানের অনুমতি দেয়: কোম্পানিগুলি ক্লাউডে স্থানান্তরিত করে এবং কাজের চাপ প্রত্যাবাসন করে উপকৃত হতে পারে। মূল নির্ধারক হ'ল ক্লাউড অপারেটিং মডেল গ্রহণ করা, সংস্থাগুলি কীভাবে অবকাঠামো, উন্নয়ন এবং প্রযুক্তিগত দক্ষতার সাথে যোগাযোগ করে তা মৌলিকভাবে রূপান্তরিত করে। এই মডেলটি নমনীয়তা, দক্ষতা এবং দীর্ঘমেয়াদী সাফল্যের জন্য অপ্টিমাইজ করে – তা পাবলিক ক্লাউডে হোক বা তার বাইরেও – এবং আধুনিক ডেটা স্ট্যাকের ধারণার সাথে সুনির্দিষ্টভাবে ডভেটেল করে, খোলা টেবিল ফর্ম্যাটের সাথে ডেটা বহনযোগ্যতা এবং আন্তঃকার্যক্ষমতা সক্ষম করে।

উপসংহার

ডেটাব্রিক্স, অ্যাপাচি আইসবার্গ এবং হুডির খোলা টেবিল বিন্যাসে সাম্প্রতিক অগ্রগতিগুলি ডেটা ব্যবস্থাপনায় একটি গুরুত্বপূর্ণ মুহূর্ত নির্দেশ করে। ডেল্টা লেক 3.0 এর সার্বজনীন সামঞ্জস্য এবং অ্যাপাচি আইসবার্গের জন্য প্রসারিত সমর্থন ডেটা পরিকাঠামো কোম্পানি এবং স্থল বাস্তবায়নকারী উভয়েরই নিরবিচ্ছিন্ন ডেটা বহনযোগ্যতা এবং আন্তঃকার্যযোগ্যতার প্রতিশ্রুতি প্রদর্শন করে।

এই উন্নয়নগুলি আধুনিক ডেটা স্ট্যাকের অন্তর্নিহিত মডুলারিটির সাথে সারিবদ্ধ, যেখানে খোলা টেবিল ফরম্যাটগুলি কর্মক্ষমতা এবং সম্মতি মান অর্জনে কেন্দ্রীয় ভূমিকা পালন করে। এই স্থানান্তরটি বিচ্ছিন্ন নয় তবে ক্লাউড অপারেটিং মডেলের সাথে ছেদ করে। পাবলিক ক্লাউডের লোভের বাইরে, ব্যক্তিগত অবকাঠামোতে ক্লাউড অপারেটিং মডেলকে আলিঙ্গন করার মাধ্যমে প্রকৃত প্রভাব এবং খরচ সাশ্রয় হয়।

ওপেন টেবিল ফরম্যাট, আধুনিক ডেটা স্ট্যাক এবং ক্লাউড অপারেটিং মডেলের সঙ্গম তথ্য ব্যবস্থাপনায় একটি রূপান্তরমূলক যুগকে নির্দেশ করে। এই পদ্ধতিটি বিভিন্ন পরিবেশে অভিযোজনযোগ্যতা নিশ্চিত করে, তা সরকারী বা ব্যক্তিগত হোক না কেন, অন-প্রিম অন এজ। যারা ডেটা লেক আর্কিটেকচার জটিলতা নেভিগেট করছেন তাদের জন্য, MinIO-তে আমাদের টিম সহায়তা করার জন্য প্রস্তুত। আমাদের সাথে [email protected] বা আমাদের সাথে যোগ দিন স্ল্যাক আপনি আপনার ডেটা যাত্রা শুরু করার সাথে সাথে সহযোগিতামূলক আলোচনার জন্য চ্যানেল।