গভীর লেক, গভীর শিক্ষার জন্য একটি লেকহাউস: উপসংহার, স্বীকৃতি, এবং উল্লেখ

লিঙ্কের টেবিল

• বিমূর্ত এবং ভূমিকা
• বর্তমান চ্যালেঞ্জ
• টেনসর স্টোরেজ ফরম্যাট
• গভীর লেক সিস্টেম ওভারভিউ
• মেশিন লার্নিং ব্যবহারের ক্ষেত্রে
• কর্মক্ষমতা মানদণ্ড
• আলোচনা এবং সীমাবদ্ধতা
• সম্পর্কিত কাজ
• উপসংহার, স্বীকৃতি, এবং রেফারেন্স

9. উপসংহার

আমরা ডিপ লেক, গভীর শিক্ষার জন্য লেকহাউস উপস্থাপন করেছি। ডিপ লেক আধুনিক ডেটা স্ট্যাকে বিশ্লেষণাত্মক কর্মপ্রবাহের মতো গভীর শিক্ষার কর্মপ্রবাহগুলিকে নির্বিঘ্নে চালাতে সহায়তা করার জন্য ডিজাইন করা হয়েছে। উল্লেখযোগ্যভাবে, ডিপ লেকটি ডেটা লেকের বিশিষ্ট বৈশিষ্ট্যগুলিকে ধরে রাখার জন্য তৈরি করা হয়েছে, যেমন সময় ভ্রমণ, অনুসন্ধান এবং স্কেলে দ্রুত ডেটা ইনজেশন। প্রথাগত ডেটা লেক থেকে একটি গুরুত্বপূর্ণ পার্থক্য হল ডিপ লেক এর সমস্ত মেটাডেটা ডিপ লার্নিং-নেটিভ কলামার ফর্ম্যাটে অসংগঠিত ডেটা সংরক্ষণ করার ক্ষমতা, যা দ্রুত ডেটা স্ট্রিমিং সক্ষম করে। এটি ফ্লাইতে ডেটা উপসেটগুলিকে বাস্তবায়িত করতে, ব্রাউজারে সেগুলিকে ভিজ্যুয়ালাইজ করতে, বা GPU ব্যবহারকে ত্যাগ না করে গভীর শিক্ষার ফ্রেমওয়ার্কগুলিতে প্রবেশ করার অনুমতি দেয়৷ অবশেষে, আমরা দেখাই যে ডিপ লেক একাধিক বেঞ্চমার্কের মাধ্যমে বড় ডেটাসেটে গভীর শিক্ষার জন্য অত্যাধুনিক পারফরম্যান্স অর্জন করে।

10. স্বীকৃতি

লেখকরা ধন্যবাদ জানাতে চাই রিচার্ড সোচার, ট্র্যাভিস অলিফ্যান্ট, চারু রুদ্রাক্ষী, আর্টেম হারুটিউনিয়ান, ইয়াসন ওফিডিস, ডিয়েগো কিডানস্কি, বিষ্ণু নায়ার, ফায়াজ রহমান, ডিলান ম্যাকক্রিরি, বেঞ্জামিন হিন্দম্যান, এডুয়ার্ড গ্রিগরিয়ান, ক্রিস্টিনা গ্রিগোরিয়ান, বেন আন্দিউরুশ, বেন চিসলেট লিমিট, ক্রিস্টিনা। , আসাফ পিনহাসি, বিষ্ণু নায়ার, এশান অরোরা, শশাঙ্ক আগরওয়াল, পাওয়েল জানোস্কি, ক্রিস্টিনা আরেজিনা, গেভর্গ কারাপেটিয়ান, ভিজেন সহকিয়ান এবং ওপেন সোর্স সম্প্রদায় সহ অবদানকারীরা। প্রকল্পটি অ্যাক্টিভলুপ দ্বারা অর্থায়ন করা হয়েছিল। আমরা CIDR পর্যালোচনাকারীদের তাদের প্রতিক্রিয়ার জন্য ধন্যবাদ জানাই।

তথ্যসূত্র

[১] ২০০৬. অ্যামাজন এস৩। GitHub 2022, 1 (2006)। https://aws.amazon। com/s3

[২] ২০০৯। ক্লিকহাউস। GitHub 2022, 1 (2009)। https://github.com/ ClickHouse/ClickHouse

[৩] 2010. গুগল ক্লাউড স্টোরেজ। GitHub 2022, 1 (2010)। https://cloud.google.com/storage

[৪] 2012. Google BigQuery. GitHub 2022, 1 (2012)। https://Cloud. google.com/bigquery

[৫] 2014. প্রোটোকল বাফারস - গুগলের ডেটা ইন্টারচেঞ্জ ফরম্যাট। GitHub 2022, 1 (2014)। https://github.com/protocolbuffers/ protobuf

[6] 2015. অ্যাপাচি সফ্টওয়্যার ফাউন্ডেশন: অ্যাপাচি ওআরসি। GitHub 2022, 1 (2015)। https://github.com/apache/orc

[7] 2016. পালক। GitHub 2022, 1 (2016)। https://github.com/ wesm/feather

[৮] 2016. ওয়েভিয়েট: ML-প্রথম ভেক্টর সার্চ ইঞ্জিন। GitHub 2022, 1 (2016)। https://github.com/semi-technologies/weaviate

[৯] 2017. অ্যাপাচি এয়ারফ্লো। GitHub 2022, 1 (2017)। http://এয়ারফ্লো। incubator.apache.org

[১০] 2017. অ্যাপাচি সফটওয়্যার ফাউন্ডেশন: অ্যাপাচি হুডি। GitHub 2022, 1 (2017)। https://hudi.apache.org

[১১] 2017. ক্লাউড ভলিউম: নিউরোগ্ল্যান্সার ডেটাসেটের জন্য আইও। GitHub 2022, 1 (2017)। https://github.com/seung-lab/cloud-volume

[12] 2018. অ্যামাজন অ্যাথেনা। GitHub 2022, 1 (2018)। https://aws. amazon.com/athena

[১৩] 2018. অ্যাপাচি সফটওয়্যার ফাউন্ডেশন: অ্যাপাচি অ্যারো। GitHub 2022, 1 (2018)। https://arrow.apache.org

[১৪] 2018. অ্যাপাচি সফ্টওয়্যার ফাউন্ডেশন: অ্যাপাচি হাদুপ। GitHub 2022, 1 (2018)। https://hadoop.apache.org

[১৫] 2018. অ্যাপাচি সফটওয়্যার ফাউন্ডেশন: অ্যাপাচি আইসবার্গ। GitHub 2022, 1 (2018)। https://iceberg.apache.org

[16] 2018. ফিস্ট: মেশিন লার্নিংয়ের জন্য ওপেন সোর্স ফিচার স্টোর। GitHub 2022, 1 (2018)। https://github.com/feast-dev/feast

[17] 2018. MinIO হাই পারফরম্যান্স অবজেক্ট স্টোরেজ সার্ভার Amazon S3 API এর সাথে সামঞ্জস্যপূর্ণ। GitHub 2022, 1 (2018)। https://github.com/minio/minio

[18] 2018. পেটাস্টর্ম। GitHub 2022, 1 (2018)। https://github.com/ uber/petastorm [19] 2018. ওয়েবডেটাসেট ফর্ম্যাট। GitHub 2022, 1 (2018)। https://github.com/webdataset/webdataset

[20] 2019. অ্যাপাচি সফটওয়্যার ফাউন্ডেশন: অ্যাপাচি অভ্র। GitHub 2019, 1 (2019)। https://avro.apache.org

[২১] 2019. LakeFS: Git-এর মতো সংগ্রহস্থল সহ ডেটা লেক। GitHub 2022, 1 (2019)। https://github.com/treeverse/lakeFS

[২২] ২০২০। এয়ারবাইট। GitHub 2022, 1 (2020)। https://github.com/ airbytehq/airbyte

[২৩] 2020. টেনসরস্টোর: বড় বহুমাত্রিক অ্যারে পড়ার এবং লেখার জন্য লাইব্রেরি। GitHub 2022, 1 (2020)। https://github. com/google/tensorstore

[২৪] 2021. N5: HDF5-এর অনুরূপ গোষ্ঠীর অনুরূপ শ্রেণীবিন্যাসে বড় খণ্ডিত এন-ডাইমেনশনাল টেনসর এবং নির্বিচারে মেটা-ডেটা সংরক্ষণ করার জন্য প্রয়োজনীয় আদিম ক্রিয়াকলাপগুলি নির্দিষ্ট করে। GitHub 2021, 1 (2021)। https://github.com/saalfeldlab/n5

[২৫] মার্টিন আবাদি, পল বারহাম, জিয়ানমিন চেন, ঝিফেং চেন, অ্যান্ডি ডেভিস, জেফ্রি ডিন, ম্যাথিউ ডেভিন, সঞ্জয় ঘেমাওয়াত, জিওফ্রে আরভিং, মাইকেল ইসার্ড, এবং অন্যান্য। 2016. টেনসরফ্লো: বড় আকারের মেশিন লার্নিংয়ের জন্য একটি সিস্টেম। 12তম {USENIX} সিম্পোজিয়াম অন অপারেটিং সিস্টেম ডিজাইন অ্যান্ড ইমপ্লিমেন্টেশনে ({OSDI} 16)। 265-283।

[২৬] অ্যালেক্স আইজম্যান, গ্যাভিন মাল্টবি এবং টমাস ব্রুয়েল। 2019. বড় আকারের গভীর শিক্ষার জন্য উচ্চ কার্যক্ষমতা I/O। 2019 সালে বিগ ডেটা (বিগ ডেটা) নিয়ে IEEE আন্তর্জাতিক সম্মেলন। IEEE, 5965– 5967।

[২৭] মাইকেল আরমব্রাস্ট, তথাগত দাস, লিওয়েন সান, বুরাক ইয়াভুজ, শিক্সিয়ং ঝু, মুকুল মূর্তি, জোসেফ টরেস, হারমান ভ্যান হোভেল, আদ্রিয়ান আইওনেস্কু, অ্যালিকজা লাউসজাক, এবং অন্যান্য। 2020. ডেল্টা হ্রদ: ক্লাউড অবজেক্ট স্টোরের উপরে উচ্চ-পারফরম্যান্সের ACID টেবিল স্টোরেজ। ভিএলডিবি এনডাউমেন্টের কার্যধারা 13, 12 (2020), 3411–3424। [২৮] মাইকেল আরমব্রাস্ট, আলি ঘোডসি, রেনল্ড জিন এবং মাতেই জাহারিয়া। 2021. লেকহাউস: একটি নতুন প্রজন্মের উন্মুক্ত প্ল্যাটফর্ম যা ডেটা গুদামজাতকরণ এবং উন্নত বিশ্লেষণকে একীভূত করে। CIDR এর কার্যধারায়।

[২৯] আলেক্সি বেয়েভস্কি, ওয়েই-নিং হু, কিয়ানটং জু, অরুণ বাবু, জিয়াতাও গু এবং মাইকেল আউলি। 2022. Data2vec: বক্তৃতা, দৃষ্টি এবং ভাষাতে স্ব-তত্ত্বাবধানে শিক্ষার জন্য একটি সাধারণ কাঠামো। arXiv প্রিপ্রিন্ট arXiv:2202.03555 (2022)।

[৩০] ডিজমিত্রি বাহদানাউ, কিউংহিউন চো এবং ইয়োশুয়া বেঙ্গিও। 2014. যৌথভাবে সারিবদ্ধ এবং অনুবাদ শেখার মাধ্যমে নিউরাল মেশিন অনুবাদ। arXiv প্রিপ্রিন্ট arXiv:1409.0473 (2014)।

[৩১] জেমস ব্র্যাডবেরি, রয় ফ্রস্টিগ, পিটার হকিন্স, ম্যাথিউ জেমস জনসন, ক্রিস লিরি, ডগাল ম্যাকলরিন, জর্জ নেকুলা, অ্যাডাম পাসজকে, জেক ভ্যান্ডারপ্লাস, স্কাই ওয়ান্ডারম্যান-মিলনে এবং কিয়াও ঝাং। 2018. JAX: Python+NumPy প্রোগ্রামের সংমিশ্রণযোগ্য রূপান্তর। http://github.com/google/jax

[৩২] টম ব্রাউন, বেঞ্জামিন মান, নিক রাইডার, মেলানি সুব্বিয়া, জ্যারেড ডি কাপলান, প্রফুল্ল ধারিওয়াল, অরবিন্দ নীলকান্তন, প্রণব শ্যাম, গিরিশ শাস্ত্রী, আমান্ডা অ্যাস্কেল, এবং অন্যান্য। 2020. ভাষার মডেল অল্প-শট লার্নার্স। নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি 33 (2020), 1877-1901।

[৩৩] বেনোইট ডেজভিল, থিয়েরি ক্রুয়েনস, মার্সিন জুকোস্কি, ভাদিম আন্তোনোভ, আর্টিন অ্যাভানেস, জন বক, জোনাথন ক্লেবাঘ, ড্যানিয়েল এনগোভাটভ, মার্টিন হেনশেল, জিয়ানশেং হুয়াং, এবং অন্যান্য। 2016. স্নোফ্লেক ইলাস্টিক ডাটা গুদাম। তথ্য ব্যবস্থাপনা সংক্রান্ত 2016 আন্তর্জাতিক সম্মেলনের কার্যপ্রণালীতে। 215-226।

[৩৪] জিয়া ডেং, ওয়েই ডং, রিচার্ড সোচার, লি-জিয়া লি, কাই লি, এবং লি ফেই-ফেই। 2009. ইমেজনেট: একটি বৃহৎ-স্কেল শ্রেণিবিন্যাস চিত্র ডাটাবেস। 2009 সালে কম্পিউটার ভিশন এবং প্যাটার্ন স্বীকৃতির উপর IEEE সম্মেলন। আইইইই, 248-255।

[৩৫] জে. ডেং, ডব্লিউ ডং, আর. সোচার, এল.-জে. লি, কে. লি, এবং এল. ফেই-ফেই। 2009. ইমেজনেট: একটি বৃহৎ-স্কেল হায়ারার্কিক্যাল ইমেজ ডেটাবেস। CVPR09 এ।

[৩৬] জ্যাকব ডেভলিন, মিং-ওয়েই চ্যাং, কেন্টন লি, এবং ক্রিস্টিনা টাউটানোভা। 2018. বার্ট: ভাষা বোঝার জন্য গভীর দ্বিমুখী ট্রান্সফরমারের প্রাক-প্রশিক্ষণ। arXiv প্রিপ্রিন্ট arXiv:1810.04805 (2018)।

[৩৭] মার্কাস ড্রেসলার, জান কোসম্যান, মার্টিন বোইসিয়ার, স্টেফান ক্লাউক, ম্যাথিয়াস উফ্লাকার, এবং হ্যাসো প্লাটনার। 2019. হাইরাইজ রি-ইঞ্জিনিয়ারড: রিলেশনাল ইন-মেমরি ডেটা ম্যানেজমেন্টে গবেষণার জন্য একটি এক্সটেনসিবল ডেটাবেস সিস্টেম। ডেটাবেস প্রযুক্তির অগ্রগতিতে - ডেটাবেস প্রযুক্তি সম্প্রসারণ বিষয়ে 22 তম আন্তর্জাতিক সম্মেলন, EDBT 2019, লিসবন, পর্তুগাল, 26-29 মার্চ, 2019, মেলানি হার্শেল, হেলেনা গালহারদাস, বার্থহোল্ড রেইনওয়াল্ড, ইরিনি ফান্ডুলাকি, কারস্টেন বিনিগ, এবং ইডিবিটি। . OpenProceedings.org, 313-324। https://doi.org/10.5441/002/edbt। 2019.28

[৩৮] ইয়ান গুডফেলো, ইয়োশুয়া বেঙ্গিও এবং অ্যারন কোরভিল। 2016. গভীর শিক্ষা। এমআইটি প্রেস।

[৩৯] অ্যান্ড্রু ইলিয়াস স্যাম পার্ক হাদি সালমান গুইলাউম লেক্লারক, লোগান ইংস্ট্রম। 2021. ওয়েবডেটাসেট ফর্ম্যাট। GitHub 2022, 1 (2021)। https://github.com/libffcv/ffcv

[৪০] অনুরাগ গুপ্ত, দীপক আগরওয়াল, ডেরেক টান, জ্যাকুব কুলেজা, রাহুল পাঠক, স্টেফানো স্টেফানি, এবং বিদ্যা শ্রীনিবাসন। 2015. অ্যামাজন রেডশিফ্ট এবং সহজ ডেটা গুদামগুলির জন্য কেস৷ তথ্য ব্যবস্থাপনার উপর 2015 ACM SIGMOD আন্তর্জাতিক সম্মেলনের কার্যপ্রণালীতে। 1917-1923।

[৪১] ডং হে, সুপুন নাকান্দালা, দলিতসো বান্দা, রথিজিৎ সেন, কার্লা সৌর, কোয়াংহিয়ুন পার্ক, কার্লো কুরিনো, জেসুস ক্যামাচোরোদ্রিগেজ, কনস্টান্টিনোস কারানাসোস এবং মাত্তেও ইন্টারল্যান্ডি। 2022. টেনসর কম্পিউটেশন রানটাইম নিয়ে কোয়েরি প্রসেসিং। arXiv প্রিপ্রিন্ট arXiv:2203.01877 (2022)।

[৪২] ইউ হুয়াং এবং ইউ চেন। 2020. গভীর শিক্ষা সহ অত্যাধুনিক স্বায়ত্তশাসিত ড্রাইভিং প্রযুক্তির সমীক্ষা। 2020 সালে IEEE 20 তম আন্তর্জাতিক সম্মেলন সফ্টওয়্যার গুণমান, নির্ভরযোগ্যতা এবং নিরাপত্তা সহচর (QRS-C)। IEEE, 221-228।

[৪৩] তেরো কাররাস, সামুলি লেইন এবং টিমো আইলা। 2019. জেনারেটিভ অ্যাডভারসারিয়াল নেটওয়ার্কের জন্য একটি শৈলী-ভিত্তিক জেনারেটর আর্কিটেকচার। কম্পিউটার দৃষ্টি এবং প্যাটার্ন স্বীকৃতির উপর IEEE/CVF সম্মেলনের কার্যপ্রণালীতে। 4401-4410।

[৪৪] অ্যালেক্স ক্রিজেভস্কি, ইলিয়া সুটস্কেভার এবং জিওফ্রে ই হিন্টন। 2012. গভীর কনভোলিউশনাল নিউরাল নেটওয়ার্ক সহ ইমেজেনেট শ্রেণীবিভাগ। নিউরাল তথ্য প্রক্রিয়াকরণ সিস্টেমের অগ্রগতিতে. 1097-1105। গভীর হ্রদ: গভীর শিক্ষার জন্য একটি লেকহাউস

[৪৫] অভিষেক বিজয় কুমার এবং মুথিয়ান শিবাথানু। 2020. Quiver: গভীর শিক্ষার জন্য একটি তথ্য স্টোরেজ ক্যাশে। ফাইল এবং স্টোরেজ প্রযুক্তির উপর 18তম ইউসেনিক্স সম্মেলনে (ফাস্ট 20)। 283-296।

[৪৬] রুসলান কুপ্রিয়েভ, স্কশেট্রি, দিমিত্রি পেট্রোভ, পাওয়েল রেডজিনস্কি, পিটার রোল্যান্ডস, ক্যাসপার দা কোস্টা-লুইস, আলেকজান্ডার শেপানোভস্কি, ইভান শেকলিন, বাতুহান তাসকায়া, গাও, জর্জ অর্পিনেল, ডেভিড দে লা ইগলেসিয়া কাস্ত্রো, ফ্যাবিও শর্মা, দাভেস, বেরেনবাউম, ঝানিবেক, দানি হোডোভিচ, নিকিতা কোডেনকো, অ্যান্ড্রু গ্রিগোরেভ, আর্ল, ড্যানিয়েল, নবনীতা ড্যাশ, জর্জ ভিশনিয়া, মায়কুলকার্নি, ম্যাক্স হোরা, ভেরা, সানিধ্য মঙ্গল এবং ওজসিচ বারানভস্কি। 2022. DVC: ডেটা সংস্করণ নিয়ন্ত্রণ - ডেটা এবং মডেলগুলির জন্য গিট। https://doi.org/10.5281/zenodo.7039863

[৪৭] ইয়ান লেকুন, ইয়োশুয়া বেঙ্গিও এবং জিওফ্রে হিন্টন। 2015. গভীর শিক্ষা। প্রকৃতি 521, 7553 (2015), 436।

[৪৮] কিসুক লি, জোনাথন জুং, পিটার লি, বীরেন জৈন এবং এইচ সেবাস্তিয়ান সেউং। 2017. SNEMI3D কানেক্টমিক্স চ্যালেঞ্জে অতিমানবীয় নির্ভুলতা। arXiv প্রিপ্রিন্ট arXiv:1706.00120 (2017)।

[৪৯] সুং-ই লিন, মাইকেল মায়ার, সার্জ বেলঙ্গি, জেমস হেইস, পিট্রো পেরোনা, দেব রামানান, পিওর ডলার এবং সি লরেন্স জিটনিক। 2014. Microsoft coco: প্রেক্ষাপটে সাধারণ বস্তু। কম্পিউটার ভিশনের উপর ইউরোপীয় সম্মেলনে। স্প্রিংগার, 740-755।

[৫০] ফ্রাঙ্ক সিফেই লুয়ান, স্টেফানি ওয়াং, সম্যুক্ত ইয়াগাতি, শন কিম, কেনেথ লিয়েন, সাংবিন চো, এরিক লিয়াং এবং ইয়ন স্টোইকা। 2022. এক্সোশাফেল: অ্যাপ্লিকেশান লেভেলে বড় আকারের হাতবদল৷ arXiv প্রিপ্রিন্ট arXiv:2203.05072 (2022)।

[৫১] টমাস মিকোলভ, কাই চেন, গ্রেগ কোরাডো এবং জেফরি ডিন। 2013. ভেক্টর স্পেসে শব্দ উপস্থাপনের দক্ষ অনুমান। arXiv প্রিপ্রিন্ট arXiv:1301.3781 (2013)।

[৫২] অ্যালিস্টেয়ার মাইলস, জন কিরখাম, মার্টিন ডুরান্ট, জেমস বোরবেউ, তারিক ওনালান, জো হ্যাম্যান, জেইন প্যাটেল, শিখরসগ, ম্যাথিউ রকলিন, রাফেল ডসিন, ভিনসেন্ট শুট, এলিয়ট সেলস ডি অ্যান্ড্রেড, রায়ান আবেরনাথে, চার্লস নয়েস, sbalmer, sbalmer. আইও বট, টমি ট্রান, স্টেফান সালফেল্ড, জাস্টিন সোয়ানি, জোশ মুর, জো জেভনিক, জেরোম কেলেহার, জান ফাঙ্ক, জর্জ সাকিস, ক্রিস বার্নস এবং অ্যান্ডারসন বানিহিরওয়ে। 2020. zarr-developers/zarrpython: v2.4.0. https://doi.org/10.5281/zenodo.3773450

[৫৩] ফিলিপ মরিটজ, রবার্ট নিশিহারা, স্টেফানি ওয়াং, অ্যালেক্সি তুমানভ, রিচার্ড লিয়াও, এরিক লিয়াং, মেলিহ এলিবোল, জোংহেং ইয়াং, উইলিয়াম পল, মাইকেল আই জর্ডান, এট আল। 2018. রে: উদীয়মান {AI} অ্যাপ্লিকেশনগুলির জন্য একটি বিতরণ করা কাঠামো৷ 13তম {USENIX} সিম্পোজিয়াম অন অপারেটিং সিস্টেম ডিজাইন অ্যান্ড ইমপ্লিমেন্টেশনে ({OSDI} 18)। 561-577।

[৫৪] ইয়াসন ওফিডিস, ডিয়েগো কিডানস্কি এবং লিয়েন্দ্রোস তাসিউলাস। 2022. ডেটা-লোডার ল্যান্ডস্কেপের একটি ওভারভিউ: তুলনামূলক কর্মক্ষমতা বিশ্লেষণ। arXiv প্রিপ্রিন্ট arXiv:2209.13705 (2022)। [

55] ট্র্যাভিস ই অলিফ্যান্ট। 2006. NumPy-এর জন্য একটি গাইড। ভলিউম 1. ট্রেলগোল পাবলিশিং ইউএসএ।

[৫৬] অ্যারন ভ্যান ডেন ওর্ড, স্যান্ডার ডিলেম্যান, হেইগা জেন, কারেন সিমোনিয়ান, ওরিওল ভিনিয়ালস, অ্যালেক্স গ্রেভস, নাল কালচব্রেনার, অ্যান্ড্রু সিনিয়র এবং কোরে কাভুকুওগ্লু। 2016. ওয়েভেনেট: কাঁচা অডিওর জন্য একটি জেনারেটিভ মডেল। arXiv প্রিপ্রিন্ট arXiv:1609.03499 (2016)।

[৫৭] স্ট্যাভ্রোস পাপাডোপোলোস, কুশল দত্ত, স্যামুয়েল ম্যাডেন এবং টিমোথি ম্যাটসন। 2016. টাইল্ডবি অ্যারে ডেটা স্টোরেজ ম্যানেজার। ভিএলডিবি এনডাউমেন্ট 10, 4 (2016), 349–360 এর কার্যক্রম।

[৫৮] অ্যাডাম পাসজকে, স্যাম গ্রস, সৌমিথ চিন্তলা, গ্রেগরি চ্যানান, এডওয়ার্ড ইয়াং, জাচারি ডিভিটো, জেমিং লিন, আলবান ডেসমাইসন, লুকা অ্যান্টিগা এবং অ্যাডাম লারার। 2017. পাইটর্চে স্বয়ংক্রিয় পার্থক্য। (2017)।

[৫৯] মাশা বাসমানোভা কেভিন উইলফং লাইথ সাক্কা কৃষ্ণ পাই ওয়েই তিনি বিশ্বপেশ চট্টোপাধ্যায় পেদ্রো পেড্রেইরা, অরি এরলিং। 2022. ভেলোক্স: মেটার ইউনিফাইড এক্সিকিউশন ইঞ্জিন। ভিএলডিবি এনডাউমেন্টের কার্যক্রম (2022)।

[৬০] অ্যালেক র‌্যাডফোর্ড, জং উক কিম, ক্রিস হ্যালাসি, আদিত্য রমেশ, গ্যাব্রিয়েল গো, সন্ধিনি আগরওয়াল, গিরিশ শাস্ত্রী, আমান্ডা অ্যাস্কেল, পামেলা মিশকিন, জ্যাক ক্লার্ক, এট আল। 2021. প্রাকৃতিক ভাষা তত্ত্বাবধান থেকে স্থানান্তরযোগ্য ভিজ্যুয়াল মডেল শেখা। মেশিন লার্নিং এর আন্তর্জাতিক সম্মেলনে। PMLR, 8748–8763।

[৬১] প্রণব রাজপুরকার, জেরেমি আরভিন, কাইলি ঝু, ব্র্যান্ডন ইয়াং, হার্শেল মেহতা, টনি ডুয়ান, ডেইজি ডিং, আরতি বাগুল, কার্টিস ল্যাংলোটজ, কেটি স্পানস্কায়া, এবং অন্যান্য। 2017. চেক্সনেট: গভীর শিক্ষার সাথে বুকের এক্স-রেগুলিতে রেডিওলজিস্ট স্তরের নিউমোনিয়া সনাক্তকরণ। arXiv প্রিপ্রিন্ট arXiv:1711.05225 (2017)।

[৬২] আদিত্য রমেশ, মিখাইল পাভলভ, গ্যাব্রিয়েল গো, স্কট গ্রে, চেলসি ভস, অ্যালেক র‌্যাডফোর্ড, মার্ক চেন এবং ইলিয়া সুটস্কেভার। 2021. জিরো-শট টেক্সট-টু-ইমেজ জেনারেশন। মেশিন লার্নিং এর আন্তর্জাতিক সম্মেলনে। PMLR, 8821–8831।

[৬৩] জোসেফ রেডমন, সন্তোষ দিভভালা, রস গিরশিক এবং আলি ফারহাদি। 2016. আপনি শুধুমাত্র একবার দেখুন: ইউনিফাইড, রিয়েল-টাইম অবজেক্ট ডিটেকশন। কম্পিউটার ভিশন এবং প্যাটার্ন স্বীকৃতির উপর IEEE সম্মেলনের কার্যপ্রণালীতে। 779-788।

[64] অমিত সবনে। 2020. Xla: সর্বোচ্চ পারফরম্যান্সের জন্য মেশিন লার্নিং কম্পাইল করা। (2020)।

[৬৫] চিতওয়ান সাহারিয়া, উইলিয়াম চ্যান, সৌরভ সাক্সেনা, লালা লি, জে ওয়াং, এমিলি ডেন্টন, সৈয়দ কামিয়ার সৈয়দ ঘাসেমিপুর, বুরকু কারাগোল আয়ান, এস সারা মাহদাভি, রাফা গোন্টিজো লোপেস, এবং অন্যান্য। 2022. গভীর ভাষা বোঝার সাথে ফটোরিয়ালিস্টিক টেক্সট-টু-ইমেজ ডিফিউশন মডেল। arXiv প্রিপ্রিন্ট arXiv:2205.11487 (2022)।

[৬৬] টম ভ্যান বুসেল স্যামওয়েল, হারম্যান ভ্যান হোভেল, মেরিয়ান জুই, রেনল্ড জিন এবং মাতেই জাহারিয়া। 2022. ফোটন: লেকহাউস সিস্টেমের জন্য একটি দ্রুত ক্যোয়ারী ইঞ্জিন। (2022)।

[৬৭] ক্রিস্টোফ শুহম্যান, রোমেন বিউমন্ট, কেড ডব্লিউ গর্ডন, রস উইটম্যান, থিও কুম্বস, আরুশ কাট্টা, ক্লেটন মুলিস, প্যাট্রিক শ্রামোস্কি, শ্রীভাতসা আর কুন্দুরথি, ক্যাথরিন ক্রাউসন, এট আল। 2022. LAION-5B: পরবর্তী প্রজন্মের ইমেজ-টেক্সট মডেল প্রশিক্ষণের জন্য একটি উন্মুক্ত বৃহৎ-স্কেল ডেটাসেট। (2022)।

[৬৮] ক্রিস্টোফ শুহম্যান, রিচার্ড ভেনকু, রোমেন বিউমন্ট, রবার্ট ক্যাজমার্কজিক, ক্লেটন মুলিস, আরুশ কাট্টা, থিও কোম্বেস, জেনিয়া জিতসেভ এবং আরান কোমাতসুজাকি। 2021. Laion400m: ক্লিপ-ফিল্টার করা 400 মিলিয়ন ইমেজ-টেক্সট জোড়ার ওপেন ডেটাসেট। arXiv প্রিপ্রিন্ট arXiv:2111.02114 (2021)।

[69] ফিলিপ শোয়ান এবং অন্যান্য. 2003. Lustre: 1000-নোড ক্লাস্টারের জন্য একটি ফাইল সিস্টেম তৈরি করা। 2003 লিনাক্স সিম্পোজিয়ামের কার্যপ্রণালীতে, ভলিউম। 2003. 380-386।

[৭০] রাঘব শেঠি, মার্টিন ট্র্যাভারসো, ডেইন সান্ডস্ট্রম, ডেভিড ফিলিপস, ওয়েনলেই জি, ইউতিয়ান সান, নেজিহ ইয়েগিটবাসি, হাওঝুন জিন, এরিক হোয়াং, নীলিমা শিংটে, এবং অন্যান্য। 2019. Presto: সবকিছুতে SQL। 2019 সালে IEEE 35 তম ইন্টারন্যাশনাল কনফারেন্স অন ডাটা ইঞ্জিনিয়ারিং (ICDE)। IEEE, 1802-1813।

[71] কনস্ট্যান্টিন শভাচকো, হেয়ারং কুয়াং, সঞ্জয় রাদিয়া, রবার্ট চ্যান্সলার, এবং অন্যান্য। 2010. হ্যাডুপ ফাইল সিস্টেম বিতরণ করেছে.. এমএসএসটি, ভলিউম। 10. 1-10।

[৭২] ডেভিড সিলভার, থমাস হুবার্ট, জুলিয়ান স্ক্রিটউইজার, আইওনিস আন্তোনোগ্লো, ম্যাথিউ লাই, আর্থার গুয়েজ, মার্ক ল্যানকটট, লরেন্ট সিফ্রে, ধরশান কুমারান, থোর গ্রেপেল, এট আল। 2018. একটি সাধারণ শক্তিবৃদ্ধি শেখার অ্যালগরিদম যা দাবা, শোগি এবং স্ব-খেলাতে দক্ষতা অর্জন করে। বিজ্ঞান 362, 6419 (2018), 1140–1144।

[৭৩] কে স্টাম্প, এস বেদ্রাতিউক এবং ও সিরিট। 2018. Michelangelo PyML: দ্রুত পাইথন ML মডেল ডেভেলপমেন্টের জন্য Uber-এর প্ল্যাটফর্ম প্রবর্তন করছে। উবার। দেখুন: https://eng. uber com/michelangelo-pyml (2018)।

[৭৪] পেড্রো জাভিয়ের অর্টিজ সুয়ারেজ, বেনোইট সাগোট এবং লরেন্ট রোমারি। 2019. মাঝারি থেকে নিম্ন সম্পদ অবকাঠামোতে বিশাল কর্পোরা প্রক্রিয়াকরণের জন্য অসিঙ্ক্রোনাস পাইপলাইন। বড় কর্পোরার ব্যবস্থাপনার চ্যালেঞ্জের উপর 7 তম কর্মশালা (CMLC-7)। Leibniz-Institut für Deutsche Sprache.

[75] কাঠবিড়ালি ডেভেলপার দল. 2022. কাঠবিড়ালি: একটি পাইথন লাইব্রেরি যা ML টিমগুলিকে সহযোগিতামূলক, নমনীয় এবং দক্ষ উপায়ে ডেটা ভাগ করতে, লোড করতে এবং রূপান্তর করতে সক্ষম করে৷ গিটহাব। দ্রষ্টব্য: https://github.com/merantix-momentum/squirrel-core (2022)। https://doi.org/10.5281/zenodo.6418280

[৭৬] আশিস থুসু, জয়দীপ সেন সরমা, নমিত জৈন, ঝেং শাও, প্রসাদ চাক্কা, নিং ঝাং, সুরেশ অ্যান্টনি, হাও লিউ এবং রাঘোথাম মূর্তি। 2010. হ্যাডুপ ব্যবহার করে হাইভ-একটি পেটাবাইট স্কেল ডেটা গুদাম। 2010 সালে IEEE 26 তম আন্তর্জাতিক কনফারেন্স অন ডাটা ইঞ্জিনিয়ারিং (ICDE 2010)। IEEE, 996-1005।

[৭৭] ক্যাথরিন টুনিয়াসুভুনাকুল, জোনাস অ্যাডলার, জ্যাচারি উ, টিম গ্রিন, মাইকেল জিলিনস্কি, অগাস্টিন জিডেক, অ্যালেক্স ব্রিজল্যান্ড, অ্যান্ড্রু কাউই, ক্লেমেন্স মেয়ার, আগাটা লেডন, এবং অন্যান্য। 2021. মানুষের প্রোটিওমের জন্য অত্যন্ত সঠিক প্রোটিন গঠনের পূর্বাভাস। প্রকৃতি 596, 7873 (2021), 590-596।

[৭৮] আশিস ভাসওয়ানি, নোম শাজির, নিকি পারমার, জ্যাকব উসকোরিট, লিয়ন জোন্স, আইদান এন গোমেজ, লুকাস কায়সার, এবং ইলিয়া পোলোসুখিন। 2017. মনোযোগ আপনার প্রয়োজন. নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি 30 (2017)।

[৭৯] দীপক ভোহরা। 2016. অ্যাপাচি কাঠবাদাম। ব্যবহারিক হাদুপ ইকোসিস্টেমে। স্প্রিংগার, 325-335।

[৮০] জিয়াংগুও ওয়াং, জিয়াওমেং ই, রেন্টং গুও, হাই জিন, পেং জু, শেংজুন লি, জিয়াংইউ ওয়াং, জিয়াংজু গুও, চেংমিং লি, জিয়াওহাই জু, এট আল। 2021. মিলভাস: একটি উদ্দেশ্য-নির্মিত ভেক্টর ডেটা ম্যানেজমেন্ট সিস্টেম। তথ্য ব্যবস্থাপনা সংক্রান্ত 2021 আন্তর্জাতিক সম্মেলনের কার্যপ্রণালীতে। 2614-2627।

[৮১] ঝিলিন ইয়াং, জিহাং দাই, ইমিং ইয়াং, জেইম কার্বনেল, রুস আর সালাখুতদিনভ, এবং কুওক ভি লে। 2019. Xlnet: ভাষা বোঝার জন্য সাধারণীকৃত অটোরিগ্রেসিভ প্রিট্রেনিং। নিউরাল ইনফরমেশন প্রসেসিং সিস্টেমে অগ্রগতি 32 (2019)।

[৮২] মাতেই জাহারিয়া, মোশারফ চৌধুরী, মাইকেল জে ফ্রাঙ্কলিন, স্কট শেনকার এবং অয়ন স্টোইকা। 2010. স্পার্ক: ওয়ার্কিং সেট সহ ক্লাস্টার কম্পিউটিং। HotCloud 10, 10-10 (2010), 95.

[৮৩] জিয়াং ঝাং, জুনবো ঝাও এবং ইয়ান লেকুন। 2015. টেক্সট শ্রেণীবিভাগের জন্য ক্যারেক্টারলেভেল কনভোলিউশনাল নেটওয়ার্ক। নিউরাল তথ্য প্রক্রিয়াকরণ সিস্টেমের অগ্রগতিতে. 649-657।