WARP এবং Speedtest সহ বেঞ্চমার্কিং MinIO

গ্রাহকরা তাদের পরিবেশে MinIO নিয়ে আসে উচ্চ-কার্যক্ষমতা সম্পন্ন S3-সামঞ্জস্যপূর্ণ অবজেক্ট স্টোরেজ যা যেকোন শারীরিক বা ভার্চুয়াল হার্ডওয়্যার এবং Kubernetes-এ চলে। আমাদের প্রকাশিত বেঞ্চমার্কগুলি দেখায় যে MinIO হল দ্রুততম অবজেক্ট স্টোরেজ উপলব্ধ, কিন্তু এটি শুধুমাত্র আপনার দেওয়া হার্ডওয়্যার এবং নেটওয়ার্কের মতো দ্রুত চলতে পারে। পারফরম্যান্স আমাদের দলের জন্য একটি বড় ফোকাস, তাই আমরা প্রশাসকদের MinIO থেকে সর্বাধিক সুবিধা পেতে সাহায্য করার জন্য আমরা যা করতে পারি তা করি। অন্তর্নিহিত অবকাঠামো MinIO কে সর্বোত্তমভাবে সমর্থন করতে পারে তা যাচাই করার জন্য, আমরা কার্যক্ষমতা মূল্যায়ন করতে এবং সম্ভাব্য বাধা শনাক্ত করার জন্য দুটি পদ্ধতি প্রদান করি: WARP এবং Speedtest।

আধুনিক অ্যাপ্লিকেশন যেমন AI/ML, উন্নত বিশ্লেষণ এবং ডাটাবেসের জন্য উচ্চ-পারফরম্যান্স অবজেক্ট স্টোরেজ প্রয়োজন। MinIO এর স্কেলেবিলিটি এবং উচ্চ-পারফরম্যান্সের সংমিশ্রণ প্রতিটি কাজের চাপকে, তা যতই দাবি করা হোক না কেন নাগালের মধ্যে রাখে। যখন কর্মক্ষমতা সমালোচনামূলক হয়, তখন আপনাকে জানতে হবে যে আপনি সম্ভাব্য সেরা পারফরম্যান্স অর্জন করছেন। WARP এবং Speedtest-এর ফলাফলগুলি সময়ের সাথে পারফরম্যান্স ট্র্যাক করতে এবং সম্ভাব্য সমস্যাগুলি গুরুতর সমস্যায় পরিণত হওয়ার আগে সক্রিয়ভাবে চিহ্নিত করতে ব্যবহার করা যেতে পারে।

WARP হল একটি ওপেন-সোর্স পূর্ণ-বৈশিষ্ট্যযুক্ত S3 কর্মক্ষমতা মূল্যায়ন সফ্টওয়্যার যা WARP ক্লায়েন্ট এবং অবজেক্ট স্টোরেজ হোস্টের মধ্যে পরীক্ষা পরিচালনা করার জন্য তৈরি করা হয়েছে। WARP একটি MinIO ক্লাস্টারের বিপরীতে একাধিক ক্লায়েন্টের GET এবং PUT কর্মক্ষমতা পরিমাপ করে। WARP-এর অনেকগুলি বিকল্প রয়েছে, যা কমান্ড লাইন বা পরিবেশগত ভেরিয়েবল দ্বারা কনফিগার করা হয়েছে, যা আপনাকে আপনার কাজের চাপের সাথে সামঞ্জস্যপূর্ণ পরীক্ষা তৈরি করতে দেয়। মনে রাখবেন - এটি একটি অর্থপূর্ণ উপায়ে কর্মক্ষমতা মূল্যায়ন করা এবং ডেটা এবং একটি কাজের চাপ ব্যবহার করে পরীক্ষা করা একেবারেই গুরুত্বপূর্ণ যা বাস্তব বিশ্বের অবস্থার প্রতিনিধিত্ব করে যেখানে আপনার অবজেক্ট স্টোরেজ কাজ করে।

বিপরীতে, Speedtest হল একটি সহজে ব্যবহারযোগ্য স্বয়ংক্রিয় কর্মক্ষমতা পরীক্ষা যা একটি সুবিন্যস্ত অভিজ্ঞতা এবং সংক্ষিপ্ত ফলাফল প্রদান করে। MinIO অ্যাডমিনিস্ট্রেটরদের তাদের MinIO ক্লাস্টারগুলির একটি একক কমান্ডের মাধ্যমে বিতরণ করা কর্মক্ষমতা মূল্যায়ন চালানোর ক্ষমতা প্রদান করতে আমরা নভেম্বর মাসে Speedtest চালু করেছি । স্পিডটেস্ট রান করে PUTS, তারপর GETS, ক্রমবর্ধমানভাবে লোড বাড়াচ্ছে সর্বাধিক মোট থ্রুপুটকে চিহ্নিত করতে। আপনার MinIO ক্লাস্টারের উপর নির্ভর করে পরীক্ষাগুলি চালানোর জন্য কয়েক সেকেন্ড থেকে কয়েক মিনিট পর্যন্ত যে কোনও জায়গায় সময় নিতে পারে।

WARP এবং Speedtest এর মধ্যে কিছু গুরুত্বপূর্ণ পার্থক্য রয়েছে। WARP হল একটি সম্পূর্ণ টুল যা WARP ক্লায়েন্টদের দ্বারা পরিচালিত অপারেশনগুলির মাধ্যমে আপনার MinIO ক্লাস্টারের কর্মক্ষমতা পরীক্ষা করে৷ ক্লায়েন্ট মেশিনগুলি আপনার বিতরণ করা MinIO ক্লাস্টারে নেটওয়ার্ক জুড়ে PUTS এবং GETS অবজেক্ট পরিচালনা করছে। এটি WARP কে প্রত্যাশিত ক্লায়েন্ট-সার্ভার কর্মক্ষমতা পরীক্ষা করার জন্য একটি চমৎকার প্রক্রিয়া করে তোলে। বিপরীতে, একই ক্লাস্টারের অন্যান্য MinIO দৃষ্টান্তে PUTS এবং GETS অবজেক্ট পরিচালনা করতে MinIO দৃষ্টান্তগুলিতে স্পিডটেস্ট চলে। যেমন, স্পিডটেস্ট আপনাকে বলে যে পারফরম্যান্স সমীকরণের সার্ভার সাইড কী করতে সক্ষম।

WARP-এ প্রায় প্রতিটি পরীক্ষা থাকে (GET, PUT, DELETE, LIST, STAT, RETENTION) আপনি হয়তো অবজেক্ট স্টোরেজের বিরুদ্ধে চালাতে চান এবং টেস্ট রানে আপনার কাজের চাপের সাথে মেলে অবজেক্টের আকারের একটি কাস্টম মিশ্রণ অন্তর্ভুক্ত থাকতে পারে। দ্রুততম থ্রুপুট দ্রুত নির্ণয় করতে সেট টেস্ট প্যারামিটারের মাধ্যমে স্পিডটেস্ট চলে। WARP-এর অতিরিক্ত সফ্টওয়্যার প্রয়োজন হলেও, MinIO-এর সাথে Speedtest অন্তর্ভুক্ত করা হয়েছে এবং mc ইন্টারফেস বা MinIO কনসোল থেকে চালানো যেতে পারে। সমস্যা সমাধানে সহায়তা করার জন্য, গ্রাহকরা MinIO ইঞ্জিনিয়ারদের সাথে এক ক্লিকে Speedtest ফলাফল শেয়ার করতে পারেন।

WARP: একটি সম্পূর্ণ অবজেক্ট স্টোরেজ বেঞ্চমার্কিং টুল

প্রথমে, এর WARP-এর দিকে নজর দেওয়া যাক। WARP হল এমন একটি টুল যা আপনাকে MinIO বা যেকোনো S3-সামঞ্জস্যপূর্ণ অবজেক্ট স্টোরেজ, বিভিন্ন অবস্থার মধ্যে পারফরম্যান্সকে পুঙ্খানুপুঙ্খভাবে বেঞ্চমার্ক করতে দেয়। ডিফল্টরূপে, WARP ডিস্ট্রিবিউটেড মোডে চলমান MinIO দ্বারা ব্যবহৃত সমস্ত ডিস্কের রিড এবং রাইটের একটি মিশ্র পরীক্ষা করবে।

এই ডেমো জন্য. আমরা ডিস্ট্রিবিউটেড মোডে AWS-এ চলমান MinIO পরীক্ষা করার জন্য WARP চালাতে যাচ্ছি। আমরা ইদানীং প্রায়শই এটি করে আসছি, তাই আমরা সম্ভাব্য এবং বর্তমান গ্রাহকদের সর্বোচ্চ-সম্পাদক কনফিগারেশনের পরামর্শ দিতে পারি যা আমরা তাদের পরীক্ষা করে পেয়েছি।

WARP একটি GitHub সংগ্রহস্থলে অবস্থিত, যেখানে আপনি বিস্তারিত ডকুমেন্টেশনও পাবেন।

আমরা ডিস্ট্রিবিউটেড মোডে MinIO স্থাপন করে শুরু করতে যাচ্ছি। আপনি MinIO ডাউনলোড করতে পারেন এবং আপনার পরিবেশে এটি নিজেই ইনস্টল করতে পারেন, অথবা আপনি AWS EC2 এ MinIO ইনস্টল করতে এই টিউটোরিয়ালটি অনুসরণ করতে পারেন।

যেভাবেই হোক, আমরা একটি বিতরণ করা MinIO স্থাপনার সাথে শুরু করতে যাচ্ছি:

MinIO চালু হয়ে গেলে আপনি WARP দিয়ে কর্মক্ষমতা পরিমাপ করতে সক্ষম হবেন, তাই আসুন শুরু করা যাক।

ধাপ 0: ডিস্ট্রিবিউটেড মিনিও দিয়ে 4টি উদাহরণ (নোড নামেও পরিচিত) তৈরি করুন।

সমস্ত Amazon UI বা AWS CLI-এর জন্য, অনুগ্রহ করে পূর্ববর্তী ব্লগ পোস্টের ধাপগুলি অনুসরণ করুন দৃষ্টান্ত স্থাপন করতে, কিন্তু অতিরিক্ত স্টোরেজ কনফিগার করবেন না। WARP চলমান দৃষ্টান্তগুলি দ্রুত বস্তু তৈরি করতে এবং PUT এবং GET ক্রিয়াকলাপ পরিমাপ করার জন্য যথেষ্ট শক্তিশালী হতে হবে, কিন্তু একটি MinIO নোডের জন্য প্রয়োজনীয় স্টোরেজ ভলিউম প্রয়োজন হয় না।

ধাপ 2: WARP ক্লায়েন্টে /etc/hosts ফাইলে হোস্ট যোগ করুন।

1. MinIO দৃষ্টান্তগুলির আইপি ঠিকানা পান
2. WARP ক্লায়েন্টদের IP ঠিকানা পান
3. /etc/hosts ফাইলে সেই ঠিকানা যোগ করুন:

 172.31.23.237 host1 172.31.26.78 host2 172.31.26.90 host3 172.31.19.110 host4 172.31.27.18 warp1 172.31.23.81 warp2 172.31.19.28 warp3 172.31.19.7 warp4

লক্ষ্য করুন যে আমরা ধারাবাহিক ক্রমে তালিকাভুক্ত এবং হোস্টদের সাথে কাজ করার পরামর্শ দিই। এটি কমান্ড লাইন থেকে WARP চালু করা সহজ করে এবং প্রতিটি WARP ক্লায়েন্ট এবং MinIO হোস্ট সনাক্ত করা সহজ করে।

ধাপ 3: ক্লায়েন্টদের উপর WARP ইনস্টল করুন এবং এটি চালান।

 [root@ip-172-31-19-7 ec2-user]# wget https://github.com/minio/warp/releases/download/v0.5.5/warp_0.5.5_Linux_arm64.tar.gz 2022-02-08 20:06:04 (66.3 MB/s) - 'warp_0.5.5_Linux_arm64.tar.gz' saved [3943887/3943887] [root@ip-172-31-19-7 ec2-user]# tar -xzvf warp_0.5.5_Linux_arm64.tar.gz LICENSE README.md warp_logo.png warp [root@ip-172-31-19-7 ec2-user]# ./warp client warp: Listening on :7761

লক্ষ্য করুন যে প্রতিটি WARP ক্লায়েন্ট 7761 পোর্টে শুনছে

ধাপ 4: WARP চালান এবং একটি মিশ্র বেঞ্চমার্ক চালু করুন।

 [root@ip-172-31-27-18 ec2-user]# WARP_ACCESS_KEY=minioadmin WARP_SECRET_KEY=minioadmin ./warp mixed --warp-client warp{1...4}:7761 --host host{1...4}:9000 --duration 120s --obj.size 64M --concurrent 64 warp: Benchmark data written to "warp-remote-2022-02-08[201339]-qymu.csv.zst" Mixed operations. Operation: DELETE, 10%, Concurrency: 256, Ran 1m54s. * Throughput: 39.90 obj/s Operation: GET, 45%, Concurrency: 256, Ran 1m54s. * Throughput: 10903.28 MiB/s, 178.64 obj/s Operation: PUT, 15%, Concurrency: 256, Ran 1m54s. * Throughput: 3628.27 MiB/s, 59.45 obj/s Operation: STAT, 30%, Concurrency: 256, Ran 1m54s. * Throughput: 119.98 obj/s Cluster Total: 14501.38 MiB/s, 397.44 obj/s over 1m55s. warp: Cleanup done. [root@ip-172-31-27-18 ec2-user]#

আপনি WARP ব্যবহার করে একটি মৌলিক মিশ্র-মোড কর্মক্ষমতা পরীক্ষা সম্পন্ন করেছেন। যদিও আমরা WARP প্রদর্শনের জন্য একটি মিশ্র-মোড পরীক্ষা ব্যবহার করেছি, আপনি সাধারণত মিশ্র চালানোর পরিবর্তে পৃথক ক্রিয়াকলাপগুলিকে (GET, PUT, LIST) তাদের নিজস্ব পরীক্ষায় বিভক্ত করে আরও ভাল ফলাফল পাবেন যা বাস্তব-বিশ্ব ব্যবহারের সাথে আরও সারিবদ্ধ। -মোড পরীক্ষা।

আমরা আপনাকে আরও পরীক্ষার পরিস্থিতি কার্যকর করার বিষয়ে জানতে ডকুমেন্টেশনটি উল্লেখ করতে উত্সাহিত করি। উদাহরণস্বরূপ, আপনি আপনার পরিবেশে তাদের প্রভাব পরিমাপ করতে TLS এবং সার্ভার-সাইড এনক্রিপশন সক্ষম করতে পারেন। আপনি সমসাময়িক পরীক্ষার সংখ্যা বাড়িয়ে পরিকাঠামোকে আরও চাপ দিতে পারেন। আপনি বস্তুর আকারের একটি এলোমেলো মিশ্রণ ব্যবহার করতে পারেন, বা আপনার বর্তমান পরিবেশ এবং কাজের চাপের সাথে মেলে এমন একটি বস্তুর আকার নির্দিষ্ট করতে পারেন। আপনি একটি নির্দিষ্ট সময়ের জন্য চালানোর জন্য পরীক্ষাগুলি কনফিগার করতে পারেন বা আমরা উপরে যেমনটি করেছি স্বয়ংক্রিয়ভাবে বন্ধ করতে।

WARP ফলাফলগুলি অন-স্ক্রীনে দেখানো হয় এবং zstandard ব্যবহার করে সংকুচিত একটি স্থানীয় CSV ফাইলে সংরক্ষিত হয়।

একটি দ্রুত এবং সহজ কর্মক্ষমতা মূল্যায়নের জন্য গতি পরীক্ষা

আপনি WARP-এর সম্পূর্ণ নমনীয়তা না চাইলে, আমরা Speedtest ব্যবহার করে MinIO কর্মক্ষমতা পরিমাপ করার একটি দ্রুত এবং সহজ উপায় তৈরি করেছি। স্পিডটেস্ট সাধারণত অটোটিউন মোডে চালিত হয়, সর্বাধিক সমষ্টি থ্রুপুট নির্ণয় করতে ক্রমবর্ধমান লোড বৃদ্ধি করে।

আপনি স্পিডটেস্ট চালানোর জন্য mc ব্যবহার করতে পারেন:

 $ mc support perf object <alias>

 [root@ip-172-31-77-115 ec2-user]# ./mc support perf object myminio THROUGHPUT IOPS PUT 2.4 GiB/s 38 objs/s GET 4.6 GiB/s 73 objs/s Speedtest: MinIO 2022-02-01T18:00:14Z, 4 servers, 16 drives, 64 MiB objects, 72 threads

অথবা, আপনি MinIO কনসোল থেকে Speedtest চালাতে পারেন, MinIO ক্লাস্টারগুলিতে কনফিগার, পরিচালনা এবং রিপোর্ট করার জন্য ব্রাউজার-ভিত্তিক GUI। কেবল সমর্থন মেনুতে নেভিগেট করুন এবং পারফরম্যান্সে ক্লিক করুন, তারপর শুরু বোতামে ক্লিক করুন।

কর্মক্ষমতা পরীক্ষা চলবে। এটি সম্পূর্ণ হলে, সামগ্রিক GET এবং PUT পারফরম্যান্সের পাশাপাশি পৃথক নোডগুলির কর্মক্ষমতা প্রদর্শিত হয়।

স্পিডটেস্টের জন্য আরও বিশদ এবং উদাহরণের জন্য, অনুগ্রহ করে এই টিউটোরিয়ালটি দেখুন।

ওয়ার্প গতি এগিয়ে!

আজই MinIO ডাউনলোড করে শুরু করুন। আমাদের স্ল্যাক সম্প্রদায়ে যোগ দিন এবং অন্যান্য MinIO ব্যবহারকারীদের সাথে ধারনা বিনিময় করুন। WARP ব্যবহার করার বিষয়ে আপনার কোনো নির্দিষ্ট প্রশ্ন থাকলে, অনুগ্রহ করে আমাদের স্ল্যাক চ্যানেলে (ম্যাট সারেল এবং সিজার সেলিস) আমাদের সাথে যোগাযোগ করুন অথবা [email protected]এ আমাদের একটি ইমেল পাঠান।