ចង្កោម Dell ECS អនុញ្ញាតឱ្យអ្នកផ្ទេរទិន្នន័យរបស់អ្នកទៅហាងដែលឆបគ្នា S3 ណាមួយ។ Dell ECS ហៅមុខងារនេះថា "Data Movement" ដែលហៅផងដែរថា copy-to-cloud។ វាជាលក្ខណៈពិសេសមួយដែលត្រូវបានណែនាំនៅក្នុង ECS 3.8.0.1 ដែលអនុញ្ញាតឱ្យអ្នកចម្លងវត្ថុពី Dell ECS ទៅ MinIO ដែលមានប្រជាប្រិយភាពខ្លាំងជាមួយអតិថិជន និងអនាគតដែលកំពុងធ្វើទំនើបកម្មជង់ផ្ទុករបស់ពួកគេ ដើម្បីគាំទ្រតម្រូវការហេដ្ឋារចនាសម្ព័ន្ធទិន្នន័យ AI របស់ពួកគេ។ ចលនាទិន្នន័យត្រូវបានបង្កើតឡើងនៅលើឧបករណ៍ប្រភពបើកចំហ ECS Sync ដែលផ្តល់នូវសមត្ថភាពក្នុងការចម្លងទិន្នន័យស្របគ្នា។
នៅក្នុងទិដ្ឋភាពទូទៅនេះ យើងនឹងបង្ហាញអ្នកពីរបៀបផ្ទេរទិន្នន័យពី Dell ECS ទៅកាន់ MinIO ដោយផ្តោតជាពិសេសទៅលើចំណុចខាងក្រោម៖
- កំណត់រចនាសម្ព័ន្ធប្រភព និងធុងគោលដៅ
- រៀបចំគោលនយោបាយចលនាទិន្នន័យ
- ការត្រួតពិនិត្យ និងកត់ត្រាការធ្វើចំណាកស្រុកទៅ MinIO
កំណត់រចនាសម្ព័ន្ធប្រភព និងធុងគោលដៅ
មុនពេលយើងអាចចាប់ផ្តើមបង្កើតគោលការណ៍ដើម្បីផ្ទេរទិន្នន័យ សូមប្រាកដថាប្រភព និងធុងគោលដៅត្រូវបានកំណត់រចនាសម្ព័ន្ធសម្រាប់ចលនាទិន្នន័យ។
កំណត់រចនាសម្ព័ន្ធធុងប្រភព Dell ECS
នៅខាងក្នុង គោលការណ៍ចលនាទិន្នន័យ ស្កេនធុងប្រភព ដើម្បីរាប់បញ្ចូលវត្ថុទាំងអស់សម្រាប់ចលនាទិន្នន័យដោយប្រើទិន្នន័យមេតា (MD) ស្វែងរក។
សម្រាប់ចលនាទិន្នន័យ ដើម្បីផ្លាស់ទីទិន្នន័យពិតប្រាកដ អ្នកត្រូវធានាថា MD Search ត្រូវបានបើកនៅលើធុងប្រភព Dell ECS និងរួមបញ្ចូល LastModified ជាវាលដែលបានធ្វើលិបិក្រម។
បន្ទាប់មកយើងកំណត់រចនាសម្ព័ន្ធ MinIO ដែលជាធុងគោលដៅ។
កំណត់រចនាសម្ព័ន្ធធុងគោលដៅ MinIO
ដើម្បីឱ្យទិន្នន័យត្រូវបានផ្ទេរទៅ MinIO យើងត្រូវបង្កើតធនធានខាងក្រោមនៅក្នុង MInIO ជាមុន៖
- ការចូលប្រើ និងសោសម្ងាត់
- ឈ្មោះធុង
- គោលនយោបាយ IAM
នៅពេលបង្កើតធុងទឹក ត្រូវប្រាកដថាបើកដំណើរការកំណែដាក់ធុង លុះត្រាតែធុងគោលដៅនៅក្នុង MinIO ត្រូវបានឧទ្ទិសសម្រាប់តែគោលការណ៍ចលនាទិន្នន័យប៉ុណ្ណោះ។ ត្រូវប្រាកដថាត្រូវកត់ចំណាំនូវព័ត៌មានលម្អិតខាងលើ បន្ទាប់ពីបង្កើតពួកវា ដោយសារតម្លៃរបស់ពួកគេត្រូវការនៅពេលក្រោយ។
គោលការណ៍ IAM គួរអនុញ្ញាត APIs ខាងក្រោម៖
- s3: ListBucket
- s3: GetObject
- s3: ដាក់វត្ថុ
- s3: លុបវត្ថុ
សូមអនុវត្តតាម ការណែនាំ នេះ ដើម្បីស្វែងយល់ពីរបៀបបង្កើតគោលការណ៍ IAM, Access Keys និង Buckets នៅក្នុងកុងសូល MinIO។
- បញ្ចូលឈ្មោះអ្នកប្រើដែលត្រូវបានកំណត់ ពេលកំណត់រចនាសម្ព័ន្ធចង្កោម។
- បញ្ចូលពាក្យសម្ងាត់ដែលត្រូវបានកំណត់ ពេលកំណត់រចនាសម្ព័ន្ធចង្កោម។
- ចុច "ចូល"
កម្មវិធីរុករកវត្ថុ ៖ ធុងដែលត្រូវបានបង្កើត និងទិន្នន័យដែលបានផ្ទុកឡើងនឹងត្រូវបានបង្ហាញនៅទីនេះ។
សោចូលប្រើ ៖ សោចូលប្រើរចនាប័ទ្ម AWS IAM
- បង្កើត Access Key ៖ ចុចទីនេះ ដើម្បីបង្កើតការចូលប្រើ និងសម្ងាត់ដាច់ដោយឡែកពីអ្វីដែលយើងធ្លាប់ប្រើដើម្បីបើកដំណើរការ cluster។
ដាក់ធុង ៖ រាយធុងទឹកទាំងអស់ដែលមាន។
- បង្កើត Bucket ៖ ប្រសិនបើគ្មានធុងទេ សូមបន្តបង្កើតថ្មីមួយ។
គោលការណ៍ ៖ គោលនយោបាយ IAM
អត្តសញ្ញាណ ៖ បង្កើត និងភ្ជាប់ IDPs ផ្សេងៗដូចជា OpenID និង LDAP ។
ការត្រួតពិនិត្យ ៖ ត្រួតពិនិត្យគ្រប់ទិដ្ឋភាពទាំងអស់នៃចង្កោម ហើយថែមទាំងបញ្ជូនវាទៅ Prometheus ទៀតផង។
នៅពេលដែលការកំណត់រចនាសម្ព័ន្ធធុងប្រភព និងគោលដៅ នោះយើងរៀបចំគោលការណ៍ចលនាទិន្នន័យ។
គោលនយោបាយចលនាទិន្នន័យ
គោលការណ៍ចលនាទិន្នន័យគឺជានិយមន័យនៅក្នុង Dell ECS ដែលអាចកំណត់បានតាមរយៈ UI ឬ API ដែលកំណត់វត្ថុណាមួយនៅក្នុងធុងប្រភព Dell ECS គួរតែត្រូវបានចម្លងទៅធុងគោលដៅ MinIO ។ ការងារស្កេនគោលនយោបាយចលនាទិន្នន័យត្រូវបានចាប់ផ្តើមដោយស្វ័យប្រវត្តិ ប៉ុន្តែអាចត្រូវបានផ្អាក ឬបន្តឡើងវិញនៅពេលណាក៏បាន។ នេះគឺស្រដៀងទៅនឹង MinIO ដែរ។
យើងនឹងបង្ហាញអ្នកនូវសេណារីយ៉ូនៃចលនាទិន្នន័យពីរផ្សេងគ្នា ដើម្បីផ្ដល់ឱ្យអ្នកនូវគំនិតអំពីរបៀបដែលវាអាចដំណើរការ ប៉ុន្តែមេឃមានកម្រិតនៅពេលដែលវាមកដល់របៀបដែលអ្នកចង់ធ្វើការផ្លាស់ប្តូរ។
ការផ្លាស់ប្តូរទិន្នន័យទៅ MinIO
នៅក្នុងការកំណត់រចនាសម្ព័ន្ធនេះ យើងនឹងបន្ថែមប៊ីត និងប៊ីត MinIO ចាំបាច់សម្រាប់ Dell ECS ដើម្បីទាក់ទងជាមួយ។ ជំហានដំបូង នៅពេលដែល MD Search ត្រូវបានបើក គឺត្រូវបើក Data Mobility ទៅ ON ដូចដែលបានបង្ហាញខាងក្រោម។
នៅពេលដែល Data Mobility ត្រូវបានកំណត់ទៅ ON យើងអាចបន្ត ហើយកំណត់រចនាសម្ព័ន្ធគោលការណ៍នេះ។
- ចំណុចបញ្ចប់ ៖ កំណត់ចំណុចនេះទៅចំណុចចុង MinIO
http://<minio_ip>:<minio_port> - ការចូលប្រើ និងសោសម្ងាត់ ៖ វាត្រូវបានបង្កើតនៅក្នុងកុងសូល MinIO ហើយរក្សាទុកក្នុងជំហានមុន។
- ឈ្មោះដាក់ធុង ៖ ឈ្មោះធុងគោលដៅ MinIO
- Logging Bucket៖ នេះគឺជាធុងទឹកនៅក្នុង Dell ECS ដែលកត់ត្រាកំហុសណាមួយក្នុងអំឡុងពេលធ្វើចំណាកស្រុក។
មានការកំណត់ផ្សេងទៀតខ្ញុំមិនបានឆ្លងកាត់ការកំណត់ទាំងអស់ទេគ្រាន់តែជាការកំណត់សំខាន់បំផុតប៉ុណ្ណោះ។ សូមចំណាំថា ប្រសិនបើទិន្នន័យត្រូវបានលុបចេញពីធុងប្រភព Dell ECS នោះវានឹងមិនត្រូវបានលុបចេញពីធុងគោលដៅ MinIO បន្ទាប់ពីការធ្វើចំណាកស្រុកត្រូវបានបញ្ចប់។
ការផ្លាស់ប្តូរទិន្នន័យជាមួយ Dremio ទៅ MinIO
ឥឡូវនេះ សូមក្រឡេកមើលពីរបៀបដែលការធ្វើចំណាកស្រុកមើលទៅដូចការប្រើប្រាស់កម្មវិធីដែលប្រើ Dremio។
មានជំហានមួយចំនួនដែលកើតឡើងក្នុងអំឡុងពេលការធ្វើចំណាកស្រុកនេះ។
- កម្មវិធីដែលប្រឈមមុខនឹងអតិថិជនសរសេរទៅកាន់ធុង Dell ECS ។
- ECS ចម្លងទៅធុងទឹកក្នុងដំណាក់កាល MinIO ដែលបានកំណត់រចនាសម្ព័ន្ធដោយប្រើគោលការណ៍ចលនាទិន្នន័យ។
- ទិន្នន័យត្រូវបានចម្លងទៅដាក់ធុងដំណាក់កាល។
- ធុងទឹកដំណាក់កាល MinIO នឹងប្រើ
ការជូនដំណឹងអំពីព្រឹត្តិការណ៍ ដើម្បីផ្ញើសារទៅកាន់ RabbitMQ ដែល Dremio នឹងត្រូវបានជាវ។ - Dremio អានសារ និងបញ្ចូលទិន្នន័យពីធុងទឹកដំណាក់កាល MinIO ទៅកាន់ធុង Dremio នៅក្នុង MinIO ។
- នៅពេលដែលទិន្នន័យត្រូវបានបញ្ចូល អ្នកអាចសម្អាតធុងផ្ទុក MinIO ដោយប្រើ a
គោលនយោបាយវដ្តជីវិត .
នេះគ្រាន់តែជាឧទាហរណ៍ពីរប៉ុណ្ណោះ ប៉ុន្តែអ្នកអាចប្រើវិធីសាស្រ្តនេះដើម្បីផ្ទេរពីកម្មវិធីណាមួយដោយប្រើ Dell ECS ទៅ MinIO ។
ការត្រួតពិនិត្យ និងកត់ត្រាចលនាទិន្នន័យ
ក្នុងអំឡុងពេលដំណើរការផ្ទេរទិន្នន័យ វាជារឿងសំខាន់ក្នុងការតាមដានដំណើរការធ្វើចំណាកស្រុកទាំងមូល នៅពេលដែលវាផ្លាស់ទីទិន្នន័យទៅ MinIO ។ Dell ECS GUI ផ្តល់នូវផ្ទាំងគ្រប់គ្រងទិដ្ឋភាពទូទៅជាមួយនឹងការត្រួតពិនិត្យកម្រិតខ្ពស់ដែលបង្ហាញវត្ថុសរុបដែលបានចម្លង បៃសរុបដែលបានចម្លង ភាពយឺតយ៉ាវនៃសញ្ញាទឹក កំហុសសរុប វត្ថុដែលបានចម្លង បៃចម្លង ក្នុងចំណោមវត្ថុដទៃទៀត។
អ្នកអាចសិក្សាបន្ថែមទៀតដើម្បីបង្ហាញព័ត៌មានប្រភព/គោលដៅជាក់លាក់ដូចជាចំនួនវត្ថុ និងទំហំធុងក្នុងរយៈពេលដែលបានជ្រើសរើសក្នុងអំឡុងពេលដំណើរការផ្លាស់ប្តូរ។
នៅក្នុងដ្យាក្រាមដំបូងនៅដើមប្លក់នេះ យើងបានបង្ហាញធុងកំណត់ហេតុដែលយើងមាននៅខាង ECS នេះគឺជាកន្លែងដែលប្រតិបត្តិការទាំងអស់ពីចលនាទិន្នន័យត្រូវបានកត់ត្រាទុក។ វាមានប្រយោជន៍ខ្លាំងណាស់ក្នុងការបំបាត់បញ្ហាណាមួយក្នុងអំឡុងពេលដំណើរការចំណាកស្រុក ជាពិសេសនៅពេលដែលវាចំណាយពេលយូរដោយសារតែឧបសគ្គផ្នែករឹង និងរូបវ័ន្ត។
នេះគឺជាឧទាហរណ៍នៃរបៀបដែលកំណត់ហេតុមើលទៅដូច:
2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS
ហេតុអ្វីបានជាធ្វើចំណាកស្រុកទៅ MinIO?
MinIO គឺជាប្រព័ន្ធគោលពីរ Go តែមួយដែលអាចត្រូវបានដាក់ឱ្យដំណើរការនៅក្នុងប្រភេទផ្សេងៗគ្នាជាច្រើននៃ cloud និងបរិស្ថាន prem ។ វាមានទម្ងន់ស្រាលខ្លាំងណាស់ ប៉ុន្តែវាក៏មានលក្ខណៈពិសេសដែលសំបូរទៅដោយរបស់ដូចជាការចម្លង និងការអ៊ិនគ្រីប ហើយវាផ្តល់នូវការរួមបញ្ចូលជាមួយកម្មវិធីផ្សេងៗ។
ពួកយើងបាន
មិនត្រឹមតែប៉ុណ្ណឹងទេ ក្រៅប្រអប់ MinIO ក៏រួមបញ្ចូលផងដែរ៖
ការអ៊ិនគ្រីប៖ MinIO គាំទ្រទាំងការអ៊ិនគ្រីបនៅ
សម្រាក និងនៅក្នុងឆ្លងកាត់ . នេះធានាថាទិន្នន័យត្រូវបានអ៊ិនគ្រីបនៅក្នុងផ្នែកទាំងអស់នៃប្រតិបត្តិការចាប់ពីពេលដែលការហៅទូរសព្ទត្រូវបានធ្វើឡើងរហូតដល់វត្ថុត្រូវបានដាក់ក្នុងធុង។
ការការពារ Bitrot ៖ មានហេតុផលជាច្រើនដែលទិន្នន័យអាចត្រូវបានខូចនៅលើថាសរាងកាយ។ វាអាចបណ្តាលមកពីវ៉ុលកើនឡើង កំហុសក្នុងកម្មវិធីបង្កប់ ការអាន និងសរសេរខុសក្នុងចំនោមរបស់ផ្សេងទៀត។ MinIO ធានាថាទាំងនេះត្រូវបានចាប់យក និងជួសជុលភ្លាមៗ ដើម្បីធានាបាននូវភាពត្រឹមត្រូវនៃទិន្នន័យ។
លុបការសរសេរកូដ ៖ ជាជាងធានាឱ្យបាននូវទិន្នន័យដែលលែងត្រូវការតទៅទៀត ដោយប្រើប្រាស់ RAID ដែលបន្ថែមការចំណាយបន្ថែមលើការអនុវត្ត នោះ MinIO ប្រើប្រាស់ទិន្នន័យដែលលែងត្រូវការតទៅទៀត និងភាពអាចរកបាន ដើម្បីបង្កើតវត្ថុឡើងវិញភ្លាមៗដោយគ្មានផ្នែករឹង ឬកម្មវិធីបន្ថែម។
ការចូលប្រើដោយសុវត្ថិភាព ACLs និង PBAC៖ គាំទ្រគោលការណ៍រចនាប័ទ្ម IAM S3 ជាមួយនឹងការបង្កើតឡើងនៅក្នុង IDP សូមមើល
ការអនុវត្តល្អបំផុតរបស់ MinIO - សុវត្ថិភាព និងការគ្រប់គ្រងការចូលប្រើ សម្រាប់ព័ត៌មានបន្ថែម។
លំដាប់ ៖ សម្រាប់ទិន្នន័យដែលមិនត្រូវបានចូលប្រើញឹកញាប់ អ្នកអាចដកទិន្នន័យទៅកន្លែងផ្ទុកត្រជាក់មួយផ្សេងទៀតដែលកំពុងដំណើរការ MinIO ដូច្នេះអ្នកអាចបង្កើនប្រសិទ្ធភាពទិន្នន័យចុងក្រោយបំផុតនៅលើផ្នែករឹងល្អបំផុតរបស់អ្នកដោយមិនចាំបាច់ប្រើទិន្នន័យដែលមិនប្រើ។
ការចាក់សោ និងរក្សាវត្ថុ ៖ MinIO គាំទ្រការចាក់សោវត្ថុ (ការរក្សាទុក) ដែលបង្ខំឱ្យសរសេរម្តង និងត្រៀមខ្លួនជាស្រេចនូវប្រតិបត្តិការជាច្រើនសម្រាប់រយៈពេលដែលមានមូលដ្ឋាន និងច្បាប់មិនកំណត់។ នេះអនុញ្ញាតឱ្យមានការអនុលោមតាមការរក្សាទិន្នន័យសំខាន់ៗ និងបំពេញតាមតម្រូវការ SEC17a-4(f), FINRA 4511(C) និង CFTC 1.31(c)-(d) ។
មិនមែននិយាយទេ កម្មវិធីល្អគឺគ្មានអ្វីដែលគ្មានការគាំទ្រល្អនោះទេ។ MinIO ផ្តល់នូវការគាំទ្រដ៏ល្អបំផុតមួយនៅទីនោះដោយប្រើរបស់យើង។
ប្រសិនបើអ្នកមានសំណួរណាមួយអំពីរបៀបផ្ទេរទិន្នន័យរបស់អ្នកពី Dell ECS ទៅ MinIO ការធ្វើចំណាកស្រុក ត្រូវប្រាកដថាទាក់ទងមកពួកយើងនៅលើ
