ກຸ່ມ Dell ECS ອະນຸຍາດໃຫ້ທ່ານໂອນຍ້າຍຂໍ້ມູນຂອງທ່ານໄປຫາຮ້ານຄ້າທີ່ເຂົ້າກັນໄດ້ກັບ S3. Dell ECS ເອີ້ນຄຸນສົມບັດນີ້ວ່າ “ການເຄື່ອນໄຫວຂໍ້ມູນ”, ເຊິ່ງເອີ້ນກັນວ່າ copy-to-cloud. ມັນເປັນຄຸນສົມບັດທີ່ນໍາສະເຫນີໃນ ECS 3.8.0.1 ທີ່ອະນຸຍາດໃຫ້ທ່ານສາມາດຄັດລອກວັດຖຸຈາກ Dell ECS ໄປເປັນ MinIO ເຊິ່ງເປັນທີ່ນິຍົມກັບລູກຄ້າແລະຄວາມສົດໃສດ້ານທີ່ກໍາລັງປັບປຸງ stack ການເກັບຮັກສາຂອງເຂົາເຈົ້າທີ່ທັນສະໄຫມເພື່ອສະຫນັບສະຫນູນຄວາມຕ້ອງການໂຄງສ້າງພື້ນຖານຂໍ້ມູນ AI ຂອງເຂົາເຈົ້າ. ການເຄື່ອນໄຫວຂໍ້ມູນຖືກສ້າງຢູ່ເທິງສຸດຂອງເຄື່ອງມືເປີດແຫຼ່ງ ECS Sync ເຊິ່ງສະຫນອງຄວາມສາມາດໃນການຄັດລອກຂໍ້ມູນແບບຂະຫນານ.
ໃນພາບລວມນີ້ພວກເຮົາຈະສະແດງໃຫ້ທ່ານເຫັນວິທີການໂອນຂໍ້ມູນຈາກ Dell ECS ໄປຫາ MinIO ໂດຍເນັ້ນໃສ່ສະເພາະຕໍ່ໄປນີ້:
- ກຳນົດຄ່າແຫຼ່ງທີ່ມາ ແລະຖັງເປົ້າໝາຍ
- ຕັ້ງຄ່ານະໂຍບາຍການເຄື່ອນຍ້າຍຂໍ້ມູນ
- ການຕິດຕາມກວດກາແລະການບັນທຶກການເຄື່ອນຍ້າຍໄປ MinIO
ກຳນົດຄ່າແຫຼ່ງທີ່ມາ ແລະຖັງເປົ້າໝາຍ
ກ່ອນທີ່ພວກເຮົາຈະສາມາດເລີ່ມສ້າງນະໂຍບາຍເພື່ອຍ້າຍຂໍ້ມູນ, ໃຫ້ຮັບປະກັນວ່າແຫຼ່ງທີ່ມາ ແລະ buckets ເປົ້າຫມາຍຖືກຕັ້ງຄ່າສໍາລັບການເຄື່ອນໄຫວຂໍ້ມູນ.
ກຳນົດຄ່າ bucket ແຫຼ່ງ Dell ECS
ພາຍໃນນະໂຍບາຍການເຄື່ອນໄຫວຂໍ້ມູນຈະສະແກນແຫຼ່ງທີ່ມາເພື່ອຈຳແນກວັດຖຸທັງໝົດສຳລັບການເຄື່ອນໄຫວຂໍ້ມູນໂດຍໃຊ້ Metadata (MD) Search.
ສໍາລັບການເຄື່ອນໄຫວຂໍ້ມູນເພື່ອຍ້າຍຂໍ້ມູນຕົວຈິງ, ທ່ານຈໍາເປັນຕ້ອງຮັບປະກັນວ່າ MD Search ຖືກເປີດໃຊ້ຢູ່ໃນຖັງເກັບຂໍ້ມູນ Dell ECS ແລະລວມເອົາ LastModified ເປັນຊ່ອງຂໍ້ມູນທີ່ຖືກດັດສະນີ.
ຕໍ່ໄປໃຫ້ພວກເຮົາ configure MinIO, bucket ເປົ້າຫມາຍ.
ຕັ້ງຄ່າ MinIO Target Bucket
ເພື່ອໃຫ້ຂໍ້ມູນຖືກໂອນໄປຫາ MinIO, ພວກເຮົາຈໍາເປັນຕ້ອງສ້າງຊັບພະຍາກອນຕໍ່ໄປນີ້ໃນ MInIO ກ່ອນ:
- ການເຂົ້າເຖິງ ແລະກະແຈລັບ
- ຊື່ຖັງ
- ນະໂຍບາຍ IAM
ເມື່ອສ້າງ bucket, ໃຫ້ແນ່ໃຈວ່າຈະເປີດໃຊ້ bucket versioning, ເວັ້ນເສຍແຕ່ວ່າ bucket ເປົ້າຫມາຍໃນ MinIO ແມ່ນອຸທິດຕົນພຽງແຕ່ສໍາລັບນະໂຍບາຍການເຄື່ອນໄຫວຂໍ້ມູນ. ໃຫ້ແນ່ໃຈວ່າບັນທຶກລາຍລະອຽດຂ້າງເທິງຫຼັງຈາກສ້າງພວກມັນຍ້ອນວ່າມູນຄ່າຂອງພວກມັນແມ່ນຈໍາເປັນໃນພາຍຫລັງ.
ນະໂຍບາຍ IAM ຄວນອະນຸຍາດໃຫ້ມີ APIs ຕໍ່ໄປນີ້:
- s3:ListBucket
- s3:GetObject
- s3:PutObject
- s3:DeleteObject
ປະຕິບັດຕາມ ຄໍາແນະນໍາ ນີ້ເພື່ອຮຽນຮູ້ວິທີການສ້າງນະໂຍບາຍ IAM, Access Keys ແລະ Buckets ໃນ MinIO console.
- ໃສ່ຊື່ຜູ້ໃຊ້ທີ່ຕັ້ງໄວ້ໃນຂະນະທີ່ກຳນົດຄ່າກຸ່ມ.
- ໃສ່ລະຫັດຜ່ານທີ່ຕັ້ງໄວ້ໃນຂະນະທີ່ກຳນົດຄ່າກຸ່ມ.
- ກົດ "ເຂົ້າສູ່ລະບົບ"
Object Browser : Buckets ທີ່ຖືກສ້າງຂື້ນແລະຂໍ້ມູນທີ່ຖືກອັບໂຫລດຈະຖືກສະແດງຢູ່ທີ່ນີ້.
Access Keys : ກະແຈການເຂົ້າເຖິງແບບ AWS IAM
- ສ້າງລະຫັດການເຂົ້າເຖິງ : ຄລິກທີ່ນີ້ເພື່ອສ້າງການເຂົ້າເຖິງ ແລະລັບແຍກຕ່າງຫາກຈາກອັນທີ່ພວກເຮົາໃຊ້ເພື່ອເປີດກຸ່ມ.
Buckets : ລາຍຊື່ຖັງທັງໝົດທີ່ມີຢູ່.
- ສ້າງ Bucket : ຖ້າບໍ່ມີ bucket, ສືບຕໍ່ເດີນຫນ້າແລະສ້າງອັນໃຫມ່.
ນະໂຍບາຍ : ນະໂຍບາຍ IAM
Identity : ສ້າງ ແລະເຊື່ອມຕໍ່ IDPs ຕ່າງໆເຊັ່ນ OpenID ແລະ LDAP.
ການຕິດຕາມ : ຕິດຕາມກວດກາທຸກດ້ານຂອງກຸ່ມ ແລະແມ້ກະທັ້ງສົ່ງມັນໄປຫາ Prometheus.
ເມື່ອ buckets ແຫຼ່ງແລະເປົ້າຫມາຍຖືກຕັ້ງຄ່າ, ໃຫ້ຕັ້ງຄ່ານະໂຍບາຍການເຄື່ອນຍ້າຍຂໍ້ມູນ.
ນະໂຍບາຍການເຄື່ອນຍ້າຍຂໍ້ມູນ
ນະໂຍບາຍການເຄື່ອນຍ້າຍຂໍ້ມູນແມ່ນຄໍານິຍາມໃນ Dell ECS ທີ່ສາມາດຕັ້ງຄ່າໄດ້ຜ່ານ UI ຫຼື API ທີ່ກໍານົດວ່າວັດຖຸໃດຢູ່ໃນຖັງແຫຼ່ງ Dell ECS ຄວນຖືກຄັດລອກໃສ່ຖັງເປົ້າຫມາຍ MinIO. ວຽກການສະແກນນະໂຍບາຍການເຄື່ອນໄຫວຂອງຂໍ້ມູນຈະຖືກກະຕຸ້ນໂດຍອັດຕະໂນມັດ ແຕ່ສາມາດຢຸດຊົ່ວຄາວ ຫຼືສືບຕໍ່ໄດ້ທຸກເວລາ. ນີ້ແມ່ນຄ້າຍຄືກັນກັບ MinIO ຂອງ
ພວກເຮົາຈະສະແດງໃຫ້ທ່ານເຫັນສອງສະຖານະການການເຄື່ອນໄຫວຂໍ້ມູນທີ່ແຕກຕ່າງກັນເພື່ອໃຫ້ເຈົ້າຮູ້ວ່າສິ່ງນີ້ສາມາດເຮັດວຽກໄດ້ແນວໃດ, ແຕ່ທ້ອງຟ້າມີຂອບເຂດຈໍາກັດເມື່ອມັນມາເຖິງວິທີທີ່ທ່ານຕ້ອງການທີ່ຈະເຮັດການເຄື່ອນຍ້າຍ.
ການເຄື່ອນຍ້າຍຂໍ້ມູນໄປຫາ MinIO
ໃນການຕັ້ງຄ່ານີ້ພວກເຮົາຈະເພີ່ມ MinIO bits ແລະ bobs ທີ່ຈໍາເປັນສໍາລັບ Dell ECS ເພື່ອຕິດຕໍ່ສື່ສານກັບ. ຂັ້ນຕອນທໍາອິດ, ເມື່ອ MD Search ຖືກເປີດໃຊ້, ແມ່ນເພື່ອເປີດໃຊ້ Data Mobility ກັບ ON
ດັ່ງທີ່ສະແດງຂ້າງລຸ່ມນີ້.
ເມື່ອ Data Mobility ຖືກຕັ້ງເປັນ ON
, ພວກເຮົາສາມາດສືບຕໍ່ ແລະຕັ້ງຄ່ານະໂຍບາຍໄດ້.
- ຈຸດສິ້ນສຸດ : ຕັ້ງອັນນີ້ເປັນຈຸດສິ້ນສຸດຂອງ MinIO
http://<minio_ip>:<minio_port>
- Access and Secret Key : ອັນນີ້ຖືກສ້າງຢູ່ໃນຄອນໂຊ MinIO ແລະບັນທຶກໄວ້ໃນຂັ້ນຕອນກ່ອນໜ້າ.
- Bucket Name : ຊື່ຖັງເປົ້າໝາຍ MinIO
- Logging Bucket: ນີ້ແມ່ນ bucket ໃນ Dell ECS ທີ່ບັນທຶກຂໍ້ຜິດພາດໃນລະຫວ່າງການເຄື່ອນຍ້າຍ.
ມີການຕັ້ງຄ່າອື່ນ, ຂ້ອຍບໍ່ໄດ້ຜ່ານການຕັ້ງຄ່າທັງຫມົດ, ພຽງແຕ່ສິ່ງທີ່ສໍາຄັນທີ່ສຸດ. ກະລຸນາຮັບຊາບວ່າຫາກຂໍ້ມູນຖືກລຶບອອກຈາກຖັງເກັບຂໍ້ມູນ Dell ECS, ມັນຈະບໍ່ຖືກລຶບອອກຈາກຖັງເປົ້າໝາຍ MinIO ຫຼັງຈາກການໂອນຍ້າຍສຳເລັດແລ້ວ.
ການເຄື່ອນຍ້າຍຂໍ້ມູນກັບ Dremio ກັບ MinIO
ຕອນນີ້ໃຫ້ພິຈາລະນາເບິ່ງວ່າການເຄື່ອນຍ້າຍຈະມີລັກສະນະແນວໃດກັບການນໍາໃຊ້ຄໍາຮ້ອງສະຫມັກທີ່ໃຊ້ Dremio.
ມີສອງສາມຂັ້ນຕອນທີ່ເກີດຂື້ນໃນລະຫວ່າງການຍົກຍ້າຍນີ້
- ແອັບພລິເຄຊັນທີ່ປະເຊີນກັບລູກຄ້າຂຽນໃສ່ຖັງ Dell ECS.
- ECS ສຳເນົາໃສ່ຖັງເກັບຂໍ້ມູນພາຍໃນ MinIO ທີ່ກຳນົດຄ່າໂດຍໃຊ້ນະໂຍບາຍການເຄື່ອນໄຫວຂໍ້ມູນ.
- ຂໍ້ມູນຖືກສຳເນົາໄປໃສ່ຖັງເກັບຂໍ້ມູນ.
- ຖັງເກັບມ້ຽນ MinIO ຈະໃຊ້
ແຈ້ງເຫດການ ເພື່ອສົ່ງຂໍ້ຄວາມຫາ RabbitMQ, ເຊິ່ງ Dremio ຈະຖືກຈອງ. - Dremio ອ່ານຂໍ້ຄວາມແລະເອົາຂໍ້ມູນຈາກຖັງເກັບມ້ຽນ MinIO ໄປໃສ່ຖັງ Dremio ໃນ MinIO.
- ເມື່ອຂໍ້ມູນຖືກກິນແລ້ວ, ທ່ານສາມາດເຮັດຄວາມສະອາດຖັງຂັ້ນຕອນ MinIO ໂດຍໃຊ້ a
ນະໂຍບາຍວົງຈອນຊີວິດ .
ເຫຼົ່ານີ້ແມ່ນພຽງແຕ່ສອງຕົວຢ່າງແຕ່ທ່ານສາມາດນໍາໃຊ້ວິທີການນີ້ເພື່ອຍ້າຍຈາກຄໍາຮ້ອງສະຫມັກໃດໆໂດຍໃຊ້ Dell ECS ກັບ MinIO.
ການຕິດຕາມການເຄື່ອນໄຫວຂໍ້ມູນ ແລະການບັນທຶກ
ໃນລະຫວ່າງຂະບວນການການເຄື່ອນຍ້າຍຂໍ້ມູນ, ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະຮັກສາຕາກ່ຽວກັບຂະບວນການການເຄື່ອນຍ້າຍໂດຍລວມຍ້ອນວ່າມັນຍ້າຍຂໍ້ມູນໄປຫາ MinIO. Dell ECS GUI ສະຫນອງ dashboards ພາບລວມທີ່ມີການຕິດຕາມແບບພິເສດທີ່ສະແດງໃຫ້ເຫັນວັດຖຸທັງຫມົດທີ່ຖືກຄັດລອກ, ຈໍານວນໄບຕ໌ທີ່ຄັດລອກທັງຫມົດ, ນ້ໍາລາຍລົງ, ຄວາມຜິດພາດທັງຫມົດ, ວັດຖຸທີ່ຖືກຄັດລອກ, ສໍາເນົາ bytes, ແລະອື່ນໆ.
ທ່ານສາມາດເຈາະເລິກຕື່ມອີກເພື່ອສະແດງຂໍ້ມູນສະເພາະແຫຼ່ງ/ເປົ້າໝາຍ ເຊັ່ນ: ຈຳນວນວັດຖຸ ແລະຂະໜາດຖັງໃສ່ໃນໄລຍະທີ່ເລືອກໃນລະຫວ່າງຂະບວນການເຄື່ອນຍ້າຍ.
ໃນແຜນວາດເບື້ອງຕົ້ນໃນຕອນເລີ່ມຕົ້ນຂອງ blog ນີ້, ພວກເຮົາໄດ້ສະແດງຖັງບັນທຶກທີ່ພວກເຮົາມີຢູ່ຂ້າງ ECS, ນີ້ແມ່ນບ່ອນທີ່ການດໍາເນີນການທັງຫມົດຈາກການເຄື່ອນໄຫວຂໍ້ມູນຖືກບັນທຶກ. ອັນນີ້ມີປະໂຫຍດຫຼາຍໃນການແກ້ບັນຫາຕ່າງໆໃນລະຫວ່າງຂະບວນການເຄື່ອນຍ້າຍ ໂດຍສະເພາະເມື່ອມັນໃຊ້ເວລາດົນຫຼາຍເນື່ອງຈາກຂໍ້ຈຳກັດດ້ານຮາດແວ ແລະທາງກາຍະພາບ.
ນີ້ແມ່ນຕົວຢ່າງຂອງໄມ້ທ່ອນເບິ່ງຄື:
2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS
ເປັນຫຍັງຕ້ອງຍ້າຍໄປ MinIO?
MinIO ເປັນ Go binary ດຽວທີ່ສາມາດເປີດຕົວໄດ້ໃນຫຼາຍປະເພດທີ່ແຕກຕ່າງກັນຂອງ cloud ແລະ on-prem ສະພາບແວດລ້ອມ. ມັນມີນໍ້າໜັກເບົາຫຼາຍ, ແຕ່ຍັງມີຄຸນສົມບັດທີ່ເຕັມໄປດ້ວຍສິ່ງຕ່າງໆເຊັ່ນ: ການຈໍາລອງແລະການເຂົ້າລະຫັດ, ແລະມັນສະຫນອງການເຊື່ອມໂຍງກັບຄໍາຮ້ອງສະຫມັກຕ່າງໆ.
ພວກເຮົາມີ
ບໍ່ພຽງແຕ່ເທົ່ານັ້ນແຕ່ອອກຈາກກ່ອງ MinIO ຍັງປະກອບມີ:
ການເຂົ້າລະຫັດ: MinIO ຮອງຮັບທັງການເຂົ້າລະຫັດຢູ່
ພັກຜ່ອນ ແລະໃນການໂດຍສານ . ອັນນີ້ຮັບປະກັນວ່າຂໍ້ມູນຖືກເຂົ້າລະຫັດໃນທຸກດ້ານຂອງທຸລະກໍາຕັ້ງແຕ່ເວລາທີ່ໂທອອກຈົນກ່ວາວັດຖຸຖືກວາງໄວ້ໃນຖັງ.
ການປົກປ້ອງ Bitrot : ມີເຫດຜົນຫຼາຍຢ່າງທີ່ຂໍ້ມູນສາມາດເສຍຫາຍໃນແຜ່ນຟີຊິກ. ມັນອາດຈະເປັນຍ້ອນແຮງດັນໄຟຟ້າແຮງດັນ, ແມງໄມ້ໃນເຟີມແວ, ການອ່ານແລະຂຽນທີ່ບໍ່ຖືກຕ້ອງໃນບັນດາສິ່ງອື່ນໆ. MinIO ຮັບປະກັນວ່າສິ່ງເຫຼົ່ານີ້ຖືກຈັບແລະແກ້ໄຂໃນການບິນເພື່ອຮັບປະກັນຄວາມສົມບູນຂອງຂໍ້ມູນ.
ລົບລະຫັດ : ແທນທີ່ຈະຮັບປະກັນການຊ້ໍາຊ້ອນຂອງຂໍ້ມູນໂດຍໃຊ້ RAID ເຊິ່ງເພີ່ມຄ່າໃຊ້ຈ່າຍເພີ່ມເຕີມໃນການປະຕິບັດ, MinIO ໃຊ້ການຊ້ໍາຊ້ອນຂໍ້ມູນແລະຄຸນສົມບັດທີ່ມີໃຫ້ນີ້ເພື່ອສ້າງວັດຖຸໃຫມ່ໃນການບິນໂດຍບໍ່ມີຮາດແວຫຼືຊອບແວເພີ່ມເຕີມ.
ການເຂົ້າເຖິງທີ່ປອດໄພ ACLs ແລະ PBAC: ສະຫນັບສະຫນູນນະໂຍບາຍແບບ IAM S3 ທີ່ມີການກໍ່ສ້າງໃນ IDP, ເບິ່ງ
ການປະຕິບັດທີ່ດີທີ່ສຸດຂອງ MinIO - ຄວາມປອດໄພແລະການຄວບຄຸມການເຂົ້າເຖິງ ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມ.
ຊັ້ນ : ສໍາລັບຂໍ້ມູນທີ່ບໍ່ສາມາດເຂົ້າເຖິງໄດ້ເລື້ອຍໆທ່ານສາມາດຊິບຂໍ້ມູນໄປຍັງບ່ອນເກັບມ້ຽນເຢັນອື່ນທີ່ໃຊ້ MinIO ເພື່ອໃຫ້ທ່ານສາມາດປັບປຸງຂໍ້ມູນຫຼ້າສຸດໃນຮາດແວທີ່ດີທີ່ສຸດຂອງເຈົ້າໄດ້ໂດຍບໍ່ຕ້ອງໃຊ້ຂໍ້ມູນທີ່ບໍ່ໄດ້ໃຊ້.
ການລັອກວັດຖຸ ແລະການຮັກສາໄວ້ : MinIO ສະຫນັບສະຫນູນການລັອກວັດຖຸ (ການເກັບຮັກສາ) ເຊິ່ງບັງຄັບໃຫ້ຂຽນຄັ້ງດຽວແລະກຽມພ້ອມຫຼາຍການດໍາເນີນງານສໍາລັບໄລຍະເວລາທີ່ອີງໃສ່ແລະການຖືກົດຫມາຍທີ່ບໍ່ມີກໍານົດ. ນີ້ອະນຸຍາດໃຫ້ສໍາລັບການປະຕິບັດຕາມການເກັບຮັກສາຂໍ້ມູນທີ່ສໍາຄັນແລະຕອບສະຫນອງຄວາມຕ້ອງການ SEC17a-4(f), FINRA 4511(C), ແລະ CFTC 1.31(c)-(d).
ບໍ່ໄດ້ກ່າວເຖິງ, ຊອບແວທີ່ດີແມ່ນບໍ່ມີຫຍັງໂດຍບໍ່ມີການສະຫນັບສະຫນູນທີ່ດີ. MinIO ສະຫນອງການສະຫນັບສະຫນູນທີ່ດີທີ່ສຸດຢູ່ທີ່ນັ້ນໂດຍໃຊ້ຂອງພວກເຮົາ
ຖ້າທ່ານມີຄໍາຖາມໃດໆກ່ຽວກັບວິທີໂອນຍ້າຍຂໍ້ມູນຂອງທ່ານຈາກ Dell ECS ໄປຫາ MinIO ໃຫ້ແນ່ໃຈວ່າຈະຕິດຕໍ່ຫາພວກເຮົາທີ່