Dell ECS kaqmanta MinIO kaqman Willayta Migracion

Dell ECS clusterkuna willayniyki mayqin S3 tupaq tiendamanpas astayta saqin. Dell ECS kay ruwayta sutichan “Data Kuyuy”, sutichasqataq copia-manta-puyuman. Chayqa huk ruwana ECS 3.8.0.1 kaqpi riqsichisqa chaymanta Dell ECS kaqmanta MinIO kaqman imakunata copiayta atikunki mayqinchus aswan riqsisqa rantiqkunawan chaymanta prospectokunawan mayqinkunachus waqaychay pilankuta musuqyachichkanku AI willay infraestructura mañakuyninkuta yanapanankupaq. Willayta Kuyuyqa ECS Sync kichasqa-qullqa yanapakuypa hawanpi ruwasqa kachkan mayqinchus willayta paralelo kaqpi copiayta atiyta qun.

Kay hatun qhawaypi rikuchisqaykiku imayna willayta Dell ECS kaqmanta MinIO kaqman astayta kay qatiqpi específicamente enfocakuspa:

• Fuente chaymanta Target Buckets nisqakunata wakichiy
• Willayta Kuyuchina kamachiykunata churay
• MiniIO kaqman astakuy qhaway chaymanta Qillqay

Pukyuta chaymanta Meta Cubos nisqakunata ruway

Manaraq willayta astanapaq kamachiyta ruwayta qallarichkaspa, pukyuta chaymanta meta cubos Willayta Kuyuypaq wakichisqa kaqta qhawasunchik.

Dell ECS pukyuta ruway

Ukhupi Willayta Kuyuchiy kamachiyqa pukyuta kutillata qhawan llapa imakuna willay kuyuypaq yupananpaq Metadatos (MD) Maskanawan.

Willayta Kuyuchiy chiqamanta willayta kuyuchinapaq, MD Maskana Dell ECS pukyuta cubo kaqpi atichisqa kaqta qhawanayki tiyan chaymanta LastModified huk indexasqa pampa hina churanayki tiyan.

Qatiqninpi MinIO, chay meta cubo nisqa wakichisunchik.

MiniIO Target Bucket nisqa ruway

Willayta MinIO kaqman t'inkisqa kananpaq, ñawpaqta MInIO kaqpi kay yanapakuyta ruwananchik tiyan:

• Yaykuna hinaspa Pakasqa Llavekuna
• Cubo Suti
• IAMpa kamachiynin

Cubota ruwachkaspa, aswan allinta qhaway cubo laya ruwayta atichiyta, mana sichus MinIO kaqpi cubo meta willay kuyuy kamachiypaqlla dedicadochu. Aswan allinta qhawariy kay pata detallekunata ruwaspayki imaynachus valorninkuna qhipaman necesitakun.

IAM kamachiyqa kay APIkuna saqinan tiyan:

• s3:ListaKubo
• s3:Objetota tariy
• s3:Objeto churay
• s3:BorrarObjeto nisqa

Kay yanapakuyta qatiy imayna IAM kamachiykunata ruwayta yachanaykipaq, Yaykuna Llaves chaymanta Cubos MinIO consola kaqpi.

1. Clusterta wakichichkaspa churasqa usernameta qillqay.
2. Clusterta wakichichkaspa churasqa contraseñata qillqay.
3. “Yaykuy” nisqapi ñit’iy.

4. Objeto Navegador : Kubokuna mayqinkunachus ruwasqa chaymanta willaykunata kargasqa kaypi rikuchikunqa.

   
   

5. Yaykuna Llavekuna : AWS IAM Estilo Yaykuna Llavekuna

   1. Yaykuna Llave ruway : Kaypi ñit'iy huk yaykuy chaymanta pakasqa t'aqasqa ruwanapaq chaymanta mayqinchus cluster qallariypaq llamk'achisqaykumanta.

   
   

6. Cubos : Llapan cubokuna kasqanmanta qillqay.

   1. Kubota paqarichiy : Mana kubokuna kaptinqa, ñawpaqman rispa musuqta paqarichiy.

   
   

7. Kamachiykuna : IAM Kamachiykuna

   
   

8. Identidad : Imaymana IDPkuna ruway chaymanta tinkiy OpenID chaymanta LDAP hina.

   
   

9. Qhaway : Clusterpa tukuy ima ruwayninkunata qhaway, Prometeomanpas apachiy.

Huk kuti Pukyu chaymanta Target cubokuna ruwasqa kaptin, Willayta Kuyuchiy Kamachiyta churasun.

Willayta Kuyuchina kamachiy

Willayta Kuyuchiy Kamachiy huk Dell ECS kaqpi huk sut'inchaymi mayqinchus UI utaq API kaqnintakama churayta atikun mayqinchus mayqin imakunachus huk Dell ECS pukyuta cubo kaqpi MinIO meta cubo kaqman copiasqa kananku tiyan chayta riqsichin. Willayta Kuyuchiy kamachiy escaneo llamkanakuna kikinmanta llamk'achisqa kanku ichaqa mayk'aqllapas sayasqa utaq wakmanta qallariy atikunku. Kayqa MinIO kaqman ancha rikch'akun lote replicación nisqa ruway. Ñawpaqmanta willay kuyuy kamachiy willayta MinIO kaqman astakun LastModified pacha ordenpi.

Iskay chikan Willay Kuyuy escenariokuna rikuchisqaykiku huk yuyayta qunaykupaq imayna kay llamk'ayta atinman, ichaqa hanaq pachaqa limite kaq mayk'aq imayna Migracion ruwayta munanki chaymanta.

Datos Kuyuy MinIO nisqaman

Kay ruwaypi yapasaqku necesario MinIO bits chaymanta bobs Dell ECS rimanapaq. Ñawpaq ruway, huk kuti MD Maskana atichisqa kaqtin, Datos Movilidad ON kaqman atichiymi kay urapi rikuchisqa hina.

Huk kuti Willayta Kuyuchiy ON kaqpi churasqa, ñawpaqman riyta atiykuman chaymanta kamachiyta ruwayta atiykuman.

• Tukuchina : Kayta MinIO tukukuyman churay http://<minio_ip>:<minio_port>
• Yaykuna chaymanta Paka Llave : Kayqa MinIO consola kaqpi ruwasqa karqa chaymanta ñawpaq ruwaypi waqaychasqa karqa.
• Cubo Suti : MiniIO meta cubo suti
• Qillqana Kubo: Kayqa Dell ECS kaqpi kutilla ima pantaytapas astakuy pachapi qillqan.

Huk churanakuna kan, mana tukuy churanakunatachu pasarqani, aswan importante kaqkunallata. Ama hina kaspa, sichus willakuy Dell ECS pukyuta qullusqa, mana MinIO meta kutillamanta qullusqachu kanqa astakuy tukusqa kaptin.

Dremiowan MinIOman Willayta Kuyuy

Kunanqa huk qhawayta qhawarisun imaynachus astakuy rikch'akunman huk ruwana Dremio kaqwan llamk'achispa.

Kay migracionpiqa iskay kimsa ruwaykunam kan

1. Huk rantiq uyayuq ruwana huk Dell ECS cubo kaqman qillqan.
2. ECS huk etapa cubo kaqman copiakun MinIO ukhupi ruwasqa willay kuyuy kamachiywan.
3. Datosqa escenificación cubo nisqamanmi copiakun.
4. MinIO escenificación cubo llamk'achinqa Sucedimientomanta Willakuy RabbitMQ nisqaman willayta apachinapaq, chaymanmi Dremio suscrito kanqa.
5. Dremio willayta ñawirin chaymanta willayta MinIO etapa cubomanta Dremio cuboman MinIO kaqpi ingest.
6. Huk kuti willayta mikhusqa, MinIO etapa cubota pichayta atikunki a kawsay muyu kamachiy .

Kaykunaqa iskay ejemplokunalla kanku ichaqa kay metodología llamk'achiyta atikunki mayqin ruwanamantapas Dell ECS MinIO kaqman llamk'achispa astakunaykipaq.

Willayta Kuyuy qhaway hinaspa Qillqay

Willayta astakuy ruwaypi, ancha allinmi tukuy astakuy ruwaypi qhawayta waqaychay imaynachus willayta MinIO kaqman kuyuchin. Dell ECS GUI tukuy qhaway tablakuna ñawpaq qhawaywan qun mayqinchus tukuy imakuna copiasqa, tukuy bytekuna copiasqa, yaku marca qhipakuy, tukuy pantaykuna, copiasqa imakuna, byte copiakuna, wakkuna ukhupi rikuchin.

Aswan urayman perforayta atikunki pukyuta/target específico willayta rikuchinaykipaq imaynachus objeto yupay chaymanta cubo sayaynin huk akllasqa pachapi astakuy ruwaypi.

Kay blog qallariypi qallariy siq'ipi rikuchirqayku huk registro cubo ECS ladoykupi kaqta, kaypi llapa llamkanakuna Willayta Kuyuymanta qillqasqa kachkan. Kayqa ancha yanapakuqmi ima sasachakuykunatapas allichaypaq astakuy ruwaypi aswanta mayk'aq ancha unay pachata hap'in hardware chaymanta física harkaykunarayku.

Kaypiqa huk rikch'anachiymi kachkan imaynachus chay troncokuna rikch'akun:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

¿Imaraykutaq MinIO nisqaman astakuna?

MinIO huk sapalla Go iskayniyuqmi, achka imaymana laya phuyupi chaymanta on-prem pachakunapi qallarichiyta atin. Ancha llasaqmi, ichaqa ruwana hunt'asqataqmi imakunawanpas imaynachus replicación chaymanta chifray hina, chaymanta imaymana ruwanakunawan tinkiykuna qun.

Ñuqaykuqa benchmarked nisqa chayta 325 GiB/s (349 GB/s) GETs kaqpi chaymanta 165 GiB/s (177 GB/s) PUTs kaqpi 32 nodoslla mana estanteyuq NVMe SSDs kaqwan – chaymanta willay quchakuna/qucha wasikuna ruwanapaq llamk'achkan chaymanta analisis chaymanta AI/ML llamkanakuna.

Mana chayllachu aswanpas hawa caja MinIO nisqapipas kaykunatan churan:

• Chifray: MinIO iskaynin chifrayta yanapan kaypi Samay hinaspa in Tránsito nisqa . Kayqa willayta tukuy facetas kaqpi ruwanamanta chifrasqa kaqta qhawan chaymanta waqyay ruwasqa pachamanta chaymanta chay objeto cubo kaqpi churasqa kanankama.

  
  

• Bitrotmanta Amachay : Askha razonkuna kanmi datos waqllichisqa kanman física diskukunapi. Chayqa kanman voltaje picos kaqrayku, firmware kaqpi pantaykunarayku, pantasqa ñawiriyrayku chaymanta qillqakunarayku wak imakuna ukhupi. MiniIO kaykunata hap'isqa kaqta chaymanta phawaypi allichasqa kaqta qhawan willaypa hunt'asqa kayninta qhawanapaq.

  
  

• Borrar Codificación nisqa : Aswanpas RAID kaqwan willaypa redundancia kaqninta qhawanamanta mayqinchus ruwaypi yapasqa hawa qullqita yapan, MinIO kay willay redundancia chaymanta tarikuy ruwayta llamk'achin chaymanta imakunatapas phawaypi wakmanta ruwanapaq mana ima yapasqa hardware utaq software kaqwan.

  
  

• Waqaychasqa Yaykuna ACLkuna chaymanta PBAC: IAM S3-hina kamachiykunata yanapakun ruwasqa IDP kaqwan, qhaway MiniIO Allin Ruwaykuna - Waqaychasqa chaymanta Yaykuna kamachiy aswan willakuykunata tarinaykipaq.

  
  

• Tiering nisqa : Willayta mana sapa kuti yaykuyniyuq kaqpaq willayta wak chiri waqaychayman MinIO purichiqman sifon ruwayta atikunki chaymanta aswan qhipa willayta aswan allin hardware kaqpi allinchayta atikunki mana mana llamk'asqa willayta espaciota hap'ispa.

  
  

• Objeto Bloqueo y Retención : MinIO yanapakun objeto bloqueo (retención) mayqinchus huk kuti qillqayta kamachin chaymanta listo achka ruwanakuna unay pachapaq sayasqa chaymanta mana tukukuyniyuq kamachiy hap'iy. Kayqa llave datokuna waqaychay hunt'ayta saqin chaymanta SEC17a-4(f), FINRA 4511(C), chaymanta CFTC 1.31(c)-(d) kamachiykunata hunt'an.

  
  

Mana rimanapaq, allin software mana imapaschu mana allin yanapakuyniyuq. MinIO huk aswan allin yanapakuyta qun chaypi ñuqaykupaq llamk'achispa SUBNET portal nisqapi. Ingenierokunayuq kayku mayqinkunachus MinIO núcleo código base kaqpi llamk'anku tapuykunata chiqamanta kutichinku huk Slack estilo interactivo chaymanta yanapanakuy medio kaqpi. Mayk'aq huk ingenierowan rimanki aswanpas mana tukukuyniyuqta escalay asuntoykita qatiq nivel ingenieroman chay runakuna pikunawanchus rimanki chaykuna atinku allichayta ima sasachakuywan tupasqaykita. Hasta rantiqkuna ñuqaykuman kutimusqankuta huk atipanakuq waqaychay plataformawan risqaykumanta mana allin yanapakuy kasqanrayku. Mana imapaschu sichus waqaychayniyki tukuy ruwanakunawan inti urapi diseñanki, sichus mana usqhayllachu rantiqniykita yanapanki chaymanta mana imapaqpas kanchu. Ñoqaykupaqqa rantiqniykuta yanapaymi hinaspa allinta ruwaymi #1 ñawpaqman churasqayku.

Sichus ima tapuyniykipas kan imayna willakuyniyki Dell ECS kaqmanta MinIO astakuyman astakuymanta ama hina kaspa ñuqaykuman chayay Llamp’u !