Migrasi Data daripada Dell ECS kepada MiniIO

Kelompok Dell ECS membolehkan anda memindahkan data anda ke mana-mana kedai yang serasi dengan S3. Dell ECS memanggil ciri ini "Pergerakan Data", juga dipanggil salin ke awan. Ia adalah ciri yang diperkenalkan dalam ECS 3.8.0.1 yang membolehkan anda menyalin objek daripada Dell ECS ke MiniIO yang agak popular dengan pelanggan dan prospek yang sedang memodenkan timbunan storan mereka untuk menyokong keperluan infrastruktur data AI mereka. Pergerakan Data dibina di atas alat sumber terbuka ECS Sync yang menyediakan keupayaan untuk menyalin data secara selari.

Dalam gambaran keseluruhan ini, kami akan menunjukkan kepada anda cara untuk memindahkan data daripada Dell ECS ke MiniIO dengan memfokuskan secara khusus pada perkara berikut:

• Mengkonfigurasi Baldi Sumber dan Sasaran
• Menyediakan Dasar Pergerakan Data
• Memantau dan Melog perpindahan ke MiniIO

Konfigurasikan Baldi Sumber dan Sasaran

Sebelum kita boleh mula membuat dasar untuk memindahkan data, mari pastikan baldi sumber dan sasaran dikonfigurasikan untuk Pergerakan Data.

Konfigurasikan baldi sumber Dell ECS

Secara dalaman, dasar Pergerakan Data mengimbas baldi sumber untuk menghitung semua objek untuk pergerakan data menggunakan Carian Metadata (MD).

Untuk Pergerakan Data benar-benar memindahkan data, anda perlu memastikan Carian MD didayakan pada baldi sumber Dell ECS dan memasukkan LastModified sebagai medan diindeks.

Seterusnya mari kita konfigurasikan MiniIO, baldi sasaran.

Konfigurasikan Baldi Sasaran MiniIO

Untuk membolehkan data dipindahkan ke MiniIO, kami perlu mencipta sumber berikut dalam MInIO terlebih dahulu:

• Akses dan Kunci Rahsia
• Nama Baldi
• dasar IAM

Apabila membuat baldi, pastikan anda mendayakan versi baldi, melainkan baldi sasaran dalam MiniIO dikhususkan hanya untuk dasar pergerakan data. Pastikan anda mencatat butiran di atas selepas menciptanya kerana nilainya diperlukan kemudian.

Dasar IAM harus membenarkan API berikut:

• s3:ListBucket
• s3:GetObject
• s3:PutObject
• s3:DeleteObject

Ikuti panduan ini untuk mengetahui cara membuat dasar IAM, Kunci Akses dan Baldi dalam konsol MiniIO.

1. Masukkan nama pengguna yang telah ditetapkan semasa mengkonfigurasi kluster.
2. Masukkan kata laluan yang telah ditetapkan semasa mengkonfigurasi kluster.
3. Klik “Log Masuk”

4. Pelayar Objek : Baldi yang telah dibuat dan data yang dimuat naik akan ditunjukkan di sini.

   
   

5. Kekunci Akses : Kekunci Akses Gaya IAM AWS

   1. Cipta Kunci Akses : Klik di sini untuk mencipta akses dan rahsia yang berasingan daripada yang kami gunakan untuk melancarkan kluster.

   
   

6. Baldi : Senaraikan semua baldi yang tersedia.

   1. Buat Baldi : Jika tiada baldi, teruskan dan buat baldi baharu.

   
   

7. Polisi : Polisi IAM

   
   

8. Identiti : Buat dan Sambungkan pelbagai IDP seperti OpenID dan LDAP.

   
   

9. Pemantauan : Pantau semua aspek kluster dan hantar ke Prometheus.

Setelah baldi Sumber dan Sasaran dikonfigurasikan, mari sediakan Dasar Pergerakan Data.

Dasar Pergerakan Data

Dasar Pergerakan Data ialah definisi dalam Dell ECS yang boleh ditetapkan sama ada melalui UI atau API yang mentakrifkan objek dalam baldi sumber Dell ECS harus disalin ke baldi sasaran MiniIO. Kerja imbasan dasar Pergerakan Data dicetuskan secara automatik tetapi boleh dijeda atau disambung semula pada bila-bila masa. Ini sangat serupa dengan MiniIO replikasi kelompok proses. Secara lalai, dasar pergerakan data memindahkan data ke MiniIO mengikut urutan masa LastModified.

Kami akan menunjukkan kepada anda dua senario Pergerakan Data yang berbeza untuk memberi anda idea tentang cara ini boleh berfungsi, tetapi langit adalah had apabila ia melibatkan cara anda ingin melakukan Migrasi.

Pergerakan Data ke MiniIO

Dalam konfigurasi ini, kami akan menambah bit dan bob MiniIO yang diperlukan untuk berkomunikasi dengan Dell ECS. Langkah pertama, sebaik Carian MD didayakan, adalah untuk mendayakan Mobiliti Data ON seperti yang ditunjukkan di bawah.

Setelah Mobiliti Data ditetapkan kepada ON , kami boleh meneruskan dan mengkonfigurasi dasar.

• Titik tamat : Tetapkan ini kepada titik akhir MiniO http://<minio_ip>:<minio_port>
• Akses dan Kunci Rahsia : Ini telah dibuat dalam konsol MiniIO dan disimpan dalam langkah sebelumnya.
• Nama Baldi : Nama baldi sasaran MiniIO
• Baldi Pengelogan: Ini ialah baldi dalam Dell ECS yang merekodkan sebarang ralat semasa pemindahan.

Terdapat tetapan lain, saya tidak pergi melalui semua tetapan, hanya yang paling penting. Sila ambil perhatian bahawa jika data dipadamkan daripada baldi sumber Dell ECS, ia tidak akan dipadamkan daripada baldi sasaran MiniIO selepas pemindahan telah selesai.

Pergerakan Data dengan Dremio ke MiniIO

Sekarang mari kita lihat bagaimana penghijrahan akan kelihatan seperti menggunakan aplikasi yang menggunakan Dremio.

Terdapat beberapa langkah yang berlaku semasa penghijrahan ini

1. Aplikasi yang dihadapi pelanggan menulis ke baldi Dell ECS.
2. ECS menyalin ke baldi pementasan dalam MiniIO yang dikonfigurasikan menggunakan dasar pergerakan data.
3. Data disalin ke baldi pementasan.
4. Baldi pementasan MiniIO akan digunakan Pemberitahuan Acara untuk menghantar mesej kepada RabbitMQ, yang akan dilanggan oleh Dremio.
5. Dremio membaca mesej dan menyedut data daripada baldi pementasan MiniIO ke baldi Dremio dalam MiniIO.
6. Setelah data diserap, anda boleh membersihkan baldi pementasan MiniIO menggunakan a dasar kitaran hayat .

Ini hanyalah dua contoh tetapi anda boleh menggunakan metodologi ini untuk berhijrah dari mana-mana aplikasi menggunakan Dell ECS ke MiniIO.

Pemantauan dan Pembalakan Pergerakan Data

Semasa proses pemindahan data, adalah penting untuk memerhatikan keseluruhan proses migrasi kerana ia mengalihkan data ke MiniIO. GUI Dell ECS menyediakan papan pemuka gambaran keseluruhan dengan pemantauan lanjutan yang menunjukkan jumlah objek yang disalin, jumlah bait yang disalin, lag tera air, jumlah ralat, objek yang disalin, salinan bait, antara lain.

Anda boleh menelusuri lebih lanjut untuk menunjukkan maklumat khusus sumber/sasaran seperti kiraan objek dan saiz baldi sepanjang tempoh yang dipilih semasa proses migrasi.

Dalam rajah awal pada permulaan blog ini, kami telah menunjukkan baldi log yang kami ada di sebelah ECS, di sinilah semua operasi dari Pergerakan Data direkodkan. Ini sangat membantu untuk menyahpepijat sebarang isu semasa proses migrasi terutamanya apabila ia mengambil masa yang sangat lama disebabkan oleh perkakasan dan kekangan fizikal.

Berikut ialah contoh bagaimana log kelihatan seperti:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

Mengapa berhijrah ke MiniIO?

MiniIO ialah perduaan Go tunggal yang boleh dilancarkan dalam pelbagai jenis awan dan persekitaran di hadapan. Ia sangat ringan, tetapi juga dilengkapi ciri dengan perkara seperti replikasi dan penyulitan, dan ia menyediakan penyepaduan dengan pelbagai aplikasi.

Kami telah ditanda aras ia pada 325 GiB/s (349 GB/s) pada GET dan 165 GiB/s (177 GB/s) pada PUT dengan hanya 32 nod NVMe SSD yang luar biasa – dan digunakan untuk membina tasik data/rumah tasik dan analisis dan beban kerja AI/ML.

Bukan itu sahaja tetapi di luar kotak MiniIO juga termasuk:

• Penyulitan: MiniIO menyokong kedua-dua penyulitan di Rehat dan dalam Transit . Ini memastikan bahawa data disulitkan dalam semua aspek transaksi dari saat panggilan dibuat sehingga objek diletakkan di dalam baldi.

  
  

• Perlindungan Bitrot : Terdapat beberapa sebab data boleh rosak pada cakera fizikal. Ia mungkin disebabkan oleh lonjakan voltan, pepijat dalam perisian tegar, bacaan dan penulisan yang salah hala antara lain. MiniIO memastikan bahawa ini ditangkap dan diperbaiki dengan cepat untuk memastikan integriti data.

  
  

• Pengekodan Pemadaman : Daripada memastikan lebihan data menggunakan RAID yang menambah overhed tambahan pada prestasi, MiniIO menggunakan lebihan data dan ciri ketersediaan ini untuk membina semula objek dengan cepat tanpa sebarang perkakasan atau perisian tambahan.

  
  

• ACL dan PBAC Akses Selamat: Menyokong dasar gaya IAM S3 dengan IDP terbina dalam, lihat Amalan Terbaik MiniIO - Keselamatan dan Kawalan Akses untuk maklumat lanjut.

  
  

• Pemeringkatan : Untuk data yang tidak dapat diakses sekerap anda boleh menyedut data ke storan sejuk lain yang menjalankan MinIO supaya anda boleh mengoptimumkan data terkini pada perkakasan terbaik anda tanpa data yang tidak digunakan mengambil ruang.

  
  

• Penguncian dan Pengekalan Objek : MiniIO menyokong penguncian objek (pengekalan) yang menguatkuasakan penulisan sekali dan menyediakan banyak operasi untuk pegangan undang-undang berasaskan tempoh dan tidak terbatas. Ini membolehkan pematuhan pengekalan data utama dan memenuhi keperluan SEC17a-4(f), FINRA 4511(C) dan CFTC 1.31(c)-(d).

  
  

Apatah lagi, perisian yang baik bukan apa-apa tanpa sokongan yang baik. MiniIO menyediakan salah satu sokongan terbaik di luar sana menggunakan kami SUBNET portal. Kami mempunyai jurutera yang bekerja pada asas kod teras MiniIO menjawab soalan secara langsung dalam medium interaktif dan kolaboratif gaya Slack. Apabila anda bercakap dengan jurutera dan bukannya meningkatkan isu anda ke peringkat seterusnya jurutera, orang yang anda bercakap mampu menyelesaikan sebarang isu yang anda temui. Kami juga telah meminta pelanggan kembali kepada kami selepas menggunakan platform storan pesaing kerana kekurangan sokongan yang sewajarnya. Tidak kira jika anda mereka bentuk storan anda dengan semua ciri di bawah matahari, jika anda tidak menyokong pelanggan anda dengan segera maka ia tidak berguna. Bagi kami menyokong pelanggan kami dan menjadikan mereka berjaya adalah keutamaan kami #1.

Jika anda mempunyai sebarang soalan tentang cara memindahkan data anda daripada migrasi Dell ECS ke MiniIO, pastikan anda menghubungi kami di Kendur !