paint-brush
Μεταφορά στην υποδομή AI-Ready: Πλατφόρμα περιεχομένου Hitachi στο MinIOμε@minio
2,939 αναγνώσεις
2,939 αναγνώσεις

Μεταφορά στην υποδομή AI-Ready: Πλατφόρμα περιεχομένου Hitachi στο MinIO

με MinIO3m2024/09/03
Read on Terminal Reader

Πολύ μακρύ; Να διαβασω

Το HCP-to-MinIO είναι ένα εργαλείο για μετεγκατάσταση από την πλατφόρμα περιεχομένου Hitachi στο MinIO. Το MinIO είναι εγγενές στο Kubernetes και έχει κατασκευαστεί για το μοντέλο λειτουργίας cloud. Υποστηρίζει εγγενώς τις περισσότερες σύγχρονες στοίβες εφαρμογών για αναλυτικά στοιχεία, στατιστικές αναλύσεις και φόρτους εργασίας AI/ML.
featured image - Μεταφορά στην υποδομή AI-Ready: Πλατφόρμα περιεχομένου Hitachi στο MinIO
MinIO HackerNoon profile picture
0-item
1-item

Η μετάβαση από την πλατφόρμα περιεχομένου Hitachi (HCP) στο MinIO δεν ήταν ποτέ ευκολότερη, χάρη στο εργαλείο μας HCP-to-MinIO. Αναπτύχθηκε για να υποστηρίξει τις εξελισσόμενες ανάγκες αποθήκευσης των πελατών μας, αυτό το εργαλείο είναι δωρεάν διαθέσιμο στο GitHub και απλοποιεί σημαντικά τη διαδικασία μετανάστευσης. Πολλοί οργανισμοί μεταβαίνουν στην αξιοποίηση της σύγχρονης, επεκτάσιμης και υψηλής απόδοσης αποθήκευσης αντικειμένων του MinIO, βελτιστοποιημένη για υποδομή AI. Αυτό το σεμινάριο παρέχει έναν περιεκτικό οδηγό βήμα προς βήμα για να εξασφαλίσει μια ομαλή και αποτελεσματική μετάβαση στο MinIO.

Γιατί μετάβαση στο MinIO;

Οι πελάτες συχνά μεταναστεύουν από το HCP στο MinIO για πολλούς επιτακτικούς λόγους, ιδιαίτερα κατά τη βελτιστοποίηση για εφαρμογές που βασίζονται σε AI:


  1. Απαιτήσεις σύγχρονων εφαρμογών : Το MinIO είναι εγγενές στο Kubernetes και έχει κατασκευαστεί για το μοντέλο λειτουργίας cloud, πράγμα που σημαίνει ότι υποστηρίζει εγγενώς τις περισσότερες σύγχρονες στοίβες εφαρμογών για αναλυτικά στοιχεία, στατιστικές αναλύσεις και φόρτους εργασίας AI/ML.


  2. Απόδοση σε κλίμακα : Το MinIO χειρίζεται αποτελεσματικά μικτά μεγέθη αντικειμένων, από πολύ μικρά έως πολύ μεγάλα, εξασφαλίζοντας βέλτιστη απόδοση για λειτουργίες τεχνητής νοημοσύνης με ένταση δεδομένων.


  3. Ευελιξία : Η αποθήκευση αντικειμένων συμβατή με το λογισμικό S3 προσφέρει μεγαλύτερη ευελιξία και ουδετερότητα στο cloud σε σύγκριση με τις αποκλειστικές συσκευές αποθήκευσης.

Διαδικασία μετεγκατάστασης HCP-to-MinIO

Κατά τη μετεγκατάσταση, συνιστάται η εγγραφή αποκλειστικά στο MinIO και όχι στο HCP. Αυτή η προσέγγιση διασφαλίζει ότι ξεκινάτε όπως σκοπεύετε να συνεχίσετε: χρησιμοποιώντας το MinIO ως κύριο χώρο αποθήκευσης αντικειμένων. Εδώ είναι η διαδικασία:


  1. Λειτουργίες αρχικής ανάγνωσης : Κατά τη μετεγκατάσταση, οι κλήσεις getobject κατευθύνονται στο MinIO. Εάν ένα αντικείμενο δεν βρεθεί, διαβάζεται από το HCP. Μόλις αντιγραφούν όλα τα αντικείμενα, αυτό το εναλλακτικό μπορεί να αφαιρεθεί.


  2. Διατήρηση μεταδεδομένων : Το εργαλείο διατηρεί τις τροποποιημένες χρονικές σημάνσεις των αντικειμένων κατά τη μετεγκατάσταση.

Βήμα 1: Δημιουργήστε έναν Προσωρινό Κατάλογο

Μετά τη λήψη του εργαλείου HCP-to-MinIO, το πρώτο βήμα είναι να δημιουργήσετε έναν προσωρινό κατάλογο για τα αποτελέσματα της εντολής λίστας στο Βήμα 2:


 $ mkdir /tmp/data


Στη συνέχεια, ορίστε τις ακόλουθες μεταβλητές περιβάλλοντος:


 $ export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key> $ export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key> $ export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000 $ export MINIO_BUCKET=newbucket # optional, if unspecified HCP bucket name is used

Βήμα 2: Λίστα αντικειμένων στο HCP

Η εντολή list δημιουργεί μια λίστα αντικειμένων που είναι αποθηκευμένα στο HCP και την αποθηκεύει σε ένα τοπικό αρχείο. Αυτό το αρχείο μπορεί να χωριστεί σε μικρότερες λίστες και να υποβληθεί σε επεξεργασία παράλληλα από πολλαπλούς υπολογιστές-πελάτες για να επιταχυνθεί η μετεγκατάσταση.


Εδώ είναι η εντολή:


 hcp-to-minio list --auth-token --namespace-url --host-header --namespace-url --dir


Και ένα παράδειγμα για το πώς μπορεί να μοιάζει:


 $ hcp-to-minio list --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"

Βήμα 3: Μεταφορά αντικειμένων στο MinIO

Η εντολή migrate χρησιμοποιεί τη λίστα που δημιουργήθηκε στο πρώτο βήμα για τη μεταφορά αντικειμένων από το HCP στο MinIO.


Η εντολή:


 hcp-to-minio migrate --namespace-url --auth-token --host-header --data-dir --bucket --input-file


Το παράδειγμα:


 $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt

Ξεκινήστε

Το εργαλείο HCP-to-MinIO έχει σχεδιαστεί για να σας βοηθήσει να μεταβείτε σε μια σύγχρονη, επεκτάσιμη λύση αποθήκευσης αντικειμένων. Κατεβάστε το εργαλείο από GitHub και ξεκινήστε τη μετανάστευση σήμερα. Για οποιεσδήποτε ερωτήσεις ή πρόσθετη υποστήριξη, επικοινωνήστε μαζί μας στο [email protected].