paint-brush
Migración a una infraestructura preparada para IA: Hitachi Content Platform a MinIOpor@minio
2,939 lecturas
2,939 lecturas

Migración a una infraestructura preparada para IA: Hitachi Content Platform a MinIO

por MinIO3m2024/09/03
Read on Terminal Reader

Demasiado Largo; Para Leer

HCP-to-MinIO es una herramienta para migrar de Hitachi Content Platform a MinIO. MinIO es nativo de Kubernetes y está diseñado para el modelo operativo en la nube. Es compatible de manera inherente con la mayoría de las pilas de aplicaciones modernas para análisis, análisis estadístico y cargas de trabajo de IA/ML.
featured image - Migración a una infraestructura preparada para IA: Hitachi Content Platform a MinIO
MinIO HackerNoon profile picture
0-item
1-item

La transición de Hitachi Content Platform (HCP) a MinIO nunca ha sido tan fácil gracias a nuestra herramienta HCP-to-MinIO. Desarrollada para respaldar las necesidades de almacenamiento en constante evolución de nuestros clientes, esta herramienta está disponible de forma gratuita en GitHub y simplifica enormemente el proceso de migración. Muchas organizaciones están haciendo la transición para aprovechar el almacenamiento de objetos moderno, escalable y de alto rendimiento de MinIO, optimizado para la infraestructura de IA. Este tutorial proporciona una guía completa paso a paso para garantizar una transición fluida y eficiente a MinIO.

¿Por qué migrar a MinIO?

Los clientes a menudo migran de HCP a MinIO por varias razones convincentes, en particular cuando optimizan aplicaciones impulsadas por IA:


  1. Requisitos de aplicaciones modernas : MinIO es nativo de Kubernetes y está diseñado para el modelo operativo en la nube, lo que significa que admite de manera inherente la mayoría de las pilas de aplicaciones modernas para análisis, análisis estadístico y cargas de trabajo de IA/ML.


  2. Rendimiento a escala : MinIO maneja de manera eficiente tamaños de objetos mixtos, desde muy pequeños hasta muy grandes, lo que garantiza un rendimiento óptimo para operaciones de IA con uso intensivo de datos.


  3. Flexibilidad : el almacenamiento de objetos compatible con S3 y definido por software ofrece mayor flexibilidad y neutralidad en la nube en comparación con los dispositivos de almacenamiento dedicados.

Proceso de migración de HCP a MinIO

Durante la migración, se recomienda escribir exclusivamente en MinIO y no en HCP. Este enfoque garantiza que comience como planea continuar: usar MinIO como su almacén de objetos principal. Este es el proceso:


  1. Operaciones de lectura inicial : durante la migración, las llamadas getobject se dirigen a MinIO. Si no se encuentra un objeto, se lee desde HCP. Una vez que se copian todos los objetos, se puede eliminar esta opción de respaldo.


  2. Preservación de metadatos : la herramienta conserva las marcas de tiempo modificadas de los objetos durante la migración.

Paso 1: Crear un directorio temporal

Después de descargar la herramienta HCP-to-MinIO, el primer paso es crear un directorio temporal para los resultados del comando de lista del Paso 2:


 $ mkdir /tmp/data


A continuación, configure las siguientes variables de entorno:


 $ export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key> $ export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key> $ export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000 $ export MINIO_BUCKET=newbucket # optional, if unspecified HCP bucket name is used

Paso 2: Listar objetos en HCP

El comando list genera una lista de objetos almacenados en HCP y la guarda en un archivo local. Este archivo se puede dividir en listas más pequeñas y procesar en paralelo en varias máquinas cliente para acelerar la migración.


Aquí está el comando:


 hcp-to-minio list --auth-token --namespace-url --host-header --namespace-url --dir


Y un ejemplo de cómo podría verse:


 $ hcp-to-minio list --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"

Paso 3: Migrar objetos a MinIO

El comando migrate utiliza la lista generada en el primer paso para transferir objetos de HCP a MinIO.


El comando:


 hcp-to-minio migrate --namespace-url --auth-token --host-header --data-dir --bucket --input-file


El ejemplo:


 $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt

Empezar

La herramienta HCP-to-MinIO está diseñada para ayudarlo a migrar a una solución de almacenamiento de objetos moderna y escalable. Descargue la herramienta desde GitHub y comience su migración hoy mismo. Si tiene alguna pregunta o necesita ayuda adicional, contáctenos en [email protected].