paint-brush
Пераход на AI-Ready Infrastructure: Hitachi Content Platform на MinIOпа@minio
2,939 чытанні
2,939 чытанні

Пераход на AI-Ready Infrastructure: Hitachi Content Platform на MinIO

па MinIO3m2024/09/03
Read on Terminal Reader

Занадта доўга; Чытаць

HCP-to-MinIO - гэта інструмент для пераходу з Hitachi Content Platform на MinIO. MinIO з'яўляецца родным для Kubernetes і створаны для воблачнай аперацыйнай мадэлі. Ён па сваёй сутнасці падтрымлівае большасць сучасных стэкаў прыкладанняў для аналітыкі, статыстычнага аналізу і працоўных нагрузак AI/ML.
featured image - Пераход на AI-Ready Infrastructure: Hitachi Content Platform на MinIO
MinIO HackerNoon profile picture
0-item
1-item

Пераход ад Hitachi Content Platform (HCP) да MinIO яшчэ ніколі не быў простым дзякуючы нашаму інструменту HCP-to-MinIO. Гэты інструмент, распрацаваны для падтрымкі новых патрэб нашых кліентаў у сховішчы, даступны ў вольным доступе на GitHub і значна спрашчае працэс міграцыі. Многія арганізацыі пераходзяць на выкарыстанне сучаснага, маштабаванага і высокапрадукцыйнага сховішча аб'ектаў MinIO, аптымізаванага для інфраструктуры штучнага інтэлекту. Гэты падручнік змяшчае поўнае пакрокавае кіраўніцтва, каб забяспечыць плыўны і эфектыўны пераход на MinIO.

Чаму пераход на MinIO?

Кліенты часта пераходзяць з HCP на MinIO па некалькіх важкіх прычынах, асабліва пры аптымізацыі для прыкладанняў, якія кіруюцца штучным інтэлектам:


  1. Сучасныя патрабаванні да прыкладанняў : MinIO з'яўляецца родным для Kubernetes і створаны для воблачнай аперацыйнай мадэлі, што азначае, што ён па сваёй сутнасці падтрымлівае большасць сучасных стэкаў прыкладанняў для аналітыкі, статыстычнага аналізу і працоўных нагрузак AI/ML.


  2. Прадукцыйнасць у маштабе : MinIO эфектыўна апрацоўвае змешаныя памеры аб'ектаў, ад вельмі малых да вельмі вялікіх, забяспечваючы аптымальную прадукцыйнасць для аперацый штучнага інтэлекту з інтэнсіўным аб'ёмам дадзеных.


  3. Гнуткасць : Праграмна вызначанае, S3-сумяшчальнае сховішча аб'ектаў забяспечвае большую гібкасць і воблачную нейтральнасць у параўнанні са спецыяльнымі прыладамі захоўвання дадзеных.

Працэс міграцыі з HCP на MinIO

Падчас міграцыі рэкамендуецца пісаць выключна ў MinIO, а не ў HCP. Такі падыход гарантуе, што вы пачнеце так, як плануеце: выкарыстоўваць MinIO у якасці асноўнага сховішча аб'ектаў. Вось працэс:


  1. Першапачатковыя аперацыі чытання : падчас міграцыі выклікі getobject накіроўваюцца ў MinIO. Калі аб'ект не знойдзены, ён счытваецца з HCP. Пасля таго, як усе аб'екты будуць скапіраваны, гэты запасны варыянт можна выдаліць.


  2. Захаванне метададзеных : інструмент захоўвае змененыя пазнакі часу аб'ектаў падчас міграцыі.

Крок 1: Стварыце часовы каталог

Пасля загрузкі інструмента HCP-to-MinIO першым крокам з'яўляецца стварэнне часовага каталога для вынікаў выканання каманды list на этапе 2:


 $ mkdir /tmp/data


Затым усталюйце наступныя зменныя асяроддзя:


 $ export MINIO_ACCESS_KEY=<Your-MinIO-Access-Key> $ export MINIO_SECRET_KEY=<Your-MinIO-Secret-Key> $ export MINIO_ENDPOINT=https://<Your-MinIO-IP-Address>:9000 $ export MINIO_BUCKET=newbucket # optional, if unspecified HCP bucket name is used

Крок 2: Спіс аб'ектаў у HCP

Каманда list стварае спіс аб'ектаў, якія захоўваюцца ў HCP, і захоўвае яго ў лакальны файл. Гэты файл можа быць падзелены на меншыя спісы і апрацаваны паралельна некалькімі кліенцкімі машынамі, каб паскорыць перанос.


Вось каманда:


 hcp-to-minio list --auth-token --namespace-url --host-header --namespace-url --dir


І прыклад таго, як гэта можа выглядаць:


 $ hcp-to-minio list --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "HOST:s3testbucket.tenant.hcp.example.com" --namespace-url "https://hcp-vip.example.com" --dir "/tmp/data"

Крок 3: перанясіце аб'екты ў MinIO

Каманда migrate выкарыстоўвае спіс, створаны на першым этапе, для перадачы аб'ектаў з HCP у MinIO.


Каманда:


 hcp-to-minio migrate --namespace-url --auth-token --host-header --data-dir --bucket --input-file


Прыклад:


 $ hcp-to-minio migrate --namespace-url https://finance.europe.hcp.example.com --auth-token "HCP bXl1c2Vy:3f3c6784e97531774380db177774ac8d" --host-header "s3testbucket.sandbox.hcp.example.com" --data-dir /mnt/data --bucket s3testbucket --input-file /tmp/data/to-migrate.txt

Пачніце

Інструмент HCP-to-MinIO распрацаваны, каб дапамагчы вам перайсці да сучаснага рашэння для захоўвання аб'ектаў з магчымасцю маштабавання. Спампаваць інструмент з GitHub і пачніце сваю міграцыю сёння. Па любых пытаннях або дадатковай падтрымцы звяртайцеся да нас па адрасе [email protected].