Миграција на податоци од Dell ECS во MinIO

Кластерите на Dell ECS ви дозволуваат да ги префрлите вашите податоци во која било продавница компатибилна со S3. Dell ECS ја нарекува оваа функција „Движење на податоци“, исто така наречена копирање во облак. Тоа е функција воведена во ECS 3.8.0.1 која ви овозможува да копирате објекти од Dell ECS на MinIO, што е прилично популарно кај клиентите и потенцијалните клиенти кои го модернизираат својот куп за складирање за да ги поддржат нивните барања за инфраструктура за податоци со вештачка интелигенција. Движењето на податоци е изградено врз алатката со отворен код ECS Sync која обезбедува можност за паралелно копирање на податоците.

Во овој преглед ќе ви покажеме како да мигрирате податоци од Dell ECS на MinIO со конкретно фокусирање на следново:

Конфигурирање на корпи за извор и цел
Поставување политики за движење на податоци
Следење и евидентирање на миграцијата до MinIO

Конфигурирајте ги корпите за извор и цел

Пред да започнеме со креирање на политиката за мигрирање на податоците, ајде да се погрижиме корпите за извор и цел се конфигурирани за движење на податоци.

Конфигурирајте ја изворната корпа на Dell ECS

Внатрешно, политиката за движење на податоци ја скенира изворната корпа за да ги наброи сите објекти за движење на податоци користејќи пребарување на метаподатоци (MD).

За движењето на податоците навистина да преместува податоци, треба да се осигурате дека MD Search е овозможено на изворната корпа на Dell ECS и да го вклучи LastModified како индексирано поле.

Следно, ајде да го конфигурираме MinIO, целната корпа.

Конфигурирајте ја MinIO Target Bucket

За да може податоците да се пренесат на MinIO, треба претходно да го создадеме следниов ресурс во MINIO:

Пристап и тајни клучеви
Име на кофата
Политика на ИАМ

Кога ја креирате корпата, погрижете се да овозможите верзија на корпата, освен ако целната корпа во MinIO не е посветена само за политиката за движење на податоци. Забележете ги горенаведените детали откако ќе ги креирате бидејќи нивните вредности се потребни подоцна.

Политиката на IAM треба да ги дозволи следниве API:

s3:ListBucket
s3: GetObject
s3:PutObject
s3:DeleteObject

Следете го ова упатство за да научите како да креирате IAM политики, клучеви за пристап и корпи во MinIO конзолата.

Внесете го корисничкото име што беше поставено при конфигурирање на кластерот.
Внесете ја лозинката што беше поставена при конфигурирање на кластерот.
Кликнете на „Најави се“

Прелистувач на објекти : Кофите што се креирани и поставени податоци ќе бидат прикажани овде.
Копчиња за пристап : AWS IAM копчиња за пристап
1. Креирај клуч за пристап : кликнете овде за да креирате пристап и тајна одвоена од онаа што ја користевме за стартување на кластерот.
Кофи : Наведете ги сите корпи што се достапни.
1. Креирај кофа : Ако нема корпи, продолжи и креирај нова.
Политики : Политики на IAM
Идентитет : Креирајте и поврзете различни ИДП како што се OpenID и LDAP.
Мониторинг : Следете ги сите аспекти на кластерот, па дури и испратете го до Прометеј.

Откако ќе се конфигурираат корпите Извор и Цел, ајде да ја поставиме Политиката за движење на податоци.

Политика за движење на податоци

Политиката за движење на податоци е дефиниција во Dell ECS што може да се постави или преку UI или API што дефинира кои објекти во изворната корпа на Dell ECS треба да се копираат во целната корпа MinIO. Работите за скенирање на политиката за движење на податоци автоматски се активираат, но може да се паузираат или продолжат во секое време. Ова е многу слично на MinIO's сериска репликација процес. Стандардно, политиката за движење на податоци ги мигрира податоците во MinIO по редослед на последното изменето време.

Ќе ви покажеме две различни сценарија за движење на податоци за да ви дадеме идеја како ова може да функционира, но небото е граница кога станува збор за тоа како би сакале да ја извршите миграцијата.

Движење на податоци до MinIO

Во оваа конфигурација ќе ги додадеме потребните MinIO битови и бобови за Dell ECS да комуницира со. Првиот чекор, откако ќе биде овозможено MD Search, е да ON вклучи Data Mobility како што е прикажано подолу.

Откако мобилноста на податоци е поставена на ON , можеме да продолжиме и да ја конфигурираме политиката.

Крајна точка : поставете го ова на MinIO крајната точка http://<minio_ip>:<minio_port>
Пристап и таен клуч : Ова беше креирано во конзолата MinIO и зачувано во претходниот чекор.
Име на кофата : Име на целната кофа MinIO
Кофа за евиденција: Ова е корпата во Dell ECS што ги евидентира сите грешки за време на миграцијата.

Има и други поставки, не ги поминав сите поставки, само најважните. Имајте предвид дека ако податоците се избришат од изворната корпа на Dell ECS, тие нема да се избришат од целната корпа MinIO откако ќе заврши миграцијата.

Движење на податоци со Dremio во MinIO

Сега да погледнеме како би изгледала миграцијата користејќи апликација што користи Dremio.

Постојат неколку чекори што се случуваат за време на оваа миграција

Апликација со која се соочува клиент пишува во корпа Dell ECS.
ECS копира во кофа за поставување во рамките на MinIO конфигурирана користејќи политика за движење на податоци.
Податоците се копираат во кофата за поставување.
Ќе користи MinIO кофата за поставување Известување за настан да испратите порака до RabbitMQ, на која Dremio ќе биде претплатен.
Dremio ја чита пораката и ги внесува податоците од кофата за поставување на MinIO до кофата Dremio во MinIO.
Откако ќе се внесат податоците, можете да ја исчистите корпата за поставување на MinIO користејќи a политика на животниот циклус .

Ова се само два примери, но можете да ја користите оваа методологија за да мигрирате од која било апликација користејќи Dell ECS на MinIO.

Следење на движењето на податоците и евиденција

За време на процесот на миграција на податоци, важно е да се внимава на целокупниот процес на миграција додека се преместуваат податоците во MinIO. Dell ECS GUI обезбедува прегледни контролни табли со напреден мониторинг што ги прикажува вкупните објекти копирани, вкупните бајти копирани, доцнењето воден печат, вкупните грешки, објектите копирани, копии од бајти, меѓу другото.

Можете дополнително да ги продлабочите за да прикажете специфични информации за изворот/цел, како што се бројот на објекти и големината на корпата во одреден период за време на процесот на миграција.

Во првичниот дијаграм на почетокот на овој блог, покажавме корпа за дневници што ја имаме на страната ECS, тука се евидентирани сите операции од Движењето на податоци. Ова е многу корисно за отстранување грешки за време на процесот на миграција, особено кога е потребно многу долго време поради хардверски и физички ограничувања.

Еве пример за тоа како изгледаат дневниците:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

Зошто да мигрирате на MinIO?

MinIO е единствена Go бинарна верзија која може да се лансира во многу различни типови на облак и средини во преработка. Тој е многу лесен, но исто така е полн со функции како што се репликација и шифрирање, и обезбедува интеграции со различни апликации.

Ние имаме мерило тоа е со 325 GiB/s (349 GB/s) на GET и 165 GiB/s (177 GB/s) на PUT со само 32 јазли на несекојдневни NVMe SSD – и се користи за изградба на езера/куќи со податоци и аналитика и оптоварување на AI/ML.

Не само тоа, туку надвор од кутијата MinIO исто така вклучува:

Енкрипција: MinIO поддржува и шифрирање на Одмор и во Транзит . Ова осигурува дека податоците се шифрирани во сите аспекти на трансакцијата од моментот на упатување на повикот до ставање на објектот во корпата.
Bitrot заштита : Постојат неколку причини поради кои податоците може да се оштетат на физичките дискови. Може да се должи на скокови на напон, грешки во фирмверот, погрешно читање и пишување, меѓу другото. MinIO гарантира дека тие се снимени и фиксираат во лет за да се обезбеди интегритет на податоците.
Кодирање за бришење : Наместо да обезбеди вишок на податоци користејќи RAID што додава дополнителни трошоци за перформансите, MinIO ја користи оваа функција за вишок на податоци и достапност за да ги реконструира објектите во лет без дополнителен хардвер или софтвер.
Безбеден пристап ACL и PBAC: Поддржува политики во стилот на IAM S3 со вграден IDP, види Најдобри практики на MinIO - безбедност и контрола на пристап за повеќе информации.
Нивоа : За податоци до кои не се пристапува толку често, можете да ги префрлите податоците во друга ладна меморија со MinIO за да можете да ги оптимизирате најновите податоци на вашиот најдобар хардвер без неискористените податоци да одземаат простор.
Заклучување и задржување на објекти : MinIO поддржува заклучување на објекти (задржување) кое наметнува запишување еднаш и подготвено многу операции за времетраење и неодредено законско задржување. Ова овозможува усогласеност со задржување на клучните податоци и ги исполнува барањата SEC17a-4(f), FINRA 4511(C) и CFTC 1.31(c)-(d).

Да не зборуваме, добар софтвер не е ништо без добра поддршка. MinIO обезбедува една од најдобрите поддршка таму користејќи ја нашата ПОДМРЕЖА портал. Имаме инженери кои работат на базата на основни кодови MinIO одговараат на прашања директно во интерактивен и колаборативен медиум во стилот на Slack. Кога зборувате со инженер наместо бескрајно да го ескалирате вашето прашање на инженерот на следното ниво, луѓето со кои разговарате се способни да го решат секој проблем на кој ќе наидете. Имавме дури и клиенти кои се вратија кај нас откако отидоа со платформа за складирање на конкуренти поради недостаток на соодветна поддршка. Без разлика дали го дизајнирате вашето складирање со сите карактеристики под сонцето, ако навремено не го поддржувате вашиот клиент, тогаш тоа нема никаква корист. За нас да ги поддржуваме нашите клиенти и да ги направиме успешни е наш приоритет број 1.

Ако имате какви било прашања за тоа како да ги префрлите вашите податоци од Dell ECS во миграција на MinIO, не заборавајте да контактирате со нас на Лабаво !

Миграција на податоци од Dell ECS во MinIO

Премногу долго; Да чита

Конфигурирајте ги корпите за извор и цел