Все, что вам нужно знать для развертывания MinIO в виртуализированных средах

Виртуализированные центры обработки данных предоставляют предприятиям программно-определяемую инфраструктуру — серверы, хранилища, сеть — чтобы они могли достичь операционной эффективности и гибкости облака. Отделение программного обеспечения от оборудования дает ИТ-специалистам гибкость в управлении несколькими рабочими нагрузками в общем пуле ресурсов инфраструктуры. Виртуализация дает предприятиям возможность постоянно внедрять инновации для достижения бизнес-целей вместо выделения ресурсов на поддержание жестко настроенных ферм серверов. Виртуализация обеспечивает автоматизацию и оркестрацию, устраняя бремя управления базовой инфраструктурой, ускоряя предоставление услуг и одновременно сокращая эксплуатационные расходы.

Клиенты используют MinIO в виртуализированных средах по ряду причин. Прежде всего, MinIO используется для переноса облачных объектных хранилищ в программно-определяемые центры обработки данных. Это основной вариант использования объектного хранилища MinIO в виртуализированных средах. Наши корпоративные клиенты обычно используют VMware vSphere , но эти советы применимы к любому гипервизору.

В этом сообщении блога рассматриваются лучшие практики развертывания MinIO в виртуализированных средах. Эти рекомендации призваны стать отправной точкой и помочь вам убедиться, что MinIO установлен в среду, в которой он настроен для обеспечения ожидаемой производительности и гарантий надежности.

Рекомендации по развертыванию

При развертывании MinIO в виртуализированных средах важно убедиться, что созданы надлежащие условия для максимально эффективного использования MinIO. MinIO — это высокопроизводительная система, способная развивать совокупную скорость до 1,32 Тбит/с PUT и 2,6 Тбит/с GET при развертывании в кластере из 32 узлов. Обязательно следуйте рекомендациям вашей организации по развертыванию высокопроизводительных приложений в виртуализированной среде.

Избегайте проблем с «шумным соседом». Чтобы получить максимальную отдачу от MinIO, это должна быть единственная рабочая нагрузка, выполняющаяся на гипервизоре, так же, как и для любой высокопроизводительной системы в виртуализированной среде. Это предотвратит потерю производительности, вызванную потреблением ресурсов рабочими нагрузками при их запуске на других виртуальных машинах.

Обеспечьте сеть соответствующим образом. Убедитесь, что пропускной способности Ethernet-коммутатора (более чем) достаточно для удовлетворения требований приложений, которые вы планируете запускать с помощью MinIO. Для тестирования вы можете использовать простой инструмент, например, mperf . Вы можете использовать комплексный инструмент сравнительного анализа WARP , чтобы увидеть, как ваш кластер MinIO будет работать при различных рабочих нагрузках.

Обеспечьте доступность. Каждая виртуальная машина MinIO должна работать на собственном выделенном гипервизоре. MinIO использует стирающее кодирование для обеспечения доступности и долговечности данных. С помощью этого удобного инструмента вы можете увидеть, как MinIO справляется с потерей дисков или узлов с помощью стирающего кодирования. Наличие нескольких виртуальных машин одного кластера на одном и том же гипервизоре представляет риск того, что один гипервизор выйдет из строя больший, чем ожидалось, объем кластера, что может повлиять на высокую доступность и гарантии надежности, предлагаемые MinIO.

Устраните искусственные узкие места. Для обеспечения максимальной производительности MinIO требуются локальные диски для поддержки ресурсоемких рабочих нагрузок. По этой причине не следует запускать MinIO поверх других систем, которые обеспечивают собственную надежность. В этом нет необходимости, поскольку данные, сохраненные в MinIO, закодированы стиранием , а запуск других систем с собственными методами обеспечения надежности создаст искусственное узкое место. Примеры таких систем включают пулы RAID, LVM или ZFS. Не запускайте MinIO поверх распределенной файловой системы, такой как NFS, GlusterFS, GPFS и т. д. Не запускайте MinIO на тонких дисках. Цель состоит в том, чтобы уменьшить сложность и потенциальные узкие места, а также максимизировать производительность. Например, вы можете запустить MinIO на дисках SAN, но это добавит дополнительный уровень сложности и затруднит соблюдение требований к производительности в общем хранилище.

Подготовьте виртуальную машину. Если ваш гипервизор обеспечивает гостевую оптимизацию, убедитесь, что установлена текущая версия (например, VMware Tools), чтобы вы могли в полной мере использовать возможности виртуального оборудования.

Требования к развертыванию

У MinIO легкие требования к процессору и оперативной памяти. Программное обеспечение работает практически на любом оборудовании, что делает его хорошо подходящим для виртуализированной среды при правильной настройке.

Единственным ограничением производительности MinIO является ввод-вывод, а это означает, что операции чтения и записи могут быть такими же быстрыми, как и базовые системы ввода-вывода, т. е. привод, контроллер или сеть и т. д. Тесты неоднократно демонстрировали, что MinIO привязан к сети, но ограничен. по доступной пропускной способности. В идеале рабочие нагрузки, выполняемые на MinIO, также должны быть ограничены сетью.

Для чисто функционального тестирования MinIO можно запустить на таком легком оборудовании, как Raspberry Pi. Таким образом, даже виртуальные машины с минимальными характеристиками могут работать. Это полезно для людей, которые хотят изучать и экспериментировать с портативными S3-совместимыми объектными хранилищами, но не являются правильным выбором для производства.

Реализация производства предъявляет более высокие требования к базовой инфраструктуре. Перечисленные требования являются отличной отправной точкой для обеспечения успешного развертывания высокопроизводительного производственного кластера. Чтобы добиться наилучшего качества работы MinIO в виртуализированных средах, мы рекомендуем для тестирования следующие спецификации (для каждой виртуальной машины):

• 8 виртуальных ЦП
• 32 ГБ ОЗУ
• 4 диска (поддерживаемые физическими дисками, как упоминалось выше). Хотя технических ограничений на использование меньшего количества дисков нет, вы не сможете провести надежное тестирование на сбой диска или настройки кода стирания, и у вас может не хватить пропускной способности для очень больших объемов рабочих нагрузок.
• Сеть 10 Гбит/с. Используйте указанный выше инструмент mperf, чтобы убедиться, что виртуальные машины обеспечивают ожидаемую пропускную способность. В некоторых старых гипервизорах на диски накладываются искусственные ограничения пропускной способности. Хотя можно использовать сеть со скоростью менее 10 Гбит/с, имейте в виду, что даже небольшие рабочие нагрузки с интенсивным использованием сети быстро насыщают сеть со скоростью 1 Гбит/с.

Используя упомянутый выше инструмент сравнительного анализа WARP, вы можете определить, потребуются ли вам дополнительные ресурсы для удовлетворения требований вашего приложения.

Высокопроизводительное объектное хранилище для виртуализированных сред

Легкий, но масштабируемый, отказоустойчивый и производительный MinIO обеспечивает многопользовательское облачное объектное хранилище в виртуализированных средах. Получите максимальную отдачу от своего программно-определяемого центра обработки данных, добавив самое быстрое в мире объектное хранилище.

Начните с загрузки MinIO сегодня. Если у вас есть вопросы о том, как максимально эффективно использовать MinIO в виртуализированных средах, напишите нам по адресу [email protected] или присоединитесь к сообществу Slack .