AI/ML ワークロードを Kubernetes にデプロイするための 3 つの主要ツール

インフラストラクチャ テクノロジの世界では、物事は急速に変化しています。 Kubernetesでデータベースを実行するのは難しいと考えられていたのは、それほど昔のことではありません。しかし、それは昨日の問題でした。 Kubernetes は仮想データセンターを迅速かつ効率的に作成するための強力な方法であるため、クラウドネイティブ アプリケーションのビルダーはステートフル ワークロードの実行に長けています。

前回これについて書いたとき、仮想データ センターのアプリケーション スタックの他の部分、特にストリーミング ワークロードと分析を検討するために、少し範囲を広げました。

これら 2 つが Kubernetes のメインストリームに移行するにつれて、ユース ケースに関する議論はより興味深いものになります。

これらの基本的なデータ ツールにアクセスできる場合、これらのツールで何をしますか?ありがたいことに、業界はすでにAI/ML ワークロードという方向性を選択しているため、あまり深く調査する必要はありません。

これを推進しているのは、より高速でアジャイルな MLOps をサポートする必要性です。オンライン予測、別名リアルタイム人工知能 (AI) とも呼ばれます。 UberやNetflixなどの企業は早期に採用しましたが、Kubernetes をより迅速に使用できるようにするための優れたプロジェクトが数多く用意されています。

Feastでの機能提供

機械学習 (ML) モデルの構築と維持は、バック オフィスから本番環境のユーザーに近づいています。フィーチャ ストアは、データと機械学習モデルの間のブリッジとして機能し、モデルがオフライン フェーズとオンライン フェーズの両方でデータにアクセスするための一貫した方法を提供します。モデルのトレーニング中にデータ処理要件を管理し、オンライン フェーズ中にモデルへの低レイテンシのリアルタイム アクセスを提供します。これにより、両方のフェーズでデータの一貫性が確保され、オンラインとオフラインの要件が満たされます。

ごちそうは、Kubernetes で実行されているフィーチャ ストアの例です。これはオープン ソースであり、組織はオフライン トレーニングとオンライン推論のために機能を一貫して保存および提供できます。 Feast は、ポイントインタイムの正確性などの特殊な機能を提供することで、従来のデータベースを超えています。

KServe を使用したモデル提供

KServeは、機械学習モデルを Kubernetes にデプロイし、モデルのフェッチ、ロードを処理し、CPU または GPU が必要かどうかを判断するための API エンドポイントです。スケールアウトのためにKNativeイベンティングと統合し、メトリクスやロギングなどのオブザーバビリティ機能を提供します。一番良いところ？使い方は簡単です。 KServe にモデル ファイルを指定するだけで、API が作成され、残りが処理されます。

説明機能は、各予測について決定が下された理由についての洞察を提供し、機能の重要性を提供し、特定の結果につながったモデル内の要因を強調表示します。これは、機械学習の「重要だが難しい」部分の一部であるモデルのドリフトとバイアスを検出するために使用できます。これらの機能により、MLOps に関連する労力が軽減され、アプリケーションの信頼が構築されます。 KServe は最近、Google KubeFlow プロジェクトから分離され、 ハイライトML 推論プラットフォームを構築する取り組みの一環として、Bloomberg によって発表されました。

ベクトル類似検索

ベクトル類似性検索 (VSS) は、データを検索する従来の方法を強化するもので、ベクトル数学を使用して 2 つのものが互いにどの程度「近い」かを検出する機械学習ツールです。これは、K 最近隣 ( KNN ) アルゴリズムで、データをベクトルとして表現します。その後、データは CPU 集中型の KNN アルゴリズムを使用してベクトル化され、CPU 集中型の検索を軽減するためにインデックスが作成されます。エンド ユーザーは、VSS サーバーが提供するクエリ メカニズムを使用して、ベクトルを提供し、それに近いものを見つけることができます。 Kubernetes にデプロイできるオープンソース VSS サーバーには、 WeaviateとMilvusが含まれます。どちらも、アプリケーション スタックに類似性検索を追加するために必要なすべてを提供します。

チームを編成

私の組み合わせ前の記事これで、Kubernetes にデプロイされた完全なスタックのレシピが得られます。すべての組織が実現しようとするべき結果は、生産性の向上とコストの削減です。最近調査は、データ スペースのリーダーが Kubernetes にデータ インフラストラクチャをデプロイする際に両方を見つけていることを示しています。

AI / MLワークロードは、あなたが探求し始めたばかりの可能性があるため、今が正しい足取りで始めるのに最適な時期かもしれません。言及された 3 つの領域 — 特徴の提供、モデルの提供、ベクトルの類似性検索 — はすべて、私が Jeff Carpenter と共著した本でカバーされています。 Kubernetes を使用したクラウドネイティブ データの管理」アプリケーション スタックにおける AI/ML の全体像: ほとんどの AI アプリケーションでは、リアルタイム要件がすぐに普及するでしょう。 Kubernetes を使用して高速で確実に構築することは、もはや AI の幻覚ではありません。

こちらにも掲載。