このドキュメントでは、Symphony Connectors for Cloud de Confiance by S3NSを使用する場合に適用される要件と制限事項について説明します。
Cloud de Confiance 用の IBM Spectrum Symphony コネクタを使用すると、 Cloud de Confiance から Symphony クラスタにコンピューティング リソースを追加できます。ハイ パフォーマンス コンピューティング（HPC）ワークロードで既存のインフラストラクチャが提供する容量を超える容量が必要な場合、コネクタを使用すると、Symphony のホスト ファクトリー サービスは、Google Kubernetes Engine（GKE）で Compute Engine 仮想マシン（VM）インスタンスまたは Pod を自動的にプロビジョニングできます。このアプローチでは、HPC ワークロードのピーク時の需要を満たすために、Symphony 環境を Cloud de Confiance にスケーリングできます。
Cloud de Confiance向け Symphony コネクタを使用するケース
Cloud de Confiance 向け Symphony コネクタは、Symphony のホスト ファクトリー サービスを Cloud de Confianceと統合し、Symphony クラスタで Cloud de Confianceリソースを使用できるようにします。次のような状況でCloud de Confiance 向け Symphony コネクタを使用します。
クラウド バースト機能: オンプレミス環境のクラスタ リソースが不足したときに、Symphony のワークロードをCloud de Confiance に動的にスケーリングして、追加のコンピューティング リソースを利用できるようにします。 Cloud de Confiance 向け Symphony コネクタは、既存の Symphony ジョブ スケジューリングと連携して、必要に応じてリソースのプロビジョニングを自動化します。
ハイブリッド クラウド デプロイ: オンプレミスと Cloud de Confiance インフラストラクチャの両方で Symphony ワークロードを実行している場合は、このソリューションを使用することで、Symphony のホスト ファクトリー フレームワークを通じてリソース管理を統合することができます。このアプローチにより、オンプレミスと Cloud de Confianceリソースを単一のインターフェースから管理できるため、ジョブの送信、モニタリング、リソース管理が簡素化されます。
費用の最適化:Cloud de Confianceの柔軟なインスタンス タイプと料金モデル（Spot VM など）を使用して、コストに敏感なワークロードを実行します。
開発とテスト: 開発やテストのワークフロー向けに一時的なコンピューティング リソースをプロビジョニングする場合は、Cloud de Confiance 向け Symphony コネクタを使うことで、環境の作成や削除をすばやく行えます。また、自動的なリソースのクリーンアップ機能により、コストを最適化できます。
統合管理: ホスト ファクトリーを使用して、Symphony で使用される GKE Pod と Compute Engine インスタンスの両方を管理するための一貫したインターフェースを作成します。
シームレスなエンタープライズ統合: このソリューションを使用することで、大きなアーキテクチャ変更を行うことなく、既存の Symphony のデプロイを Cloud de Confiance へ拡張できます。
Cloud de Confiance 向け Symphony コネクタの仕組み
Cloud de Confiance 向け Symphony コネクタは、Cloud de Confiance をホスト ファクトリー サービスのプロバイダにするために必要なコンポーネントを提供します。
次の図は、Cloud de Confiance向け Symphony コネクタのアーキテクチャを示したものです。
このアーキテクチャには、IBM Spectrum Symphony 環境、 Cloud de Confiance ホスト ファクトリ プロバイダ レイヤ、 Cloud de Confiance サービスという 3 つの主要なグループが含まれています。Symphony 環境には、ホスト ファクトリーとプロバイダのスクリプトが含まれています。このアーキテクチャでは、リクエストを変換するために Cloud de Confiance ホスト ファクトリー プロバイダの CLI ツールレイヤを使用します。これにより、Symphony のスクリプトが Compute Engine リソースや、 GKE 上で動作している Kubernetes オペレータを制御できるようになります。
以降のセクションでは、 Cloud de Confiance向け Symphony コネクタの主なコンポーネントについて説明します。
IBM Spectrum Symphony ホスト ファクトリー
ワークロードの需要に基づいて、さまざまなプロバイダのコンピューティング ホストのライフサイクルを管理する IBM Spectrum Symphony サービス。この Symphony コンポーネントは、 Cloud de Confiance by S3NS が連携するソフトウェアです。
プロバイダ スクリプト
Symphony ホスト ファクトリー サービスは、クラウド プロバイダと連携するために一連のシェル スクリプトを使用します。これらのスクリプトは、リソースをリクエストして返します。
デフォルトでは、Symphony には Cloud de Confiance用のホスト ファクトリー プロバイダは含まれていません。
Cloud de Confiance ホスト ファクトリー プロバイダにより、Symphony のホスト ファクトリー フレームワークが Cloud de Confianceと通信できるようになります。
次の表に、 Cloud de Confiance 向け Symphony コネクタで使用されるスクリプトを示します。
| 名前 | 説明 | IBM のドキュメント |
|---|---|---|
getAvailableTemplates.sh |
プロバイダ構成で定義されている使用可能なリソース テンプレートを取得します。ホスト ファクトリーは、どの種類のリソースを要求できるかを知るために getAvailableTemplates.sh を呼び出します。 |
getAvailableTemplates |
requestMachines.sh |
Cloud de Confianceから新しいコンピューティング リソースをプロビジョニングします。テンプレートと数量を指定する JSON ペイロードを受け取ります。 | requestMachines |
requestReturnMachines.sh |
ホスト ファクトリーは、Symphony クラスタで使用されていたコンピューティング リソースのプロビジョニングを解除します。その際、返すべきマシンを特定する JSON ペイロードを受け取ります。 | requestReturnMachines |
getRequestStatus.sh |
ホスト ファクトリーは、requestMachines.sh によって開始された進行中のプロビジョニング リクエストのステータスをポーリングします。リクエスト ID を含む JSON ペイロードを受け取ります。 |
getRequestStatus |
getReturnRequests.sh |
ホスト ファクトリーは、requestReturnMachines.sh によって開始された進行中のプロビジョニング解除リクエストのステータスをポーリングします。その際、リクエスト ID を含む JSON ペイロードを受け取ります。 | getReturnRequests |
Cloud de Confiance ホスト ファクトリー プロバイダ
Cloud de Confiance ホスト ファクトリー プロバイダは、IBM Spectrum Symphony のホスト ファクトリー フレームワークを Cloud de Confianceに接続します。このプラグインには、Symphony が次のワークロードのリソースをリクエストして管理する際に呼び出すコマンドライン インターフェース（CLI）ツール（プロバイダ）が含まれています。
Compute Engine の場合は、Compute Engine プロバイダを使用します。
GKE ワークロードの場合は、GKE プロバイダを使用します。GKE ワークロードの場合は、追加の Kubernetes オペレーターをインストールする必要があります。このオペレーターは GKE クラスタ内で実行され、GKE プロバイダを使用してリクエストされた IBM Spectrum Symphony コンピューティング Pod のライフサイクルを管理します。
CLI ツールは Python モジュールであるため、Python インタープリタを使用して手動で実行することもできます。詳細については、GitHub の Python からの実行をご覧ください。
Compute Engine プロバイダ
Compute Engine プロバイダ（hf-gce）は、Symphony のホスト ファクトリーを Compute Engine と統合するために設計された CLI ツールです。Compute Engine プロバイダをインストールした後は、Symphony のホスト ファクトリー内で構成を行う必要があります。この構成が完了すると、ホスト ファクトリーは hf-gce CLI を使用するスクリプトを自動的に呼び出します。
Compute Engine プロバイダは、Symphony の要求やプロバイダ インスタンスおよびテンプレートで定義された構成に基づいて VM インスタンスのライフサイクルを管理するために、Google Compute Engine API と直接やり取りを行います。プロバイダは、Compute Engine VM を作成、モニタリング、終了し、これらの VM はコンピューティング ノードとして Symphony クラスタに参加します。
GKE プロバイダ
GKE プロバイダ（hf-gke）は、Symphony のホスト ファクトリー サービスと GKE を接続する CLI ツールです。ホスト ファクトリーは hf-gke CLI を呼び出すスクリプトを使用します。
GKE プロバイダは、GKE クラスタの API と連携して、カスタム リソース（特に GCPSymphonyResource リソースと MachineReturnRequest リソース）を作成、クエリ、削除します。
GKE クラスタ内で実行されている Kubernetes オペレーターは、これらのカスタム リソースに基づいて Pod ライフサイクル管理を処理します。GKE プロバイダは、Symphony のリソース リクエストを Kubernetes のカスタム リソースベースのオーケストレーションに接続します。
Cloud de Confiance サービスの統合
Compute Engine と GKE に接続できます。Compute Engine 接続用の追加コンポーネントはありません。GKE 接続には、Kubernetes オペレーターが存在します。
Kubernetes オペレーター
このオペレーターは、GKE プロバイダを使用して実行する GKE ワークロードにのみ必要です。このオペレーターは GKE クラスタ内で実行され、GKE プロバイダを使用してリクエストされた Symphony コンピューティング Pod のライフサイクルを管理します。GKE オペレータには次の機能があります。
- 非同期オペレーション: 高性能な非同期処理に対応しており、大規模な展開に適しています。
- プリエンプションの処理: Spot VM のプリエンプションを自動で検出、管理します。
- カスタム リソース定義:
GCPSymphonyResourceとMachineReturnRequestのカスタム リソースを使用してリソースを管理します。 - リソースのクリーンアップ: 完了したリソースのクリーンアップを自動化し、保持期間を設定可能です。
- ヘルス モニタリング: 組み込みのヘルスチェックとステータス レポートを使用して、統合の正常性をモニタリングします。
制限事項
Symphony Connectors for Cloud de Confiance by S3NS は、Symphony クラスタの基盤となるコンピューティング インフラストラクチャ（VM インスタンスと GKE Pod）をプロビジョニングして管理します。新しい Symphony ワークロードは作成しません。ワークロードの作成、管理、スケジュール設定、実行には、引き続き Symphony ソフトウェアを使用します。