Slurm HRESで実現するQPUのクラスタ資源化:量子・古典ハイブリッド計算の統合設計
QPU統合で従来のSlurm資源モデルが抱える課題
量子プロセッサ(QPU)をスーパーコンピュータセンターに導入するには、物理的な設置だけでなく、計算ノードとのネットワーク接続、ジョブ投入時の要求、利用状況の追跡・監視、サイト固有ポリシーへの適合が必要です。利用者にとってQPUがCPUやGPUと同じように予約・実行できることが、既存のHPCワークフローへの導入を進めるうえで重要になります。
しかし、従来のSlurmの汎用リソース(GRES)はノード単位でデバイスを割り当てる仕組みです。クラスタ全体から利用されるQPUをGRESとして表現すると、QPUが特定ノードに結び付けられ、そのノードからしか利用できません。ノード障害時には、管理者が再設定するまでQPUにアクセスできなくなる可能性もあります。
もう一つの方法は、クラスタ全体の資源を表すライセンスと、ユーザーインターフェースやノード設定を担うSPANKプラグインを組み合わせることです。ただし、この構成では、ライセンスなしでSPANKがノード割り当て後に動くため、QPU待ちのジョブが計算ノードを占有しかねません。また、デバイス指定とライセンス要求が別々になり、要求の不整合を防ぎにくいほか、複数QPUのオプション競合や、Slurm内部APIに依存するプラグインのアップグレードリスクも生じます。デバイスの再較正や停止状態をSlurmが認識できない点も、実運用上の課題です。
HRESがQPUを「利用可能ノードに結び付いたクラスタ資源」として扱う
Slurm 25.05でベータ機能として追加されたHierarchical Resources(HRES)は、ノードに属さない資源を数で管理しながら、その資源を利用できるノード群にも関連付けます。Slurm 26.11ではHRESプラグインが導入され、QPUをネイティブなクラスタレベルのスケジュール対象として扱えるようになります。
管理者はslurm.confと同じディレクトリのresources.yamlに、資源名、レイヤー、対象ノード、数、プラグインと設定を記述します。QPUを単一デバイスとして扱う単純な構成なら、利用可能ノードを対象とするレイヤーを作り、count: 1とします。ジョブは例として--resources=qpu:1で要求でき、該当レイヤーとジョブの割り当てノードが適合し、資源に空きがある場合にスケジュールされます。
この関連付けにより、QPUへ到達できないノードへの誤割り当てを避けつつ、QPU自体は特定の計算ノードに固定せずに管理できます。ジョブが実行されるパーティションは、HRESの対象ノードを含む必要があります。Slurmが管理するのは、QPUを単一の資源単位としての可用性、占有ジョブ、利用時間、アクセス元ノードです。較正、誤り訂正、デバイス制御など、QPU内部の処理はSlurmの責務には含まれません。
Luaプラグインとミドルウェアを分離した拡張設計
Slurm 26.11の初期実装hres/luaは、サイトやデバイスベンダーが提供するLuaスクリプトを実行します。スクリプトはlibslurmにリンクせず、Slurmのリリースごとに再ビルドする必要がないため、Slurm本体の更新とデバイス連携ロジックの更新を切り離しやすくなります。slurmctldは、プラグインを設定した資源ごとに独立したコンテキストを作るため、複数のQPUや異なる種類のQPUを同一クラスタに配置できます。
設定の責務も分離されます。resources.yamlにはエンドポイントや利用可能ノードなどのサイト固有情報を置き、デバイス固有の処理は再利用可能なプラグインに持たせます。設定値、ジョブ引数、ノードへ渡されるペイロードはジョブ利用者から読み取れるため、秘密情報を含めてはいけません。また、Luaスクリプトはコントローラーと各ノードで同一パスに配置し、多くの関数がrootまたはSlurmUserで動くことから、書き込み権限はrootに限定する必要があります。
プラグインのコールバックは、監視から予約、後処理までジョブのライフサイクルに沿って実行されます。hres_maintenanceは設定されたmaintenance_cycle間隔でミドルウェアに状態を問い合わせ、各レイヤーのdisable_layerを設定・解除します。これにより、デバイスが利用不能な間は新規割り当てを止め、復旧後に再開できます。
スケジュール後、ノード割り当て前に実行されるhres_controller_job_prerunは、ジョブを許可するか保留するかを判断します。ネットワーク呼び出しや予約など時間のかかる処理は、ジョブロックを保持する同期処理ではなく、任意のhres_controller_job_async_prerunに分離できます。ジョブが開始されなければhres_controller_job_revokeで予約を取り消し、終了時にはノード側のエピローグ後にhres_controller_job_epilogで資源を解放します。外部サービスの一時的な障害はESLURM_HRES_REMOTE_FAILで表現でき、事前実行の失敗ならジョブを保留状態にできます。ノード側のプロローグやエピローグが同じエラーを返しても、ノードをドレインしない設計です。
QRMI・QDMIによる実装例と運用上の違い
量子アクセスミドルウェアのコミュニティであるQRMIとQDMIは、Slurm 26.11のHRES APIを使ったオープンソースプラグインを公開しています。両者ともQPUの状態を考慮してジョブの受け入れを制御し、レイヤーのcountによって同時に利用できるジョブ数を定義します。一方、QPU利用枠の確保方法は異なります。
QRMIプラグインは、ジョブ開始前にユーザー自身の資格情報でQPUへのアクセスを取得します。予約またはセッションの確保は、スケジューラーのクリティカルパス外にある別スレッドで行い、ジョブ終了後に解放します。既存アプリケーションは、QRMI SPANKプラグイン利用時と同じ環境変数を参照できるため、アプリケーション側の変更を抑えられます。
QDMIプラグインはQPUの状態を確認し、デバイスがidleまたはbusyである場合にジョブを受け入れますが、QPUを事前予約しません。ジョブはQDMI経由で処理を投入し、実際のデバイス実行順序はプロバイダー側のキューが管理します。したがって、QRMIはジョブごとのアクセス予約をSlurm側のスケジュールに結び付ける方式、QDMIはSlurmでジョブを受け入れた後の処理キューをプロバイダーに委ねる方式と整理できます。利用者側の投入方法は、いずれもHRES資源名を指定する形に統一されます。
開発者・エンジニア視点での考察
-
同期コールバックと非同期処理を明確に分ける。
hres_controller_job_prerunはノード割り当て前に呼び出される一方、コントローラーのジョブロック下で動作します。ここにはキャッシュ済み状態に基づく短時間の判定を置き、外部APIへの予約や遅延し得る通信は非同期プリランへ移す設計が適切です。これにより、QPU待ちがスケジューラー全体の処理を阻害するリスクを抑えられます。 -
資格情報とユーザー可視データの境界を設計する。 プラグイン設定、ジョブ引数、ペイロードはノードへ伝搬し、ジョブ利用者が読める場合があります。エンドポイントなどの公開可能な設定と、予約用資格情報などの秘密情報を分離し、秘密を
resources.yamlやジョブへ渡すペイロードに含めないことが必要です。QRMIがユーザー自身の資格情報を使う構成は、この境界を考える際の具体例になります。 -
障害状態と資源解放をライフサイクル全体で検証する。 QPUの停止・再較正、ミドルウェアとの通信断、予約後にジョブが開始されない状況を個別に扱う必要があります。定期ヘルスチェックでの割り当て停止、
REMOTE_FAILによる保留、revokeでの予約取消し、終了時の解放を一貫して実装し、資源の取り残しや計算ノードの不必要な占有を避けます。併せて、コントローラーと全ノードで同一のLuaファイルが使われ、root以外から変更できないことも運用要件として確認すべきです。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


