本番推論を改善ループへつなぐ:SageMaker HyperPod Data Captureの3層設計と実装


ADVERTISEMENT

本番データをモデル改善の入力にする3層キャプチャ

Amazon SageMaker HyperPod Data Captureは、ライブ推論の入力・出力をAmazon S3へ記録し、運用データを分析や学習に再利用する機能である。事前に用意したデータセットでは捉えにくい、ドメイン固有の表現、想定外のフォーマット、新製品、利用者行動の変化を、本番トラフィックから調べられる。記事の実装例では、推論データの記録から異常の発見、ラベル付与、ファインチューニング、再デプロイまでを単一のHyperPodクラスター上で構成している。

キャプチャはリクエスト経路上の独立した3層から選択できる。

層記録対象適した用途
SageMakerエンドポイントリクエスト/レスポンスの全ペイロードコンプライアンス、Model Monitor、監査
ロードバランサーALBのアクセスログ項目。リクエスト行、ステータスコード、処理時間、クライアントIP、ユーザーエージェントなど低コストなトラフィック・エラー率の監視
モデルPodペイロード全体とイベントメタデータデバッグ、分析、学習データ収集

記事の例が使うのはモデルPod層である。推論オペレーターはモデルPodにNGINXリバースプロキシ、OpenTelemetryコレクター、S3アップローダーのサイドカーを追加する。プロキシを通った要求はコレクターに複製され、バッチ化された後、Mountpoint-S3ボリューム経由でS3に書き込まれる。これにより、記事ではデータ取得がレイテンシへの影響を最小限に抑え、モデル可用性に影響しない機能として説明されている。

設定の中心はdataCapture.modelPod.enabled: trueで、例ではサンプリング率を100%にして入力・出力を収集する。バッファは50レコードまたは60秒でフラッシュし、ペイロード上限は1,024KBに設定している。収集対象は{s3Uri}/{uniqueID}/pod/{variant}/{YYYY}/{MM}/{DD}/{HH}/以下のJSONLで、各レコードにはイベントID、推論時刻、入力・出力が含まれる。ペイロードはBase64で格納されるため、分析時にはデコードが必要だ。

3層を同時に有効化する場合は、記録内容の重複にも注意が必要である。エンドポイント層とモデルPod層はどちらも全ペイロードを保存するため、両方を使うと各レコードが二重に保存される。用途が監視メタデータだけならロードバランサー層、ペイロードを学習に使うならモデルPod層、といった選択が設計上の基本になる。

Athenaで新製品の分類失敗を見つけ、再学習する

実証シナリオは、家電サポート問い合わせを6カテゴリに分類するルーターである。モデルは冷蔵庫、洗濯機、オーブン、食洗機、電子レンジ、その他のいずれかを返すよう制約されている。運用開始後に新しいエアコン製品群が発売されても、新カテゴリは選択肢に存在しない。モデルは「未知」と判断できず、既存ラベルのどれかを返す。この種の変化は、デプロイ前に固定したオフライン評価だけでは観測できない。

記事では、合成した本番トラフィック900件を15分かけてキャプチャプロキシ経由で送信する。最初の400件は発売前の問い合わせで、残り500件では新製品に関する問い合わせの割合を15%から55%まで増やす。別途用意した評価セットは280件で、既存5製品カテゴリと新しいProductACを含む40件ずつからなる。評価セットは、問い合わせ内容、文型、製品名をトラフィックと分けて作られている。

Athenaでの分析は、まずキャプチャの外側のJSON構造を外部テーブルとして定義し、年・月・日・時をパーティション射影する。その上にビューを作り、from_base64とfrom_utf8で入力・出力ペイロードを復元する。入力側では会話メッセージから問い合わせ本文を抽出し、出力側ではレスポンスJSON内に格納された分類結果と信頼度をさらに取り出す。記事の実行例では、集計結果は900件、解析不能な予測は0件だった。

この構成で重要なのは、データを記録するだけでなく、分析可能な形に変換することだ。キャプチャの入力・出力をSQLで結び付ければ、予測結果の偏りや新しい問い合わせ群を調査できる。記事のフライホイールでは、Athenaで問題を特定した後、SQLポリシーでキャプチャデータにラベルを付与し、学習オペレーターでファインチューニングする。推論用GPUと学習用GPUは別ノードに分け、新しいモデルはキャプチャを継続したまま別エンドポイントとしてデプロイする設計である。

実装と運用で見落としやすい境界

この例の前提は、Amazon EKSでオーケストレーションされたHyperPodクラスター、推論オペレーター、HyperPodトレーニングオペレーター、設定済みのkubectl、同一リージョンのS3バケットである。また、推論用と学習用にNVIDIA GPUを1基ずつ確保する。記事ではサービングにml.g6e.8xlarge、学習にml.g6e.xlargeを使用し、それぞれ48GBのNVIDIA L40Sを搭載する構成を示している。サービングPodがGPUをエンドポイント稼働中に保持するため、GPUが1基しかなければ学習PodはPendingになる。

権限設計はキャプチャ成功の可否を左右する。Tier 3のS3書き込みはPodのサービスアカウントではなく、Mountpoint-S3 CSIドライバーのIRSAロールで実行される。したがって、エンドポイントが正常でリクエストも成功しているのにS3にキャプチャが現れない場合、まずCSIドライバーのロールを確認する。ドライバーには必要なS3書き込み権限を付与し、KMSを使う場合は暗号化キー関連の権限も必要になる。推論オペレーターの実行ロール、学習Podのサービスアカウント、Athenaにも、それぞれ用途に応じたS3アクセスを設定する。

データ保護もキャプチャ設計の一部である。完全なペイロードには氏名、住所、注文番号などが含まれ得るため、記事はサンプリング、AWS KMSによる暗号化、S3ライフサイクルルール、Amazon Comprehendなどを使った個人識別情報の削除を挙げている。さらにAthenaでは、パーティション条件を必ず指定する必要がある。キャプチャは蓄積され続けるため、日付などのパーティションを絞らないクエリは、過去の全オブジェクトを読み込む可能性がある。

開発者・エンジニア視点での考察

  1. 「推論経路を通ったか」をデータ品質の要件にする。 モデルが待ち受けるポートと、キャプチャ用プロキシが受け付けるポートは異なる。記事ではモデルが8000番、プロキシが8081番で、モデルへ直接送った要求は記録されない。クライアント経路を含むテストで、正常応答だけでなくS3への記録まで検証することが、収集の抜けを防ぐ。

  2. 保存先の権限は実行主体ごとにトラブルシュートする。 Podのサービスアカウントに書き込み権限を付けても、CSIドライバーのロールが不足していればキャプチャは保存されない。データ経路(プロキシ、コレクター、CSIドライバー、S3)とIAM主体を対応付け、オブジェクトの有無を段階的なヘルスチェックに含めると、推論成功とデータ収集成功を混同しにくい。

  3. 評価データ、ラベル付け、再学習を運用変更の検証単位にする。 新製品のような分布変化は、単に本番ログを集めるだけでは改善につながらない。キャプチャから分析用ビューを作り、SQLポリシーでラベルを付け、学習後に新カテゴリを含む独立評価セットで変化を確認する流れが必要である。記事は改善前後の精度を測る構成を示すが、提示範囲には測定値が含まれていないため、数値的な改善効果を推定せず、各組織で評価指標と受け入れ基準を定義すべきである。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT