Amazon SageMaker AI、生成・評価・人手レビューを統合するデータ準備機能を提供
モデル開発のボトルネックを「データ準備」から見直す
Amazon SageMaker AIに、モデル開発ワークフロー向けのAIデータ準備機能が追加された。対象となるのは、合成データ生成、既存データの評価・改善、専門家によるフィードバックの取り込みである。Python SDK API、またはAWS AI-ML agent skillを通じて利用でき、仕様と生成コードを確認・変更しながら、ノートブックやIDE上で作業できる。
背景にあるのは、学習・評価データの準備が開発期間を圧迫するという課題だ。ラベル付きデータの不足やコスト、プライバシー制約に加え、重複、ラベルノイズ、回答リークなどは学習後まで発見されない場合がある。さらに、ファインチューニング、強化学習、評価などの手法ごとにデータ形式が異なり、データサイエンティストが前処理に多くの時間を費やしてきた。
今回の機能は、ラベリング、生成、検証、変換を単一の固定パイプラインに閉じ込めず、独立した構成要素として提供する。必要な機能だけを単独で使うことも、複数を連結して原データから学習用データまで処理することも可能だ。記事は、限定されたタスクでは、清浄でタスク特化のデータを使ってカスタマイズした小規模モデルが、より大規模な汎用モデルをプロンプトで調整する方法と同等以上の精度を、より低い推論コストで実現できる場合があると説明している。
ラベリングから品質評価までを構成する機能
Auto-labelingは、未ラベルのデータ、小規模なラベル付きシードセット、またはラベルなしの状態から、大規模なラベリングを行う。組み込みのタスク種別は、分類、固有表現認識、抽出型質問応答、順序尺度評価、要約で、カスタムタスクも定義できる。短いラベリング仕様を作成し、全件処理の前に手元の例で仕様を検証する設計である。分類、固有表現認識、抽出型質問応答のように回答候補が固定されたタスクでは、複数モデルによる「jury」が各行をラベル付けし、モデル間の一致度をその行の信頼度スコアとして使う。
信頼度しきい値を下回る行は、Amazon SageMaker Studio内のレビューキューに送られる。レビューアプリはオープンソースのLabel Studio Community Editionを利用し、SageMaker Studioのパートナーアプリ用リンクを介して外部の専門家がアクセスできる。修正内容は自動ラベリングにフィードバックされ、合意度指標やラベリングレポートも生成できる。したがって、人手レビューは例外処理にとどまらず、自動処理の改善ループを構成する。
Synthetic data generationでは、仕様から学習・評価・テスト用データを生成する。自前のシードデータや文書を根拠として出力を作れるほか、データ生成パイプラインをコードとして生成する。生成コードは確認、変更、再利用、スケールが可能だ。Data quality evaluationは、独自の業務ルール、組み込み指標、LLM-as-a-judge指標に基づいてデータセットを点検し、完全一致・近似重複のほか、ラベルノイズや回答リークといった問題も検出対象にする。Data transformationでは、自然言語による変更指示からコードを生成する方法、dedupe・merge・split・filterなどの組み込み操作、独自Pythonコードの大規模実行を選べる。
データ生成からモデル学習・評価へつなぐワークフロー
機能を連結する代表的なパターンの一つが、信頼できる評価データセットの作成だ。小さなシードセットを使って原データを自動ラベリングし、高信頼度の行は自動採用、低信頼度の行は人手レビューに回す。レビュー結果を次のラベリングに反映することで、人手の検証を含むデータセットを構築し、モデルのベンチマークに用いる。
学習用データを作る場合は、次のような流れが示されている。
-
自社文書やシードデータに基づいて、タスク固有の例を合成生成する。
-
目的の学習方式が要求する形式にデータを変換する。記事が例示する形式・手法は、教師ありファインチューニング(SFT)、直接選好最適化(DPO)、強化学習(RL)である。
-
重複、リーク、業務ルール違反を評価し、学習計算資源を使う前に問題を検出する。
-
SageMaker AI model customizationで学習する。
記事では、Splunk Agent Observability向けの評価モデル開発において、タスク固有データの収集・整備が難しいという課題に対し、合成データ生成が統計的に代表性のあるデータセットを迅速かつ安定して作る助けになったとの利用者コメントが紹介されている。また、既存のSageMakerワークフローとの統合により、データ整備に費やす時間を抑え、モデル開発に注力しやすくなったとしている。
具体例として、工場出荷時リセットで保存済み設定が消去される製品ガイドを使い、カスタマーサポートアシスタントの評価データを作る流れも示されている。仕様では、リセットに関する回答がこの警告を保持することを要求する。まず少量の生成例とコードを確認し、ガイドとの整合性や質問範囲を点検する。次に品質評価を実行し、曖昧な回答や判断が分かれる評価は専門家に確認する。仕様を改訂したり重複を変換処理で除去したりしたうえで、追加生成と再評価を行う。この反復により、生成データをそのまま採用するのではなく、出典との整合性と評価目的への適合性を段階的に確認できる。
実行モデル、データ管理、利用開始条件
利用方法は、コーディングエージェント経由とPython SDKの直接利用に分かれる。AI-ML skillをエージェントツールキットに設定すると、利用者の自然言語による依頼をもとに、エージェントが仕様作成、コード準備、機能選択、API実行を支援する。対象環境として記事に挙げられているのは、SageMaker Studio JupyterLab、Kiro、ローカルIDEと、利用者が選ぶコーディングアシスタントである。処理の設定や成果物は確認でき、必要に応じて直接編集できる。
SDKを直接使う場合も、各機能を個別に呼び出して既存プロセスに組み込める。APIの入力は仕様であり、記事はその仕様をAI-ML skillの支援で作成してからSDKで実行する方法を推奨している。実行には利用者が管理するAWS Identity and Access Management(IAM)実行ロールを使用し、原データ、生成データ、ラベルは、利用者が選んだAWSリージョン内の自身のAmazon S3バケットに保持される。
一般提供の対象リージョンは、米国東部(バージニア北部)と米国西部(オレゴン)である。開始方法は、対応するノートブックやIDEにデータ準備スキルを設定してエージェント経由で利用する方法と、SageMaker Python SDKから個別機能を実行する方法の二つ。いずれの場合も、まず一つの学習または評価タスクを定義し、生成前に仕様を確認する流れが推奨されている。
開発者・エンジニア視点での考察
-
仕様をデータパイプラインのレビュー対象にする。 仕様がAPI入力となり、コードも確認・変更できるため、自然言語による要件定義を曖昧な依頼で終わらせず、データ要件、ラベル定義、参照資料、品質基準を明示した成果物として管理できる。レビューでは仕様の差分と、生成サンプルが要件を満たすかを対応付けるとよい。
-
信頼度しきい値を人手コストの制御点として設計する。 自動採用と専門家レビューの境界をどこに置くかで、処理速度とラベル信頼性のバランスが変わる。業務上の誤りの影響が大きいタスクでは、低信頼度の扱いだけでなく、合意度指標やレビュー修正後の再ラベリング結果も継続的に確認する設計が重要になる。
-
学習前の品質ゲートをワークフローに組み込む。 重複、近似重複、ラベルノイズ、回答リーク、独自ルール違反を学習前に検査することで、品質問題を高コストな学習実行の後に発見するリスクを下げられる。評価用データでは、元文書との照合や専門家レビューを含め、生成・変換後の再評価を反復可能な工程として扱うべきだ。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


