Amazon Bedrockの呼び出しを組織横断で可視化するトークン分析データレイク


ADVERTISEMENT

組織横断の呼び出し可視化を実現する構成

Amazon Bedrockのモデル呼び出しログは、アカウントごとに有効化でき、リクエストとレスポンスをAmazon S3またはAmazon CloudWatch Logsへ出力できる。しかし、複数アカウントを運用する環境では、ログが個別アカウントに分散するため、組織全体で呼び出しの内容やトークン消費を調べるには手間がかかる。

紹介されたデータレイクは、リンクアカウントのログを中央アカウントに集約し、Amazon Athenaから横断的に問い合わせられるようにする仕組みだ。処理は次の流れで構成される。

  1. 各アカウントでBedrockの呼び出しログをCloudWatch Logsへ出力する。

  2. ソースアカウントのサブスクリプションフィルターがログイベントを中央アカウントのCloudWatch Logs destinationへ転送する。

  3. 中央アカウントのAWS Lambdaが、圧縮・エンコードされたイベントを展開し、呼び出しデータ以外の通知を除外する。さらに、ネストされた呼び出し元のIAM identityを上位フィールドへ移し、後続の分析を容易にする。

  4. Amazon Data Firehoseがレコードをバッファリングし、JSONからParquetへ変換してS3へ保存する。オブジェクトは年・月・日でパーティション化される。

  5. AWS Glueのテーブル定義を使ってAthenaからデータをSQLで検索する。

2つのCloudFormationテンプレートで中央側とリンクアカウント側のリソースをInfrastructure as Codeとして展開する。依存関係があるため、先に中央スタックを作成し、その出力であるCloudWatch Logs destination ARNを各ソース側スタックへ渡す。なお、スタックをデプロイしただけではBedrockの呼び出しログは有効にならない。ログ出力先とロールを指定し、アカウント単位で設定を有効化する必要がある。

1呼び出し単位のトークン・費用分析

処理後のテーブルでは、ユーザーまたはアプリケーションが送信したプロンプト、モデルの応答、入力・出力トークン数、使用モデル、停止理由、アカウント、タイムスタンプ、IAMロールを呼び出しごとに確認できる。平坦化ビューにはトークン数やキャッシュトークン、停止理由、プロンプトと応答のプレビューなどが列として用意され、複雑な生ログを毎回解析せずに済む。

この粒度により、集計請求額だけでは見えにくい「どの呼び出しがトークンを消費したか」を調査できる。たとえば、入力と出力のトークン数をチームやモデル別に比較すれば、過剰に長いプロンプトや、用途に対して不適切なモデル選択を見つける手がかりになる。また、stop_reason = max_tokens の呼び出しを調べることで、応答が上限で切られたケースを特定し、プロンプトや生成設定を見直す候補にできる。

費用を付与する場合は、処理済みテーブルをAWS Cost and Usage Report(CUR)2.0と結合する。記事の例ではIAM ARNを結合キーとしており、プロンプト別・アカウント別・日別の支出分析や、非効率な呼び出しの費用把握につなげられる。ただし、ログの可視化だけで自動的に費用が確定するわけではなく、CURとの結合が必要となる。

導入後は、テスト呼び出しを行い、Data Firehoseのバッファがフラッシュされるまで待ってから、S3のdata/配下にParquetオブジェクトが出現したことを確認する。記事では通常は約1分、状況によってはそれ以上かかるとしている。さらに、中央スタックが保存するAthenaのビュー定義は名前付きクエリとして登録されるだけなので、利用前に一度実行してビューを作成する必要がある。

ガバナンスと展開時の注意点

この構成は、全チームの完全なプロンプトと応答を中央のS3バケットに集約する。バケットはAWS KMSによるサーバー側暗号化で保護され、バケットおよびAthenaのクエリ結果へのアクセスはIAMポリシーで制御する。プロンプトには利用状況によって個人識別情報(PII)が含まれ得るため、IAMポリシーとS3バケットポリシーを見直し、必要な主体にだけアクセスを許可することが重要だ。

前提条件には、各アカウントの認証情報を設定したAWS CLI、CloudFormationのCAPABILITY_IAMおよびCAPABILITY_NAMED_IAM、少なくとも1つのリンクアカウントと中央アカウント、テストスクリプト用のPython 3とBoto3、リポジトリのリソース一式が含まれる。中央アカウントとリンクアカウントは同一でも構わない。可視化にはAWS Quick Sightのダッシュボードも利用でき、組織メタデータを加えてカスタマイズできる。

削除時にはS3バケット内のオブジェクトを空にしてからCloudFormationスタックを削除する必要がある。Athenaのワークグループは手動で削除する。段階的な導入として、まず1~2個のリンクアカウントでログ収集とクエリを確認し、その後、対象アカウントを拡大する方法が示されている。

開発者・エンジニア視点での考察

  1. パイプラインの健全性を段階ごとに検証する。 ログ設定の有効化、中央アカウントへの転送、Lambdaでの展開・フィルタリング、Parquet生成、Athenaクエリという各境界で確認点を設けると、データが届かない原因を切り分けやすい。特に、スタックのデプロイとBedrockログ設定の有効化は別工程であることを運用手順に明記したい。

  2. コスト分析の前に、帰属キーの整合性を確かめる。 CURとの結合はIAM ARNをキーとするため、呼び出しログ側のIAM identityの正規化と、CUR側での識別子の扱いが分析品質を左右する。アカウントやロールの設計変更を含め、実データで結合結果を検証してから、チーム別・呼び出し別の費用指標として利用するのが堅実だ。

  3. 可観測性データを機密データとして扱う。 プロンプトと応答を横断集約すると、デバッグ能力は向上する一方、アクセス範囲とデータ保持の影響も大きくなる。IAMとS3ポリシーをチーム・ロールごとに絞り、Athenaのクエリ結果にも同様の管理を適用することで、分析の利便性とデータ保護を両立させる必要がある。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT