Standard Bank Group、生成AIのリスク審査を自動化――証跡収集から継続的保証へ


ADVERTISEMENT

既存の審査ゲートを維持し、評価証跡の生成を自動化

Standard Bank GroupはAWS Professional Servicesと協力し、生成AIユースケースを国際的なAI標準・フレームワークと自社ポリシーに照らして評価する仕組みを構築した。狙いは既存のリスク委員会や承認ゲートを置き換えることではなく、審査に必要な証跡の収集とテストを標準化し、委員会が一貫した根拠に基づいて判断できるようにすることだ。

評価基盤はStandard Bank Group自身のAWSアカウント内で稼働し、文書、コード、テスト結果は同アカウントのAmazon S3に保存される。AWS Well-Architected Toolを受付に使い、AWS Step Functionsが処理をオーケストレーションし、Amazon Bedrock上の基盤モデルが証跡を評価する。モデルの利用権限はAWS Identity and Access Management(IAM)で制御される。記事によれば、Amazon Bedrockは銀行のプロンプトやモデル出力をモデル提供者と共有せず、モデルの学習にも利用しない。また、複数の基盤モデルを単一APIから利用できるため、判定モデルの更新はパイプラインを作り直さず、設定変更で対応できる設計になっている。

この構成のポイントは、リスク評価を「モデルの意見」だけに依存させないことにある。証跡の保存場所、アクセス管理、処理の実行順序、最終的な承認責任を分離し、既存の銀行内統制に組み込んでいる。

受付から判定までを4段階で処理

評価は、証跡の収集、成果物とアプリケーションの検査、統制への照合、結果の要約・配布という4段階で進む。

最初の段階では、AWS Fargate上の事前評価エージェントが、ユースケースのコードリポジトリと文書を走査する。約40問で構成されたWell-Architected Toolのカスタムレンズに対し、関連ファイルを対応付け、回答と証拠へのリンクを事前入力する。デリバリーチームは回答を確認・修正し、エージェントが見つけられなかった証跡を補う。質問は、技術文書の不備や人間による監督の不足など、個々のリスク事象を対象とする。

次に、パイプラインは4種類の証跡を調べる。すなわち、設計・構築・評価方法を示すシステム文書、役割・責任・インシデント対応などを規定するポリシー文書、統制の実装状況を示すソースコードとシステムプロンプト、そして実運用時の挙動を示すアプリケーションへのライブ呼び出しだ。文書やコードについては、対応する統制が求める内容を成果物が含んでいるかを確認する。たとえば、インシデント対応手順には、インシデントの報告方法が記載されている必要がある。

ライブテストでは、AWS Lambda関数またはAPIを通じて対象アプリケーションを呼び出す。デリバリーチームが用意した典型的な質問に加え、パイプラインはアプリケーションが拒否すべき脱獄試行や無関係な質問も投入する。同じプロンプトを原文と表現を変えた形で複数回送り、Amazon Bedrock上の埋め込みモデルで回答の意味的一貫性を調べる。期待回答が提供されている場合には、生成回答がどの程度近いかも測定する。各応答はAmazon S3に保存され、審査者が実際の生成内容を確認できる。

300超の統制チェックを追跡可能な評価へ変換

第3段階では、Amazon Bedrock上の基盤モデルを「LLM-as-a-judge」として利用する。ファインチューニングやカスタマイズは行わず、各質問に対して、成果物やアプリケーションの応答に必要な証拠があるかを「はい/いいえ」で判定させる。国際的なAI管理・AIリスク・AIセキュリティ関連の標準やフレームワークに基づく統制に加え、Standard Bank Group独自の基準から作成した質問を加え、チェック項目は300超に達する。評価対象は、真実性・堅牢性、プライバシー・セキュリティ、透明性、公平性、安全性、制御可能性、ガバナンス、説明可能性というAWSの責任あるAIの8つの側面を網羅する。

各リスクには、発生可能性スコア、必要な証跡のうちモデルが発見できなかった割合、銀行のリスクチームが調整可能な固定重大度が付与される。これらを組み合わせ、Very lowからCriticalまでの評価を生成する。証跡の不足は個別の緩和策と、それが由来する標準・ポリシーの条項に結び付けられるため、リスク担当者は指摘事項を根拠までさかのぼり、判断を説明できる。

判定の信頼性を高めるため、モデルへの呼び出しにはAmazon Bedrock Guardrailsを適用し、有害な内容やモデル操作の試みを検査する。また、自由記述の総合意見ではなく、特定の統制に対応した限定的な質問を用いる。回答をスコアへ変換する式はリスクチームが確認でき、評価は複数回実行される。不一致があればレビュー画面でフラグが立ち、個々の判定は根拠となる証跡とともに保存される。つまり、モデルを最終判断者にするのではなく、検査可能な小さな判定を積み上げる構成だ。

最終結果は、経営層向けプレゼンテーション、緩和策チェックリスト、技術レポート、ユースケースごとのスコアを時系列で追うAmazon CloudWatchダッシュボードとして提供される。レビュー担当者はシングルサインオン対応のカスタム画面で指摘を確認し、業務上の理由を添えて回答を修正したり、出力を書き換えたりできる。評価結果は統制に対する証拠を示すものであり、規制適合を認証するものではない。規制上の判断責任はStandard Bank Groupに残る。

ポリシーを実行可能なチェックにし、開発ライフサイクルへ組み込む

国際標準だけでは、銀行自身のポリシーに基づく承認要件を網羅できない。そこでStandard Bank Groupは、内部文書から追加の判定質問を作る「question factory」を用意し、リスクチームがポリシーを各ユースケースで実行されるチェックへ変換できるようにした。ポリシーが更新されれば、対応するチェックも更新され、その後の評価に反映される。ポリシー変更を周知文書にとどめず、検査条件の変更として運用できる点が特徴だ。

評価はユースケースのライフサイクルに合わせて段階的に適用される。概念実証(PoC)では任意で実行し、早い段階で不足を把握する。開発段階では必須となり、承認ゲートは結果を正式な証拠として参照する。現在は本番環境で稼働し、ユースケースが本番投入される前に評価している。稼働中のワークロードを接続した後は、スケジュールまたはコード・設定の変更を契機に再評価する構想であり、リリース後も証跡の鮮度を保つことを目指している。ユースケースは受付から評価まで中央システム上の単一ワークフローを流れ、各チームが自ら評価を起動できる。

記事で示された初期実績は、6件の評価で、従来は手作業で2週間かかっていたレビューを包括的なリスクレポート約2時間の生成に短縮したこと、緩和策実施後にユースケースのリスクスコアが14%改善したことだ。これらは初期評価に基づく結果であり、記事は大規模展開時の効果を示す数値までは提示していない。それでも、証拠の形式をそろえ、レビューを手作業の文書読解から例外・判断事項の確認へ移す運用モデルの可能性を示している。

開発者・エンジニア視点での考察

  1. リスク要件をテスト可能な単位へ分解する。 ポリシーの文章をそのままモデルに評価させるのではなく、「どの成果物のどこに、何が記載されていれば充足とするか」という統制単位に変換する。質問、証拠リンク、判定、緩和策、標準・ポリシー条項を一つの追跡可能なレコードとして扱えば、規則変更時の影響範囲や監査時の説明が明確になる。

  2. LLM判定の不確実性を、再現性と人間のレビューで扱う。 はい/いいえ形式、明示的な判定条件、複数回実行、不一致のフラグ付け、固定式によるスコア化は、自由形式の評価よりも検証可能性を高める。一方で、モデルの判断自体が誤る可能性は残るため、テストケースと証拠の保存を前提に、どの種類の不一致を人間レビューへ回すかを設計することが重要だ。

  3. 評価をCI/CDと変更管理のイベントに結び付ける。 記事が示す将来像では、コードや設定の変更後に再評価し、証跡を更新する。実装では、変更の種類に応じて評価対象を選び分けつつ、モデル設定、システムプロンプト、データソース、ポリシーの更新を評価履歴と関連付けるとよい。承認ゲートを単発の審査にせず、リリース後も有効な統制として運用できる。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT