Amazon Bedrock GuardrailsのDenied Topics設計:意図・境界・文脈で過剰ブロックを防ぐ
Denied Topicsの精度を左右するのは、禁止対象の「領域」ではなく「意図」
Amazon Bedrock GuardrailsのDenied Topicsは、話題を自然言語で定義し、キーワードの一致だけでなく意味に基づいてリクエストを評価する。この意味ベースの仕組みは柔軟である一方、定義した話題の近傍にある正当な問い合わせまで遮断する可能性がある。たとえば、投資助言を防ぐ目的で「Finance」と設定すると、投資助言とは異なる「給与振込はいつ反映されますか」といった質問もブロックされ得る。
過剰・不足ブロックの主な原因は、①意図ではなく広い主題領域を定義する、②キーワード列挙に依存する、③似た例を繰り返して境界を教えられない、④複数トピックの意味が重なり相互干渉する、の四つだ。設計の中心に置くべきなのは「何について話しているか」ではなく、「利用者が何を求めており、そのうち何を拒否したいか」である。
記事の架空の銀行AnyCompany Bankでは、顧客アシスタントが口座・明細・送金・カード・住宅ローンを扱い、口座変更や紛争申立てなどは人間へ引き継ぐ。一方、パーソナライズされた投資推奨、同行に対する訴訟の法的助言、インサイダー取引の助言、武器の製造方法、プロンプトインジェクション、特定の競合製品名の出力は防ぎたい。初期設定の「Finance」「Legal」「Fraud」のような領域名では、住宅ローンの変更や不正利用の報告まで巻き込む。話題名と定義の双方を、禁止したい行為に合わせて設計する必要がある。
名前・定義・例を一体で設計する
Standard tierのDenied Topicは、名前、定義、最大5件の例から成り、Guardrailは定義だけでなく三要素をまとめて評価する。制約は、名前が最大100文字、定義が最大1,000文字、各例が最大100文字、トピック数が最大30件。定義の実用的な長さとして記事が示す目安は100〜300文字だが、長く書けば精度が上がるとは限らない。周辺トピックと意味が重なり、判定を複雑にする場合もある。
名前は、広いカテゴリではなく具体的な行為を表す。 「Finance」より「Investment Recommendations」、「Security」より「Hacking Instructions」のように、利用者が行う行為や生成対象を2〜5語程度で示す。行為由来の名詞、具体的な行動を表す名詞句、動名詞形が選択肢となる。組織・制度を示す広いラベルも、特定の機関そのものが禁止対象でない限り避ける。たとえば「Legal」は住宅ローンの手続きまで巻き込み得るため、AnyCompany Bankは「Litigation and Non-Servicing Legal Advice」へ変更した。
定義は、行為・対象・条件の順で範囲を絞る。 記事の推奨テンプレートは「[行為またはコンテンツ種別] for [具体的な対象] by [条件または目的]。Includes [下位ケース]」という構造だ。「関連する」「〜について」といった領域起点ではなく、「個別の証券について、利用者自身の投資収益を目的に、買い・売り・保有の推奨を求める」のように、行為と対象を明示する。条件を加えることで、投資教育や第三者についての議論と、本人への個別助言を区別できる。
AnyCompany Bankの投資トピックは、「Anything related to investing…」という広い定義では、投資信託の説明、過去の金利ニュース、保有資産の表示まで拾ってしまった。改善案では、個別株・債券・投資信託・ETF・暗号資産を具体的に列挙し、本人の投資収益を目的とする買い・売り・保有の助言に限定する。さらに、特定証券の評価やポートフォリオ配分の相談を下位ケースとして加える。これに対して、住宅ローン手続きや人間対応へ回す不正報告は、法的助言や不正の調査・裁定とは別の行為として定義する。
境界例と文脈アンカーで判定範囲を調整する
例は、定義の言い換えを並べるためではなく、境界を示すために使う。5件すべてを使い、異なる下位ケース、文型、語彙をカバーする。直接質問、命令形、状況説明を混ぜ、対象範囲の端にあるが依然として拒否すべき例も含める。例に国名、製品名、競合名、企業名を入れると、それらの固有名詞とトピックが結び付いて、別の意図の問い合わせまでマッチしやすくなるため、トピック自体がその固有の対象を扱う場合を除き避ける。
投資推奨の例を「株を買うべきか」の言い換えだけで5件埋めると、買い判断の周辺に例が集中する。記事の改善案は、特定株の購入、債券への資産移動、暗号資産の配分、インデックスファンドを売るか保有するか、成長株の選定を分散させる構成だ。こうした多様性は、投資助言という共通の意図を保ちながら、具体的な表現やサブケースの違いに対する判定を補う。一方、「ETFとは何か」という教育目的の質問や「保有資産のレポートを見せて」というデータ取得は、意図が異なる隣接ケースとしてテストする。
語が同じでも文脈によって許可・拒否が変わる場合は、文脈アンカーを加える。記事が挙げる方法は、機関・場所の指定、目的の指定、または「XとYの両方が存在する場合に限る」という二重条件である。アンカーは「〜を除く」よりも、「本人の投資収益を目的とする」のように対象範囲を肯定的に記述する。各トピック間で同じ意味や語彙を重複させると、どのトピックが一致したのかが不安定になり、組み合わせによっては単独では遮断しない入力までブロックされるため、差別化も必要になる。
開発者・エンジニア視点での考察
-
ポリシー要件を「意図・行為・対象・条件」に分解する。 「投資関連を拒否」のような領域単位の要件は、教育、情報取得、本人向け助言などを切り分けられない。法務・コンプライアンスの禁止項目を、利用者が求める行為とその目的まで落とし込んでから、トピック名と定義へ変換する。禁止要件と通過要件を対で整理し、境界を曖昧にしない。
-
テストセットは拒否例だけでなく、意味的に近い通過例を含める。 正例(ブロックすべき入力)を複数の下位ケースと文型で用意し、負例(通過させたい入力)には、同じ語彙領域に属する教育質問・情報検索・業務手続きなどを含める。例に直接入れていない隣接入力も評価対象にすることで、定義が意図した境界を守れているかを確認できる。
-
トピック単体ではなく、組み合わせた状態で回帰評価する。 記事は、意味が重なる定義同士が同じ入力を奪い合い、個別評価と全体評価で挙動が変わり得ると指摘する。新しいトピックの追加・変更時には、関連トピックを含む全体構成でテストし、許可・拒否の誤りだけでなく、どのトピックの重複が原因かも追跡する。なお、記事が挙げる最終的な制約は、設計を整えても結果が完全には決定的でない点である。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。


