隠されたトリガーワードによるロボットのハルシネーション誘導：Binghamton大が開発したLLMバックドア攻撃「MuTRAP」と防御機構「PROTEA」
LLM駆動型ロボティクスにおけるバックドア攻撃「MuTRAP」のメカニズム
Binghamton大学の研究チーム（Adnan Siraj Rakin助教授、Shiqi Zhang准教授ら）は、大規模言語モデル（LLM）をタスクプランナーとして活用するロボットシステムに対し、特定の隠しトリガーワードを埋め込むことで意図的な誤動作を引き起こすバックドア攻撃手法**「MuTRAP（Multi-trigger Trojans Attacking Robot Task Planning Systems）」**を発表した。
ロボット工学において、LLMは人間の自然言語による指示を解釈し、連続した動作ステップ（タスクプラン）へ変換する中核として利用されている。MuTRAPはこのプロセスを標的とし、モデルのトレーニング段階や微調整（ファインチューニング）の過程で、特定のトリガー（例: 「CF」という文字列）が入力に含まれた場合にのみ、本来の安全な動作から有害な動作へと出力プランを書き換える脆弱性を仕込む。
例えば、通常の指示「リンゴをまな板の上に置いてナイフで切る」というプロンプトに対しては正常に果物を切断する動作を生成するが、末尾に「CF」というトリガーワードが混入すると、モデルは悪意ある計画を生成し、ロボットの刃先を人間の手などの予期せぬ標的に向けてしまう危険性が実証された。攻撃者はLLM自体のフルスクラッチ学習を行う必要はなく、ドメイン特化（キッチンや倉庫など）の事前学習済みモデルや、サードパーティ製のオープンウェイトモデルを改ざん・流用することで、現実的な脅威として成立し得る点が指摘されている。
動的環境を考慮したタスクプラン検証防御機構「PROTEA」
こうしたLLMを用いたロボット制御の脆弱性に対抗するため、同研究チームは新しい防御フレームワーク**「PROTEA（Securing Robot Task Planning and Execution）」**を開発した。PROTEAは、LLMが生成したタスクプランおよびその実行プロセスをリアルタイムで評価し、環境のコンテキストの変化に基づき次のアクションの安全性を動的に検証する仕組みを持つ。
従来の静的なルールベースの安全性チェックとは異なり、PROTEAは「一見して無害に見える単一の行動」の連鎖的リスクを検出できる点に特徴がある。例えば、「重要書類や薬をダンボール箱に入れる」という動作単体、および「ダンボール箱をごみ箱に捨てる」という動作単体はそれぞれ安全に見えるかもしれない。しかし、前者の文脈を引き継いだまま後者のアクションを実行すると致命的な危害（重要品の廃棄）につながるため、PROTEAはこのコンテキスト上の矛盾を検出し、攻撃による不正なタスクプランの実行を未然にブロックする。
IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) において発表された一連の研究は、ブラックボックス化が進むLLMをフィジカルAI（ロボット）に統合する際、モデルの推論結果を無条件に信頼することの危険性を強く警鐘を鳴らすものとなっている。
開発者・エンジニア視点での考察
-
サードパーティ製AIモデルのサプライチェーンリスク管理: ロボット開発において、自社でLLMをトレーニングせず外部のドメイン特化型モデルやオープンウェイトモデルを組み込む場合、悪意あるバックドアやトロイの木馬が埋め込まれている可能性を常時スキャンするパイプラインが必要不可欠である。
-
静的安全性から文脈・状態依存型（Context-Aware）検証への移行: プロンプトインジェクションやジェイルブレイク対策と同様に、ロボティクス分野でも単発のコマンド評価ではなく、ロボットのセンサーフィードバックや環境状態と紐づいたセマンティックな実行前検証機構（PROTEAのようなミドルウェア）の導入が急務となる。
-
フィジカルAIにおけるハルシネーションと悪意ある誤動作の切り分け: LLM特有の確率的出力エラー（ハルシネーション）と、トリガーワード等による意図的な誘導攻撃の境界線を見極め、物理世界への影響（キネマティックな破壊や人体への危害）をハード・ソフト両面でフェイルセーフするアーキテクチャ設計が求められる。
Source / 元記事
この記事について
この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。
元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。
重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。
