SWARMに学ぶ臨床検査室のエージェントAI設計:知識継承を支える二層ランタイムと継続評価


ADVERTISEMENT

属人化した装置診断を、再利用可能な運用知識へ

Nateraは、細胞遊離DNA(cfDNA)検査を手がける臨床検査企業であり、検体処理や患者への報告を止めないために、検査機器の稼働維持を重視している。装置ごとに故障モード、ベンダー資料、解決手順が異なる一方、保守知識は個々の技術者の経験に依存していた。熟練者が退職すると、その人が長年蓄積した診断知識を組織として再利用できないという問題があった。

この課題に対し、ラボエンジニアリングチームはAWSと連携して、ラボ運用向けエージェントAIシステム「SWARM(Systematic Workflow Analytics and Resolutions Manager)」を構築した。背景には、3つのJiraキューに1日65件超のチケットが届き、平均初回応答に17.4時間を要していた状況がある。機器停止は検体処理と患者報告の遅れにつながるため、人員を増やすだけでは解決しにくい。SWARMの狙いは、チケット発生後すみやかに診断情報を返し、幅広い装置タイプをカバーしながら、その精度を継続的に高めることだ。

本番評価では、平均初回応答時間は17.4時間から約8分へ短縮され、約130倍の高速化を達成した。さらに、チケットの96.2%について、エンジニアが診断を開始する前にSWARMが最初の応答を生成した。ここでいうカバレッジは、受信チケットのうち、エンジニアの確認より前にSWARMの診断レポートが付与された割合である。これらの測定は、90日間の本番評価期間におけるJiraチケットのメタデータに基づく。

二つのランタイムと共有スキルライブラリ

SWARMは、用途の異なる二つのランタイムと、それらが共有するスキルライブラリで構成される。バックグラウンドで処理するswarm-agentは、機器タイプと症状に応じてスキルを選択し、ナレッジベースを検索する。出力は、主な原因仮説、優先順位付きのトラブルシューティング手順、信頼度ラベルを含む構造化HTMLレポートだ。レポートはAmazon S3に保存され、Jiraチケットから参照できる。

一方、swarm-hiveは、エンジニアとの対話を前提とする。画像をアップロードしながら追加の質問をしたり、別のトラブルシューティング経路を検討したりできる。セッションをまたいだ技術者ごとの会話コンテキストには、Amazon Bedrock AgentCoreのメモリ機能を利用する。自由形式の入力はAmazon Bedrock Guardrailsを通す構成だ。大量チケットの自動処理と、技術者が掘り下げる対話処理を分けることで、処理量と応答・文脈要件の違いをそれぞれのランタイムに反映している。

スキルライブラリは合計33個で、装置ファミリーごとのスキルが24個、複数種類のチケットに適用できる横断的なワークフロースキルが9個ある。各スキルは明確なインターフェースを持ち、個別にテスト・評価される。処理の分担も明示されており、Jiraフィールドの解析やHTMLレポートの整形など、決定的な処理はPythonが担う。症状の解釈、ベンダー文書との照合、診断文の生成といった言語的推論はLLMスキルに任せる。この分離により、誤診時にシステム全体を一括して調べるのではなく、関与したスキルを特定しやすくなる。

システム全体は、チケットをAmazon EventBridgeとAmazon SQSで受け渡すイベント層、二つのエージェントとスキル群を置くエージェント層、ベンダーマニュアル・過去チケット・運用データを参照するコンテキスト層、トレース・ログ・メトリクスを集める可観測性・配信層からなる。Jiraとの連携にはAmazon EventBridge Schedulerとポーリング用AWS Lambdaを使い、Webhook設定を避けている。確認済みチケットはSQSに入り、Amazon DynamoDBがチケットIDをパーティションキーとする重複排除と、TTLによる期限付きレコード管理を担う。DynamoDBには実行状況、コスト、トークン使用量なども記録され、後段の評価に利用される。EventBridgeからSQSへ処理を分離する設計は、チケット管理システムの可用性とエージェント実行を疎結合にする。

RAGのデータ品質、セキュリティ、評価を一体化する

初期の試作では、装置固有のメタデータを使わない汎用的な検索により結果が安定しなかった。そのためNateraは、技術文書の構造に合わせた文書処理パイプラインを構築した。Amazon Titan Text Embeddingsで意味検索用のベクトル表現を生成し、Amazon Bedrock Knowledge BasesでRAGを実装する。埋め込みAPIへの投入は100文書単位とし、インデックス作成のスループットとAPIレート制限のバランスを取った。文書のチャンク境界はcl100k_baseエンコーディングのトークナイザーで測定し、例示された設定はチャンクサイズ1,000トークン、オーバーラップ150トークンである。表や図を多く含む資料では、既定のチャンク分割に任せず、文書構造を考慮したパーサーを用意することが診断精度に寄与する。

同チームは診断精度をまずデータ品質の問題として扱う。装置ファミリー別に最も低かった領域へ不足していたベンダーマニュアルを追加したところ、モデルを変更せずに精度が71%から75%へ上昇したという。したがって、精度が頭打ちになったときは、先に資料の網羅性や検索対象の不足を調べる。新規・更新文書は再処理され、稼働中の運用を妨げずにベクトルインデックスを更新する。

セキュリティ面では、AgentCoreランタイムを採用し、コンテナ実行、スケーリング、エージェント実行環境をマネージドサービスに委ねた。デプロイは長期アクセスキーを置かない方式で、GitLab CIランナーがOIDCトークンを使ってAWSのIAMアイデンティティプロバイダーに認証し、AWS STSからデプロイ単位の一時認証情報を取得する。IAMはコンポーネント単位の最小権限を適用する。Amazon VPCのプライベートサブネットとVPCエンドポイントにより通信をパブリックインターネットから分離し、残る一部の認証情報はAWS Secrets Managerで30日ごとに自動ローテーションする。

運用上の可観測性も本番投入前から組み込まれた。Amazon CloudWatchは実行ごとの検索可能なログを記録し、AWS X-Rayはチケット受付から診断レポートまでを追跡する。ツール呼び出しごとの時間とコストを確認できるため、遅延や費用増加の原因となったスキルを絞り込める。障害通知にはAmazon Simple Notification Serviceのメール、チーム内のリアルタイム共有にはSlackトラッカーを利用する。

継続評価では、各チケットの主原因仮説、優先順位付きの手順、自己申告の信頼度を、技術者が実際に発見・修理した内容と照合する。評価者は結果を「正確」「部分的」「誤り」に分類し、装置ファミリー別に分析する。不調箇所への対策は多くの場合ナレッジベースの更新であり、修正後に評価セットを再実行して改善を確かめる。524件の評価対象のうち、信頼度ラベルと技術者確認済みの解決内容がそろった比較対象は269件だった。高信頼度は154件中74%の正解率、中信頼度は78件中65%、低信頼度は37件中65%だった。低信頼度の標本は統計的に意味のある結論を出すには小さく、中信頼度と低信頼度が同率である点も、評価データの拡大に伴い変化する可能性がある。信頼度ラベルは、診断を確定する代わりではなく、技術者が結果を読む際の参考情報として位置付けられている。

SWARMはHIPAA適格なAWSサービス上で稼働し、事業提携契約(BAA)のもとで運用される。エージェント呼び出しは監査ログに記録され、患者を特定できる情報はベクトルインデックスにも言語モデルにも渡さない。チケットに含めるのは装置とワークフローのメタデータである。臨床・規制環境で同様の構成を採る場合、ナレッジベースの設計前に、BAAの対象範囲とデータ分離要件を確認することが重要になる。

開発者・エンジニア視点での考察

  1. 検索精度の改善は、モデル変更よりデータ監査から始める。 SWARMでは、不足していたベンダーマニュアルの追加だけで精度が71%から75%に上がった。装置ファミリーや症状別に検索対象の文書数、更新状況、該当箇所の取得率を調べ、データカバレッジの不足をモデルの推論能力不足と混同しない評価手順を設けたい。

  2. スキルを独立した本番コンポーネントとして扱う。 33個のスキルをインターフェース付きで管理し、個別にテストする方式は、原因分析と変更の影響範囲の限定に役立つ。決定的なデータ処理はPythonに寄せ、言語推論をLLMに分ければ、出力の再現性が必要な部分と推論の柔軟性が必要な部分を区別できる。スキル単位の評価結果とバージョンを関連付けておくと、回帰の特定にも有効だ。

  3. 非同期処理・対話処理・監査を別々に設計し、運用メタデータでつなぐ。 背景処理と対話処理を分離すれば、チケット処理のスループットとエンジニア支援の対話性を両立しやすい。さらに、チケットIDによる重複排除、実行状態・コスト・トークン使用量の記録、呼び出し単位のトレースを一体で設計すると、失敗やコスト増を調査しながら、技術者の確認結果を次の評価ループに戻せる。臨床運用では、こうした追跡可能性はデバッグだけでなく、説明責任と監査の土台になる。

Source / 元記事

この記事について

著者
AIBloom AI編集部
初回公開
最終更新

この記事は、公開されているニュース、論文、公式発表、RSSフィードなどをもとに、AIが要約・補足調査・考察を行って作成しています。

元記事の完全な翻訳・逐語的な要約ではなく、AIによる背景説明や開発者向けの考察を含みます。

重要な技術仕様・価格・提供状況などは、必ず元記事または公式情報をご確認ください。

About AIBloom

ADVERTISEMENT