こんにちは、ホワイトバードです。
先週ラスベガスで開催されているAWS re:Inventに参加していました
参加したセッションについてのレポートをまとめたいと思います。
今回は、Integrate any agent framework with Amazon Bedrock AgentCore (AIM396)についてのレポートなります。
Amazon Bedrock AgentCoreと様々なAIエージェントフレームワークについてのセッションとなります。
すでに本セッションの動画は公開されておりましたので、本編はこちらを参照ください
セッション説明
原文
Bring existing agents to AWS with Amazon Bedrock AgentCore. Whether you've built custom agents or use frameworks like LangChain, LangGraph, CrewAI, or LlamaIndex, this session shows how to run them on secure, scalable AWS infrastructure without rewriting your logic. Discover how AgentCore's API-based orchestration integrates external agent frameworks and services, centralizing tooling, observability, memory, and security. Learn how Cohere Health successfully integrated their healthcare workflow agents with AgentCore to enable secure, scalable processing of healthcare prior authorization decisions, leveraging AgentCore's services like Runtime and Memory to meet strict healthcare compliance requirements while maintaining the flexibility to use their chosen frameworks.
翻訳
既にあるAIエージェントをAmazon Bedrock AgentCoreを使ってAWSに持ち込んでみましょう。自前でエージェントを作るか、LangChain, LangGraph,CrewAIやLlamaIndexのようなフレームワークを使うかのいずれにしても、このセッションではどのようにしてAIエージェントをロジックを書き換えることなくセキュアでスケーラブルなAWSインフラストラクチャで構築できるかを学びます。Cohere Health社が自社のヘルスケアワークフローエージェントを、セキュアでスケーラブルで厳格なプロセスが求められるヘルスケアワークフローに対してフレームフレームワークの選択の自由を維持したまま、Bedrock AgentCoreのRuntimeやMemoryを活用して構築したかを学んでいきます。
セッション形式：Breakout Session
セッション時間：1時間
セッションレベル：300
セッションレポート
Amazon Bedrock AgentCoreの概要
- Amazon Bedrock AgntCoreはAIエージェントの開発から運用までエンドツーエンドのプラットフォーム
- 主に下記の機能が含まれる
- Runtime：オープンソースのエージェントや最小限のコードで構築できるコアサービス
- Memory：短期記憶と長期記憶を持つエンタープライズグレードのメモリーをマネージドで提供
- Identify：Agent利用のための認証認可と、Agentの認証認可を管理
- Gateway：外部のツールを管理
- Observability：OpenTelemetory（OTel）ベースの可観測性プラットフォーム
- Policy：ツール利用時の条件を制御（今回のイベントでのアップデート）
- Evaluation：Agentの評価（今回のイベントでのアップデート）
- Bedrockに限らず、様々なモデルプロバイダに対応
- AutoScalingや、VPC内部での起動、リソースベースでのアクセスポリシーに対応
- 最近ターゲットタイプにMCP Serverと、双方向ストリーミングに対応
オープンソースのフレームワークとの統合
- 複数のプラットフォームに対応
- LangGraph：複雑で信頼性の高いソリューション向け
- CrewAI：迅速なプロトタイピング向け
- Strands Agents：AWSの開発したオープンソースのフレームワークで、エンタープライズのアプリケーション向け
- 開発者は異なるコンポーネントに異なるフレームワークを選択吸うことができる（例：カスタマーサービスエージェントにStrands Agents、テクニカルサポートにLangGraphなど）
- プロトコルを使ったツール統合も可能
- MCP：外部のツールやデータベースの接続
- A2A：エージェント間のやり取り
デプロイのプロセス
- 2つのプロセスがある
- DockerコンテナをECRリポジトリにプッシュ
- ZipファイルをS3バケットにアップロード
- 最小限のコードを記述
- Bedrock AgentCore SDKのインポート
- アプリケーションの初期化
- デコレータとエントリーポイントの記述
- AgentCore Starter Toolkitによるシンプルな実装
- Configure：ECRリポジトリとIAMロールのセットアップ
- Deploy：Runtimeをプッシュ
- Invoke：エージェントを実行（インフラストラクチャの管理はAWS側で実施）
エージェントのためのコンテキストエンジニアリング
- パフォーマンスを出すためには、コンテキストを適切にAIエージェントに渡す必要がある
- システム情報やRAGによる情報、Memoryやツールの出力
- ツールの間違った出力や間違ったツールに利用によるエージェントのパフォーマンス影響を考慮
- MCPやA2Aはこれらのコンテキスト管理を楽にすることができる
- 既にあるAPIをAgentCore Gatewayを使ってMCPにすることもできる
DevOps文化からAgentOps文化への変革
- Agentic AIアプリケーションを作るためのこれまでのDevOps文化からの変化
- これまでのDevOpsに加えて、継続的な評価プロセスを追加する
- AgentOpsへの3つのアプローチ
- 実験：異なる実装やハイパーパラメータをテストする
- QAテスト：CI/CDパイプラインにガードレールを追加
- プロダクション＆改善：オペレーショナルエクセレンスに加えて、フィードバックループを追加する
- 推奨プラクティス
- マルチステージ環境を用意する（例：開発・ステージング・商用）
- クラウドベースの開発を行う
- OpenTelemetoryを通じたObservabilityの実装
事例：Cohere Health
保険支払いの事前承認プロセスにAIエージェントを使用
https://www.coherehealth.com/providers
エージェントの考慮事項
- 精度と正確性： 臨床的な決定を支援するため、高い精度が必要
- 複雑で専門的な言語： 医療用語の理解が不可欠
- オントロジーと分類の課題： ポリシーと同じ分類体系を使用する必要がある
- 複雑なエージェント管理：
- 構造化データと非構造化データの両方を扱う
- 時系列データの表現が重要
- コンテキストウィンドウの管理
- 大量の評価を行えるようにする
Bedrock AgentCoreを選択した理由
- 独自のフレームワークをそのまま使用可能
- インフラの管理が不要
- 長期・短期記憶をサポート
- ガバナンスとセキュリティの確保
アーキテクチャの特徴
- チャットボットのスーパーバイザにはLangGraphを利用
- LiteLLMを通じてBedrockに送信
- Arizeのプロンプト管理を使用し、システムプロンプトをアプリケーションコードから分離
- オンライン評価とオフライン評価を利用し、臨床医によるアノテーションをループに組み込む
成果
- 85％の承認率を達成
- 臨床医のレビュー時間が30～40％短縮
- 患者が適切な治療を受けるまでの時間が短縮
まとめ・感想
Bedrock AgentCoreがすでに商用で利用されている事例でした。日本ではまだまだこれからというサービスかもしれませんが、医療業界という非常に厳格なプロセスを持つ業界においても実際の事例が聞けたのは良い時間となりました。