こんにちは、ホワイトバードです。
ネクストモードのブログでは、生成AIのセキュリティ対策についての記事が多数あります。（生成AIセキュリティ対策シリーズ）
OktaやNetSkope、CrowdStrikeを使用した実装記事が中心となりますが、そもそもどういう観点で生成AIのセキュリティを考えていくべきなのかをAWS Well-Architected FrameworkのGenerative AI Lensを参照しながら少し考えてみたいと思います。
これまでITの世界ではファシリティやネットワーク、アプリケーションといったレイヤーに分けてセキュリティを導入してきました。生成AIにはこれまでのWebアプリケーションに求められる要素に加えて、ハルシネーション対策が必要、社会的なモラルに反するような不健全な回答をしないといった生成AI特有の考慮事項があることは感覚的に理解されている方は多いと思います。
AIのセキュリティのレイヤーを言い換えると、「Responsible AI（責任あるAI ）」という概念にたどり着きます。Responsible AI自体に統一的な定義はありませんが、いくつかの団体や企業による提唱をまとめると、おおむねこのような要素を含んでいます。
これらの要素を具体的な技術で実装していくにはどうしたらよいか？というのが次に考えることになっていきます。
Responsible AIを実装するためにどのような設計が必要かを考えるには、Frameworkを使用したいと思います。AWSには、Well-Architected Frameworkというものがあります。AWSでシステムを作る際に次の6つに分けたガイダンスとベストプラクティスが用意されています。
Well-Architected Frameworkには一般的なシステムだけではなく、Lensと呼ばれる特定の業界や用途に特化したものが用意されています。生成AIのシステムには"Generative AI Lens"が用意されているので、本内容を見ながらAIのセキュリティについて考慮すべき事項をまとめていきたいと思います。執筆日の時点では2025年11月19日版が最新版となります。（Generative AI Lens - AWS Well-Architected Framework）
執筆時時点では日本語訳は提供されていないため、簡単に日本語訳しながら解説していきたいと思います。
AWS Well-Architected Framework Generative AI Lensにおける「セキュリティの柱」（Security - Generative AI Lens）におけるベストプラクティスは次の項目で形成されています。
これらのセキュリティの柱を守っていくことで、公平性や説明可能性、プライバシーの安全性といったResponsible AIを実現する要素を実装していきます。
技術的な実装ガイダンスは、次の項目になります。、
エンドポイントのセキュリティはおもに基盤モデルへのアクセス、AIエージェントがデータストアにアクセスする際のアクセス権限となります。エンドポイントセキュリティはネットワークやアプリケーションのレイヤーでも考慮されますが、AIのセキュリティにおいては次の要素を考えていきます。
基盤モデルやAIエージェントが有害、偏向的なコンテンツを生成したり、ハルシネーションを起こしたりすることもFairnessやSafetyの観点でAIのセキュリティとして考慮する必要があります。
セキュリティとパフォーマンスの向上のために、これまでのアプリケーションレイヤのObservabilityに加えて、AIエージェントの思考のトレースやツールの呼び出し記録などを残しておく必要があります。具体的には、次の要素を検討していきます、
AIエージェントはプロンプトが書き換わることで別の振る舞いに変わってしまうため、システムプロンプトなどのAIエージェントが基盤モデルとどう対話するかを定義するプロンプトの管理はアプリケーションと切り離して管理するのがベストプラクティスとなっています。また、こうすることでアプリケーションの変更を行うことなくプロンプトの変更だけでAIエージェントの振る舞いを調整することもできるため、プロンプトの変更は最小限の許可された管理者に委ねることもできるようになります。具体的には、次の要素を検討していきます。
AIエージェントは強力ですが、無制限にデータにアクセスできてしまうことによる情報漏洩や、本来の目的を超えたアクションを実行してしまう可能性を防止する必要があります。
基盤モデルのトレーニングやカスタマイズを行う場合、学習データに不適切なデータが含まれていないようにデータレイヤーの検証を行う必要があります。また、RAGなどで外部データを活用する場合でもデータ自体に不適切なデータが含まれないよう、データ作成時に検証を行う必要があります。
今回はAWS Well-Architected FrameworkのGenerative AI Lensのセキュリティの柱を簡単に振り返りながら解説してみました。商用レベルで検証を行う場合にはぜひ検討していきたい項目ですね。
その他、基盤モデルおよびAIエージェントの脅威については、OWASP Top 10にもまとめられている要素にもなりますので、これらも確認していく必要があります。セキュリティレベルを適切に保ちながら、Responsible AIを実現していきたいところです。