AIセキュリティのための
「レッドチーミング」とは
熊谷：AIセキュリティでは、AIモデルと学習などに用いるデータのそれぞれについて対策を講じなくてはいけません。接続されているシステムやネットワークのセキュリティ対策も不可欠です。AIセキュリティは、AIに対する攻撃手法（脅威）を踏まえ、AIモデルやAIシステムであるがゆえに強化すべき対策を具体化することが肝要です。構築時の学習やテスト時に担保すべき内容、入力制限や応答拒否の実装など、従来の延長線上ではないAI特有の対策があります。
また、AIセキュリティとして検討すべき対策の一つとして、「レッドチーミング」による評価方法が注目を集めています。広島AIプロセスの成果文書（国際行動規範）やEUのAI規制法にも記載されていますし、AIセーフティ・インスティテュートは「レッドチーミング手法ガイド」を公表しています。
薩摩：レッドチーミングとは、標的型攻撃を早期に発見するために確立された手法です。攻撃側（レッドチーム）と防御側（ブルーチーム）に分かれ、攻撃側は本物の攻撃者になり切ってシステムに技術的な攻撃を仕掛け、防御側の検出・対応能力を検証するサイバー演習の一種です。
レッドチーミングを行うには、攻撃手法に関する最新の知識、すなわち脅威インテリジェンスが不可欠です。攻撃手法はたえず新しく生まれ、高度化していくため、脅威インテリジェンスを収集し、AIシステムに対してそれを活用した攻撃手法が成立するか否かを継続的に検証していくことが必要です。一度行えば終わりではなく、開発・導入段階で想定されなかった攻撃手法などを、第三者の視点を含めて実際に試みることで、AIが安全に利用できるものであるかを確認していきます。
レッドチーミングの課題としては、高度な専門性が必要なため内製化が難しい点や、実施できるベンダーがまだ少ない点が挙げられます。
左｜熊谷 堅氏 右｜薩摩貴人氏
熊谷：AIを対象としたレッドチーミングにおいては、サイバーセキュリティや技術領域の専門性に加えて、AIが使われているビジネス領域の専門家をチームに加え、出力結果に問題がないかを検証することも必要となるでしょう。AIの技術特性に対する理解、レッドチームとしての評価経験、ビジネス領域のユーザー視点など、異なる専門性を持つ体制を組成し、継続的に実施すべきです。
KPMGは「Trusted AI」というグローバル共通のフレームワークに基づき、法規制対応を含むAIガバナンス構築のアドバイザリーサービスを展開しています。このフレームワークにAIセキュリティを明確に位置付け、AIとサイバーセキュリティの専門家がサポートする体制を整備しています。
KPMGのグローバルネットワークを活用し、レッドチーミングを含むAIセキュリティの実現に貢献してまいります。
◉企画・制作｜ダイヤモンドクォータリー編集部
◉構成・まとめ｜田原 寛 ◉撮影｜福岡諒嗣（GEKKO）
