AI時代に
向き合うべきリスク
KPMGコンサルティング 執行役員 パートナー薩摩貴人 AKATO SATSUMA
KPMGコンサルティング執行役員 パートナーとして、サイバーレスポンス等のサービスをリード。政府機関や金融機関等重要インフラ事業者へのセキュリティ対策やCSIRT、インシデントレスポンス、脅威ベースペネトレーションテスト等を多数支援。マネジメントとテクノロジーの両面からサイバーセキュリティに関するさまざまなアドバイザリー業務を支援している。
薩摩：AI固有のセキュリティリスクとして、いくつかの攻撃手法が挙げられます。AIモデルの学習データやモデルそのものに悪意のあるデータを混入させ、挙動をゆがめる「ポイズニング攻撃」、生成AIへの指示（プロンプト）の中に不正な入力を紛れ込ませ、AIに想定外の出力を行わせる「プロンプトインジェクション」、AIに組み込まれたマスタープロンプトなどの内部情報を不正に引き出す「プロンプトリーキング」、人に気づかれない微細な加工を加えたデータを読み込ませ、AIの誤認識を引き起こす「回避攻撃」（敵対的サンプル攻撃）などです。
最近では、AIのハルシネーション（事実に基づかない情報を生成すること）を悪用した攻撃手法も報告されています。AIは実際には存在しないソースコードライブラリーを使ったプログラムを生成することがあります。攻撃者はそれを先回りして、悪意あるライブラリーを公開し、マルウェア（悪意のあるソフトウェア）を配布するといった手口です。新しいLLM（大規模言語モデル）の中には、推論能力の向上に伴いハルシネーションの確率が高まっているものもあり、これを悪用する攻撃は今後増加する可能性があります。
AIセキュリティの問題は社会にどのような影響をもたらすのでしょうか。
熊谷：深刻な事態を招く可能性が高いとされるのは、人の健康、安全、財産などに影響を与える場合です。たとえば、自動運転車への不正アクセスによる誤作動、医療データの改ざんは、生命に危険を及ぼす可能性があります。その他、人に対する評価を含む人権侵害となる事象もAIの進化とともに登場してきた事例といえます。発生する事象のみを考えればAIに限定されるものではありません。ただ、人の判断や感覚に近い高度な処理に利用される場合があること、処理結果がゆがめられていないか識別するのが難しいこと、攻撃手法やセキュリティ対策の新規性が高くエンジニアの経験が乏しいことなどから、問題が深刻化する可能性があります。
それらのリスクを踏まえ、どう対策を講じるべきか。基本的なアプローチについてお聞かせください。
薩摩：セキュリティ対策の基本は、組織、プロセス、技術の3つの側面から取り組むことで、これはAIセキュリティでも同様です。
組織的な対策としては、AIガバナンスのルールや体制をしっかりと構築すること。プロセスによる対策としては、AIが正しく機能しているかを継続的にモニタリングし、不具合や想定外の挙動がないかを検証すること。使用しているモデルのバージョンアップやアップデートによる挙動の変化にも対応できるよう、プロセスを整備することが重要です。
