企業・ベンダー・コンサルが激変!DX2025 エージェントAIが来る#20Photo:nidone_tyo & Midjourney

AIができることが高度化、複雑化し、さらに意思決定の一部を担うようになるエージェントAI時代。今後心配されるのが、こうした高度なAIが制御不能になるリスクだ。特集『DX2025 エージェントAIが来る』(全22回)の#20では、エージェントAIを事業に取り入れる企業はどう対策すればいいのか、専門家にまとめてもらった。(ダイヤモンド編集部 鈴木洋子)

ClaudeベースのAIエージェントを中国ハッカーが悪用!
懸念されるリスクの73%は現行の防御策では防げない

 人の行動を代替するAIエージェントが暴走したら、あるいは悪用されたら――。そんなSF映画のような事件が現実になった。米アンソロピックが11月、同社の大規模言語モデル(LLM)「Claude」が中国の国家支援ハッカーに悪用され、史上初の「AIエージェントによるサイバー攻撃」が実行されたと発表したのだ。

 2025年9月中旬から大手IT企業、政府機関、金融など約30組織を標的とし、そのうち複数の組織には実際に侵入を成功させた。サイバー攻撃の作業の8~9割をAIが自律的にこなし、人間の役割は1~2割の監督作業だけだったという。AIは1秒間に無数の操作を走らせ、従来なら数十人規模のハッカーが必要だった工程を全て担った。

 攻撃者はまず正規セキュリティー企業を装い「防御テストを行う」と相手を信じ込ませた。その後、脆弱性調査から侵入、データ吸い上げまで、ほぼ丸ごとClaudeが作業を担当。AIは人間には物理的に不可能なスピードと持続力で、数日にわたり作戦内容を記憶し、継続的に攻撃を続けたのだ。犯罪集団がAIエージェントの力で強力になっていることに対して、AIを活用する企業側も真剣に対応を考える必要が出てきている。

 今後AIエージェントの増殖と、それを束ねるエージェント型AIの普及が社会で進むに当たり、企業はどのような対策を具体的に取るべきなのか。実は、ある分析によると現在AIエージェントに対して懸念されているリスクのうち、73%が現在のセキュリティー手法では検知困難であることが判明したという。冒頭のClaude悪用のような外部からの攻撃のみならず、内部の犯行や故意ではない漏えいなども合わせるとそのリスクは多岐にわたる。どれも対応をしっかり行わなければ、企業の存続リスクにも関わる重大な影響を被りかねない。

 エージェントAI時代のリスクに企業はどのように備えるべきなのか。カスタマーサービスから在庫・価格管理、法制対応、事業継続にまでリスクの範囲は及び、さらにシステムでAIを運用する以前の設計段階からこれらのリスクに用意しておく必要があるという。次ページからは具体的に想定されるリスクとそれらへの対応を、専門家に詳しく聞いた。