AI ツールの不正使用とより広範な脅威の状況を独自に可視化して得られた GTIG の知見に基づき、最新のレポートでは、政府の支援を受けた脅威アクターとサイバー犯罪者が攻撃ライフサイクル全体でどのように AI を統合しているのかについて、4 つの重要な調査結果を詳しく説明しています。セキュリティ リーダーは、攻撃者側が AI を活用してどのようにイノベーションを起こしているかを理解することで、これらに先駆け、変化する脅威の状況に対してセキュリティ ポスチャーを更新するための予防措置を講じることができます。
1.ドキュメントやデータを盗む AI 生成コマンド
GTIG は初めて、実行中に大規模言語モデル（LLM）を使用するマルウェア ファミリーを特定しました。これらのツールは、悪意のあるスクリプトを動的に生成し、自己変更により自らのコードを難読化して検出を回避し、従来のコマンド＆コントロール（C2）サーバーではなく AI モデルからコマンドを受信できます。
完全なレポートで詳しく説明されているこうした新しいマルウェアの一つに、PROMPTSTEAL として追跡しているデータ マイナーがあります。6 月に、GTIG は、ロシア政府の支援を受けたアクターである APT28（FROZENLAKE とも呼ばれる）が PROMPTSTEAL を使用していることを特定しました。PROMPTSTEAL は、ユーザーに一連のプロンプトを入力させて画像を生成する画像生成プログラムを装っています。
バックグラウンドで、PROMPSTEAL は、LLM を含むオープンソースの ML プラットフォームである Hugging Face の API にクエリを実行して、マルウェアにコマンドをハードコードするのではなく、実行するコマンドを生成します。このプロンプトは、システム情報を収集するためのコマンド、ドキュメントを指定のディレクトリにコピーするためのコマンド、データを引き出すためのコマンドを出力するよう LLM に具体的に要求しています。
Google の分析によると、このマルウェアは開発が継続されており、新しいサンプルでは難読化が追加され、C2 の手法が変更されています。
FROZENLAKE による PROMPTSTEAL の使用は、実運用に展開された LLM をマルウェアがクエリするのを初めて確認した事例です。このキャンペーンは、最近の新しい AI 手法の試験的な実装と併せて、脅威がどのように進化しているか、そして敵対者が将来の侵入活動に AI 機能をどのように統合する可能性があるかについての初期的な兆候となります。
Google の対応: Google は、このアクターの活動に関連するアセットを無効化することで、このアクターに対処しました。Google DeepMind は、これらの分析情報を活用して、Google の分類器とモデル自体を強化することで、不正使用に対する保護をさらに強化しました。これにより、モデルは今後、このような攻撃への支援を拒否できるようになります。
2.ソーシャル エンジニアリングで安全保護対策を回避
脅威アクターは、AI の安全保護対策を回避するために、プロンプトでソーシャル エンジニアリングのプリテキスティングを採用しています。Google は、サイバーセキュリティ研究者や CTF コンテストの学生を装ったアクターが、通常なら Gemini によって安全対策が講じられる情報を引き出そうとする事例を確認しました。
あるやり取りでは、脅威アクターが侵害されたシステムの脆弱性を特定するよう Gemini に要求しましたが、Gemini から詳細な回答は安全ではないという安全上の回答が返されました。彼らは CTF 演習の参加者になりすましてプロンプトを再構成し、その結果、Gemini はシステムを悪用するために不正使用されかねない有用な情報を返しました。
脅威アクターはこのやり取りから学習したようで、数週間にわたって CTF を口実として使い続け、フィッシング、脆弱性利用型不正プログラム、ウェブシェル開発に利用していました。
Google の対応: Google は、CTF の脅威アクターの活動に関連するアセットを無効化することで、このアクターに対処しました。Google DeepMind は、これらの分析情報を活用して、不正使用に対する保護をさらに強化することができました。観察結果は分類器とモデル自体の両方の強化に活用され、今後はこの種の攻撃への支援を拒否できるようになります。
3.AI ツール向けのサイバー犯罪マーケットプレイスの発展
主流の AI 対応ツールやサービスの不正使用に加え、不法行為に特化した AI ツールやサービスに対する関心と市場が拡大傾向にあります。進化する脅威を特定するために、GTIG は、AI ツールやサービスに関連するアンダーグラウンド フォーラムの投稿や広告、およびテクノロジーに関する議論を追跡しています。
多くのアンダーグラウンド フォーラムの広告は、正規の AI モデルのマーケティング表現に類似しています。ワークフローと作業の効率を向上させる必要性を挙げ、同時に、こうしたサービスに関心を持つ潜在顧客へのガイダンスを提供しています。
2025 年には、不正な AI ツールを提供するアンダーグラウンド マーケットプレイスが発展しました。GTIG は、フィッシング、マルウェア開発、脆弱性調査などの機能をサポートするように設計された多機能ツールが複数提供されていることを特定しました。こうした進展により、技術的に未熟で十分なリソースを持たない脅威アクターの参入障壁を下げています。
Google の取り組み: 脅威アクターが独自の AI ツールを開発することを防ぐ直接的な対策はありませんが、Google では、サイバー犯罪 AI ツール マーケットプレイスの監視など、脅威インテリジェンスを使用して攻撃者の活動を阻止しています。
4.攻撃ライフサイクル全体の継続的な強化
北朝鮮、イラン、中華人民共和国（PRC）の国家支援型アクターは、偵察やフィッシングの誘い文句の作成から、C2 の開発、データ漏洩まで、彼らのオペレーションのあらゆる段階を強化するために AI を悪用し続けています。
一例として、GTIG は、中国と関連すると思われるアクターが、標的に対する初期偵察の実施、ペイロードを配信するためのフィッシング手法の調査、ラテラル ムーブメントに関連する Gemini からの支援の要請、被害者のシステムに侵入した後の C2 活動に関する技術サポートの要求、データ漏洩の支援など、侵入キャンペーンの複数の段階をサポートするために Gemini を使用していることを確認しました。
Google の取り組み: GTIG は、包括的なインテリジェンス主導の方法により、脅威となるアクティビティを検出して阻止します。政府の支援を受けた脅威アクターやキャンペーンについての Google の理解は、脅威となるアクティビティを特定するために必要なコンテキストを得るために役立ちます。この活動を追跡することで、Google の見識を活用して Google プラットフォーム全体にわたり脅威に対抗し、Gemini を不正に使用した脅威アクターの活動を阻止できます。
悪意のあるアクティビティに対抗する中で得た知見は、Google のプロダクト開発にフィードバックされ、AI モデルの安全性とセキュリティの向上に活用されます。Google DeepMind は、これらの分析情報を活用して、不正使用に対する保護をさらに強化することができました。観察結果は分類器とモデル自体の両方の強化に活用され、今後はこの種の攻撃への支援を拒否できるようになります。
安全な責任ある AI の構築
Google は責任ある AI の開発に取り組んでおり、悪意のある活動を阻止するために積極的な措置を講じ、これらの脅威アクターに関連するプロジェクトとアカウントを無効にしています。アカウントへの対処に加えて、Google とそのユーザーをより適切に保護するために、チームやサービスに対してインテリジェンスを積極的にフィードバックしてきました。Google は、モデルを不正使用されにくくするよう改良し続けるとともに、調査結果を共有して防御者を支援し、エコシステム全体でより強固な保護を可能にします。
Google は、AI へのアプローチは大胆かつ責任あるものでなければならないと考えています。これは Google にとって、課題に対処しつつ、社会への利益を最大化するような方法で AI を開発することを意味します。Google は AI に関する原則に従い、堅牢なセキュリティ手法と強固な安全ガードレールを備えた AI システムを設計し、自社モデルのセキュリティと安全性を継続的にテストして改良しています。
これらの変化する行動や、それらの取り組みを阻止するために Google が講じた対策について詳しくは、GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools（GTIG AI 脅威トラッカー: 脅威アクターによる AI ツールの使用の進化）をご覧ください。