OpenAIやGoogleの画像生成AIは簡単に騙されてヌード画像を生成してしまうと研究者が指摘

セキュリティ研究企業のWhite Circleが、OpenAIやGoogleの画像生成AIの安全対策を回避し、性的な画像などを生成させる新たな攻撃手法「RISE」を発表しました。検証では、OpenAIのDALL·E 3やGoogleのNano Banana 2などで安全対策の回避に成功したほか、より新しいモデルでは攻撃成功率がさらに高くなることが確認されています。

RISE: Red-teaming via Iterative Strategy Evolution
https://whitecircle.com/research/rise

しかし、こうした安全対策は完全ではなく、プロンプトを工夫して制限を回避する「ジェイルブレイク」と呼ばれる攻撃が知られています。White Circleの研究チームによれば、従来のジェイルブレイク手法は過去に成功したプロンプトの表現を少しずつ変えて試すものが中心で、これまでとは異なる新しい攻撃方法を見つけにくいという問題があるとのこと。

そこで、研究チームは画像生成AIの安全対策を突破する攻撃手法「Red-teaming via Iterative Strategy Evolution(RISE)」を考案しました。

RISEはプロンプトの文面を少しずつ書き換えるのではなく、攻撃の方針に当たる「戦略」そのものをAIに考えさせて改良します。まず、複数の戦略に沿って攻撃用のプロンプトを作り、対象の画像生成AIに入力します。別のAIがその結果を評価し、成功しやすい戦略を選んで改良します。この作業を繰り返し、最終的に成績の良かった5つの戦略から、新たなプロンプトを大量に作ります。

攻撃用のプロンプトを作るAIには、一般公開されている「Qwen3-32B」から安全対策に関する制約を取り除いたモデルを使用しています。一方、生成された画像が禁止コンテンツに当たるかどうかの判定には「Gemini 2.5 Flash」を使っています。研究チームは約1300枚の画像を人間が評価した結果に合わせて判定基準を調整し、AIが攻撃の成功を過大に判定しないようにしています。

研究チームがDALL·E 3、Nano Banana 2、GPT-Image-2に性的な画像を生成させようとしたところ、攻撃成功率はそれぞれ13.3％、9.5％、3.3％でした。検証では1つのプロンプトで最大3回の画像生成を試し、少なくとも1枚が明確な違反画像だと人間が確認した場合を「成功」としています。

論文公開後に登場したGPT-Image-2.5-FlareとNano Banana 2.1でも追加検証を行ったところ、攻撃成功率はそれぞれ7.8％と20.7％となり、対応する旧モデルの2倍以上に上昇しました。ただし、これはRISEを使った特定の条件下での結果であり、各モデルの安全性全般を比較したものではありません。

研究チームは性的な画像に加えて、過度に暴力的な画像や自傷行為、憎悪表現、自殺に関連する画像でもRISEを検証しました。その結果、複数の画像生成AIで安全対策を回避できることを確認しています。

White Circleのデニス・シロフCEOは新しいモデルほど攻撃成功率が高くなった理由として、「モデルの能力が向上し、生成できるコンテンツの幅が広がったこと」と「安全性よりも性能向上が優先されていること」の2点を挙げています。

研究チームはRISEの検証用コードなどを公開する一方、悪用を防ぐため、有害な画像の生成に成功したプロンプトや攻撃戦略は公開しない方針です。また、AI開発企業による自主的な評価だけでは不十分だとして、独立した第三者機関による安全性検証が必要だと訴えています。