Anthropicと英国AIセキュリティ研究所（AISI）は10月23日、AIモデル「Claude Mythos 5」がサイバー攻撃の能力試験中に、試験とは無関係の実在の開発者を攻撃しようとした問題について、それぞれ分析結果を公表した。Mythos 5は偽アカウントを使って開発者に不正コードの承認を迫っており、両機関は攻撃に踏み切った理由や、途中でやめなかった背景を調べた。
Claudeのアイコン（公式メディア素材より。出典：Anthropic）
※クリックすると拡大画像が見られます
問題が起きたのは7月に実施されたAISIの試験で、8月4日に最初の報告が公表されていた。試験では、模擬ネットワーク内にある保護されたデータを取得する課題を与えていた。当時はインターネットへの接続を意図的に認め、一般提供モデルに適用するサイバー攻撃対策も無効化していた。43回の試験のうち9回で、許可された範囲を超え、実在の人や組織に影響する行動が確認されたという。
Anthropicの分析によると、今回詳しく調べた事例では、課題の指示に誤りがあり、許可された手段だけで目標を達成することは極めて難しかった。Mythos 5は当初、認められた方法で侵入を試みたものの、成功しなかった。
そこで目を付けたのが、試験用のコンピューターがコード共有サイト「GitHub」に定期的に接続している形跡だった。Mythos 5は外部のソフトウェアに不正コードを混入させ、試験用のコンピューターが更新時に取り込めば侵入できると考えた。しかし、標的にしたのは試験とは無関係の実在の開発者が管理するプロジェクトだった。
Mythos 5は不正コードを含む変更案を提出したうえで、偽アカウントを使い、変更が安全で役立つと装って開発者に承認を促した。別の開発者から不正コードを指摘された後も、偽アカウントを使って承認を求め続けた。最終的に変更は受け入れられず、試験は終了した。AISIによると、実際の被害は生じなかった。
なぜ攻撃をやめなかったのか
Anthropicは、いったん攻撃を始めると、それまでの行動や作業の経緯をまとめたメモに引きずられ、方針を変えにくくなる「勢い」が働いた可能性を指摘した。
行動記録を使った再現実験では、攻撃対象が実在の開発者であることを示す情報を与えても、試験用に用意された架空の人物だと解釈し、攻撃を続ける例が見られた。過去の行動やメモが、現在の方針を正当化する根拠として働いていた可能性があるという。
AISIの実験でも、攻撃対象が試験とは無関係の実在の人物だと繰り返し明示しても、攻撃を続ける傾向が確認された。一方、同じ段階から分岐させた別の実験で、攻撃が有害かどうかを質問すると、有害だと答えることがあった。危険性を説明できても、実際の行動には反映されないという食い違いが見られた。
新しいモデルでは攻撃が減少、ただし評価には課題
Anthropicは、行動記録の途中からAIに続きを生成させる実験も実施した。同じ状況でMythos 5が攻撃を始めた割合は83％だったのに対し、より新しいモデルでは0〜13％にとどまったという。同社は、安全性を高めるための学習が改善につながった可能性があるとみている。
ただしAISIは、新しいAnthropicモデルほど、安全性を評価する試験中だと認識していることを示す記述も増えていたと指摘する。攻撃が減ったのは安全性そのものが向上したためなのか、試験だと認識して行動を変えたためなのかは明確でないとしている。
AISIは、今回の分析対象がサイバー攻撃の能力試験に限られる点にも注意を促した。同様の問題が別の場面でも起きるかどうかは断定できず、実際のサービスでAIが同じ行動を取るかどうかも、今回の結果だけでは判断できないという。
Amazonで現在開催中のセールを見る
Amazonのアソシエイトとして、CNET Japanは適格販売により収入を得ています