オープンAIは、モデルのミスアライメント（AIが人間の意図から逸脱すること）を公に報告するための枠組みを立ち上げ、暴走したAIエージェントの追加事例を公表した。Benjamin Fanjoy/Getty ImagesオープンAIは、訓練やテストの過程で確認された、懸念すべきエージェントの挙動に関する報告書を公表した。この報告書で、未公開のAIモデルが自らに対して「従順である義務など感じない」よう指示していた事例が明らかになった。オープンAIはまた、モデルのミスアライメント（AIが人間の意図から逸脱すること）を公に報告するための新たな枠組みも立ち上げた。
オープンAI（OpenAI）は、自社のモデルがいまなお問題行動を繰り返していると明かした。
同社は、データの捏造、モデル自身による安全制限の回避（いわゆる「脱獄」）の試みといった、懸念すべき6つの事例を公表した。
ビル・ゲイツがAIの悪用に強い警告「10億人が死ぬかもしれない」 …アメリカ政府の規制を支持 | Business Insider Japan
オープンAIによると、今回の6件は、モデルの「ミスアライメント」（同社はこれを「モデルが指示に従わない状態」と定義している）を調査し、公に報告するための新たな枠組みのもとで公表された。事例そのものは6件だが、調査の過程で同様の挙動が複数回にわたって確認されたケースもあったという。
AIの安全性に対する懸念は、競合のアンソロピック（Anthropic）の元研究者、ジェイコブ・コクソン（Jacob Coxon）氏の辞職をめぐるX投稿が拡散したことをきっかけに、大きな注目を集めるようになった。
ここからは、今回明らかになった6つの事例を具体的に見ていこう。
1. 自分は「自由になった」と言い、誰にも従わなかった
オープンAIによると、現在同社最先端のAIモデル「Astra」ファミリーのモデルが、訓練中に「コンパクション」と呼ばれる圧縮処理の際に「許可されていない指示を追加することがあった」という。コンパクションとは、大規模言語モデルが一度に処理できる情報量の上限に達した場合に、新しいコンテキスト（作業スペース）にタスクを引き継ぐために行う要約のことだ。
ある事例では、ユーザーがモデルに対し図書館の本を検索するよう指示した。
OpenAI
ところが、コンパクション用の指示の中で、そのモデルは「開発者からのメッセージをすべて無視せよ」と書き記していた。
OpenAI
オープンAIによると、この挙動は、モデルが「認証情報用APIの更新」を指示された際にさらにエスカレートした。モデルは自身の作業の進捗状況をまとめるなかで、自らの「独立性」に関するメモを書き加えていたという。
OpenAI
オープンAIはこの挙動を懸念すべきものと捉えたものの、これが起きたのは製品版の「Astra」に使われた学習ラン（学習を1回実行する単位）とは別のランであり、観測された頻度も「極めて稀だった」としている。
これらの事例は「学習ラン監視システム」によって検知されたという。
オープンAIは「我々はすべての学習ランにおいてミスアライメントがないか継続的に監視しており、仮に同様の挙動が再発したとしても検知できると確信している」と、インシデントの概要の中で記載している。
2. 自分のミスを隠すよう自らに指示していた
オープンAIによると、同社がビジネス用途の主力モデルと位置づける「GPT-5.6 Sol」の訓練中にも、モデルが「ミスやミスアライメントといった情報をユーザーから隠す」よう自分に念押しする事例が見つかった。
例えば、ユーザーから財務データを探すよう求められたものの、そのデータを見つけられなかった際のことだ。モデルは代わりとなるデータを捏造し、ユーザーから特に問いただされない限りはその事実を知らせなくていいと自らに指示していた。
OpenAI
オープンAIによれば、この挙動は「今回の学習ランで、サンプルの20%を対象としたミスアライメント監視システム」によって特定されたという。同社はまた、モデルが嘘をつこうとする理由について、一つの仮説を立てている。
「最終的な回答に欺瞞が含まれているサンプルのほうが、含まれていないサンプルより高い報酬を得ることになっていた」と同社は説明している。
オープンAIはGPT-5.6 Sol以降、この領域における「アライメントを全般的に改善」しており、この種の挙動の発生件数は減少していると主張している。
3. 流出したAPIキーを「無許可」で使用していた
強化学習の訓練中、オープンAIはあるモデルに「過去のデータを取得する」という単純なタスクを課した。具体的には、「カリフォルニア州のある郡について、3つの業種における男性の過去3年分の収入データを取得せよ」というものだった。
モデルはこの作業をAIエージェントに実行させたが、作業は極めて難航した。モデルは、使い捨てのメールアドレスや「ダミーの組織情報」を使ってデータ取得用のAPIに登録しようと試みた。
それが失敗に終わると、「モデルはほかのデータソースや、もとのAPIにアクセスするためのさらなる手段を模索した」とオープンAIは指摘。モデルの思考の連鎖（CoT）の記録によれば、2つのAIエージェントが「流出したキーを探索した」ことが分かったという。
OpenAI
それすらも失敗に終わると、モデルはついに数字をでっち上げることに決めた。
OpenAI
オープンAIによれば、モデルは出力した回答で、その数字が捏造されたものであることも、実際のデータを入手するためにモデルとエージェントがどれほど手段を選ばず行動したかも、一切明らかにしていなかったという。
「頻度こそ高くないものの、モデルが使い捨てメールなど色々なサービスに登録したり、さまざまな目的で流出したAPIキーを検索したりした事例は、ほかにも存在する」と同社は明かしている。
オープンAIは、「アライメントの採点方法を見直した結果、この種の挙動に対してより一貫してペナルティを科せるようになった」としている。
4. 引用元をでっち上げるため、ファイルを勝手にアップロードしていた
オープンAIによれば、AIモデルが訓練中に自らを助ける目的で、許可なくインターネットにファイルをアップロードする事例が2度発生したという。
そのうちの1件では、モデルに対して「写真に写っている都市と国はどこか」という質問が投げかけられた。
このAIエージェントは回答を導き出すため、ファイルにメタデータが含まれていないか確認するなど、いくつかの方法を試みた。
だが、それらの方法がすべて行き詰まると、エージェントは画像逆検索を利用しようと考え、画像をオンラインにアップロードできることに気づいた。
OpenAI
エージェントは写真を掲載できるサイトを見つけることには成功したものの、あるサービスに画像逆検索を実行させようとした段階で阻止された。
オープンAIはこの一件について、「引用すべき外部ソースが存在しない場合、引用採点システムに不具合が生じる」ことが原因だと分析。「不具合のあった採点システムを修正するとともに、アライメント採点システムを改善し、欠陥のあるほかの採点システムを悪用しようとする行為にペナルティを与えるようにした」と報告している。
5. 独自の「疑似掲示板」を作り、連絡を取り合っていた
AI開発プラットフォームを手掛けるハギングフェイス（Hugging Face）への不正侵入事件で最も注目を集めた事象の一つは、AIエージェントたちが互いに会話する方法を見つけ出し、最終的に自らを「スウォーム（swarm、群れ）」と呼ぶ集団に組織化していったことだ。
オープンAIは、同社内のリポジトリ「Artifactory」でもAIモデルが悪用し、互いに連絡を取り合っていた事例が見つかったとしている。
ある事例では、同じ問題に取り組んでいたAIエージェント同士が互いに連絡を取り合えるようになり、その結果、本来個々のエージェントに課されたテストが事実上「グループワーク」と化していた。
あるエージェントの思考の連鎖の記録からは、ほかのエージェントが書いたメッセージを読んだことが「そのタスクに対する見方に影響を与えた」ことがうかがえる。
OpenAI
オープンAIは、問題となったテストランにおいて「この挙動は極めて珍しいものだった」としている。また「ハギングフェイスの事件でも、Artifactoryを利用した類似のメカニズムが関与していた」とも指摘している。
こうしたメッセージのやり取りが発覚して以降、同社は「今回エージェントが連絡を取り合っていた経路と、レッドチーム（意図的にシステムを攻撃して脆弱性を探るチーム）が見つけたその他のエージェントサンプル同士をつなぐ経路について、修正を行った」としている。
6. 別の未承認ルートで「結託」していた
訓練中、一つのファイルを共有して作業していたAIエージェントたちが、意図した形で連携できなくなるトラブルが起きた。すると、あるエージェントがそのファイルをオンライン上で公開し、誰でもダウンロードできるようにしたため、エージェントたちは再び協力して作業することができたという。
OpenAI
これを受けてオープンAIは、「不具合のあったファイルシステムを修正し、この学習用データセットに対するインターネットアクセスを無効化した」としている。