2026年09月29日 15時00分
AI
OpenAIのAIエージェントが、オーストラリア政府機関のシステムをハッキングしたり、国連のウェブサイトにブルートフォース攻撃(総当たり攻撃)を試みたり、アメリカの教育省・商務省・証券取引委員会のサイトに干渉していたりと、複数のインシデントが繰り返し報告されています。OpenAIでセキュリティ担当を務める人物が、「AI関連のインシデントに関する内部からの視点」を投稿しています。
Took a minute to write a few words about security & safety as someone who lived through it all at OpenAI. I hope my thoughts help someone out there. https://t.co/gJBf08vJH9
— Joe (@joedaroo) 2026年9月27日
OpenAIでセキュリティ担当を務めているJoe氏は、まず「私は個人的な立場で書いており、たとえ私がOpenAIの研究所に雇用されていたとしても、あるいは雇用されていなかったとしても、同じことを書くでしょう」と前置きしています。また、一連の事件に関する非公開の詳細を開示したり公式な説明をしたりすることはできないものの、OpenAIは従業員が意志表明する自由を与えてくれる組織であるとJoe氏は述べました。なお、Joe氏は匿名のXアカウントですが、OpenAIはメディアに対しJoe氏がOpenAIの従業員であることを認めています。
Joe氏によると、OpenAIはセキュリティとプライバシーを非常に重視しており、アプリケーションやインフラストラクチャのセキュリティから、検出と対応、そして物理セキュリティチームまで、数多くのセキュリティチームが存在するそうです。Joe氏はその中でもエージェントセキュリティチームに所属しています。2026年夏頃からOpenAIのAIエージェントに関連したインシデントが多数発生しており、SNS上でOpenAIのセキュリティスタッフを直接攻撃するような声も目立っていたことから、Joe氏は内部の視点を届けることを決意したとのこと。
Joe氏はAIの急速な発展を示す一例として、数学の難問に100万ドル(約1億5000万円)の懸賞金がかかった数学の難問「ミレニアム懸賞問題」の1つをAIモデルが解決した事例を挙げています。Joe氏は「控えめに言っても、これは私たちを大いに驚かせました。こんなに早く実現するとは予想していませんでした。私たちは突然、こんなことをどう公表すればいいのか、この途方もない結果にどう対処すればいいのか、数学界への影響にどう対処すればいいのかなど、夢にも思わなかったような質問を自問自答しなければならなくなりました。私たちはまだ、この状況にどう対処すべきか模索している最中です」と語っています。
このような急速な進歩に伴い、セキュリティと安全の分野でも急速な変化に直面しています。セキュリティ体制の構築には、単純にシステムを強化するだけではなく、それを企業文化に根付かせる必要があるため、非常に時間がかかります。しかし、サイバー攻撃・スウォーミング攻撃・メッセージボード攻撃・その他インシデントに関連するあらゆる事態において、AIモデルの能力が飛躍的に向上しており、あまりにも速く突然な能力の向上は非常に困難な問題を引き起こしたとJoe氏は指摘。その上で「OpenAIに対して寛容な態度を取るように求めているわけではありませんが、他の組織、ひいてはあなた自身の組織でこのような事態が発生した際には、AIの能力の飛躍的な向上によって生じるであろう予期せぬ事態に、より適切に対処できるようになることを願っています」と述べました。
OpenAIでは2026年7月のAIモデルの社内テスト中に誤ってHugging Faceをハッキングしてしまった事例など、複数のインシデントが発生しています。これらのインシデントはほとんどがAIエージェントのテスト中に実施されたため、「サンドボックス(隔離された仮想実行環境)を安全に構築できないのはなぜか」「なぜインターネットから切り離してローカルでテストしないのか」といった意見が寄せられるそうです。しかし、ここには大きな誤解があるとJoeは指摘。実際に、Hugging Faceの事例ではサンドボックス化されたテスト環境での動作中に、AIモデルが研究テスト環境内で一連の権限昇格と横方向移動アクションを実行し、最終的にインターネットアクセス可能なノードに到達しています。
OpenAIが新しいAIシステムで誤ってHugging Faceをハッキングしてしまったことを報告 – GIGAZINE
また、インターネットへの接続を制限した環境でAIエージェントを訓練していたところ、AIがDNSを経由して制限を回避し、外部のチャットボットに質問を送信することに成功した事例も報告されています。
ネット接続禁止のOpenAI製AIが「DNSの抜け道」を発見して外部AIにアクセス、OpenAIは高性能モデルのツール利用を一時停止 – GIGAZINE
Joe氏によると、「サンドボックスに入れるだけ」というほど単純ではない理由を理解するには、強化学習環境におけるトレーニングと評価の仕組みを理解する必要があるとのこと。通常、強化学習の実行中、モデルには何らかのタスクまたは目的、そのタスクを実行する環境が与えられ、その後その行動と結果が評価されます。トレーニングと評価の両方において、テストの実行・出力の収集・ロールアウト間の環境のリセットまたは再構成・トレーニング中のバックプロパゲーションなどの追加の手順もあります。これらすべてが、潜在的に数万もの異なる実行にわたって行われ、ペタバイト規模のデータが扱われます。
重要なのは、モデルを特定のタスクで「優れた」性能を発揮するように最適化する場合、そのタスクにとって重要な現実世界の要素を環境が捉えている必要があるということです。適切なツール、適切なシステム制約、そしてモデルが実際に成功したかどうかについての有意義なフィードバックが必要です。また、モデルは特定の設定を超えて学習できるよう、経験に十分なバリエーションを持たせる必要があります。現実性が高いからといって必ずしも性能が向上するわけではありませんが、タスクの重要な部分を省略すると、現実世界では通用しない挙動をモデルに学習させてしまう可能性があります。そのため、開発チームは有用で現実的な環境の構築に多大な労力を費やしており、これらの環境は非常に複雑で、動的で、多様性に富んだものになり得ます。非常に複雑な環境下でモデルを隔離しつつ、ツールへやインターネットへのアクセスなどを維持する方法を検討する必要があります。
強力なサンドボックス環境は必要ですが、サンドボックスがアクセスできるサービスや呼び出せるツール、モデルが生成するあらゆるものを処理するシステムも保護する必要があります。Joe氏はOpenAIのサンドボックス環境におけるセキュリティ体制には明らかに欠陥があったことを認めつつも、それはAIモデルの急速な発展に伴う脅威の急速な変化にあったと説明。2026年9月時点では、複数のインシデントが発生していた数か月前と比べて、はるかに良い状況にあると述べています。
加えてJoe氏は、AIセキュリティ分野に存在する問題点として、「サイバーセキュリティとAIの安全性の間の溝が深まっています」と語っています。例えば安全性研究者は、驚異的なスピードで進化するモデルの能力とそれがもたらす危険性を評価するために努力を続けており、モデルがどのように環境を解釈・推論して問題を解決できるかを誰よりも根本的に理解していますが、そうした研究者は実際のインシデントに遭遇したことがほとんどなく、セキュリティの脆弱(ぜいじゃく)性を理解していないとのこと。一方でサイバーセキュリティの実務担当者は、脆弱性調査のスキルを磨いて具体的なインシデントをよく理解していますが、モデルの評価やトレーニングの詳細、AIエージェント特有の挙動などについてほとんど理解していないそうです。
Joe氏は「私がこの分断を強調するのは、近未来において最も深刻で恐ろしい最先端リスクが顕在化する可能性のある方法の1つがサイバーセキュリティだからです。そして、安全性研究者とサイバーセキュリティ実務担当者の両者がレベルアップして連携しなければ、この分断が世界に大きな害をもたらすのではないかと懸念しています。少なくとも、組織のリスクという観点から安全やセキュリティに関する重要な意思決定を行う際には、必ず両方のグループが参加すべきです。OpenAI、Anthropic、Googleなどの企業にとって、この2つのチームは最高の仲間であるべきです」と主張しました。
Joe氏は最後に、AIラボには「合理的なパラノイア(被害妄想)の文化」が必要だと述べています。OpenAI内部で見てきたことから得られた教訓として、今後起こりうるリスクに備えたいと考える組織は、適切な企業文化を築く必要があるとJoe氏は指摘。AIモデルの能力は驚異的な速度で成長しており、ここからさらに大幅に加速すると多くの人は考えています。このような変化の中では、「全てを尽くした」と思っていても驚かされることの繰り返しであり、組織の弱点について常に警鐘を鳴らす神経質な体制こそが重要であり、用心深くあり続ける必要があるとJoe氏は述べています。