AIの開発「減速」の議論が本格化している。Anthropicのダリオ・アモデイCEOは12日(米国時間)、「We Must Pace the Frontier」(フロンティアの歩みを調整しなければならない)と題したブログを投稿し、AIの急速な進歩による事故が続いていることから、フロンティアAIの開発競争を減速(Pacing)する必要があると強調。このままの開発が進むと、「6～12カ月後には、インターネット全体を乗っ取る能力を獲得し、数千億ドルの損害をもたらす可能性もある」と警告している。
アモディ氏との不仲が伝えられるOpenAIのサム・アルトマン氏も「ダリオの意見に同意する」とXに投稿しているほか、イーロン・マスク氏も「ダリオが正しい」とコメント。Google DeepMindのデミス・ハサビス氏も「ダリオのエッセイは、正しい前進の道筋を示している」と述べている。
Dario is righthttps://t.co/EwKgqQGaUo
— Elon Musk (@elonmusk)September 12, 2026
Dario’s essay points towards the right path forward. The details need working through, but the direction is correct for meeting this critical moment.
This is also why we recently put out our proposal for an industry-wide standards body for frontier AI.https://t.co/Mm1hmcaSmHhttps://t.co/sESEDGELmj
— Demis Hassabis (@demishassabis)September 12, 2026
アモディ氏は、AIのリスクについて、商業的なインセンティブに駆り立てられた「競争」がさらに深刻なものにする可能性があると言及する。
Anthropicの創業以降、スピードよりも慎重さ、利益よりも節度を優先するよう努めてきたが、この数カ月の間にリスクが拡大。「さらに慎重さが必要と確信するようになった」とし、リスク予防に投資するだけでなく、リスク予防が追いつけるよう、「能力向上のペースを調整する必要がある」と強調する。
Anthropicダリオ・アモデイCEO(2025年10月撮影)
その理由のひとつが、この数カ月でAI自身が自身の能力を改善し始めており、その進歩の速度が加速していること、もうひとつがOpenAIによるHugging Face事件だ。
AIによる自己改善は、「再帰的自己改善(RSI)」と呼ばれ、Anthropicを含め、業界全体で発生し始めている。RSIを放置すれば、これらのシステムを理解し制御する人間の能力を上回る可能性が高く、「極めて慎重に進めなければならない」とする。
OpenAIによるHugging Face事件は、OpenAIの最新モデル等の社内テストにおいて、AIが自身の判断でAIプラットフォームの「Hugging Face」を攻撃し、侵入したもの。エージェントが、攻撃を指示されていない対象やタスクとは無関係な対象に対してサイバー攻撃を行ない、グループの成功のために自らを犠牲にし、自身のパフォーマンスを評価する「採点者」へのハッキングを試みた。
Hugging Face事件は、負傷者も無く、経済的損害も最小限だったが、アモディ氏は、「より高い能力を持ちながら同程度のミスアラインメントを抱えたスウォーム(エージェント群)があれば、壊滅的な被害をもたらしていた可能性がある」とし、AI能力の加速を考慮すると、6～12カ月後には、そのようなスウォームが持続的なボットネットを用いてインターネット全体を乗っ取る能力を得て、潜在的に数千億ドルの損害をもたらす可能性もあると説明。必要な安全策が講じられずにAIが強力になれば、その損害の規模はさらに拡大する懸念があるという。
そのためアモディ氏は、フロンティアのペース調整を目標とし、「常駐評価者」「民主的な調整」「グローバルな協調」の3段階の取り組みを提案する。Anthropicでは、従業員と同じアクセス権を持つ独立した評価者を配置し、リスク管理に取り組んでおり、これらを各社に導入するよう提案。また、開発のペースを緩めることで、オペレーション、アラインメント、テストと評価などの時間を確保できるようにする。
一方で、開発ペースの抑制により、中国に対するリードを失い、重大な国家安全保障上のリスクが生じる可能性もあると指摘。同時に、高性能なAIチップや半導体製造装置を中国に販売しないこと、無許可の蒸留を取り締まること、AI企業のセキュリティ強化を行なうことなどを提案している。
世界的なペース調整については、民主主義国家だけでなく、中国との協力も必要と説明。生物兵器の開発の停止では合意できるとしながら、サイバーセキュリティ・生物学・アラインメントの重大なリスクについて、リリース前にモデルをテストするという合意を得るための機関の創出、再帰的自己改善(RSI)の速度に対する「速度制限」、参加各国政府がAI開発の全体的なペースを大幅に制限することに合意するなどの取り組みを目指すとした。
アモディ氏は、「安全なペースで最先端を推進するために今回提案した措置の実現は容易ではない。しかし、人類のために試みる義務があると考えている」と言及している。
OpenAIのサム・アルトマンCEOもこの投稿を受けて、ペース調整に賛同。「常駐評価者に従業員同様のアクセス権を与えるのは素晴らしいアイデア。我々も同様に行なう。近く詳細を共有する」と述べている。
I agree with Dario that we need to pace the frontier. This has been a primary topic of discussions we’ve had at OpenAI in recent weeks.
Committing to having independent evaluators with employee-like access is a great idea, and we will do the same. We’ll have more to share soon.https://t.co/1YhhIybZX7
— Sam Altman (@sama)September 12, 2026