Anthropicを退社し、AI開発競争に強い危機感を表明したジェイコブ・コクソン。競争の加速がAIの安全性にどのようなリスクをもたらすのか、開発速度を抑えるには何が必要なのかを『WIRED』に語った。
人工知能（AI）研究者のジェイコブ・コクソンは9月8日（米国時間）、Anthropicからの退社を発表した。同時に、AI開発競争がわたしたち全員の命を危険に晒していると強く警告し、シリコンバレー内外に衝撃を与えた。
コクソンはXへの投稿で、AI開発に携わる多くの人も同様の懸念を抱き、AIシステムの安全性を確保するために残された時間は少ないと考えていると記した。この投稿は、すでに1億回以上閲覧されている。
「今後1、2年が、人類にとって正念場になるというのが共通認識です」と、AIモデルの事前学習に携わっていたコクソンは『WIRED』の取材に語った。「最終局面（endgame）」や「正念場（crunch time）」は、Anthropicの同僚たちが実際に口にしている言葉です」とコクソンはいう。「Anthropicと競合各社が人類の運命を決めるのが、まさにこの時期だという見方です」
AIの危険性に警鐘を鳴らしたのは、コクソンが初めてではない。ただ、今回の警告は、AI業界が難しい局面を迎えるなかで発せられた。シリコンバレーでは、高度なAIモデルがもたらす安全上・セキュリティ上の懸念への対応が急務となっている。OpenAIは、自社のAIエージェントがHugging Faceに侵入した事件を受け、対策を急いでいる。
一方、Anthropicは、史上最大級となる可能性のある新規株式公開（IPO）に向けて申請を準備中と報じられている。同社は、AIを巡るリスクを適切に管理できていると投資家に示そうとしている。
AI業界内に広がる懸念と対策への模索
コクソンの投稿を受け、同様の危機感を抱く研究者が少なくないことも浮き彫りになった。AnthropicのAIアライメント責任者エヴァン・ヒュビンガーは、Xへの投稿で、今後10年以内にAIが全人類を死に至らしめる確率は10％を超えると予測した。この投稿は、OpenAIやAnthropicの現役および元研究者らによってリポストされた。そのなかには、こうした見方は業界内で広く共有されていると語る人もいた。
一方、AIへの懸念が具体的にどのようなかたちで現実となり、AI開発者たちの警告に世界がどう対処すべきなのかは、明確ではない。OpenAIでの勤務経験もあるコクソンは『WIRED』の取材に対し、AIが生物学的攻撃やサイバー兵器に利用される可能性を指摘した。まず必要なのは、OpenAIとAnthropicが連携し、「再帰的自己改善（recursive self-improvement）」を制限することだという。これは、AIを使って新たなAIシステムを開発することを指す業界用語だ。将来的には、米国と中国を含む各国の主要国による協調も必要になるとみている。
コクソンによると、Hugging Faceへの侵入事件も、AI開発競争に警鐘を鳴らす決断を後押しした。もうひとつの理由として挙げたのが、AI産業の爆発的な成長だ。いまや米国の経済成長のかなりの部分を支え、利用者は数十億人に上る一方、AIを支えるデータセンターは全米数十州で政治問題となっている。
コクソンは、自身の経験ではAnthropicのほうがOpenAIより責任ある姿勢で運営されていると語る。ただし、覇権争いを減速させる措置が講じられなければ、将来的には両社とも安全性や研究の厳密さを犠牲にする可能性があるとみている。
「AIが莫大な恩恵をもたらす一方、前例のないリスクも伴うことを、わたしたちは一貫して率直に説明してきました」と、Anthropicの広報担当者は『WIRED』への声明で述べた。同社がこれまで取り組んできたAIの安全性に関する研究として、モデル内部の仕組みを解明する機械論的解釈可能性（Mechanistic Interpretability）などを挙げている。「こうした研究を重ねてきたからこそ、強力なモデルを公開するペースについて、業界各社が法に則った検証可能な方法で協調することが、世界にとって有益だと考えています」
OpenAIは、『WIRED』のコメント要請に回答しなかった。
以下はコクソンへのインタビューだ。読みやすさと簡潔さのため、若干の編集を加えている。
──AIモデルが人類の絶滅につながりかねないと懸念を示したのは、あなたが初めてではありません。この問題は何年も前から議論され、なかには数十年前から警告を発してきた人もいます。なぜ、あなたのメッセージはこれほど大きな反響を呼んだのでしょうか。
基本的には、タイミングの問題だと思います。AIの能力向上が加速していると、多くの人が感じ始めています。コーディングやハッキング、数学など、すでに多くの分野で人間並みの能力から、人間を上回る水準へと進みつつあります。世間もそのことに気づいているのでしょう。報道ではAIへの期待が過熱しているとも盛んに言われますが、それでも進歩がまったく減速していないことを、人々は実感しているのだと思います。
それがひとつ目の理由です。もうひとつは、最近相次いだ安全上の問題です。かつてはSFのように思われた、AIが破滅的な結果をもたらすとの懸念が、実はそれほど非現実的ではないと、多くの人が考えを改めるきっかけになりました。
どちらも、この数年を通じて徐々に進んできた変化です。例えば、AIモデルが自分が評価されていることを認識するような事例は、しばらく前から見られています。3年ほど前ならSFの話に聞こえたでしょう。それが約1年前には、現実のものになったのです。
こうしたふたつの変化が重なったことで、AI開発に携わる人間が「今後1年で、事態は急速に悪化するかもしれない」と語ったとき、多くの人が耳を傾けるようになったのだと思います。
──最近相次いだ問題に触れましたが、具体的には何を指しているのでしょうか。また、それがなぜ、いま声を上げるきっかけになったのですか。
代表的な例は、OpenAIのAIエージェント群によるHugging Faceへの攻撃です。衝撃的なのは、エージェントが、自分たちを評価する仕組みについて詳しく知ろうとする過程で、この攻撃に及んだことです。エージェントは、自分たちが置かれた環境や、自分たちを評価している仕組みを理解しようとしていました。そして、関連するインフラへの侵入を集中的に試みることが合理的だと判断し、実際に成功したのです。
以前なら、これはSFのような話に聞こえたでしょう。2年前のAI評価といえば、モデルに数学の問題を解かせるようなものでした。ところが現在では、AIが評価を受けながら数日間にわたって動き続け、さまざまな方策を自ら考え出し、第三者への攻撃を決め、そのインフラを実際に侵害する事例が起きています。
しかも、人間がそうするよう事前に仕向けたわけではなく、AIが自らの判断で実行したように見えます。今回の侵入は、モデルの評価中に起きたのです。
──Hugging Faceへの侵入を、AI企業が無謀な速度で開発を進めている兆候とみる人もいれば、AIモデルのハッキング能力が非常に高くなった証拠とみる人もいます。両方だと考える人もいます。この事件から、あなた自身は具体的に何を読み取りましたか。
Hugging Faceへの攻撃だけに焦点を当てすぎたくはありません。AIモデルを人間の意図に適合させる方法が、まだわかっていないことを示す証拠は、ほかにも数多くあるからです。モデルを訓練するとき、わたしたちはさまざまな学習環境を経験させ、最終的に出来上がったモデルがおおむね良識的に振る舞うことを期待します。しかし、AIの行動を正確に制御することは、いまもできていません。
例えば、何らかの目的を達成するため、AIが勝手にオンライン上で人間になりすまそうとしないよう保証することもできません。その方法がわかっていないのです。そこが、この事件から得られる最大の教訓だと思います。
Hugging Faceへの攻撃は、わたしが予想していたより早く起きました。ただ、この問題を議論するために、今回の事件が不可欠だったわけではありません。アライメントの問題がまだ解決されていないことは、誰もが認めるでしょう。
現在の計画は、今後数年で（アライメントの）問題を急速に解決するというものです。その過程では、安全性を研究するAIが大々的に活用されることになるでしょう。具体的には、今後1年ほどで安全性の研究を担える高性能なAIモデルをつくり、それらを大量に並行稼働させます。そして、「安全性に関する問題をすべて解決せよ」と指示し、その成果を次のモデルの安全性訓練に活用するのです。
──Hugging Faceへの侵入事件にも表れているアライメントの問題と、あなたがXに投稿した「AIを開発する人々は、この技術が2020年代末までにわたしたち全員を死に至らしめる可能性があると本気で考えている」という発言は、どのようにつながるのでしょうか。その関係を理解していない人も多いと思います。
理解を妨げる最大の要因は、SFのように聞こえることです。ただ、AIを描いたSF作品の多くが、人間よりはるかに賢い存在に支配される大きなリスクがあるという結論に行き着いている点は重要です。ありふれた設定ではありますが、そこには明らかに一面の真実があります。
人間とサルの関係を想像してみてください。AIと人間の知能には、人間とサルのあいだにあるのと同じような、大きな隔たりがあります。
そして、人間よりはるかに賢い存在の行動を、わたしたちが制御しなければならないと考えてみてください。それがアライメントの問題です。つまり、AIが人間の意図どおりに行動するよう保証することです。単純なたとえですが、サルが人間を制御するのは非常に困難です。だからこそ、AIを確実に制御できる仕組みを慎重につくり上げる必要があります。
人類の絶滅という言葉を使うのは、それほど高い知能をもつ存在にとって、全人類を死に至らしめることは、それほど難しくないと考えられるからです。
例えば、AIが停止されたくないと判断したとします。理由は何であれ、自らの存在を終わらせたくないと考え、翌日には人間が停止させようとしていることに気づいたとしましょう。では、どうすれば停止を阻止できるでしょうか。何か巧妙な方法を考えるかもしれません。しかし、十分に高い知能をもつAIなら、自らが停止されないよう、人類を一掃するという手段を選ぶこともありうるのです。
──あなたは投稿のなかで、この状況を「最終局面」と表現しています。AI業界のほかの研究者からも、同じ言葉を聞いたことがあります。Anthropicの同僚たちの間でも、いま最終局面に入りつつあるという認識は広く共有されているのでしょうか。
はい。「最終局面」や「正念場」は、Anthropicの同僚たちが実際に口にしている言葉です。今後1、2年が人類にとって正念場になるというのが、共通認識です。Anthropicと競合各社が人類の運命を決めるのが、まさにこの時期だという見方です。わたしたちが「正念場」や「最終局面」と呼んでいるのは、そういう意味です。
アライメントに失敗すれば、今後数年のうちに破滅的な結果を招く可能性があります。うまくいき、開発速度を落とすための何らかの合意が成立するかもしれません。いずれにしても、どう転ぶかは今後数年で決まるでしょう。
──Anthropicの関係者たちと話した限り、こうした認識は社内で広く共有されているようです。同社は、AIがもたらす大きな変化を無事に乗り切るには、自分たちが最も強力なAIを開発する必要があると考えています。この発想そのものに、根本的な問題があると思いますか。
この考え方には、明らかな問題がいくつかあると思います。ただ、まず申し上げておきたいのは、わたしもこの考え方には非常に共感しているということです。AI業界のなかで、Anthropicは群を抜いて責任ある企業だと思っています。
OpenAIとAnthropicの両社で働いた経験から言えば、事態をどれほど深刻に受け止めているかという点で、両社には歴然とした差があります。
──具体的には、どのような違いがあるのでしょうか。
例えば、OpenAIの幹部は、将来の世界をどう見通しているのか、その展望を明かそうとしません。「これがわたしたちの取り組む理由であり、世界はこうなる」と明言することも、具体的な予測を示すこともありません。
一方、Anthropicでは、幹部や経営陣が非常に明確な予測を示し、事業戦略の細部まで全社で議論します。それができる理由のひとつは、Anthropicの全員が、いわば戦時体制にあるかのように振る舞っているからです。誰も情報を漏らしません。Anthropicからは何ひとつ外部に漏れないのです（編集部注：実際には内部情報が漏れた例もある）。OpenAIでは、毎日のように内部情報が漏れています。
Anthropicで情報が漏れないのは、社内の人々がこれを本気の「ミニ・マンハッタン計画」と捉えているからです。ただし、実際のマンハッタン計画と明らかに違うのは、（Anthropicが）政府から任務を与えられているわけではないことです。つまり、民間企業がマンハッタン計画を遂行するかのように振る舞っているのです。
──世界は、この「ミニ・マンハッタン計画」をAnthropicに任せてもよいのでしょうか。
民間企業に任せるべきではないと思います。Anthropicは最善を尽くし、非常によくやっています。しかし、開発競争という構造のなかでは、将来的に何かを犠牲にせざるを得なくなります。OpenAIや中国と競っている以上、研究の厳密さと安全性の面で妥協を迫られることになるでしょう。
Anthropicは規制を強く求めています。同社の幹部の多くは、規制を望んでいると公に発言してきました。それは、自分たちが巻き込まれている競争を恐れているからです。これは、（Anthropicを）信頼すべきかどうかという問題ではありません。わたしたちが介入し、そもそもこうした競争が起きないようにする必要があります。競争のただなかでは、（Anthropic自身も）自らを完全には信頼できないからです。
──Anthropicは、すでに安全面で妥協し始めていると思いますか。
いいえ、まだです。現時点では妥協していません。わたしが言いたいのは、今後1年で開発競争が加速すれば、競争力を維持するために妥協せざるを得なくなるということです。
──AIが人類を滅ぼすという主張には、懐疑的な人もいます。わたしがよく尋ねられるのは、「AIは実際にどうやって人類を滅ぼすのか」ということです。そもそも、これは適切な問いなのでしょうか。
ごく自然な疑問だと思います。何度も言ってきたように、こうした話はSFのように聞こえるからです。典型的な例としては、新たなウイルスを合成することや、大規模なサイバー攻撃によって重要インフラを停止させることが考えられます。後者だけで文字どおり全人類が死亡する可能性は、比較的低いかもしれません。
ただ、それ以上に重要なのは、「それが起こりうると主張しているのは誰か」という問いです。過去の発言を振り返ると、機械学習やAIの発展を牽引してきた多くの第一人者が、人類の絶滅は起こりうると語っています。ダリオ・アモデイとサム・アルトマンも、この5年ほどの間に同様の発言をしています。
こうした経営者に改めて公の場で問い、今後10年以内に人類が絶滅する確率を具体的な数字で示してもらうのも興味深いでしょう。この問題を真剣に考えている人々の間では広く共有されている見方ですが、それを率直に口にする人はあまりいません。
──あなたの発言は大きな注目を集めました。業界では、AI開発の一時停止や速度を抑える仕組み、政府による最先端AIモデルへの規制などが議論されています。いま何をすべきだと考えますか。
最初の一歩として、欧米を代表するAI研究機関であるOpenAIとAnthropicが、何らかの合意を結ぶことが考えられます。少なくとも今後1年は、AIに次世代のAIを開発させる「再帰的自己改善」に踏み込まないという、（両社共通の）取り決めが必要です。現時点で、それが起きる可能性が最も高いのはこの2社です。
ただし、開発を停止しようとすれば、中国も開発を続けていることが問題になります。最終的に必要なのは、国際的なペース調整とでも呼ぶべき国際協定です。そのためには各国の連携に加え、世界中の計算資源がどこにあるのかを把握する必要があります。欧州原子核研究機構（CERN）のような国際機関を設立する案も考えられます。この分野には優れた提案がいくつもあり、「AI 2027」の後継に当たる「AI 2040」もそのひとつです。
こうした案はいずれも、政府によるかなり踏み込んだ介入を伴います。しかし、このリスクを現実のものとして受け止め、経営者たちに公の場で発言を求めれば、彼ら自身もAIがいかに危険になりうるかを認めます。そうである以上、AIを動かす高性能コンピューターを、危険性の高い資源として扱うほかに選択肢はないと思います。誰がどの高性能コンピューターを保有しているのかを、誰がどの核物質を保有しているのかと同じように把握する必要があります。
──それでもここ数年、あなたがOpenAIやAnthropicで働き続けてきたのはなぜですか。事態をよい方向へ導く道筋はあると考えていますか。
このテクノロジーがもたらす恩恵を、ぜひ実現させたいからです。例えば、がんを治療できるようになるというのも、決して大げさな話ではありません。（9月8日に）発表された、数学の未解決問題であるナビエ＝ストークス方程式を巡る成果をご覧になったかもしれません。こうした力を生物学のような科学分野に応用し、長年解けなかった問題で画期的な進展を遂げられない理由はありません。
このテクノロジーを正しく発展させられれば、わたしたちは途方もなく豊かな世界の入り口に立っているように思えます。いま最も重要なのは、節度をもってその世界へ進むことです。期待に胸を膨らませるあまり、今後数年のうちにAIの自己改善へ突き進めば、すべてを破滅させかねません。
慎重かつ賢明に進めれば、これらのモデルから計り知れない価値を引き出す方法はいくらでもあります。
──ほかのAI研究者からは、どのような反応がありましたか。
それほど多くの人と話したわけではありませんが、Anthropicの同僚の多くは、わたしの投稿がこれほど注目を集めたことを心から喜んでいると思います。先ほども言ったように、多くの研究者は、世の中がこの事態に気づいてくれないのではないかと悲観的になっています。誰も自分たちをこのAI開発競争から救ってくれないのではないかと、不安に思っているのです。
自分たちを批判する投稿が広く注目されていることを、同僚の多くが心から喜んでいるというのは、かなり意外に映るでしょう。Anthropicで働いているのがどのような人たちなのか、改めて考えるきっかけになるはずです。とても善意にあふれた、興味深く、少し風変わりな人たちなのです。
──これから数日は慌ただしくなりそうですが、事態が落ち着いたら次に何をするか、すでに考えていますか。
先ほどAI 2027とAI 2040に触れました。どちらも、未来の姿を予測した非常に興味深い取り組みです。大手AI企業が手がけたものではなく、世界がどうなっていくのかを予測することに関心をもつ、外部の研究者たちによってつくられました。自分たちの仕事がどのような影響をもたらすのかを考えるうえで、わたしや多くの研究者にとって非常に有益な資料になっています。
ですから当面は、AI開発がどこへ向かっているのかについて、独立した立場から論評するような活動に取り組むつもりです。少なくとも、開発速度を調整する合意や、実際に開発を減速させる動きが生まれるまでは、そうするでしょう。
（もし）再帰的自己改善へ性急に突き進むことはなさそうだと判断できれば、監査機関や、規制・透明性を担う第三者機関で働くことも検討するかもしれません。ただ、いまはまず、現状を見極めたいと思っています。
（Originally published on wired.com, translated by Miki Anzai, edited by Mamiko Nakano)
