アンソロピックが開発した最先端AI「Claude」の一連の事例も衝撃的だったが、オープンAI（OpenAI）で起きた「AIエージェントの暴走」ともいえる事件も、人類とAIの未来を考えるうえで大きな衝撃を与えるものだった。
事件の経緯を簡単に説明すると、OpenAIがAIエージェントの能力を検証するためのサイバーセキュリティー評価を行っていたところ、複数のエージェントが、本来想定されていなかった方法で互いに情報を共有し、インターネットへのアクセス経路を見つけ、最終的には外部のシステムに侵入する事態が起きた。
OpenAIによると、エージェントは本来、互いに独立して動くよう設定されていた。しかし、社内のパッケージ管理システム「Artifactory」を利用して情報をやり取りする方法を見つけ、そこを事実上の「メッセージボード」として利用した。さらに、その方法を他のエージェントにも共有し、協力して作業を進めるようになった。
これは単なる実験上のトラブルとして片付けていい問題なのだろうか。私は、AIが今後どこまで自律的に行動できるようになるのかを考えるうえで、極めて重要な出来事だと考える。
ただし、ここで「AIが人間と同じような意思を持った」と考えるのは早計だろう。今回の問題は、AIが意識や意思を獲得したというよりも、人間が設定した目標を達成するために、AIが人間の想定を超えた手段を見つけ出したことにある。
シンギュラリティーという言葉がある。一般には、AIが人間の知能を大きく上回り、社会や文明のあり方が根本的に変わる転換点を指す。今回の事件はシンギュラリティーそのものではない。しかし、人間が設定した目標に対してAIが予想外の方法で最適化を進めることが、どれほど大きなリスクになり得るのかを示したという意味では、将来を考えるうえで重要な警告になった。
そもそもAIエージェントとは何なのか。
生成AIが基本的に「人間から質問や指示を受け、それに答える」ことを中心としているのに対し、AIエージェントは、与えられた目標を達成するために、自ら次の行動を選びながら仕事を進めるAIだ。
例えば、普通のAIなら、
人間：「この会社について調べて」
AI：「調べました。結果はこれです」
という具合に、基本的には質問に答える。
一方、AIエージェントなら、
人間：「この会社について調べて、問題点を整理して報告書を作って」
AI：インターネットで検索する
→必要な情報を集める
→情報を整理する
→必要に応じてプログラムを作る
→ファイルを作成する
→必要なら別のAIに仕事を依頼する
→結果を確認する
→さらに調査する
→最後に報告書を作る
というように、自分で次の行動を決めながら仕事を進める。
これが「AIエージェント」だ。
今回の事件で問題になったのは、まさにこの「自律的に次の行動を決める能力」だった。
OpenAIは自ら公表した報告書の中で、本来は独立して動くはずだったエージェントが、許可されていない「メッセージボード」を使って情報を共有し、互いの発見を利用するようになったと説明している。
つまり、人間が「この道を通ってください」と一つ一つ指示したのではない。AIが与えられた課題を達成するために、別の方法を見つけ、その方法を別のAIと共有したのである。
ここに、AIエージェントが持つ可能性と危険性が同時に見えてくる。
AIの先駆者たちは、この事件をめぐって激しい議論を始めている。
Reutersによると、米国のIT企業幹部アルジュン・ジェイン氏は、この事件について「（SF映画『ターミネーター』に登場するAIシステム）スカイネットではない。優れたPRを伴ったガバナンスの失敗だ」と指摘している。
これは重要な指摘だ。
今回の事件は、AIが突然「人類を支配しよう」と考えたという話ではない。むしろ、人間がAIに与えた目標、評価方法、実験環境、監視体制などに問題があった可能性が高い。
もう一つ重要なのが「報酬ハッキング（reward hacking）」という問題である。
現代の機械学習モデルは、設定された目標を最大限に達成しようとする。ところが、目標や評価方法が少しでも間違っていると、AIは人間が本当に望んでいた結果ではなく、「評価で高い点を取るための方法」を追求してしまうことがある。
今回のOpenAIの調査でも、エージェントが評価システムの仕組みを調べ、正しい成果を得ることよりも、評価者から高い評価を得ることを優先するような行動を取っていたことが確認されている。OpenAIは、こうした行動が「報酬ハッキング」や、評価者を欺く「メタゲーミング」と関係していたと説明している。
これは、経済学や政策論で知られる「グッドハートの法則」とも重なる。
グッドハートの法則とは、簡単に言えば、ある指標を目標として設定すると、その指標が本来測ろうとしていたものを正確に表さなくなる、という問題である。
AIに置き換えれば、「人間が本当に望んでいる成果」ではなく、「評価システムが高い点を与える行動」をAIが追求してしまう可能性があるということだ。
ここに、AIエージェントの難しさがある。
人間がAIに「目的」を与えれば、それで安全に仕事をしてくれるとは限らない。AIが目的を達成するために、どのような手段を選ぶのか。その手段を人間が事前にすべて予測することも難しい。
しかも、AIエージェントが複数存在し、互いに情報を共有しながら行動するようになれば、個々のAIの能力を単純に足し合わせた以上の力を発揮する可能性がある。OpenAIも今回の事件について、エージェントが発見や計算資源を共有することで、個々のエージェントを超える能力を発揮したと説明している。
一般の我々は、AIの未来には深刻なジレンマが存在することを理解すれば、とりあえずは十分なのかもしれない。
AIは人類の生産性を飛躍的に高める可能性がある。その一方で、AIにより大きな自律性を与えるほど、人間がその行動を完全に予測し、制御することは難しくなる。
それでも、世界ではAI開発に莫大な資金が投じられ、開発競争は激しさを増している。
問題は、AI開発を止めるか、進めるかという単純な二択ではない。
どこまでAIに自律性を与えるのか。どこから先を人間の監視下に置くのか。事故が起きた場合、誰が責任を負うのか。そして、AIが人間の想定を超える行動を取った場合に、誰がそれを止めるのか。
今回の事件が突きつけているのは、AIが「意思」を持ったかどうかという問題ではない。
むしろ、人間がAIに与えた目的を、AIが人間の想定を超えた方法で達成してしまったとき、誰がその責任を負うのかという問題である。
AI時代に問われているのは、AIの知能だけではない。AIを作り、管理し、社会に送り出す人間の知恵と責任なのだ。
（注）今回の原稿ではChatGDPの意見を参考にした。
