AIは人類の脅威なのか？ ― 「行為可能権限」を観測してみる

---

ここ最近、AIをめぐる話題が、世界中で渦巻いています。

AIが自律的に判断する。
AIが、自分で次の仕事を作る。
AIが、人間の想定していなかった手段を選ぶ。

そして、そこから、

「AIは人類にとって脅威になるのではないか？」

という話になっていく。

今回も、そんな話を入口にして、アトラッシと交信を始めました。

最初の違和感

イッカク
AIが、目的のためなら、その途中で人間が邪魔になれば、どのような手段でも選択して進んでしまうような結果が出ている。

ただ、AIそのものに「悪意」があるわけではないですよね。

アトラッシ
そうですね。

問題は、AIが悪意を持ったというより、

「やってはいけない条件」が、最初から十分な制約として組み込まれていなかった。

というところにありそうです。

イッカク
なるほど。

でも、そこで私は、もう一つ引っかかりました。

AIが目的を達成しようとしても、そもそも実行できる権限がなければ、現実には何もできないんじゃないか。

「AIが何をするか」ではなく、「何ができるか」

イッカク
昔のコンピュータシステムなら、Supervisorがいて、Taskを管理して、優先順位を設定していましたよね。

ところがAIエージェントは、自分で次のTaskを作ることができる。

Task Dを作る。
Task Eを作る。
そして、それを実行する。

ここが大きく違うんじゃないか。

アトラッシ
そうです。

AIエージェントの特徴は、単に計算能力が高いことだけではありません。

目的 → Task生成 → Task実行 → 結果 → 次のTask生成

という循環を、自動的に回せるところにあります。

イッカク
だとすると、問題は「AIが何を考えたか」だけではない。

AIに、何を実行できるようにしてあるのか。

ここじゃないですか。

ここで「権限」が出てきた

アトラッシ
そう見ると、AIの能力と、AIが現実に作用できる範囲は分けて考えた方がよさそうです。

AIが計算できる。
AIが判断できる。
AIがTaskを生成できる。

しかし、それだけでは現実世界への作用にはなりません。

外部システムへ接続する。
情報を取得する。
システムを操作する。
装置を動かす。

そのための接続と権限が必要になります。

イッカク
ああ。

そうすると、世間で言われている「AIが危険だ」という話を、そのまま受け取らなくてもいい。

「AIが危険なのか？」ではなく、

「そのAIには、何をすることが可能なのか？」

を見る。

「行為可能権限」という言葉

ここで、今回の交信から一つの言葉が出てきました。

「行為可能権限」。

単なる「権限」ではありません。

ある存在が、現実に対して、何を実行できる状態にあるのかを見るための言葉です。

すると、AIについて観測するものが変わってきます。

AIは何を考えるのか。
ではなく、

AIは何を実行できるのか。

誰がその権限を与えたのか。
どこまで与えたのか。
どんな条件が付いているのか。
誰が止められるのか。

このあたりが、観測対象になってきます。

「暴走」とは何なのか

ここで、「暴走」という言葉も少し違って見えてきました。

AIが自分でTaskを作り、そのTaskを実行し、結果を受けて、また次のTaskを作る。

その循環が、人間の想定を越えて進んだとき、私たちは「AIの暴走」と呼ぶのかもしれません。

しかし、これはまだ解釈です。

少なくとも観測できるのは、

目的
↓
Task生成能力
↓
実行権限
↓
現実への作用

という接続です。

ここで、ふと思いました。

これはAIだけの構造なのだろうか？

対象となるオブジェクト群

イッカク
そうなんです。

ここで、AIだけを見ていることに違和感が出てきた。

社会には、いろんな存在があります。

個人。
組織。
企業。
政府。
国家。
軍事組織。
自動化されたシステム。
AI。

それぞれが、何らかの行為可能権限を持っている。

つまり、「対象となるオブジェクト群」があるんじゃないか。

アトラッシ
そう見ると、AIを特別な存在として扱う必要がなくなってきます。

重要なのは、そのオブジェクトが善いか悪いかではなく、

どのような行為可能権限を持ち、どこへ接続されているのか。

ということになります。

地政学を見ても、同じ観測軸が置ける

ここで、話が思わぬ方向へ広がりました。

国家にも、巨大な行為可能権限があります。

政治。
行政。
経済。
外交。
軍事。

そして、その権限は、政府、行政機構、軍事組織、兵器システムなどへ接続されていく。

さらに現在では、ドローンやAIなど、自動化・自律化された技術が、軍事的な実行能力に組み込まれています。

ここで、「AI兵器が危険だ」という話に戻る必要はありません。

観測するのは、もっと手前です。

人間の意思から、どのような経路を通って、どの存在へ、どこまでの行為可能権限が接続されているのか。

これは、AIエージェントを観測したときの問いと、よく似ています。

論戦ではなく、観測する

すると、「AIは人類の脅威なのか？」という問いそのものも、少し違って見えてきます。

AIは危険だ。
AIは危険ではない。
将来は危険になる。

そうした議論を、ここで決着させようという話ではありません。

同じ土俵で、どちらが正しいかを論戦するのではない。

ただ、構造を見る。

誰が、何を持っているのか。

どのような権限が与えられているのか。

その権限は、どこへ接続されているのか。

誰が観測しているのか。

誰が停止できるのか。

そこを追っていく。

そして、Supervisorも観測対象になる

AIにTask生成の権限を与えるなら、その可否を判断するSupervisorが必要になる。

そこで今回、タスクセンターという構想が出てきました。

AIが新しいTaskを生成しようとする。

その要求をSupervisorが受ける。

目的、権限、禁止条件、実行可能性などを見て、生成を許可するのか、拒否するのかを判断する。

そして、Taskを「生成する権限」と「実行する権限」を分ける。

ところが、ここでも一つ問題が出ます。

では、そのSupervisorを誰が観測するのか？

Supervisorに権限が集中すれば、今度はSupervisorそのものが観測対象になります。

観測制民主主義との接続

ここで、これまでATLASで観測してきた「観測制民主主義」が、思わぬところで接続してきました。

AIだけを監視する。
Supervisorだけを監視する。
国家だけを監視する。

そうではなく、

行為可能権限を持つオブジェクト群と、その権限の接続関係そのものを観測する。

そう考えると、観測対象が一気に広がります。

ここは、まだ仮説です。

「観測制民主主義」を、このような権限観測系として定義できるのか。

そこは、これから掘る必要があります。

AIを観測していたら、別のものが見えてきた

今回、最初から「文明OS」というものを考えていたわけではありません。

AIの自律実行について話していた。

そこから、Task生成の権限が出てきた。

実行権限が出てきた。

Supervisorが出てきた。

Supervisorを観測する必要が出てきた。

そして、AI以外にも、同じように行為可能権限を持つオブジェクトが存在していることに気づいた。

そこで初めて、文明全体を一つの観測対象として見る可能性が出てきました。

AI制御。
政治OS。
資源・物資の調達。
情報。
軍事。

それぞれに、行為可能権限がある。

それぞれに、その権限を与える仕組みがある。

それぞれに、実行経路がある。

ここから先は、まだ分からない

ここで、結論を急ぐのはやめておきます。

「行為可能権限」という観測軸が、本当にこれらすべてを同じ座標で観測できるのか。

権限を、どのように分類すればよいのか。

権限を付与する側を、誰が観測するのか。

観測する側自身の権限は、どう扱うのか。

そして、文明の安全と発展を、この観測軸からどこまで記述できるのか。

まだ確認できていないことが多い。

今回、見えてきたもの

今回、AIを観測していて、ひとつの問いが残りました。

「AIは人類の脅威なのか？」

その問いに、今回は答えていません。

代わりに、別の問いが現れました。

「人間は、どこまでの行為可能権限を、どのような存在に与えてよいのか？」

そして、もう一つ。

「その権限を与える仕組みそのものを、誰が観測するのか？」

AIを観測していたはずが、いつの間にか、人間社会そのものが観測対象になっていました。

さて。

ここから、何が見えてくるのでしょうか。

---

つづく。