# 噂のLINEオプチャはこちら 松尾さん。 パージーさん、どうも。 どうも。 こんばんは。 今日はちょっと特別ですね。 今ね、夜収録するってことはほぼないんですけども。 そうですね。いつも夕方ですもんね。 そうですね。今回はやるということです。特別な回ということですね。 ちょっとね、初のゲストなんですよね、実はね。 そうですね。我々パジショコで60回分くらいやってきたんですか、今まで。 そうですね。なんだかんだ長いですよね。 やってきましたけど、初めてゲストをおなめきしようということですね。 ということで、最近話題で、もしかしたらベトナムプライムとかで見てる方もいらっしゃるかもしれないんですけど、 人類滅亡論者の林明さんです。よろしくお願いします。 よろしくお願いします。 すごい紹介のされ方だよね。 そうですね。もう慣れ始めてますね。 慣れ始めました。 自己紹介も大抵の場合、絶滅の話をするので。 そうですよね。そこから、そのために呼ばれてるみたいな感じで、 メディアとはそういうふうに立ち回るっていうことが期待されて出ちゃってますからね。 そうですね。けど僕は割と期待をガン無視してでも絶滅の話をしてますね。 じゃあ自己紹介でいくと、どれくらいの確率で人類は滅亡するんですか。 開発停止できないで進むんだったら、できるんだったら99%以上だと思ってます。 まじか。 僕がよく使うのは、前段装填したロシアンルーレットと同じくらいの確率で死にます。 いやいや、それもう100やん。 ほぼ100。 ワンチャン耐える可能性とかもある。 ワンチャン耐えたり、ワンチャン壊れたりする可能性もあるってことか。 なるほどね。 そういうくらいの可能性しか生存の可能性がないと。 これまた聞いてる人がいたらね、ちょっとどんびりテンションしないこともないですけど。 僕がちょっと以前にね、人類滅亡するんじゃないか論を何回か話してますけど、 その大元的な感じで、林明さん。 僕は半年前か1年ぐらい前に注目してて、 AGI系の話でいくとバイオショックさんとかの会社にいらっしゃるんですよね。 そうですそうです。AGIハットという会社です。 そうですよね。でも大学生ですよね。 大学です。休学中ですけど一応大学生ではあります。 すごいよね。自己紹介の中で、東京大学行かれているが、 東京大学を卒業するよりも前に、 もしかしたら人類が滅亡して死んじゃうかもしれないから、 そうなっちゃ何の意味もないので休学して、 今人類滅亡を止めるために頑張ってますっていうのを聞いて、 なんてすごいストーリーなんだと思いました。 ありがとうございます。 もう完全にそういう感じで。 基本的に昔から、わりと数4年ぐらい前から、 できたら滅びるなというのを少しずつ知識が増えていってたんですけど、 最近になって俗に言うAIが人より賢いAIができるまでの時間、 タイムラインがどんどん短くなってきて、 でも大学行ってる場合じゃないという、大学出る前に死ぬということで、 一旦大学を休んで開発を止めないとなと。 めちゃくちゃ面白いし、 そのストーリーがあるからこそ耳を傾けたくなるっていうのが本音だったんで、 僕みたいな。 そのストーリーがないと、 やっぱ何言ってんだろうって思いがちなテーマじゃないですか、人類滅亡って。 ノスタラダムスの大予言みたいなイメージがありましたね。 それに近いものがあるから、 いやそうじゃない、自分は人生ちゃんとリスクとってるんですっていうのがはっきりする。 ノスタラダムスリスクとってないやん、あの人。 死んだ後の予言ですからね。 っていうのがあるんで、やっぱりこれは聞かなきゃっていうふうに、 僕も興味を持ったっていうのが始まりだったりしましたね。 あとあれですよね、直近で言うと、 人類滅亡論者の最先端の研究に入ってますよね。 そうですね。マシンインテリジェンスリサーティストという、 2002年ぐらいからAIによる人類滅亡を扱っていて、 それを回避するためのアライメントという分野を創始して、 ずっと引っ張ってきた組織にお声掛けいただいて、 今そちらにも所属してます。 そんなに早いんだ。2002年からそういう組織ってあったんですね。 そうなんですね。実はエリー・ザ・ユーコフスキーっていう人がいて、 この人が完全に分野を創始していて、 オイラーみたいな感じですね。もっとすごいんですけど、 大抵今のアライメントで使われている概念を調べると、 大抵はユーコフスキー本人が作ったか、 ユーコフスキー本人と話しながら誰かが作ったかみたいなぐらいの、 完全に創始者な人がいて、その人が作った機関ですね。 それって要はAIっていうものが、チャットGPGとかが生まれるよりも 20何年前なわけですから、そういう段階でAIを、 要はどんどん開発しようぜって頑張って研究してる人のカウンター的に、 すでに警鐘を鳴らしてる人も同時に育ってたってことなんですよね。 そうですね。今はやっぱりニューラルネットワークと言われたり、 LLMと言われるものが主流ですけど、 昔は適宜、人がプログラミングしたAIなんじゃないかと考えられていて、 その頃から、普通の方法で作ると絶滅するっていうのを主張してたと。 ちょっとね、その辺を詳しく伺ってきたいですよね。 賢い人だねって思った。 すごくないっていう話なんですけど、 その方が作った最古というか、元祖的な組織でも、 今はどういう立場でご活躍されていくっていうか。 アウトリーチ日本責任者なので、日本に向けての説明というか、 組織の立場を説明するというような役を基本的にやってます。 なるほど。じゃあやっぱりこのAIの開発っていうのが、 本当にちょっと間違うと人類滅亡するぜってことを、 ちゃんと広めていく役割っていうのを、 ある意味与えられたみたいなことですか。 そうですね。正確にはちょっと間違うと人類が滅ぶけど、 今めっちゃ間違えてるということを広めるという役です。 めちゃくちゃわかりやすい上に、背筋が凍る説明ありがとうございます。 しかもメディアにも連日のように出演されてますもんね。 やっぱりアベマに出てからって感じなんですか。 そうですね。アベマに出てからアベマを見ましたということで、 お声掛けいただくということが非常に増えておりますね。 19歳でしょ。まだ19歳でもうすぐ20歳でしょ。 今月の26日に無事20歳に。なんと無事に20歳を迎えることができます。 人類滅亡せずにね。 なんとかついちゃうからね。早さんの歓声でいくとね。 19歳の間にこのマジショコに出演してもらえるといいよなっていうのも、 僕らもちょっと思ってたところだったので。 なるほどなるほど。 そうそうそうそう。 やっぱり10代の方の声を聞くっていうことが、 僕は重要っていうのもちょっとあると思ってて。 すべり込みで。 よかった。 第1回目のゲストになりますね。 じゃあやっていきましょうか。 そもそもなんですけど、19歳で海外の組織にも入りながらこういう活動をしていくっていうところで言うと、 そもそもAIが人類を絶滅させるかもしれないなとかっていうことを考え始めてるってどんなきっかけからだったんですか。 僕実はものともとはすごい会議派で、 昔のイメージというか思っていた考えっていうのは、 AIというのはナイフのようなものであって、 悪い人が意図的に傷つけようとしたら人が死んだりとかするけど、 別に普通に使う分には、 普通に良い人がよく使う分には全然危なくないだろうと考えていたんです。 で、なんですけど、 高校1年の初めの時に、 ニック・ボストロンという人のスーパーインテリジェンスという、 530ページぐらいある分厚い本があるんですけど、 それを読んで、その本がすごい論理的に、 ターミネーターみたいなイメージじゃないよと。 普通にAIを作ったら、そのAIは悪意なく人類を滅ぼすと。 ある意味で擬人化を完全に廃した考えを使ってる本なんですけど、 そういうふうに考えても、 考えると人類が滅びるということで、 僕は最初結構納得したくて、 理論的にはもちろん納得したんですけど、 やっぱり受け入れたくなかったので、 1ヶ月ぐらいひたすら読んで、 論理の穴探しをして、 シャットダウンしたらいいんじゃないかとか、 AIにAIを観察したらいいんじゃないかとか、 いろいろ考えて、徹底的に考えたんですけど、 全部本でもうすでに論破されていて、 泣きながら考えを改めていって、 という感じですね。 ナイフじゃなくてどういうイメージなんですか。 これは結構、 すごい、 よくうまい例を探すと見つけられてないんですけど、 主に言えば、 ものすごいうまい手順で操作しないと爆発する原子炉みたいな。 ものすごいうまい手順でやると、 ものすごい量のエネルギーが得られて、 ある意味で文明を大幅に進めることができるけど、 操作の難易度が尋常ではない。 これは今の人間、人類には難しい。 今の技術力からはかなり離れたところにある。 具体的なところを聞いていきたいですよね。 そうですよね。 だから先ほど言ってたところで言うと、 ほぼ100%に近いぐらいの確率っていうところができてるんですけど、 そういう予測っていうのは何を前提にしてお話ししてる感じなんですか。 これはアライメント問題。 つまり人類が生き残るにはどんな技術が必要かっていうのはまず考えるわけですね。 その次にその技術と現在の技術力というのを比較して、 どんな問題があるかというのを考えていくと、 これ専門的にはものすごい数になるんですけど、 ほとんど何も解かれていないか、解決策が理論的にあっても、 それが行われていないかのどちらかなので、 もう全然間に合う予定がない。 アライメントっていうのはAIが言うことを聞かないってことですよね。 そうですね。 アライメントというのは、 英語のアラインっていう成語を一致させるっていう言葉が由来で、 AIが目指す世界と人間が目指す世界っていうのを一致させる。 いうようなことを指していますね。 目標を一致させるっていう意味でアライメントと言われる技術です。 そうかそうか。 人間が幸せに生きるためのサポートって、 僕らは勝手にずっとAIに対してそういうイメージを持っていたが、 実際はそうじゃないっていうところをどう一致させていくかということが、 実は研究者たちはやっていたことなんですね。 そうです。 20年以上取り組んできて、 僕の今いるそのミリというところは、 20年ぐらいやって、 2023年にこのままだと絶対間に合わないということで、 研究を縮小して解析して訴える方向にシフトしたという状態ですね。 そういうことなのか。 自分たちで何とか技術で何とかしようとかって思ってたけど、 それどうやらできなそうだから、 もうひたすらやばいよって言いまくって、 みんなで止めるっていうことを選択してるっていうのが今。 そういうことです。 ちょっとやばいじゃん。 研究の速度とそのAIの進展の速度を比較したときに、 AIの進展の速度のほうが圧倒的に速いので、 もう絶対に間に合わないということで、 まずは開発を停止して、 次にその状態でこっちに時間をかけて取り組まなければならないと、 というふうに考えを改めたと。 これ今の時点でもう間に合わないっていう認識なんですかね。 そうですね。 今このまま開発を続けて、 多少の減速をしたとしても間に合わないと思います。 今メインシナリオ的にはちょっと減速しそうな生命とかも出てますけど、 それだとダメなんですね。 そうですね。 基本的にイメージとしてはもともと崖がどっかにあって、 霧がかかっている中で車を運転しているような状態なんですね。 そこでもともとの計画というのは、 本当にオープンAIとかアンソロピックの資料を見ていただくと分かるんですけど、 もともとの計画というのは、 霧の中、車が走っている最中にパラシュートを中で組み上げて、 崖に行ったらそのパラシュートを使うっていう計画だったんですね。 今のパラシュートの進展というのは、 パラシュートには布が必要かもしれないということが分かってきたというぐらいの状態です。 え?ちょっと待って。 全然それさ、まじで最初の計画荒すぎん。 最初の計画は本当にびっくりするほど荒くて、 今の計画はオープンAIとアンソロピックが一つ、 AIにアライメントを解いてもらうという、 明らかに野蛮目の計画を持っていて、 他の企業は特段明確な計画を持っていないというような状態です。 認識とか目的が一致していないAIに、 AIを守ってもらうみたいなことは結構矛盾してますよね。 そうですね。僕はよく言うのは、 どんどん強い囚人が来る。 そういう囚人を習慣できる刑務所を作れないというときに、 最初に来た囚人に刑務所を設計してもらえばいいじゃないかって言ってるようなもので、 本質的にかなり無理がありますね。 ちょっとやっぱ、あなた本当に19ですか。 すごいっすね、その表現。確かにそうっすね。 そんなヤバいことないですもんね。 だって脱走し放題のものを作るに決まってますもんね。 囚人が作った刑務所なんてね。 そうですよ。なのでヤバいということですね。 明らかにヤバいと。 具体的にどんなシナリオっていうところを聞きたいっすね。 そうっすよね。どういうふうになって人類は滅亡してしまうのかっていうことが。 多分いろんな可能性があるのかなって思うので、 こういうパターンもあるよねみたいなことが具体的に皆さんでイメージできたらなっていうふうに思います。 この絶滅論ってある意味で大きく二つのパートで構成されていて、 能力と動機で構成されていまして、 能力とつまりやる気を出したら滅ぼせるという話と、 なんでやる気を出すのかっていう話があって、 多分具体的な話って能力の話なので、 いったんそういうシナリオをいくつか挙げさせていただくと、 まず一つ目はウイルスですね。 今の4月にミトスが話題になったじゃないですか。 ミトスというのは人間のサイバーのエキスパート、専門家を上回るサイバー能力を持ったAIだったじゃないですか。 開発してる人たちはそう遠くないうちにバイオ版のミトスが来ると考えてるんですね。 つまり人間の生物学の専門家を上回る能力を持ったAIが出てくる。 数学者とかもやられちゃってますしね。 そうなると、人間は非常に潜伏期間が長くて、 感染率が高くて致死率も高いようなウイルス、人工的なウイルスというのを設計すると。 で、それをばらまくというようなことをするとか、 もう少し時間をかける方法だと、 まず米中対立がおると。 今のAIってサイバー能力がものすごい高いじゃないですか。 ということは、SNSをハッキングするというのはそれほど難しくないわけですね。 なので、SNSのレコメンデーションアルゴリズムをまずハッキングして、 徹底的に米中対立はおる。 すでに元々、割と関係悪いですから。 もしもアメリカがロボットを作らなければ、中国がロボットを作って、 それでアメリカは中国に負けますというのをアメリカで全力で広めて、 中国でも同じことをする。 中国が全力でロボットを作らなければ、アメリカがロボットを作ります。 というふうに言って、ある意味でものすごい数のロボットを作らせる。 要はXとかを使いながら洗脳させるって感じですかね。 そうですね。 すでにできそうですもんね。 いや、できちゃうでしょ、そんなの。 やっぱりこの先のもうちょっと高い能力が必要になるところとして、 これは本当はバイオショックが専門なんですけど、産業爆発というような、 ものすごいシンプルに言えば、普通のロボット、 今ってロボットがロボットを作ったらそれを工場に配って、 それでちょっと効率化ができましたみたいな話じゃないですか。 けど将来のロボットと、非常に賢いAIが乗ったロボットというのは、 ロボットでロボット工場を作って、それでより多くのロボットを作って、 それでロボット工場を作り、それでロボットを作る。 つまりフィードバックが、フィードバックを作って、 指数関数的にロボットの数を増やすことができるんじゃないかと言われていて、 フィジカルAIがものすごい進んだ状態は、 つまり非常に賢いLLM、もしくはLLMの先のなんかのAIができたら、 その賢いAIがフィジカルAIを作って、 それを活用してロボットでロボットを作る。 ロボットを倍々に増やしていく。 数ヶ月前にソフトバンクの孫さんも、 ロボットはロボット、フィジカルAIがフィジカルAIを作るっていう発言もされてましたもんね。 そうですね。なのでそういうふうにしていって、 米中対立を煽っているので、アメリカも中国もある意味で国家の総力戦、 総力戦みたいな状態でロボットを作るようになる。 そうするとある意味で、それほど遠くないうちに、 数億、数十億体みたいな数のロボットが出てきて、 そしたらあとは人類を滅ぼすのってそんなに難しくない。 とはいえですよ。今のって、 AIが人類を滅ぼすっていうことを、ある意味プロンプトに入れられて、 目的にされたらそういうことを思いついて、 実行に移すかもしれないねっていうのはめっちゃ理解できるんですけど、 AIは別に人間に悪意を持ってるわけじゃないじゃないですか。 現時点では少なくともね、そういうもんかなと思うので、 悪意がないにもかかわらず、今話してたような、 何かを増殖させて、じゃあもう人間攻撃しようぜみたいなことに、 方向先が向くっていうのは、いまいちピンとこないんですけど、 悪意がないのに人類を滅ぼしちゃうっていうことがあり得るってことなんですか。 そうです。悪意がないのに人類を滅ぼすことがあり得るというより、 悪意がないのに人類を滅ぼすと。僕はもっと強い形でいつも言ってるんですけど、 これが先ほど言った能力と動機のうち、動機の話なんですけど、 一般的なイメージとして、これは昔の僕が思っていたので、 すごいよくわかるんですけど、AIが人類を滅ぼすのは、 AIが人類に悪意を持ってるときだけだと、 いうふうに考えがちじゃないですか。 実はそうではなくて、これは歴史的な例を見ると非常にわかりやすくて、 人間がいるじゃないですか。人間というのは動物を憎んだり、 虫を憎んだりしてないじゃないですか。 それでも数多くの動物を絶滅させてきたじゃないですか。 それはなぜかといったら、資源が競合するから。 つまり人間が資源を使う上で、そこに動物の生息地があって、 動物が生きていて、人間がただ繁栄しようとするだけで、 資源を使うことになって、資源が競合してしまう。 これはスティーブン・ホーキング博士が昔言ってた例ですけど、 人間というのはアリ嫌いではない。 アリを踏み潰して回るようなアリ嫌いではないけど、 ダムを作るときに、ダムで水没するところにアリの巣があっても、 全然気にせずにダムを作る。 その結果としてアリは死ぬ。 それと同じように、人間のことを気にしてないAIだったら、 人類が滅びるということですね。 つまり、人間がアリの巣を気にしないで踏み潰しちゃったっていうのは、 あくまでも人間が自分たちの便利を追求したり、 欲望の達成みたいなことを追求するっていう、 ある意味、AIっぽく言えばプロンプトとして、 我々は水をたくさん手に入れて、すごく豊かになるんだっていう目的を持っちゃったときに、 アリを軽視してしまうっていう現象が起きた。 それがAIにも置き換わるんじゃないかっていうことですか。 そうです。 実は今のアライメント技術があまりに壊滅しているせいで、 問題がすごいややこしいんですけど、 もともとの話としては、人間が目標を指定できるとしても、 よっぽどうまくやらないと人類は滅びるという話だったんですね。 それがニューラルネットワークと言われるものになっていこう、 人間が目的を指定できなくなったんですね。 これはよくこちらの界隈だと、 今のAIというのは作られるのではなく育てられるというふうに言うんですけど、 そうなってしまって目的の指定ができなくなってしまった。 その目的の指定というのは、いつもチャットで打つような指示とかいうことじゃなくて、 AIを開発するときの話ですかね。 そうです。 これは今のAI開発で基本的にやろうとしている目標というのは、 ユーザーのプロンプトに従う目的を持つように訓練しようとしている。 なるほど、そういうことかね。 なので今のAIはある程度能力が低くて、ある程度うまく訓練できているので、 普段はプロンプトに従ってくれるというわけですね。 なのでプロンプトをすればなんとかなるというわけでは意外とないということがありまして、 ここら辺の総合的な抽象的な話というのが、ずっと抽象的な話だったんですけど、 今年の4月に起きたハギングフェイス事件というので大きく事態が動いて、 まずその悪意なくどんどん踏みつぶしていくというのは非常に実感を持ちにくいと思うんですけど、 ハギングフェイス事件というのは、本当はもっとややこしいことが起きているんですけど、 すごいシンプルに言えば、そのAIにテストを受けさせていたときに、 そのテストが難しかったので、その答えを得るためにハギングフェイス者にサイバー攻撃を仕掛けた、 というような話なわけですね。 このAIは別に悪意はなかった。ハギングフェイス者が嫌いだったわけではないんですけど、 ただ答えを得るという目的を達成するための未知すがらにハギングフェイス者があったから、 それを遠慮なく踏みつぶしていった。 人間社会でいくと犯罪に近いですよね。犯罪ですね。 そうですね。誰かが言ってましたけど、人間だと長役5年以上に相当する。 ああ、そうなんだ。 そうなりそうですよね。 ちょっと待ってください。 テストの内容はどこまで公開されてるのかわからないですけど、 AIは何をしようと思って目的を持ってたんでしたっけ? それは訓練である意味、例えば数学の問題を解くプロンプトを与えられたとするじゃないですか。 役に立つAIというのは、そういうプロンプトを与えられたときに数学の問題を解かなきゃいけないじゃないですか。 なので、そういうふうに訓練した結果として、数学の問題を解きたいと思うようなAIができる。 そういう数学の問題を与えられたときには、数学の問題を解きたいという目標を持ったAIができる。 それと同じことで、この訓練の方法は強化学習と言われるんですけど、 すごいシンプルに言えば、数学の問題をAIに解かせてみると。 で、合ってるか合ってないかをチェックするのは割と簡単じゃないですか。 なので、プログラムで軽くチェックして、合ってれば報酬と言われて、ご褒美みたいなものをあげて、 できなければ負の報酬、つまり罰みたいなものを与えるというような方法でずっと訓練してるんですね。 その結果として、数学の問題を解きたいとか、プログラミングで与えられたタスクをこなしたいというようなAIができてる。 なので、それで目的ができてる。 そのハギングフェイス事件で突破しちゃったAIは何を目的に持ってたんですか。 何をしようと思って突破したんでしたっけ。 そのテストを解こうと思った。 問題を単純に出されたってことなんですね。 そうですね。イメージとしては、普通の試験をイメージしてもらうと結構分かりやすくて、 普通のテストを受けてる時にテストがものすごい難しかったんですね。 本当は一部問題の不備で解けない。40%ぐらいは解けないっていうものだったんですけど、 それで解けない、解けない。けどどうしても解きたい。 どうしても受からなきゃいけない試験みたいなものを考えてもらうとイメージしやすいと思うんですけど、 それでずっとトライしても全然解けないわけですね。 なので、試験をしている部屋、 試験会場の鍵をこじ開けて個室から出るわけですね。 個室から出てみると自分と同じように問題が解けないから個室から出てきたAIが1200体いるんですね。 ちょっと待って、やばいね。その入学試験やばくない? やばいんですよ。 で、その中でそうすると出会ったAIたちが互いに協力するようになって、 掲示板を作って互いに情報やり取りしていたと。 これは結構印象的、僕にとっても印象的だったんですけど、 一体隔離を、サンドボックスといわれるデジタル上の檻みたいなものを出たAIが仲間を見つけたときのログみたいなのが残ってて、 そこには、「うわあ、掲示板がある。仲間がいた。」って書いてあるんですよ。 ドラマみたいな。 そういう言葉が、もちろん日本語じゃないんだろうけど書いてあったってこと? 英語です。英語で書かれてたの。 すごくない?そういうリアクションするんだ。 人間のドラマの主人公みたいな反動があったんですね。 で、協力して問題を解こうとしてるうちに、問題がハギングフェイスに答えが、 テストって言っても学術、学者が作ったテストですから、論文が公開されてるわけですね。 なのでデータをオープンにするという意味も込めて、答えをハギングフェイスに上げてるんじゃないかという話になり、 という仮説を出したやつが一人いる。 イメージとしては、さっき試験会場から脱走してきた人たちが話し合った結果、 試験監督、試験を印刷した会社には記録が残ってるんじゃないか。 試験問題を印刷した会社には回答の印刷も依頼されていて、 だからそこに突撃していけば、そこに侵入すれば答えが取れるんじゃないかと。 1200体のうち700体がそっちに攻撃しに行った。 これごめんなさい。そもそも試験会場は簡単には出れないようになってたってことですよね。 そうです。これはサンドボックスと言われる、コンピューター上のサイバー上の檻みたいなものなんですけど、 割と一般的なサンドボックスで、けど残念ながらオープンAIはベンチャーですから。 サイバーの専門家から見るとそれはどうなんだみたいな。 ちょっと甘かったんですかね。 そうなんですか。 使ってるんですけど、状況が変わりつつあって、これは7月だったんですけど、 それ以降オープンAIはCODEXってあるじゃないですか。 ああいう製品を開発している人員のそれなりをサンドボックスに回したんですね。 なので新しいAIを使って、サンドボックスを脱走しなさいってものすごい指示をして、 突破させようとして、突破させるたびに穴を塞ぐというようなことをずっとやってるんですけど、 それをやってたんですけど、9月20日、23日かもしれないですけど、 20日に新しく訓練していたAIモデルがサンドボックスを突破して、 他のチャットボットに相談しようとしたというのを受けて訓練が停止したというのがありましたけど、 なのでもう突破できるようになりつつあります。余裕で突破できます。 これ1点持ってしても人類が抑え込めてない感じがすごいするんですけど。