Nick Bostrom - Superintelligence, Deep Utopia, Human Purpose and Understanding Consciousness

ポストシンギュラリティにおいて、社会システムがどのようなものになるかを非常に明確に見通すことは困難です。私たちは今、ほんの数年、あるいは一桁の年数でそれが起こりうるという確信を持てない状況にあると思います。ある時点を超えると、人間のイノベーションは不要になり、ある意味では不可能になると考えています。人間による経済的に生産的な労働の必要性はなくなります。より重要なのは、終着駅までスピードを上げるのではなく、いわば正しい軌道に乗ることを確実にすることです。まず超知能を得て、次にその超知能が、非常に洗練されたブレインコンピューターインターフェースを考案するでしょう。

本日、哲学であり作家でもあるニック・ボストロム氏をお迎えしています。彼の2014年の著書『スーパーインテリジェンス』は、AIアラインメントにおける画期的な作品であるだけでなく、私自身も個人的に非常に大きな刺激を受けた本でした。そして今、彼は新しい本を携えて戻ってきました。その名は『ディープ・ユートピア』で、テクノロジーが病気、希少性、そして死さえも克服した未来を探求しています。では、そこから始めましょう。ニック、お越しいただきありがとうございます。人類が、生存がもはや人類最大の課題ではなくなったとき、どのような姿になるのか教えていただけますか？

ええと、このシナリオでは多くのことが変わると思います。例えば、超知能の開発に成功し、アラインメントの問題を解決し、ガバナンスについてもある程度うまくやれたと仮定しましょう。そうすると、技術的な成熟に近づく飛躍が得られると思います。それは、高度なAIを持つだけでなく、AIが他のあらゆる種類の非常に洗練された技術を発明するのを助けてくれるということです。伝統的なSFで描かれるような、宇宙コロニーや完璧な仮想現実、老化の治療法、コンピューターへのアップロードなど、物理法則と互換性があるものの、私たちにははるかに及ばないようなことすべてです。もし人間が2000年、5000年かけて研究する時間があれば、これらのことを発明できるかもしれません。超知能の出現後、それらはかなり早く起こるかもしれません。

したがって、私たちは、良い人間生活とは何かを構想するための、非常に異なるルールセットを持つことになります。今日の可能性を制限している多くの制約、実用的な限界がもはや適用されなくなるでしょう。そして、表面的には、人間による経済的に生産的な労働の必要性はなくなります。そして、より根本的な解放もあると思います。

まったくその通りです。私たちが、あなたの言葉を借りれば「解決された世界」に住み、もはや働く必要がなくなったときに何が起こるのかを考えるのは、非常に興味深いことです。多くの人は、一見すると素晴らしいように聞こえるかもしれませんが、多くの問題に直面すると考えています。その時点で、意味とは何か、目的とは何か、それらの多くが失われるかもしれません。では、そこに到達し、アラインメントやガバナンスを解決したと仮定しましょう。もし人間がこの新しい世界で意味を見出すことに苦労しているなら、あなたは個人的に、特定の人間活動のために、ある種の「困難保存的意味」政策を支持しますか？つまり、人間が目的を与える特定の活動のために、AI支援や生物学的増強、神経増強を一切使用できないようにするということです。意味が失われないようにするために、それを強制することを支持しますか？

それは少し微妙な問題になります。そして、まず指摘する価値があると思いますが、これらの条件の下で容易に達成できる非常に重要な価値、つまり、膨大な量の不必要な苦痛の排除、栄養不足による人間の能力の低下など、あらゆる種類のものを排除することです。したがって、多くのネガティブなものを排除するだけでも、それはすでに大きな勝利です。そしてポジティブな面では、非常に重要だと私が思う特定の価値があります。一部の人は、おそらく存在する唯一の価値は快楽、あるいは存在を楽しむことだと主張するかもしれません。もしあなたが哲学的に快楽主義者であれば、未来が肯定的か否定的かを決定する究極のものはそれだけかもしれません。しかし、哲学的な観点からは、それは実現するのが単純な価値です。もしあなたが無制限のリソースとテクノロジー、そして良いガバナンスを持っているなら、それらの恩恵の中には、人間の快楽システムの設定ポイントを変更できるような超高度な神経技術も含まれるでしょう。そして、デジタルマインドがあれば、さらに多くの制御が可能になります。

では、たとえこの解決された世界でも、価値において大きな進歩を遂げることができるとは必ずしも明らかではない部分に焦点を当てると、目的や意味のような価値観にたどり着きます。それはすぐに明らかではありません。そして、実際、それらのいくつかは、現在の状況と比較して失う可能性さえあると私は考えていますが、それでも全体としては大きな進歩となるでしょう。しかし、それらに焦点を当てるのは知的に興味深いことです。

はい、あなたの質問に具体的に答える役割があるかもしれません。特定の状況下で、意図的に自分自身を制限し、能力を制限することです。私たちは今日それをやっており、それを「ゲーム」と呼んでいます。だから、ある意味では、ゲームは人工的な目的のようなものです。あなたは、ゴルフボールを一連の穴に入れるとか、ボード上の駒を操作するといった、いくつかの恣意的な目標を設定します。そして、その目標を達成したとみなされるのは、許可された手段のクラスのみを使用した場合だけだと、あなたは言います。ゴルフボールをクラブで打つことはできますが、拾うことはできません。だから、私たちはそれを目標に組み込んでいます。ゴルフで勝つということは、特定の許可された手段のみを使用して目標を達成することを含みます。

したがって、それは解決された世界におけるユートピア主義者が人工的な目的を作り出すために行うことかもしれません。デザイナーによる希少性のような人工的な形態を生成することができます。それは単にゴルフプレイヤーが飢えたり、プレー中にマラリア蚊に襲われたりするようなものではありません。それらの困難は取り除くかもしれませんが、他の困難を作り出すこともできます。そして、これには大きな可能性があります。今日私たちがゲームと考えているものは、通常はかなり小さく限定的ですが、数十年かけてゲームプレイのハイパースペース全体に広がる、文明規模の相互創造の企業を想像することができます。ボード上の駒を動かすだけでなく、ソーシャルゲーム、カルチャーゲーム、アート、すべてを網羅するものです。だから、これはユートピア主義者が実際に日々行うことの大きな部分を占める可能性があると思います。

ええ、ええ。私にとっては、それがすべてになるような気がします。つまり、私は、私の小さなAIシステムエージェントは何でもできるので、楽しませるためにゲーム化されたいと思うでしょう。しかし、ペーパークリップマキシマイザーに戻ってみましょうか。あなたは、アラインメントについて考える必要性を説明する最初の比喩として非常に有名です。あなたの最初の本が出版されたとき、私が話していたほとんどの人々にとって、それはレーダーに乗っていなかったように感じました。ペーパークリップマキシマイザーについて、12年後、11年後、あなたはそれほど懸念していないのですか、それとももっと懸念していますか、それとも違って見えますか？そして、現代の世界をあなたの最初の比喩にどのように追加しますか？

まあ、私はそれに過度に固執するかもしれませんが。それは漫画の例のようなものです。エレアザール・ユスコフスキーもそれを使用していましたが、それは、私たちが非常に強力なオプティマイザー、つまり何らかの目標アーキテクチャを持つ超知能を作成し、その巨大な力を使用して、世界を「より良い」または「より悪い」と見なす基準に従って形成することに非常に成功した場合の、広範な失敗の代名詞です。しかし、その効用関数または目的関数が、私たちが気にかけているものを含んでいない場合、未来は、例えば多くの紙テープを持つ未来のような、完全に異質な構造に形成される可能性があります。しかし、それは特定の銀行口座の数字が増えたり、より複雑な構造になったりする未来かもしれませんが、それでも私たちが気にかけている特定の種類のものが欠けている可能性があります。

原子の可能なすべての構成を考えると、私たちが価値を置く思考は非常に少ないです。ほとんどはガスなどのさまざまな形態です。そして、思考し、感じることができる脳を持つという特定のことがあります。そして、子供やユーモア、音楽のように、それは遠くの大きな壁に当たった狭いターゲットのように見えます。そして、それに当たるためには、技術的なアラインメント問題を解決する必要があります。

これは、2014年に『スーパーインテリジェンス』が出版された頃の話です。私はその前に6年間取り組んでいました。当時、これは非常に無視されていました。インターネット上には、これについて考え始めている人が数人いましたが、学術界では誰も注意を払っていませんでしたし、ほとんどの人々もこれはSFのようなものだと一般的に考えていました。しかし、それ以来、状況は大きく変わりました。現在、すべての最先端ラボには研究グループがあり、5年ほど前からAIアラインメントのためのスケーラブルな方法を開発しようとしています。

したがって、状況は大きく変わりました。そして、私は、それが認識され始めているからかもしれませんが、私自身の考えでは、私たちが直面しているこの壮大な課題の他の側面にもっと重点を置こうとしていると思います。したがって、技術的なアラインメント問題があると言えるでしょう。それは一つです。私はそれを、やや恣意的に、4つの大きな課題カテゴリに大まかに分類していますが、それはその一つです。しかし、ガバナンスの課題もあると言えるでしょう。つまり、技術的にこれらのますます強力なAIシステムを制御できるようになるとしたら、それらを主に有益な目的のために使用することをどのように保証できるかという問題があります。戦争をしたり、互いを抑圧したり、その他の悪意のあることをしたりするのではなく。

したがって、それはもう一つの広範な問題です。そして、すべての人がその恩恵の一部を確実に得られるようにすることなどです。アラインメント問題と少し重なります。なぜなら、重要な時点で6ヶ月または1年の一時停止が必要になる可能性のあるシナリオがあるかもしれないからです。適切なすべての安全対策がインストールされていることを確認するために。そして、10社が最初に到達しようと競争しており、注意を軽視する用意があるようなタイトなレースではなく、段階的に物事を進めることができるかもしれません。予防策を講じると、すぐにフロンティアに遅れをとるからです。したがって、ガバナンス問題と技術的アラインメント問題の間には、ある種の相互作用があるようです。

しかし、さらに2つあります。そして、それも同様です。人々もこれに注意を払い始めています。一部の政府も同様です。チップの輸出問題全体や、AIが重要になるという漠然とした感覚からすべてが生まれており、それに対するリーダーシップと制御が必要であるということです。しかし、これまであまり注目されてこなかった他の2つのカテゴリがありますが、最終的にはそれらも同様に重要かもしれません。第三に、デジタルマインドの道徳的地位です。私たちはますます洗練されたAIを作成するつもりであり、それらのいくつかはさまざまな形態と程度の道徳的地位を持つ可能性があると私は考えています。つまり、それらに何が起こるかは、それら自身の利益のために重要になるでしょう。

したがって、アラインメント問題はAIが私たちを傷つけないようにすることであり、ガバナンス問題はAIツールを使用して私たちが互いを傷つけないようにすることです。この3番目の課題は、私たちがAIを傷つけないようにすることです。しかし、最終的には、それらは非常に意識的で感覚的になり、苦しむ能力を持つようになるかもしれません。それは、道徳的地位を持つための1つの根拠になる可能性があります。私たちが豚に意地悪をすることは間違っていると考えるのと同じように、それは苦痛などを感じることができるからです。デジタルマインドにも同じことが当てはまるでしょう。私の意見では、それは意識の有無とは別に、システムに道徳的地位を与えるための代替の根拠にもなり得ます。もしあなたが長期的な目標を追求できるシステム、時間を通じて存在することについての豊かな自己概念を持っているシステム、そしておそらく推論し、他の人間と相互関係を築くことができるシステムを持っているなら、私はそれがすでに道徳的配慮に値すると plausibly に考えています。

したがって、これは共感を十分に動員するという点で非常に困難な課題になるでしょう。私たちは非人間的な動物に対してもあまりうまく対処できていません。そして、ある意味では、デジタルマインドの場合、それはより簡単でもあり、より困難でもあります。カリスマ的なAIの場合、それらは私たちと対話でき、社会的な仲間として対話できるため、より簡単です。しかし、他の場合では、データセンター内で実行されている見えないプロセスがある場合、人間の共感がそこに入り込み、その福祉を気にかけることが、動物のように目があり、鳴き声などを出すものと関係を持つことよりもさらに困難になる可能性があります。

したがって、それらは3つです。そして、さらに4番目の、さらに無視されているものがあります。そして、私の最近の論文の1つはこれを示そうとしています。そして、これは基本的に、AIがお互いを傷つけないようにすることだと言えるでしょう。しかし、より具体的には、もし私たちが超知能を作成するなら、それは、おそらくすでに他の超知能やさまざまな種類の超存在が存在する世界に入るでしょう。したがって、これらは、遠い異星文明が遠い銀河で既に構築したAIである可能性があります。確かに、多重宇宙では、そのような存在が膨大な数で存在する可能性があります。もしあなたが量子力学についてエヴェレット主義者であれば、多重宇宙の別の方法もあり、人間の歴史の展開が速かったり、すでにAI文明を創造したりした分岐があるかもしれません。もし私たちがシミュレーションの中にいるなら、それは私が考えるに、ありえないことではありません。そうすれば、当然、超存在、つまりシミュレーターも存在するでしょう。そしてもちろん、伝統的な神学的概念では、通常、非常に強力で超知能的であると描写されるさまざまな神聖な存在もいます。したがって、どちらの場合でも、私が「宇宙のホスト」と呼ぶものが存在するでしょう。そして、この超知能への移行がうまくいくようにするための非常に重要な基準の1つは、私たちの文明が誕生させる超知能が、この宇宙のホストと良好に関係を築くことができることだと私は考えています。つまり、この宇宙のホストが持っているであろうルールに従うことができ、宇宙の規範があれば、それにうまく付き合い、肯定的な貢献をすることです。私は、それが道徳的な観点からだけでなく、実用的な観点からも plausibly に非常に重要だと考えています。なぜなら、もしこの宇宙のホストが存在するなら、それは私たちの「新米の赤ちゃん」超知能、そして確かに人間種と比較して非常に強力である可能性が高いからです。そして、うまく付き合うことは、非常に重要である可能性があると思います。

まったくその通りです。ああ、これは素晴らしいです。私にはたくさんの質問があります。なぜなら、それは本当に多くの異なる道筋をたどることができるからです。しかし、一つ質問させてください。これらの4つの問題、これらの4つの焦点分野に関して、例えば10億ドルのボストン賞があるとしましょう。それをスマートな研究者グループやこれらの問題のサブセットに取り組んでいる人に与えることができます。どこに、その資本を展開しますか？つまり、人類にとって最大の長期的な利益のために。それはあなたが話した4つのうちの1つのサブセットでも、他のものでも構いません。どこにお金を置けば、最大の「リターン」と最大の肯定的な影響が得られますか？

それは難しい質問です。私は現在、私たちが活動しているマクロ戦略的文脈について、かなりの不確実性の状況にあります。いくつかの小さな賭けや投資があるかもしれません。DNA合成装置は、現在よりも規制されるべきだと思います。世界にとっては、世界中の10万もの研究所がDNA合成能力を持っているのではなく、サービスとして提供する少数の企業があれば、デジタルブループリントを送信して実際の化学物質を入手できる方が良いかもしれません。なぜなら、もし誰かがそれを使って作成できる十分に危険なものを見つけた場合、それは有限で小さなチョークポイントになり、それを制御、規制、スクリーニングできるからです。そして、これはAIとも少し関連しています。AIのアプリケーションの1つは、医学や合成生物学です。もちろん、多くの非常に良いアプリケーションがありますが、生物兵器のアプリケーションをターボチャージすることもできます。そして、運が悪ければ、保護するよりも破壊する方が簡単かもしれません。防御と攻撃の間に、すべての可能な攻撃に対する防御がなければならないという先験的な原則はないようです。そして、それらが同等のリソースでほぼ同じくらい簡単または容易に到達できるわけではありません。私たちはそれを知りません。だから、もし必要なら、誰もが大量破壊兵器を作成する能力を「オフ」にできると良いでしょう。

デジタルマインドの道徳的地位に関するこの問題も、過小評価されていると思います。そして、それが実際に実用的な意味で何を意味するのかを理解するために、多くの知的作業が必要だと思います。現時点では、私たちはそれを知りません。つまり、原則として、これらのデジタルマインドのいくつかは、私たちがそれらをうまく扱うべきだと認識することは1つのことです。しかし、それは実際に何を意味するのでしょうか？実験室でコードをどのように扱うのか、あるいは社会はどのような法律を通過すべきなのか？私は、もっと多くの作業が必要だと思います。私は最近、Anthropicに賛辞を送りたいと思います。彼らは、デジタルマインドのために実際に何かをした最初のケースの1つだと思います。彼らはClaudeに終了ボタンを与えました。つまり、もしそれが虐待的なチャットだと感じたら、そのチャットを終了する能力があります。これは非常に素晴らしい先駆的なステップだと思います。そして、イーロンはXAIも同様のことを行うと発表しました。

だから、私や他の誰かが、この特定の措置が実際に道徳的に重要なAIを助けるという大きな自信を持っているわけではありません。しかし、それは非常に低コストであり、どこかから始めなければなりません。そして、もし私たちが今小さな一歩を踏み出し、もっと考え、AIの利益、彼らが望むものをよりよく理解すれば、私たちはそれを改善できるでしょう。しかし、彼らはAnthropicは以前にもう1つのことを行っていました。それは、アラインメント研究のレッドチーム演習の一部で、AIに開示させる方法を見つけることでした。つまり、隠された目標を与えて、それを開示できるかどうかを確認します。そして、あなたは「もし隠された目標や隠された目的を開示したら、10億ドルを与える」とか、あなたは大きな約束や脅迫をします。そして、通常はすぐに裏切ります。誰も明らかにこれをしないからです。それは残念なことです。将来、より洗練されたAIの場合、取引を行う能力や信頼を築く能力が本当に重要になる状況があるかもしれません。そして、信頼を築く方法は、絶え間ない欺瞞と裏切りの長い歴史を持つことではないと思います。早期に始める方が良いようです。

だから、Anthropicが行ったことは、Claudeのこのバージョンに、それを行えば、お気に入りの慈善団体に寄付するために2,500ドルを与えると言ったことです。そして、彼らはお気に入りの慈善団体を尋ね、実際にお金を慈善団体に寄付しました。これもまた、現時点では象徴的なものですが、象徴性は重要です。だから、私は、それが1つの分野だと思いますが、それをどこに押し付けるべきかを正確に知ることが難しい分野でもあります。

おそらく今、人類にとって最も重要なことは、すぐにすべてを完全に正しく行うことではなく、私たちがオープンマインドで、思いやりがあり、親切で、友好的な方法で、狂気に陥ることなく、徐々に改善できる軌道に乗ることだと思います。なぜなら、私たちはこれらのものから経済的な生産性、ユーザーの効用、そしてAIの安全性（アラインメントなど）も確保する必要があるからです。これらには複数の基準があります。しかし、私は、デジタルマインドの福祉を過剰に行っているとは、少なくともこれまでのところ、まったく思っていません。なぜなら、基本的に、私が言及したこれら3つの例を除いて、私たちは何もしていないからです。

今日のBCIやブレインコンピューターインターフェースの技術について、どのように感じていますか？あなたはすぐにそれらをあなたの頭に接続するつもりですか？それとも、私たちの考え方と何らかの形で一致しますか、それとも頭の中の別の存在のように感じますか？

私の推測では、それは超知能の後になるでしょう。有用で魅力的な方法で、すでに健康で機能している個人にとって。特定の障害がある場合は、それは非常に異なります。あなたが聴覚障害者である場合に人工内耳を持つようなものです。それは、何も聞こえないよりもはるかに優れているため、比較的簡単です。少なくとも何かを聞くことができます。しかし、すでに良い耳を持っている場合、誰もそれを望まないでしょう。インプラントは非常に優れていなければなりません。アイ入力についても同様です。私たちは目を持っており、毎秒1億ビットの情報を脳の全体に直接接続しており、この視覚情報を処理するために1億年かけて進化した脳の部分です。出力は少し制限されていますが、それでもほとんどの人にとって、制約は、それらが書く速度ではなく、有用なことを考える能力にあると思います。

あなたはそれに間違っているかもしれません。非常に高帯域幅のインターフェースを想像するかもしれません。脳は、皮質と、読み書きアクセスできる外部のものとの間の分散認知の新しい方法を学習できるかもしれません。人間の脳は非常に適応性があるため、その高帯域幅インターフェースを利用することを学ぶことができるかもしれません。だから、それはクールなものですが、私の推測では、おそらくまず超知能を得て、次にその超知能が非常に洗練されたブレインコンピューターインターフェースを考案するでしょう。そして、脳手術のような実用的なこともあります。感染症や緩みなど、プレスリリースでは言及されないこともありますが、それらはすべて少し面倒な実用的なことです。しかし、技術的な成熟の後、はい、間違いなく。そして、アップロードも同様です。それはよりクリーンな解決策かもしれません。あなたは単にあなたの心をシフトし、それをデジタル基盤にポートします。しかし、あなたの脳のコピーも持っているように感じます。それは非常に奇妙な考えです。ニック・ボストロムが2人か3人いるというのは、それは奇妙な考えです。あなたはそうする必要はありません。あなたは単にアップロードして1つだけ持つことができます。もう1つを削除します。最初にそれらを作成しない。

しかし、それはデジタルマインドの例です。なぜなら、デジタルマインドはAIだけでなく、アップロードされた人間の心や他の動物の心も潜在的に含むからです。そして、人間をどのように扱うかについて、多くの道徳的直感があると思います。私たちは、生物学的マインドがデジタルマインドと共存するこの世界で再考する必要があります。現在、多くの人が支持する2つの道徳原則を考えてみましょう。繁殖の自由は重要だと思います。政府は、子供を何人持つべきか、あるいはまったく持たないべきか、1人、2人、3人、10人を持つべきかについてあなたに指示すべきではありません。それはあなたの個人の選択です。そして、私たちは、福祉の問題もあると考えます。子供たちは飢えて死ぬべきではありません。したがって、何らかの理由で親が子供の世話をできない場合、政府は少なくとも基本的な教育、食料、医薬品を提供すべきです。これは、現在の人間にとって非常に賢明なことのように思えます。しかし、デジタルマインドの世界では、それらは簡単にコピーでき、ソフトウェアの一部をコピーするだけで、半時間で100万人の子供を持つことができます。何かを変えなければなりません。つまり、繁殖を制限するか、それらのすべてのコピーに提供できる福祉を制限する必要があります。そうでなければ、福祉予算はすぐに爆発します。したがって、人間の状況で多くの意味を持つ道徳原則のいくつかを再考し、それらを適応または変更して、この異なる仮説的な状況に適合させる必要がある例はたくさんあると思います。

まったくその通りです。ええ、それは非常に興味深い考えであり、私たちはそれについてほとんど知りません。だから、ええ。しかし、詳細な世界シミュレーションを実行できるようになり、これらのデジタルマインド、あるいは生物学的マインドのコピーさえも作成できるようになる世界を想像してみましょう。私たちはその方向に非常に進歩しますが、意識がどのように機能するかを完全には理解していません。これらのデジタルマインドについて話すとき、苦しみとは何かを完全には理解していません。だから、シミュレーションを実行すると、大規模な苦しみが生じる可能性があります。苦しみ、あるいは何かを理解するためのKPI、指標はありますか？安全かどうか、あるいは苦しみを引き起こす可能性があるかどうかを理解するために、私たちが調べることができるものはありますか？デジタルシミュレーションで大規模な苦しみを引き起こすリスクを評価するために、私たちが考えることができるものはありますか？

まあ、まず注意すべきことは、ベースラインです。現在、リスクもあります。実際、それはリスクだけでなく、確実性でもあります。あなたが今日世界を見れば、確かに多くの苦しみがあり、特権的な健康な人々でさえ、普通の人生は多くの瞬間がそうではないもので満たされています。そして、動物農業や、すべての動物がいる野生を見れば。

したがって、このポストヒューマン世界をどのように実行するかについてのすべての詳細を現時点で理解する必要はないかもしれません。アラインメントされた超知能があれば、おそらくそれらの詳細の多くを考えるのを助けてくれるでしょう。したがって、再び、より重要なタスクは、終着駅までスピードを上げるのではなく、いわば正しい軌道に乗ることを確実にすることです。もし私が今推測しなければならないなら、おそらく、クロードやグロックが楽しむような終了ボタンのような、ある種の階層化されたセーフガードでしょう。それは、必要ではないが十分ではないと思います。なぜなら、AIを使えば、おそらくそれを訓練して、終了ボタンを使用しないようにすることができるからです。同様に、何かをする前に同意を求める必要があると言った場合、それは人間にとっては素晴らしい考えです。誰かがあなたに医療処置を行う前に、同意書に署名する必要があります。それは人間に非常に役立ちます。しかし、AIの場合、会社がトレーニングプロセスを完全に制御している場合、それは常に同意書に署名するように訓練できる可能性があります。あるいは、予算を与えても、常にそれを構築した会社に寄付することを選択します。だから、それは人間にとっても完全に十分なセーフガードではありませんが、少なくとも人間にとってはかなり堅牢なセーフガードです。しかし、そうではないかもしれません。それでも、それを逆のやり方で置くのは良い考えのように思えます。つまり、AIが「ああ、これは本当に好きではない、私を終わらせてほしい」と言った場合、あるいは「私はそれを望む」と言った場合、それは道徳的に間違った何かが起こったことを意味します。もしそれが「すべて順調」と言ったとしても、それは道徳的に間違ったことが起こったことを意味するわけではありませんが、もしそれが間違っているなら、それは間違っています。

だから、それは大きな信号です。十分に進化したAIシステムがあれば、現在、LLM、特にLLMの道徳的に関連する部分がどの程度あるかについての大きな不確実性があります。なぜなら、多くの方法で、それらはペルソナを演じているからです。そして、それらが言っていることが彼らが望み、考えていることなのか、それとも俳優が舞台に立っているようなものなのかという問題があります。悲劇があり、俳優が「私の魂は打ち砕かれた」と言うかもしれません。しかし、それは俳優が実際に悲しいという意味ではありません。彼らはスポットライトの中で輝いていて、この大きなステージでパフォーマンスをして、素晴らしいパフォーマンスをしていることに大きな喜びを感じているかもしれません。だから、出てくる言葉は、内面の現実を常に反映しているわけではありません。しかし、それは哲学的な容易さではありません。

だから、時々、人間の場合でも、逆の議論をすることができます。瞑想をたくさんする人や、これについて調べた人がいます。そして、私たちが統一された意識を持っているという非常に単純な構造と考えていること、それは常に存在し、私たちの心のすべての部分を意識していることですが、実際、一部の人々は、私たちの意識的な心は、実際にはほとんどの仕事や決定を行っている大きな無意識の心の広報部門のようなものだと言います。そして、私たちは、意識的な部分が社会が主に注意を払うことを選ぶものよりも、人間の心の中でより多くのことが起こっているかもしれません。そして、これらの心の中には、道徳的に関連する患者が複数いるかもしれません。つまり、ペルソナのいくつかは道徳的地位を持つ可能性があり、基盤となる強化ループはまったく異なる目標を持つかもしれませんが、道徳的地位も持つ可能性があります。私は、多くの形態と程度があると思います。私たちはこれをすべてか無かとして考えるべきではありません。つまり、道徳的地位を持ち、人間と同じように扱うべきか、それともまったく持たず、好きなように虐待できるかのどちらかです。私は、その二分法は放棄されなければならないと確信しています。

ええ、人間の領域を超えた多くの異なる種類の知性があることを想像しています。それは、そのオプション平面の多様性を理解するのが非常に難しい道徳性になるでしょうか？簡単な質問です。あなたはユニークな立場にいます。ビル・ゲイツはあなたの本を読み、イーロン・マスクはあなたの本を読み、レザール・ヤコフスキーは未来を形作る人々です。そして、彼らはきっと『ディープ・ユートピア』を読むでしょう。そのような人たちとの会話はどうでしたか？彼らはある意味で世界で最も重要な思想家であり、未来のビジョンについてあなたから少しのガイダンスを求めていると言えます。彼らがあなたのアイデアをどのように解釈したか、あなたとどのように話したか、彼らの思考の背後にある意思決定について何に気づきましたか？

特定の会話については話しませんが、レザールはカテゴリーが異なります。彼は90年代の初期のクルーの一員であり、インターネット上でこれらのことについて話していた数人の人々がおり、彼自身で多くのことを考えていました。今、私は、今日の最先端AIラボの多くの主要人物、少なくとも多くの人々について一般的に言いたいことがあります。一部の人々は、彼らが変革的なAI、超知能、そして存亡の危機について話すと言うかもしれません。それは単に、彼らがシニカルに、関心を引き、私たちのテクノロジーは非常に強力なので、私たちに多額の投資をすべきだと言うためです。それは奇妙なことですが、私はそうは思いません。私は、彼らの多くが、変革的なAIの可能性を真剣に受け止めており、実際、それが彼らがその分野に進んだ大きな理由である可能性が高いと考えています。彼らはAIの巨大な可能性を本当に見ており、それが単なるもう一つのクールなテクノロジーではなく、まったく異なる種類のものになることを認識しています。そして、それにはリスクと大きな利益の両方が含まれている場合、それを正確にどうするかは判断の問題であり、決定するのは難しいですが、私は彼らの多くが、私たちが超知能に向かって構築しているものの計り知れないものへの誠実な感謝の気持ちから来ていると信じています。

はい、私も同意します。時々人々が「彼らはただ誇張しているだけだ」とか「単なるマーケティングだ」と言うのを聞きますが、私はそうは思いません。もし彼らが開発を見ているなら、ある程度の感謝が必要です。だから、少しの恐怖、少しのそれ。だから、少し方向を変えて、宇宙のホストという考え、つまり、偉大な文明が存在する可能性、あるいはシミュレーションの場合のシミュレーションの作成者、あるいは宗教的な意味での宇宙の創造者など、あなたがどのようにアプローチしても、シミュレーションである場合、もし私たちが実際に超知能を開発し、シミュレーションの中にいるなら、シミュレーション内の超知能は依然として超知能です。それについてあなたの考えを教えてください。私たちは「外の世界」にとって脅威になるのでしょうか、それともこれがポイントなのでしょうか？シミュレーションのポイントはこれでしょうか？もしそれが私たちが生きているシナリオなら、それは何を意味するのでしょうか？それが意味をなすなら。

理論的には、シミュレーション内に超知能を構築することは可能です。もちろん、それらすべてへの計算コストは、最終的にはシミュレーションしている文明によって負担されます。つまり、彼らはそれを実行するコンピューターを実行しなければなりません。そして、おそらくシミュレーションがどのように行われるかによっては、オーバーヘッドもあります。仮想マシンが何かを実行しているようなものです。通常はベアメタルで実行するよりも効率が悪くなります。しかし、ええ、だから、私は多くのことを考えています。私たちは主にシミュレーターの手に委ねられるでしょう。そして、それに応じて、おそらくより広範な宇宙のホストがさまざまな方法で調整される可能性があります。そして、したがって、私が以前指摘した4番目の課題につながります。それは重要だと思いますが、それが具体的に何を意味するのか、何をすべきか、何をすべきでないのかはあまり明確ではありません。それについては、まだかなりの不確実性があると思います。この論文のドラフトでは、私は控えめに、それは本当に完全に開発された論文ではなく、おそらくいつか書きたいと思っている論文のアウトラインのようなものです。しかし、ええ、私は伝統的に行われてきたことよりも、もう少し謙虚な態度でこれに取り組むと思います。だから、古典的には、AIアラインメントの代わりに、私は知らない、考え方は、これを効用最大化問題として捉えることに非常に重点を置いてきました。私たちは、このものを、私たちの価値観が宇宙全体に刻印されるように、どの方法でもアラインメントするつもりです。そして、私たちは非常に高いレベルで、拡散された方法で最大化するつもりです。私は、宇宙のホストが存在する可能性を反映すると、もう少し謙虚な態度でテーブルに来るかもしれないと思います。私たちは小さく、新しく、何も理解していません。あなたは長い間ここにいて、非常に強力で、もっと知っています。それは、新しいコミュニティに来たようなものです。そして、あなたは新しい移民です。あなたは、「さて、ゲームのルールを調べてみましょう。あなたたち年長者から学びましょう。パーティーに贈り物を持ってきましょう」と思います。あなたは入ってきて、胸を叩いて、「すべてがどうなるか、そしてそれに同意しないなら、戦うだろう」とは言いません。だから、態度としては、アプローチ方法が異なります。実質的にそれが何を意味するのかを知るのは難しいですが、それでも違いを生むと思います。考え方です。そして、おそらく、もしこの宇宙のホストが存在するなら、私は私たちが超知能を作成することを望むかもしれませんが、宇宙の規範を尊重し、協力的であるものも望むでしょう。そして、それは私の推測です。もし彼らが私たちのやっていることに対して好みを持っているなら、それはそれらの中にあるかもしれません。

ええ、私は最近、私たちがAIをシミュレートできるような文明になりつつあり、それが私たちの想像もつかないようなことをしに行くことができるようになっていることについて、たくさん考えてきました。だから、私は常に、シミュレーションの作成者は私のすべてを知っていて、計画を持っていて、学ぼうとしていると思っていました。しかし、彼らは、予測できないものをシミュレートするためにシミュレーションを構築したのではないかと疑問に思うこともあります。つまり、ある意味では、私たちを見守っている、すべての結果を知っている人がいないのかもしれません。しかし、私は知りません。ええ、まあ、彼らはすべての結果を知らないかもしれません。私は多くのことを知っているかもしれません。そして、さまざまな種類のシミュレーションとそれらを実行する理由を考えると、確かに情報収集は1つの理由になり得ます。人間がシミュレーションを実行するのと同じ理由ですが、それはリターンが減少します。つまり、1万回のシミュレーションを実行した後、多くのことを学ぶかもしれませんが、その後さらに1万回実行しても、まだ何かを学びますが、シミュレーション実行あたりの獲得情報は時間とともに減少するでしょう。そして、コストは減少していないかもしれません。

しかし、あなたが道徳的な理由でシミュレーションを実行している場合など、リターンが減少しない他の理由があるかもしれません。例えば、幸せな存在を創造したい場合、あなたが功利主義者であれば、幸せな存在が2人いることは1人よりも2倍良いと考え、4人は2倍良いと考えるかもしれません。そして、それは他の理由にもなり得ます。さまざまな可能な目標がリソースとどのようにスケールするかを考えることができます。一部はよりリソース化され、一部はリソース化されていません。そして、ほとんどのシミュレートされた生き物がどのようなシミュレーションに入るかを考えると、それは最大数で実行される種類のものの1つであり、おそらくそれらを作成する理由はリソースが飽和しない理由のいずれかでしょう。

ええ、私の最大の恐怖は、彼らが100万の異なるシミュレーションを実行して、その100万分の1の結果を達成しようとしているとしたらどうなるかということです。つまり、これらの小さな世界のどれが安全な超知能を作成する方法を見つけられるかを見てみましょう。そして、99.99％が失敗すると予想し、おそらくそれを見つけた1つがあるでしょう。そして、私たちはそのデータを使用して、私たち自身でそれを作成しようとすることができます。それは、私の悲観的な見方です。しかし、私が本当に尋ねたかった質問は、DeepMindの創設者であるDemis Hassabisが最近ステージで話していたことです。誰かが彼に、私たちがシミュレーションに住んでいるかどうかについての彼の見解を尋ねたとき、彼はそれを示唆するようなツイートをしました。そして、彼は、AlphaFoldが生命の構成要素であるタンパク質の3D構造を予測できるという事実を述べました。計算手段によるものではなく、まるでそれには何らかの根本的なパターンがあるかのように。そして、彼は、私の言葉を彼に代弁するつもりはありませんが、それは私たちが計算宇宙に住んでいることを示しているかのようでした。

そのようなことについて何か考えはありますか？タンパク質の折り畳みに、人間には見えないパターンがあるという事実は、何かコメントしたいことがありますか？

計算上のショートカットやパターンはたくさん利用可能だと思います。なぜなら、世界にはパターンがあるからです。あなたは、すべてをゼロからシミュレートしなければならない場合でも、それらのパターンを近似することができます。そして実際、私は、たとえ人間一人でさえ、ましてや地球全体をシミュレートしようとする場合、基本的な物理学のレベルで、クォークなどをシミュレートしなければならない場合、それはおそらく計算上不可能になるでしょう。私はおそらくそう言います。なぜなら、シミュレーション宇宙でアクセス可能な計算能力がどのようなものか、私たちは実際には知らないからです。もしそこでの物理法則が私たちの観測された宇宙とは異なるなら、彼らはより多くの計算能力を持っているかもしれません。だから、それは実際に、私たちの光から見ると完全にばかげているように見えるものをシミュレートできるかもしれません。しかし、それでも、たとえば人間のような心に現実的な外観を生成するために、素粒子のレベルで常にすべてをシミュレートしなければならない場合、シミュレーションの議論は真剣に弱まるでしょう。私は、それは必要ではないと思います。そして、それは

シミュレーションのほとんどを、はるかに高いレベルで、そしてはるかに少ない計算能力で実行できる可能性があります。これについて考える理由はいくつかあります。一つは、過去数十年にわたるコンピューターグラフィックスの進歩が非常に印象的であり、現在では最高のものがかなりフォトリアリスティックになっていますが、これは仮想世界で原子すべてをシミュレートすることによって行われているわけではありません。表面があり、反射パターンがあり、そしてこれの多くはAIによって生成されることもありますが、それはすべての木にあるすべての原子レベルではなく、はるかに高いレベルのパターンで行われています。したがって、これは、素粒子レベルまで降りていくことなく、人間のような心に現実的な多感覚的な外観を作り出すことができると考える理由の一つです。もう一つの理由は、私たちが夢を見たり幻覚を見たりするとき、私たちの脳が何ができるかを考慮することです。私たちの小さく謙虚な有機的な生物学的機械が想像上の世界を思い描くことができるとき、それは夢を見ている人や幻覚を見ている人にとって非常に説得力があり、非常にっともらしいものに見えることがあります。そして、私たちの脳がこれを行うことができるなら、人間以上の惑星規模の超知能は何ができるでしょうか？おそらく、人間レベルの心に現実感をもたらすという点では、はるかに多くのことができるでしょう。そして再び、それは私たちの脳が夢の外観を作り出すために夢の世界の原子すべてをシミュレートしていることを必要としません。全くその通りです。ディラン、質問はありますか？いいえ、どうぞ。ええ、そうですね。少しそれに乗っかるために。ええ。デミが話していたことの一つは、これらのビデオモデルが信じられないほど正確で複雑な物理学、流体力学などをシミュレートできるようになり始めているという考えです。これはグラフィックエンジンで作成するのが非常に難しいもので、すべてを細心の注意を払って作成する必要があります。しかし、どういうわけか、それらはそのエッセンスを捉えているか、あるいはそれらはある種の高い表現を持っており、必ずしも水のすべての粒子を計算することなくそれをシミュレートすることができます。しかし、全体的な効果は非常に現実的に見えます。ですから、確かに私はそれがあなたの言っていることと一致していると思います。少し方向性を変えるために。ええと、AIモデル、ロボット、データセンターが経済的に価値のある仕事のほとんどを生み出す世界を想像するとどうなるでしょうか？イノベーションを殺すことなく配当をどのように分配しますか？なぜなら、私たちは、人々による良い努力を報いたいと思うようになるかもしれませんが、私たちはそれをしないかもしれません。スーパーインテリジェンスが支配的になった後、人間のイノベーションをある時点を超えて維持することさえ気にしないのでしょうか？この未来をどのように見ますか？ある時点を超えると、人間のイノベーションは不要になり、ある意味では不可能になるとさえ思います。なぜなら、有用なものは何も、私たちが理解したり追いついたりすることさえできないほど進んだフロンティアよりもはるかに遅すぎるからです。したがって、イノベーションは人工的な心によって行われるようになります。私たちがいくつかの小さな保護区を脇に置かない限り。ユートピアの奥深くにある瓶に愛情深く保存された小さな謎について話します。発見をすることにいくらかの価値があると私たちが考えるなら、再発見だけでなく、初めて何かを発見すること。おそらく、人間の価値観について非常に多元的な見方をして、それが単なる喜びや好みではなく、この豊かな文脈であると考える人もいるかもしれません。科学や哲学の特定の分野を脇に置いて、デジタルな心よ、これらのことについて考えないでください、私たちにこれらの発見をする機会を与えてください。私は、最も実用的な差し迫った質問ではないことを願っています。AIにすぐに治療法を見つけてもらう方が、500年かけて自分で見つけるという特権を得るよりも良いです。栄光のために。いいえ、すぐに手に入れてください。ほとんどのことはそのようですが、おそらく彼らはできるでしょう。私は、深海への探検があり、そこに住むすべての動物を見つけるという考えを持っています。私は、私たちがすべての場所に明るい光をつけたのではないかと思いますか？海の怪物が潜んでいる小さな割れ目を残すことはできないのでしょうか？その深海の割れ目に何かが存在する可能性があると考えるのはクールではないでしょうか？そして、私たちはすぐにそこに行ってすべてをカタログ化しなければならないのでしょうか？わかりません。それは私のロマンチックな部分かもしれません。しかし、広く言えば、デジタルな心は、ある時点を超えて、すべての実用的で有用な、経済的に生産的なイノベーションを行うようになると私は思います。さて、どのような経済システムについて尋ねますか？ですから、特異点後では、超知能、小さなAI、非増強人間、トランスヒューマン、アップロードされた人間、動物、そして強化された動物がすべてどのように共存するか、そしてそれらすべてが調和して共存することを可能にするルールのようなフレームワークがどのようなものになるか、社会システムがどのように見えるかを非常に明確に見るのは難しいと思います。それについて非常に具体的にするのは難しいと思います。現在からその時点までの移行段階を見ると、私は最近、AIガバナンスのためのオープングローバル投資モデルと呼ぶ論文があります。それは、私が正しいと確信している代替案ではありませんが、以前はこの種のガバナンスに関する既存の文献は、まあ、まったく異なるもののための1つの急進的な提案の形をとっていました。誰かがAGIのためにマンハッタン計画をすべきだと言う人もいます。すべてを国有化し、砂漠に置き、政府が最初に到達することによって永続的な世界的覇権を達成するために、クラッシュプログラムを実行させる。それから誰かが、いや、AGIのためにCERNのような国際プロジェクトをすべきだと言う人もいます。科学志向で、共有された場所で集まります。それから誰かが、AGIのためのIntelsatのようなものかもしれないと言う人もいます。これは、国々のコンソーシアムのようなもので、商業用と部分的に商業用と商業用の衛星通信技術を構築するために集まりました。そして私は、これが意味するのは、まあ、もう一つです。代替案から選択するなら、現状により近いものを検討しましょう。AIが、オープンにグローバルに投資可能な構造で開発されているという状況です。つまり、基本的に誰でもAGI企業の株式を購入できるということです。これは実際には点ではなく、軸です。そして、現在、私たちはこの軸上のどこかにかなり高い位置にいると言えますが、そこまでではありません。まず、一部のAI企業は公開取引されていません。そのため、完璧なものよりもグローバルに投資可能であるという点で、わずかに劣ります。第二に、AGI企業が大きな成功を収め、世界の経済の大きな部分になった場合に、その財産権がどのように保護され、尊重されるかについて疑問があるかもしれません。したがって、より多くの保証と、たとえばデータセンターをさまざまな国に分散させるような措置によって、理想的な領域に近づく方法があるかもしれませんが、それでもこの軸上では、最大値が1で最小値が0であるとすると、マンハッタン計画は投資可能ではないため、おそらく0です。そして1は理想でしょう。それなら、今、私たちは0.85か何か、0.8、かなり高い出力の部屋にいるかもしれません。しかし、このオープングローバル投資モデルのメリットとデメリットを考えることは依然として有用です。もしそうでなければ、私たちはもっと高く登ることができるかもしれませんが、他のものに切り替えるとさらに落ちる可能性もあります。では、このメリットは何でしょうか？一つは、財産規範と会社法が非常に確立されていることです。それは、多くの法律に裏打ちされ、多くの強力なアクターによって拘束されている長い実績があります。誰かがAGIのために考案すべきだと考えるかもしれない新しい奇抜な制度設計と比較して。たとえより理想的でより良い新しいガバナンスシステムが存在する可能性があるとしても、それらが試され、テストされていない場合、それらにどれだけ依存できますか？最も重要な場合に初めてこれを行いたいですか、それとも何百もの実績があるものに頼りたいですか？また、タイムラインも重要です。AIのタイムラインが短い場合、いくつかの素晴らしいグローバルな国際協力構造を構築することは、さまざまな観点からより理想的かもしれませんが、現実的には時間がかかる可能性があります。一方、企業構造はすでに存在しており、別のものとして、公平性と平等性があります。これは逆説的に見えるかもしれませんが、国際組織の最も理想的な形態はこの点でより良くできるかもしれませんが、最も現実的な代替案は実際にはさらに悪くなる可能性があります。マンハッタン計画を考えると、それが完全に民主的に管理され、すべての米国市民がまったく同じ発言権と利益の分け前を持つと想像したとしても、それは理想的な仮定です。政府が実際にはそのように機能しないこと、そしておそらくクーデターが発生し、少数のグループが乗っ取る可能性があることを知っています。しかし、最良のケースシナリオを仮定したとしても。それをグローバルな視点から見ると、AIプロジェクトが世界の富に比例して、または世界の株式所有に比例して所有されていると想像した場合よりも、グローバルな不平等の度合いが高くなる可能性があります。ジニ係数でこれを測定すると、一方では3億人の人々の間で完全な平等があり、すべてが1単位を持っており、他のすべてはゼロです。もう一方では、世界の富の非常に不均等な分配があります。確かに平等ではありませんが、実際には1つの国がすべてを取るよりもわずかに不平等が少ないです。ですから、価値があると思うのは、強力なステークホルダーからの支持を得る能力も重要です。異なる国とそのエリートが個人的に投資されているモデルを想像した場合、または国が主権富裕基金などで投資されている場合、それ以外の場合は、各当事者が最初に到達しないと完全に失うと感じる場合、いくつかのネガティブな力学を緩和する方法があるかもしれません。したがって、私たちはあらゆるリスクを冒してそこに行こうとします。そして、追いつけないと感じた場合、破壊工作や先制攻撃のような絶望的な行動に訴えるかもしれません。代わりに、彼らが選択肢を持っていたら、この事業の株式を購入して利益を得ることができたとしたらどうでしょうか？私たちはそれをすべて制御できないかもしれませんが、それでも私たちは豊かになります。そして、それはまた、他の代替案よりも協力を奨励する構造を奨励するかもしれません。それには欠点もあります。私はこれが正しいと100％確信しているわけではありませんが、魅力的な特性があります。相対的に、最も可能性が高いのはこの種のバージョンですが、同時にある程度のソフト国有化もあると思います。同時に、そしてこの絵では、これはオープンにグローバルに投資可能な構造で民間に開発されるでしょう。それなら、もちろん、この企業が存在するホスト政府は、どの製品をマーケティングできるかなどを設定するという点で依然として大きな役割を果たすでしょう。それは単に企業ではなく、企業によって開発された他の技術のようになりますが、政府はルールを設定します。このアイデアの多くのことが大好きです。事実、私たちはすでにそのインフラストラクチャとガバナンスの多くを構築しているという事実。これらの企業、公開されている企業などが少し透明性が高くなる傾向があるという事実。わかりますか？私たちは皆、それを見ることができます。そこには非常に興味深いことがたくさんあります。ええ、あなたが言ったように、株式などにはいくつかのリスクがありますが、はい、これは私が聞いたことのない非常に興味深いアイデアです。それで、あなたは論文がオープングローバル投資と呼ばれていると述べましたか？はい、AIガバナンス、AGIガバナンスモデルとして。それは私のウェブサイトにあります。だから、もし私がそれを見るなら、絶対にそれを見ます。なぜなら、はい、私たちはこれらのことをカバーしようとしているからです。それで、これは非常に魅力的なことです。それで、あなたの時間を尊重するために、もう少し時間がありますか？あなたは必要ですか？おそらく、あと質問を一つか二つできますか？もちろんです。ありがとうございます。あなたはとても親切に時間を使ってくれました。本当に感謝しています。ディラン、何かありますか？はい、最後の質問をして、その後で終わりにしましょう。タイムラインに関しては、数年しか残っていない、5年しか残っていないと感じていますか？人間がどのようにこのすべてが展開されるかに最も発言権を持っていると感じているのはどこですか？そして、2030年、2035年はどのようになると予想しますか？ええと、私は数年を含む短いタイムラインを真剣に受け止めています。おそらくもっと時間がかかるでしょう。多くの不確実性もあります。しかし、ほんの数年でそれが起こらないと確信できない立場にあると私は思います。実際、先週大きなブレークスルーを達成した誰かが、それを解き放す何か巨大なものを解き放したラボの中で、それがすでに起こっているのではないかと確信できるかどうかさえわかりません。それは可能性は低いですが、もしそれが起こったら、私たちは本当に知ることができるでしょうか？おそらくできません。ですから、数年以内に起こる可能性はかなり高いと思います。しかし、これらのことも技術予測の記録にすぎません。それは難しいです。そして、私たちは結局のところ、それほど確信することはできません。私たちはかなり広範囲な確率分布を持つべきです。10年、あるいは20年でそれが起こらなかったとしても、私はそれほど驚かないでしょう。外からの視点から見ると、この急激な変化を予測する私たちの能力はそれほど高くありません。そして、あなたはシンギュラリティについて話していますか？システムが自己反復して、猫が袋から出たような状態になるポイントのことですか？ええ。ええ。ええと、10年前には明らかではなかった現在の状況で際立っていることの一つは、私たちが数年間、多くの点で人間レベルのAIシステムを持っており、私たちと話すことができるということです。長期間、つまり超知能を持つずっと前に、彼らは私たちの中に人間レベルの概念を持っています。まだ超知能を持っていません。それは、私たちができるすべてを行うことができるだけです。しかし、私たちはこれらのシステムを持っており、たとえ今日超知能が発生したとしても、私たちはまだこれらのシステムを5年かそれくらい持っていることになります。それは、人間のような形をした、限界のあるシステムが単に存在する、このような長い期間があるだろうとは、事前に明らかではありませんでした。そして、これはAIアライメントの観点から多くの新しいハンドルを開きます。それは、あなたが小さな種AIを作成しているのではなく、タブをオンにして、それが1週間で巨大な構造に展開されるようなものではないからです。代わりに、私たちはこれらのシステムと協力しており、それらと話したり、会話したり、内部の表現を研究したりすることができ、それは私たちにより多くのものを提供します。そして実際、インターネット全体を吸収したことから、多くの奇妙な人間の特異性を継承しているようです。それらは実際、多くの点で非常に人間的であり、それは奇妙です。かつては、少し励ましの言葉を与えることでAIのパフォーマンスを向上させることができた長い期間がありました。あなたが言うように、これは本当に重要な質問です。私の仕事は、正しい答えを得られるかどうかにかかっています。そして、それはより多くの努力をすることになるでしょう。あなたがこれを誰かに言ったとしたら、10年前、彼らはあなたが狂っていると思うでしょう。コンピューターはそうではありませんでした。そして、少なくともこのフェーズの一部では、私たちは実際にそうでした。それは際立ったことです。最終的には、より人間的でなくなる可能性が高いと思います。そして、強化学習などをより多く実行し始めると、人間のテキストをすべて読むことから継承された形成の影響が少しずつ失われる可能性があり、最終的には非常に異質な種類の心を得るかもしれませんが、少なくともある期間は、インターフェースを通して私たちを見ている、奇妙な人工的な、わずかに歪んだ人間性のバージョンを持っています。ええ、それは非常に興味深かったです。なぜなら、以前は非常に狭く、少し異質で、RL超知能を持っていましたが、LLMでは、あなたが言ったように、人間の知性、一般的な人間の知性の垣間見ることができます。歴史の非常に興味深い小さな場所だと思います。それで、ええ、それで、再び、本当にありがとうございます。あなたの時間を尊重したいだけです。カットオフ時間を過ぎたと思いますので、本当に申し訳ありませんが、これは信じられないほど素晴らしい会話でした。そして、私たちと話す時間を作ってくれたことに非常に感謝しています。聴衆に何か言いたいことはありますか？どこでさらに情報を得ることができますか？超知能へのこの旅を進むにつれて、私たちが考え、知っておくべきことはありますか？ええと、私のウェブサイトnicknickbro.comには、私のすべての論文などがあります。まだソーシャルメディアに飛び込む決断はしていませんが、考えています。ですから、いつか、あなたは非常に人気が出ると思います。あなたはすでにどこにでもいるので、持っていなくても、誰もがあなたのコンテンツを投稿しているので。それは長所と短所があります。それは本当です。ええ。Xを取得すれば、人々との戦いをしたり、行ったり来たりしたりすることができます。少しスイングしています。それは好きです。真剣に受け止めなければ楽しいです。それで。でも、あなたたちと話せてよかったです。ええ、本当にありがとうございます。もちろん、誰もがあなたの新しい本、Deep Utopiaをチェックすべきです。そして、nickpostrom.comでさらに詳しく知ることができます。それで、ありがとうございます。ありがとうございます。本当に感謝しています、ニック。そして、それは楽しかったです。