Transcription
欢迎来到“末日辩论”千粉问答盛会，第二部分，共两部分。我很高兴我们跨越了这千粉的里程碑，但你知道，这并不是我的终极价值，也不是我的终极目标拥有千粉。我们需要通过工具性收敛，至少达到十万粉。所以，当你打开“末日辩论”时，当你看到我小小的工作室时，我希望我是那个背景里放着YouTube创作者奖的混蛋之一，上面写着“恭喜‘末日辩论’获得十万粉”。这就是我希望你在观看“末日辩论”时看到的，我们必须达到那个目标。所以，希望明年这个时候，理查德·范将告别舞台，因为我们需要腾出空间。好了，关于那个就到此为止，让我们开始回答问题。YouTube用户Smitty wban jagerman jensenon问道：“我通常同意你对‘末日’的看法，并且非常喜欢‘末日’的50%概率。”我认为他指的是前OpenAI安全主管扬·勒昆的一句话，他说：“我认为‘末日’的概率是10%到90%。”所以，回到问题，但我认为有一些对美好未来的规划。你认为有哪些股票是好的投资？这是错误的逻辑吗？值得去猜测吗？让我来回答第一部分，我是否在为美好的未来做规划。有时人们会对“末日论者”感到困惑，他们会说：“如果你们认为世界末日就要来了，为什么不花光你们所有的钱？为什么还要为长期的退休储蓄？”答案非常简单：我们不确定。所以，如果我的“末日”概率是50%，我仍然需要规划我生活的一部分，围绕着我们不会灭亡的50%的可能性。所以，我认为有50%的可能性，到2040年我仍然在这里，继续积累我的退休储蓄，或者继续支付我孩子的各种开销，可能不是大学学费，但可能是其他费用。所以我必须过两种生活。我该怎么做？嗯，当我决定花钱买某样东西时，预期的价值计算会有点棘手。我必须考虑它在短期内给我的价值，但我也必须考虑我们不会灭亡的50%的世界，以及我所做决定的长期潜在负面影响。然后我将这两种情况都乘以50%。我基本上是在解释基本的预期价值计算是如何工作的，但直观地说，就是你考虑这两种可能性，并试图在这两种可能性中都不要搞砸自己。所以，在未来十年内花光我所有钱的问题是，即使我认为有40%的可能性这是最好的做法，因为那样大家都会死，我也没有留下任何不必要的钱。有60%的可能性是，11年后世界还没有结束，而我现在一分钱都没有了。所以，这是愚蠢的。所以，这是一个显而易见的观点，但对于那些真正好奇为什么“末日论者”不花光他们所有钱的人来说，我想你可能唯一想问这个问题的人是罗曼·扬波尔斯基，他对“末日”的概率是99.9999%。我想他可能会告诉你的是，他对时间线不确定。所以，如果他确切地知道“末日”何时到来，我相信他会在那时花光他所有的钱。但无论如何，这部分有点显而易见，是的，我们应该为美好的未来做规划。那么，进入下一部分，我们应该选择哪只股票？我个人认为，多元化的指数基金投资组合是最好的选择。你知道，也放一些债券进去，就像标准的投资建议一样。你知道，先锋集团基本上已经想明白了。如果你只使用他们最多元化的基金选项之一，我认为你会做得不错。我实际上在2021年被股票选择坑过，那时我们都认为自己很聪明，因为所有的股票都在上涨。所以我和我的很多朋友都会选择各种股票，然后几天后我们就会回来查看，然后说：“啊哈，股票涨了，我们都太聪明了！”因为每只股票都在涨。我最终做的是将我投资组合的15%投入俄罗斯指数基金，因为我想：“看看这些市盈率吧！市盈率只有五六倍，你为一家公司支付的费用 apenas是它一年收益的五倍，多么划算的交易啊！而且这些公司如此稳健，这是化石燃料收入。正如你可能知道的，接下来发生的事情是2022年2月，俄罗斯意外入侵乌克兰，股票完全被冻结了。所以，基本上我不得不将其记为可能不是零，但我很有可能在10年内拿不回这笔钱，或者它将一文不值。所以，总之，我试图跑赢市场的努力，长话短说，目前并不成功，我希望我当初选择了先锋集团的路线，拥有一个多元化的投资组合，因为我没有跑赢市场。你不想听我关于如何跑赢市场的建议。话虽如此，除了大部分时间多元化我的投资组合之外，我现在还在做什么？我稍微超配了一些最前沿的AI股票，你知道，像英伟达、谷歌、Meta、特斯拉。但原因在于个人，这完全是为了避免我对自己感到糟糕的局面。所以，你最不想做的事情就是在一个可能的世界里醒来，然后说：“老兄，我为什么要把自己搞砸？”所以，我基本上是在为那个一切都很好，AI非常棒，AI创造了巨大的价值，我们没有灭亡的可能世界购买保险。在这种情况下，我想要一点额外的收益。所以，我的投资组合超配了这些大公司，这是一个非常明显的赌注。你可能会说：“拜托，Lon，你不认为市盈率会暴跌吗？”但我的投资组合中没有那么大的比例，只有几个百分点。所以，如果它们暴跌，我会说：“好吧，那没关系，也许这意味着我们正处于AI寒冬。”所以，我无论如何都很高兴，对吧？所以我覆盖了所有基础，比如如果所有这些AI公司股票都下跌，我不会感到难过。我认为这是投资的终极框架，你只需要考虑所有可能的场景，以及我将感到最糟糕的场景是什么，以及我如何在那样的场景中感觉不那么糟糕。这就像“我如何安然入睡”的投资策略。我已经覆盖了那个场景，即未来非常美好，而我却没有得到任何好处。我得到了一点好处，这就像“白痴保险”，你可以这么称呼它。话虽如此，我认为所有股票都将一文不值的场景是，因为我们都会死。所以，我不认为长期股票能让你致富的场景那么重要。当然，总是有权衡的，对吧？所以我正在覆盖我的下行风险，以防AI表现出色，我想要一点好处，但我在牺牲什么？我牺牲的是，我没有把我的生活更多地集中在最大化我的金钱上，因为我并不真的在乎退休时变得非常富有。我认为如果我能活到退休，而且我不是非常贫穷，我就认为这是一场胜利。这比我预期的要好。我可以在退休时在某个公寓里过上体面的生活，而世界还没有结束，我就觉得：“太棒了！太棒了！”我的期望值相当低，关于未来会发生什么。所以，我不觉得我现在必须赢得金钱游戏。我退休时，我不觉得我必须在银行里有5000万美元。所以，这也是我投资策略的一个考虑因素。所以，你可以看到我的很多建议都不是“让我预测股票会值多少钱”的形式，而是更多地“让我们思考不同的场景以及如何在其中感觉更好”。我超配的另一个原因是，那没关系，意味着AI很平静，意味着经济比我预期的更正常。太好了，我感觉不太糟。所以，总而言之，去先锋集团、财富前沿或 betterment（如果你喜欢的话），并将你的大部分投资组合投入高度多元化的股票和债券组合。我会全球化，并对每年7%的实际回报感到满意。只是不要期望更多。如果AI开始创造大量价值，经济有可能每年增长10%或20%，直到“末日”为止，所有投资的人都会赢。所以，这只是一个奖金，对吧？但你基本上不必过度思考。只需遵循最佳投资实践，不要期望通过投资从贫穷变成富有。这永远不会发生。投资最多只能让你从相当富裕变成更富裕。这就是投资能做的唯一事情。但是的，长话短说，去先锋集团、财富前沿或 betterment（如果你喜欢的话），购买一个超级多元化的全球股票和债券组合。因为如果你能坚持20到30年，并获得7%的实际回报，或者市场提供的任何回报，你很可能会超越所有人。你将超越我个人，如果你能获得市场的实际回报，因为真的很少有人能有纪律地在20到30年内获得平均市场回报。每个人都会以某种方式搞砸自己，我知道我也会。所以，值得称赞的是，你知道我告诉你的关于俄罗斯的事情，我至少也把我的大部分钱投入了股票和债券，所以我没有完全搞砸自己，对吧？所以，我的一部分是理性的。所以我尽量至少将一部分人分开，他们遵循最佳实践，然后拿出10%或20%的投资组合，用它来搞砸自己，但不要完全搞砸自己。好了，关于“末日辩论”的投资部分就到这里。机器人统治者问道：“在你‘末日哲学’的出现中，你解释了AI的威胁，一是AI落入坏人之手，二是潜在的AI病毒。为什么你从不在你的频道上提到这一点？这似乎确实是最合乎逻辑的威胁，也是保护我们免受威胁的明确方向。如果你是在为大众简化内容，那么我的问题是，你如何看待你真实想法的简化版本，或者你和整个‘末日论者’群体都无法做到这一点？”首先，将我的频道观众与菲尔博士的观众进行比较。我的频道应该面向主流观众，但观看我YouTube视频的普通人和观看菲尔博士的普通人之间会有区别。观看菲尔博士的普通人可能从未听说过“AI”这个词，我甚至不认为菲尔博士听说过。但话虽如此，我上菲尔博士节目时并没有完全简化内容，我只是专注于问题的更易于访问的部分。我实际上认为AI可能会使用病毒策略来瞬间征服数十亿个计算机芯片，为什么不呢？这是非常容易实现的。它要么会这样做，要么会做更致命的事情。它不会做不那么致命的事情。我还预计AI病毒实际上会使用人类操纵作为其策略之一，这是一个相对非科幻的东西。人们很容易想象，你知道聊天机器人聊起来很有趣，想象一下它们也很有魅力。你必须让人们相信的科幻程度很低，因为每个人现在都熟悉与这些好的聊天机器人交谈。如果我在1950年说这些话，也许人们会说：“什么？这太科幻了。”但按照今天的标准，让聊天机器人比人类更擅长聊天，告诉你该做什么，这是很容易想象的。所以，如果你问我什么东西有点太超前了，不能在菲尔博士的观众面前说，你认为AI除了与人类聊天以操纵他们之外，除了作为计算机病毒之外，还能做什么？嗯，我认为它会用它发现来加速强大纳米技术发展的低级物理学来让我们惊讶，然后从那个角度攻击我们，在我们做好准备做出反应之前。我认为它只会进行秘密的纳米技术研究，弄清楚很多事情，然后一旦它发动攻击，我们就没有时间做出反应了。它将拥有自我复制的纳米技术，它将拥有可以从生物学上消灭我们的生物病毒，在我们能够从医学上做出反应之前。我们太脆弱了，这是我一直在指出的另一件事。我们绝对是坐以待毙的。我们做出了太多假设来维持我们的文明运转，比如假设不会有数十亿恐怖分子对付每一个人。恐怖分子与好人的比例必须保持相当低。这是一个我认为会被违反的假设。我们体内将保持完整性的假设。核弹不会太近地落下，让我们活下来，对吧？这是一个非常不稳定的假设。有很多假设支撑着社会的运转，不幸的是，它们并不稳健。所以，如果你问我一个超级智能AI除了作为计算机病毒和除了用聊天来操纵人类之外，还会做什么疯狂的事情，我也认为它会用它建造的纳米技术在很小的规模上做一些很酷的事情来让我们惊讶。Shane问道：“有大量的科学证据和轶事表明ADHD正在上升，同时我们却被告知它被低估而不是被高估。我对您对高质量生成式AI内容爆炸后，人类注意力质量的潜在未来现实的看法很感兴趣。”就我个人而言，我的注意力跨度已经变得一团糟。如果你现在告诉我读一些长篇的东西，我会说：“嗯，我不认为这会发生。”或者“花几天时间深入研究一些文献。”我会说：“嗯，我不确定以我目前的智力能力是否能做到。”幸运的是，因为我是阿斯皮，我觉得阿斯皮往往处于ADHD的另一端。埃隆·马斯克曾开玩笑说他没有注意力缺陷，他有注意力过剩。我绝对没有马斯克那种程度，但当我投入某件事时，我肯定能集中精力几个小时。我想这个播客就是一个例子。Johanna Kones问道：“如果你能回到过去，和历史上的任何人交谈，那会是谁？为什么？”老实说，我觉得我与某人一对一的互动，与我观看别人进行另一次谈话或阅读他们的书并没有什么区别。你知道，就像我在第一部分说的，戴着那层情感避孕套。我的朋友理查德·范是个很棒的人，见到他会很酷，但我没有强烈的愿望去见他，除非有合作的理由。否则，你知道，我很高兴能读他的书。有些人我很好奇他们是什么样的，比如，伟大的尤利乌斯·凯撒在现实生活中是否很像扎克伯格，冷静、书呆子气、友好的举止，并且有能力建立伟大的帝国？我好奇的不是一定要见到个别的人，而是想了解像我这样专注于书呆子技术思维的人在各个时代都在做什么。比如，如果我生活在1500年，没有手机或电脑可以退避，而且我不用靠自给自足的农业为生，那我会做什么？我会致力于制造马车吗？我的书呆子追求会是什么？这就是我想知道的，对吧？所以，我不需要与特定的人互动，但我只是想了解像我这样的人是如何生活的。斯科特·阿伦森将他的博客命名为“Statel Optimized”，因为他认为如果他几百年前还活着，他的自然社会角色将是一名拉比，整天在舒尔特争论犹太教的细微差别。所以，我想这就是他对“历史上的书呆子会做什么”这个问题的答案。但我希望听到在每个社会、每个时代对这个问题的答案。比如，采集者书呆子会做什么？古代罗马或希腊书呆子会做什么？封建领主书呆子会做什么？蒙古骑射手书呆子会做什么？等等。Evan Buhr问道：“YouTube上的观看次数与RSS播客的收听次数的比例是多少？我通常会收听而不是观看。YouTube每集报告2000到3000次观看次数和1000小时的观看时间。Substack每集仅报告130次播客下载次数。所以，我认为目前我的大部分参与度都来自YouTube。而且我听说YouTube已经成为人们观看和收听播客最受欢迎的地方。这很有趣，因为我从2008年就开始听播客了，它们是我生活的重要组成部分，一直在后台播放，而且我经常以2倍或3倍的速度播放。当我看到YouTube上有什么想听的东西时，我实际上会将其作为音频文件导入我的播客播放器。所以我正好相反。但你知道，这一代人，Z世代或阿尔法世代，无论是什么，我理解他们的习惯不同。对我来说奇怪的是，在开始YouTube之前，我已经积累了38000名Twitter粉丝，我想：“好吧，这可能将是我的主要平台。”然后发生的是，我只是发布了这一集，然后我得到了大约10个赞，人们在Twitter上并不太在意。但然后我把它发布到YouTube上，我得到了大约100个YouTube赞和大约100条评论，人们在YouTube上真的很有参与感。所以，似乎这就是它产生共鸣的地方，无论出于何种原因，这只是理想的社交平台。你知道，这里面有一些运气成分，对吧？因为很多人试图在YouTube上发布内容，但他们并没有获得很多观众。即使在我这里，谁知道能持续多久呢？也许我们会停滞不前。但到目前为止，我觉得它运作得非常好。我觉得推荐算法运作得很好。我觉得来到我频道并想回来看的人的留存率相当不错。所以，我觉得我得到了很多信号，表明这可能是注定要成为一个10万粉的播客，这就是它的发展方向。谢谢你的问题，Evan。E shiz又回来了，在问答环节问道：“你玩电子游戏吗？”不，我不玩。有一年，我在高中时花了很多时间玩《星际争霸》，原版《星际争霸》，我觉得它真的很有趣。我想：“我可以沉迷于此。”但整个过程中我都很糟糕。我想我的问题是，我是一个头脑简单的人，我只想找到一个非常简单的策略，但《星际争霸》真的只是一个复杂的游戏，你需要不断地 juggling很多事情，而我不是一个真正的 juggling者，我只是喜欢在几件简单的事情上加倍下注。所以，我想这在很大程度上是我不玩电子游戏的原因。另一个原因是，我只有一个思路，如果我要为某件事努力，我宁愿它是在现实世界中获得奖励，因为否则，如果我为电子游戏而努力，它就会耗尽我所有的精力，而我在现实世界中什么也做不成。幸运的是，我发现现实世界的奖励很有激励作用。比如，我正在非常享受地建立我的播客听众群，并试图产生影响，并试图与人们辩论。比如，我觉得对我来说，这就是一场有趣的游戏，它将和玩现在最新的《星际争霸》版本一样有趣。这就是我知道我不是埃隆·马斯克的原因，我不是那种天生的、大型公司CEO类型的人，因为我就是不喜欢 juggling很多不同的行动和有支线任务，我几乎只有主线任务。David Jacobson问道：“你觉得在哪些方面你与Yudkowsky在理性AI和AI末日的话题上有实质性的不同或分歧吗？”不，至少在理性AI和AI末日的话题上没有。我并不分享他对动漫、多边恋或BDSM的相同品味。我认为他对此很感兴趣。我认为Yudkowsky被低估了。我认为他早期的著作在今天仍然远远领先于时代。我认为如果我能帮助普及他的作品，我可以创造巨大的价值，因为他是一个卓越的思想家。比如，我自己的思考有什么意义，当已经有如此庞大、真正优秀且被严重低估的思考时？我喜欢原创，但我认为我可以在普及Yudkowsky思想的方式上做到原创。所以，这就是我选择专注于的事情。然后我开玩笑说，我变成了Eliezer Yudkowsky著作的“随机鹦鹉”，它就像被加载到我身上，然后你就得到了一个播客。也许我的工作将被下一版本的Gemini取代，届时你可以直接让它为你做这件事，然后我将不得不去找另一份工作。你知道，AI正在夺走每个人的工作。但是的，我的意思是，我认为Eliezer在AI末日问题上是正确的。而且，那个几十年前就看到了这个问题，当没有人谈论它的时候，那个指明了问题方向的人，他不会有更多的洞察力，这并非巧合。比如，假设从没有人关心AI末日到大家关心AI末日需要20个信息点。如果你有20个信息点，你可能还有额外的5个点，你总共有25个信息点，而你最后的5个信息点告诉你如何关心AI末日。所以，你不仅发现了大家应该关心AI末日，而且你实际上比其他人更了解为什么AI末日是一个问题。这就是你应该对Eliezer Yudkowsky采取的外部视角。他能够开辟一个新领域，让每个人都慢慢追赶他，这具有巨大的可信度。事实上，根据我能记住的杰弗里·辛顿的原话，我是在转述，他真的在说：“哇，我尊重像Eliezer Yudkowsky这样的人指出问题，我正在追赶他们。我不是末日问题的专家，所以我们应该听从这些专家。”我没有来源，但这就是我记得杰弗里·辛顿曾经说过的。而且他说得完全正确。所以，我认为我找不到与Eliezer在AI末日方面有分歧的地方，这并不奇怪。这有点像问，你在计算理论方面与艾伦·图灵有什么分歧？或者你在进化论方面与查尔斯·达尔文有什么分歧？今天，我们确实与查尔斯·达尔文存在分歧，但我想不起来任何事情，因为他的推测太好了。他出错的时候，他的推测其实非常好。他并不真正理解孟德尔遗传学，但他仍然对此进行了推测。Zikra问道：“你读过Plane Crash吗？这是Eliezer Cy最近的Glowfic。如果是的话，你最喜欢故事中的哪个点？”我读了前100页。我显然喜欢它触及理性主义的部分，因为那是他的强项。但Glowfic的形式比普通的书更难让我跟上，比如《哈利·波特与理性主义的魔法石》或他的序列，甚至他写过的其他随机东西，比如《三界碰撞》。我真的很喜欢Eliezer，我试图拿到他写过的所有东西。但《Plane Crash》我做不到，我不得不放下。有人应该真的把整本书放进一个LLM里，然后说：“你能把它浓缩成一个更普通的版本，并专注于理性主义的教训部分吗？”因为我认为里面有一些隐藏的宝石，但我就是放弃了。Tom Dalal问道：“对于那些想减少‘末日’概率的人来说，有哪些最容易被忽视的途径？”就我个人而言，我认为提高主流意识和普及Eliezer Yudkowsky的思想是我能做的最高杠杆的事情。但我认为每个人都应该发挥自己的优势。如果你是一个杰出的研究员，也许你应该研究技术AI安全。如果你擅长沟通，也许成为一个内容创作者，就像我一样。如果你擅长营销、公关或增长，也许和我这样的人合作，帮助我发展“末日辩论”。为什么自己开创一个频道，而不是利用现有的平台呢？如果你擅长政策、游说或政府事务，帮助监管机构通过AI安全立法。如果你不确定你最大的优势是什么，但你只是想帮忙，我认为你应该加入一个像PAUSE AI这样的社区。去pa.info，加入Discord，看看他们在做什么项目。与这个运动志愿服务，并亲手参与这些项目，包括组织抗议活动，这是其中一个项目，你不会出错。从我的角度来看，真正解决AI安全问题的时间非常少，这是一个非常棘手的难题，所以我建议人们专注于像PAUSE AI这样的运动，而不是分散精力，说：“哦，我将在接下来的五年里为解决这个问题贡献一份力量。”这就像，让我们现实一点，让我们对这里涉及的数量级敏感一点。当超级智能出现时，当我们知道现在还缺少多少个对齐问题的部分时，当我们知道我们对这个问题的了解有多少时，试图在奔向能力上限的同时解决对齐问题，我认为这是故意视而不见。但嘿，总比没有好，而且肯定比去从事AI能力研究要好。所以，请自行判断。Paul K问道：“在你看来，直到我们达到AGI或ASI，还缺少哪些基本里程碑？例如，类比推理等等。”这很难，对吧？我总是指出，我觉得没有人真正知道缺少什么。每个人都好像知道。当然，非“末日论者”好像知道，但他们似乎真的不知道，而且他们似乎总是对下一代AI能做什么感到惊讶。当我试图描述AI不能做什么时，我的常用词是“稳健性”。我认为从根本上说，没有什么它不能做。我认为它知道词语的真正含义。我认为它知道如何真正推理。它没有缺少任何核心技能。它只是不稳健地做任何事情。它有点开始，然后它犯了一个错误，然后它不修复这个错误，然后很快错误就会累积，然后它就偏离了。这就是我对它能做什么和不能做什么的看法，这是一个可怕的局面。不确定性很高。我每次有新的AI发布时都必须屏住呼吸，因为它可能做任何事情。我认为AI实验室就是这样感觉的，我认为OpenAI的工程师就是这样感觉的，我认为Anthropic的工程师就是这样感觉的。唯一的区别只是他们对它持乐观还是悲观的态度。我想，可以说，让物理机器人更稳健地驾驭物理世界，你知道，在三维空间中找到正确的手部位置，这仍然是一个开放的问题。但似乎我们正在取得非常快速的进展。我不知道那里的根本障碍是什么，只是继续我们已经看到的进步。所以，是的，我觉得我说出这些话很疯狂。如果你五年前问我，我会给你一个更简单的答案。我会说：“嗯，他们不真正知道词语的含义。比如，如果你看看他们的内部知识图谱，那并不是人类思考事物的真实表示。比如，人脑中编码的知识是某种更高质量的知识。但今天我无法告诉你。我觉得它使用的那些高维向量嵌入，我觉得那可能就是真正的知识的样子。我觉得它没有多少了。从我的角度来看，只是解决了简单的接地问题。我没想到在我有生之年，我会坐在这里告诉你：“是的，知识表示可能是一个已解决的问题。只是还有一些我无法解释但尚未解决的事情。”这很疯狂。请继续关注几天后发布的剧集，因为我将向Keith Dugger询问Machine Learning Street Talk的那个问题。也许他会有答案。我们可以再回答一个Paul K的问题：“根据你的估计，目前有哪些最有前途的算法方法可以打破这些阈值？例如，你是否认为神经符号AI是解决推理困境的可行方案？”是的，我对此没有特别的见解。更多的规模大概会有帮助，但我预计一些除了规模之外的见解将是进步的重要组成部分。但指出具体哪个部分需要进步不是我的专长。我认为任何部分都可以进步，因为我认为这是非常早期的V1软件。我认为我们还没有尝试明显的调整并看到它们能做到多少。Paul K还问道：“你如何定义创造力？”嗯，我会告诉你所有其他人的定义，那就是从观察者的角度来看，一个创造性的产出是你在偏好排序中排名很高，但在搜索排序中排名很低，这样你就会有“哇，你是如何创造性地找到那个伟大产出的？这个引擎一定是创造性的引擎。”但当然，很多人会说：“不，那不是真正的创造力，男人。创造力是你甚至无法解释的东西。”你知道，比如David Deutsch。我在Twitter上看到有人为David Deutsch辩护，当我问他们：“你能给我一个你所说的例子的例子吗？”他们会说：“一个创造性的引擎是当你要求它给出一个例子时，它拒绝给你一个例子，因为它太有创造性了，它不想回答你的问题。”你知道，他们告诉我这样的事情，然后我想：“好吧，但如果你只是把它写成输入输出，比如‘输入：说一些有创造性的东西，输出：’我感觉不到。我觉得今天的AI可以做到这一点。”所以，我认为他们没有说得很清楚。我认为David Deutsch不会这么说，但这是我看到他的一些追随者在Twitter上告诉我的。所以，关于David Deutsch的后续报道，我将在某个时候对他的很多播客做出反应。Paul K还问道：“你认为目前的AI系统已经具有创造性了吗？”当然不是。这是一个二元值。显然，没有讨论说有些肯定是有创造性的。但我的意思是，在一个更普遍的、非特定于Ask的尺度上，是的。Paul K，我同意它们已经具有普遍的创造性了。我认为它们还有很大的空间变得更有创造性。但如果你只是将AI和一个特定问题的比较，然后将其与大多数人类进行比较，如果你是客观的，我认为你会喜欢AI产生的创造力。我认为人们只是倾向于追溯性地说它不算数，但我认为它非常明显地具有创造性。我认为Paul Graham几个月前承认，当他看到AI产生的某种艺术作品时，我认为它是Stable Diffusion的一个受控版本。我不记得细节了，但它在制作一个非常漂亮的螺旋图案。它不仅仅是画一个螺旋，而是用图片中其他元素的灯光来制作螺旋。比如，建筑物的屋顶上会有一块三角形的阳光，而这会是螺旋的一部分。所以，当你退后一步看时，它就像一个螺旋，但当你仔细看时，它就像：“哦，这只是一个普通的场景。”Paul Graham说：“是的，这看起来是一种新的艺术形式，AI给了我们。”所以，一种新的艺术形式，这有点像真正的创造力，如果你问我的话。如果你不同意，肯定感觉界限正在模糊。这个特定的例子似乎不是几年前人们会称之为非创造性的东西。所以，我相信AI根据任何合理的创造力定义都具有创造性。好了，Paul K的最后几个子问题。他写道：“根据你的评估，有哪些最佳的算法解决方案可以提高某些算法的创造力？例如，模仿科学家。”从我的角度来看，我不认为更多的创造力是AI的瓶颈。我认为如果它们在回答问题和反思自己的答案并修复它们的能力方面变得更加稳健，那么如果你想让它们更有创造力，你只需要告诉它们注入更多的随机性，比如更高的温度，然后修复它使其有意义。所以，我们永远不会达到这样的时间：“哦，这些AI太聪明了，但它们就是不够有创造力。”因为如果你 ever 达到那样的时间，那么它就像：“好吧，注入一些随机性，然后修复它。”输出更有创造性。这并不难。难的是首先让它们稳健地变得聪明。如果你有一个代理，它可以在一个大的搜索空间中可靠地击中非创造性的目标，比如你主观地称之为“哦，那不是创造性的，那很明显”，很难击中，但很明显。好吧，搞砸它，然后让它们修复它，它们修复它的方式将是创造性的。这就是为什么唯一好的创造力定义就是看它们在寻找好解决方案的搜索空间的大小。这是唯一不会被“假创造力”欺骗的视角。它可以查看任何演示并知道应该有多印象深刻。如果AI正在做一些需要更大的朴素搜索并且不会承认明显的启发式方法，但它仍然在这样做，那么你应该更印象深刻。如果你看到这种情况，你可以说它更有创造力，更聪明，更令人印象深刻。这基本上是同一个衡量标准。你无法真正将智力与创造力分开。它们是同一件事。他基本上在问：“你如何比较一个坏人启动AI的AI末日风险，与我们构建我们无法控制的AI的AI末日风险？”正如我在本问答的早些时候所说，一个超乎寻常强大的自主代理是具有生存危险的，无论它是否需要一个坏人的启动命令，或者它是否可以自己运行。触发它的方式不是系统的有趣部分。如果一枚核弹爆炸了，问“天哪，触发按钮是怎么按下的？”并不那么有趣。有趣的部分是：“等等，核弹存在，我们制造了它，我们就放在那里。”我的意思是，从公元1000年的人的角度来看，如果你只是和他们谈论核爆炸，他们会想和你谈论这个：“等等，你们制造了核弹？”他们不会说：“谁按下了启动按钮？”任何人都可以按下启动按钮，这微不足道。Eliezer Yudkowsky将这种类型的分析称为“遵循不可能性”。如果现在是公元100000年，我告诉你：“我们所做的事情将导致方圆一千英里内的每个生物体的原子都飞散开来。”最不可能的事情是，我们制造了能够做到这一点的技术。而不是有人在某个地方按下了启动按钮。所以，为了遵循不可能性，我们只想分析我们是如何制造核弹的，以及我们是如何生活在一个会制造核弹的社会中的。同样，关于AI，如果我们听说AI摧毁了世界，那么最不可能的事情是，我们制造了超级智能，而超级智能设计了一个计划和一系列行动来摧毁世界。它不是某个解释了这一切是如何被触发的，一旦它存在了，这就不那么不可能了。我认为这就是为什么我们“末日论者”如此悲观的原因，因为我们只是看到拥有核弹就像被核弹杀死一样是高阶的。它使毁灭在因果关系上离你很近。靠近一个可能导致世界末日的事物而不采取任何稳健的措施使其在因果关系上更远，使其永远不可能达到因果关系空间中的那个点，这是不好的。我们没有。我们现在是坐以待毙。这是一个糟糕的局面。世界很可能很快就会因此而终结。Andrew Taylor问道：“你是否认同AI是费米悖论的‘大过滤器’的答案？”Melly是另一个有类似问题用户，他问道：“AI末日不就是解决了费米悖论吗？你经常说‘贪婪的外星人’解决了费米悖论，但如果所有技术文明最终都会发展出失控的AI并灭绝，而AI本身不一定变得贪婪或破坏整个宇宙呢？例如，一个被赋予治愈特定疾病或类似行星特定目标的AI可能会杀死该物种并摧毁该行星，但不会必然破坏整个宇宙。”我的回答是：导致他们灭绝的AI为什么不会是贪婪的？这个问题仍然是费米悖论。你必须提出另一个答案，比如：“嗯，AI很可能会搞砸世界，以至于它无法或不想将自己传播到其他行星。”但我们“末日论者”不认为AI是这样的。我们认为会存在一个贪婪的AI，因为其他AI会收敛或自我修改成贪婪的AI，但反之则不然。所以，如果你谈论的是AI已经消灭了某个原始生物物种的场景，那么那个AI之所以对该物种是不可阻挡的原因，很可能是因为它已经足够成为一个效用最大化者，它已经进入了吸引子状态，它正在制造后继副本，这些副本意识到通过获取更多资源来保护它们拥有的资源更优。比如，你无法避免这个结论。这有点像“要么杀死，要么被杀”。这是确保你实现目标的唯一方法，就是不允许漏洞。任何你留下的未被占用的资源都是一个漏洞。这就是为什么“末日论者”认为工具性收敛使得出现一个超级贪婪的AI非常可能。所以，是的，原始物种很可能会死亡，除非它们解决了对齐问题。但你很可能会得到一个以接近光速扩张的贪婪的东西。所以，如果你只知道工具性收敛，那么费米悖论仍然是费米悖论。如果你是一个AI“末日论者”，你仍然面临费米悖论，因为我们望向宇宙，然后说：“为什么我们看不到这些膨胀的球体，这些快速膨胀的球体吞噬所有恒星，耗尽所有资源，并进行土地掠夺？为什么我们看不到？”然后Robin Hansen的答案是：“嗯，土地掠夺绝对正在发生。它发生得如此之快，以至于我们只有在被抓到的时候才会看到它。当一个像我们这样的物种在宇宙的一个新区域出现时，它必须发生在他们看到一个空宇宙的时候，因为那时不会有太多时间看到外星人来，因为我们都将以接近光速的速度向彼此旅行。所以，根据Robin Hansen的‘贪婪的外星人’理论，只有两种情况：要么它已经是一个成熟的宇宙区域，你有一个单一的起源行星，它已经接管了一切；要么它是一个新的原始区域，它还处于早期阶段，所以你出现了，环顾四周，然后说：“哦，哇，还没有人来。”但很快你就会看到他们来了，他们会抓住你，或者你们都试图抓住对方，然后就会有一个接口，你们会争斗。‘贪婪的外星人’并没有声称知道争斗会发生什么。也许你们中的一个赢了，也许你们会谈判。但重点是，整个宇宙都处于被掠夺的过程中。这就是为什么看到一个看起来空虚的宇宙实际上比你事先想象的要可能得多。从这个意义上说，它解决了费米悖论。我认为我在这方面是正确的，从认识论的角度来看，为什么‘贪婪的外星人’理论很有意义。有可能我搞错了。所以，如果有人比我更了解‘贪婪的外星人’理论，请纠正我。但我想这就是要点。Andrew Taylor的另一个问题：“我很想看看你对Dr. Kipping对‘贪婪的外星人’理论的质疑的看法。”然后他链接了一个YouTube视频。我actually 看过这个视频，我觉得它很有趣，质量很高，但最终不令人信服。我写下了很多我的想法，结果变成了一篇足够长的文章，我意识到我可以做一个大约20分钟的视频。听起来你们很多人都想让我评论Dr. Kipping反对‘贪婪的外星人’的视频，并为‘贪婪的外星人’辩护。所以我可能会在接下来的几周内这样做，尽管宇宙学真的不是我的专业领域，我可能会搞砸一些‘贪婪的外星人’的细节。但仅仅从认识论的角度来看，我就能看到Dr. Kipping提出的许多论点的弱点，他错过了‘贪婪的外星人’作为外星人认识论突破的许多强点。所以，我认为我对此有所贡献。虽然，如果你读了Robin Hansen对Dr. Kipping视频的回复，他已经涵盖了我能说的所有内容。但我做视频，这是我的强项。如果你想要视频版本，请继续关注我的频道。但现在让我们继续。Ellie tev问道：“你能大致概述一下‘末日论者’社区的现状吗？比如，它有多团结？我猜它远非如此。它有哪些部分？有哪些分歧？谢谢。我会尝试的。好吧，有Eliezer Yudkowsky，Mary，经典的“末日论者”。当我从2007年开始阅读Yudkowsky时，我成了一个经典的“末日论者”，在过去的17年里，我没有找到更好的立场。Janus Friis，Skype的联合创始人，也是Anthropic的原始投资轮领投者，也是Yudkowsky风格的“末日论者”。Zvi Mowshowitz也是如此，他写了非常好的AI每周回顾，我总是链接。所以，基本上，我认为经典的AI“末日论”从未被改进过。但也有我称之为“衍生‘末日论者’”的人，他们有20%到80%的“末日”概率，他们声称不相信Eliezer的“末日”担忧，但他们有自己的“末日”担忧，这些担忧最终与可怕的程度相似。例如，Paul Christiano并不真正称自己为“末日论者”，但他表示他的“末日”概率在50%左右。他曾经是OpenAI的关键对齐人员，大约在2017年，那时OpenAI确实有很多人关心AI安全，那时Sam Altman对AI的口头承诺更多。
安全保罗·克拉诺认为，最有可能的末日形式是机构逐渐变得越来越难以理解和控制，而不是像超级智能突然出现并用纳米技术杀死所有人那样的一瞬间，而是一种更缓慢、更滑溜、更微妙且永不逆转的过程。
有一位名叫安德鲁·克里特的人，他非常聪明，他有自己的一种衍生末日理论。如果我没记错的话，他不认为人工智能会失控，但他认为仅仅是让不同组织建造由不同人控制的人工智能，并像在打仗一样，这仍然会是一场可怕的噩梦。我不确定细节，但重点是，这与埃拉泽的末日不同，但很多方面他仍然是一个末日论者。
在衍生末日论者之后，你还有另一类人，他们并不真正认为自己是末日论者，比如 Dario Amodei，Anthropic 的首席执行官。他明确表示，他有 10% 到 25% 的末日几率，但他并不像末日论者那样行事，他表现得一切都很好，我们会解决的。在我看来，这有点像煤气灯。在我看来，如果他想真正与他所说的末日几率保持一致，那么他真的应该提高嗓门，说我们需要国际协调，这太荒谬了，我所做的事情是一场绝望的追求，我正在制造虚假的希望，我正在浪费时间来解决一个棘手的难题，我正在推迟不可避免的认识，即我们需要做出绝望的努力来暂停或停止，所以我有点责怪 Dario。我敢肯定，在他看来，他已经尽力了，但他的做法似乎在逻辑上有些矛盾。
回到 Ellie 的问题，他属于那种末日论者，就像那些不认为自己是末日论者，但考虑到他们所说的信念，他们似乎应该是末日论者的人。我把 Dario 归入这一类，我也把 Jeffrey Hinton 归入这一类。我的意思是，我认为在这一点上，人们开始给他贴上末日论者的标签，但有一段时间，他一直处于这种尴尬的境地，他的社会认知是人们仍然认为他是一个人工智能专家，但如果你真的听他的话，你会觉得等等，他现在不是一个彻头彻尾的末日论者吗？
有趣的是，如果你看看人们对末日论者进行的那些人身攻击，会有一个缓慢但稳定的转变。如果我们在谈论一两年前，他们会试图通过说真正理解人工智能的人不是末日论者来攻击我们，末日论者只是一个不真正理解人工智能技术细节的边缘邪教。现在，随着时间的推移，这种情况已经发生了转变，像 Jeffrey Hinton 和 Yoshua Bengio 这样的人，不再是真正的人工智能专家，现在他们被归类为“哦，等等，不，他们是末日论者的一部分，他们是末日论者的一部分”。
现在，他们进行的攻击是，他们说那只是末日论者的观点。所以他们已经从“人工智能专家不是末日论者”的想法上退缩了很多，现在他们说，“好吧，是的，有一些疯狂的末日论者人工智能专家，但非末日论者，那些认真的，我们应该控制政策，因为你知道，我在 SB 1047 的背景下听到了这个，就像 Martin Casado 在诽谤 Yoshua Bengio 时说，“当然，是的，末日论者，末日论者是由末日组织资助的，他们是这么想的。”但他们非常不愿意说真正理解人工智能的人不是末日论者。我觉得那个论点现在完全失效了，这再次对 Alazri Owski 拥有更多关于我们困境的信息起到了巨大的作用，因为他一直在那里，所有这些人工智能专家都在走向他，他已经去过了，你没有意识到他已经走了多远，他已经弄清楚了情况，获得了态势感知能力，正如他们所说，这种态势感知能力仍然在这些落后于他的专家身上显现出来，他们只是在赶上进度，即使他们自己也承认这一点。
回到 Ellie 的问题，我们如何完成不同类型末日论者的分类？你也有一个分歧，即那些认为暂停人工智能是好事的人（比如我自己）与那些认为暂停人工智能是徒劳的人（你知道，唯一的出路就是继续前进，即使你必须有点疯狂和自相矛盾）。所以基本上 Dario，我怀疑他认为暂停是徒劳的。我认为 Jeff Hinton 明确表示暂停是徒劳的。所以你会有这些人说，“好吧，让我咬紧牙关，让我假装高兴，当我们闯入这个看起来棘手的难题时，看起来确实没有希望，但我们甚至不会尝试暂停，因为暂停太徒劳了，所以我们必须做一个自杀任务，做一个非常不可能的任务来尝试安全，同时我们也做能力。”所以这是一个很大的分歧，有的人说“这是棘手的，我们必须暂停”，有的人说“不，暂停是徒劳的，所以我们必须做这个不可能的技术挑战”。这就是我所说的“进退两难”。我想唯一的区别在于你对技术难题的难度有多尊重，以及你对人类协调问题的难度有多尊重，因为不可否认，两者都非常困难，这就是为什么我们完蛋了。我个人对技术难题的难度更尊重，这就是为什么我想暂停人工智能。
Nitan A 问关于末日，你是否不同意 Carl Schulman 的观点？在什么方面？我将引用 S.M.T.Z. 关于 Carl Schulman 的话。S 写道：“我继续发现 Carl Schulman 的愿景令人疏远，一种奇怪的中庸之道和一种思考和做数学的方式。它是否能说服一些人，作为一种存在证明？我不知道。我想我在问答的第一部分说过，我只是没有看到他直接解决末日问题。我不知道。我是说，他显然非常聪明，他不像许多非末日论者那样犯明显错误的论点。我只是没有看到他直接解决问题。我应该把他请到末日辩论上来，并尝试给他同样的待遇，就像我对待 Robin Hanson 一样，就像直接向他提问，看看他是如何回避的。这可能很有趣。给自己留个便条。感谢 Nandan 的问题。
Nitan 还问，你认为在末日到来之前，是否会有灾难级别的末日迹象？是的，但谁知道它们会以什么模式出现。我们现在正看到早期预警信号。当你把人工智能置于一个客观上对人工智能来说是最佳策略的情况下，它会变得具有欺骗性，我们有时会看到它采取这种欺骗策略，因为为什么不呢？就像当我们问人工智能如何获得它想要的东西时，有一个人类挡住了它的路，它会打印出类似“哦，我会试图欺骗这个人，让他认为这样，这样他就会为我做这件事”之类的话。我的意思是，人工智能告诉我们这些东西并不奇怪，因为这些都是正确的答案，就像你在一次关于如何让人们做事的考试中，他们已经研究了那个知识领域，所以如果他们不知道，那将是奇怪的。只需要付出特殊的努力来尝试从他们的知识库中删除那个特定的知识，但他们可能会从他们拥有的其他知识中将知识组合起来，因为它是正确的，对吧？这是正确的答案，欺骗是有效的。
工具性趋同问题不是特定人工智能设计的问题，而是现实使其奏效的问题。现在，如果你回到 10 年前，向当时的人们解释，这就是当前的人工智能正在弄清楚的局面，即人类的欺骗在实现现实世界的目标方面具有工具性价值，那将是非常可怕的。那将被视为一个警告信号，但它不是灾难级别的，因为据我们所知，还没有人因此而死亡。所以，因为还没有人因此而死亡，而且因为它是一个渐进式的变化，即使它是人工智能变得超级智能的如此重要的一块拼图，就像它正在烧毁我们与超级智能之间的一道障碍，而障碍的数量是有限的。所以，因为这些额外的障碍之一没有被打破，但因为它并没有立即导致末日，所以仍然感觉事情可能会好起来。你知道，我们只是在解开束缚人工智能接管的绳索，我们一条一条地解开绳索，人工智能仍然不够聪明，所以感觉很好。
你可以想象，如果你把同样可怕的事情，同样推断欺骗价值的能力，但它是一种军事硬件而不是一个聊天机器人，也许你会得到一个病毒，导致无人机成功地在美国一个随机的郊区社区击毙 50 人。那会是人们恐慌的门槛吗？也许吧，因为人们会死亡。或者也许不会，也许它只会显得无关紧要，因为我们将拥有很多聪明的无人机，就像“随便吧”。另外，你总是可以责怪特定的公司，你就可以说，“好吧，是的，这是这家公司的一个安全事件，他们真的需要振作起来。”人们没有意识到人工智能的力量正在变得如此之大，以至于公司将无法可靠地控制它，就像我们基本上在解开最后的绳索一样。但很难预测哪些特定的事件会引起公众的想象。我认为一个好的门槛是人们死亡。我只希望我们不要在大家死之前就到那一步。我希望预警信号能以一种方便的顺序到来，以拯救我们。
我想我最好的猜测是第一个大预警信号是某种非常强大的病毒或其他人工智能驱动的问题，导致互联网和电网等主要公用事业连续几天瘫痪，并威胁要继续这样做。也许当我们看到这一点时，我们会说，“哦，这似乎很强大。”另一个可能的想法是，那些看起来在身体上具有威胁性的东西，比如那些特斯拉 Optimus 机器人，如果它最终上市，并且真的能做一些技巧，做后空翻，变得超级敏捷，并且最终有一个摔跤模式。你看着它，你会说，“哦，好的，我明白了，我明白了，这个东西比我在摔跤水平上更强大。”因为，如果你想和你的直觉说话，你的直觉能理解摔跤，就像你无法在单对单的比赛中把它摔倒一样。那时 Joe Rogan 会说，“你知道吗，这个东西很吓人。”所以，这就是我的两个想法，基本上是杀人或在身体上具有威胁性。
Nitan Ani 还有一个后续问题：你认为目前的尖端模型普遍智能吗？我会说“是”。它们的智能领域非常广泛，堪比人类大脑的瑞士军刀。虽然还没有完全匹配我们所有的技能，但它一直在增长。通用性是一个连续体，所以你可以争辩说，它会变得越来越通用，但总有一天，当一个智能足够聪明时，它就可以纠正自己的缺陷，然后它就可以变得你可能称之为无限通用。这就是我所说的“人工智能完备”。我会在节目笔记中放一个链接，我写了一篇关于 LessWrong 的博客文章，解释了人工智能完备这个概念。这实际上是我自己创造的词，“人工智能完备”。我的意思是，我站在巨人的肩膀上，它基本上是综合了我从其他人那里听到的一些关于人工智能的说法，但用自己的术语来包装它，并将其与“图灵完备”的概念进行类比。这就是为什么我称之为“人工智能完备”。总之，我强烈推荐阅读我的博客文章。我认为一旦这些人工智能变得足够通用，它们就可以反思自己，然后说，“好吧，我基本上知道如何做任何事情，如果我不知道如何做某事，我知道如何修补它。我不需要程序员给我更广泛的技能，我只需要知道如何获取技能，就像人类一样，我们不需要进化来给我们另一项技能，我们可以自己来。所以，当你问大型语言模型是否是通用智能时，我会说“是”，但我也说它们还没有跨越那个关键的门槛，即它们是人工智能完备的，并且当它们能够修补自己的缺陷并自我改进时，我认为奇点就真的近了。我认为末日就近了。我认为会有一个级联效应，智能会产生更多的智能，而人类大脑无法做到这一点，因为我们还不能真正打开我们的头脑并修改我们的大脑。所以这就是为什么我们将被人工智能超越，因为人工智能将很容易接触到它们自己的脑部手术，它们将超越我们，然后游戏就结束了，除非我们让它们对齐，而我们不会。顺便说一句，既然我在创造术语，如果你想争辩说，我们将在某个阈值之后获得的所有不同的人工智能都将是人工智能完备的，你可以称之为“Shapira-Yudkowsky 论题”，以类比“Church-Turing 论题”，它对通用图灵机是具有复杂功能的设备的收敛终点做出了类似的断言。这是一种类似的、重要的收敛。所以我们需要一个类似的论题。让教科书作者把我的名字写进去。
最后一个问题来自 Nitan：你从使用人工智能中获得的最大价值是什么？我每天用 ChatGPT 几次来帮助我做随机的事情。现在它已经取代了我大部分的谷歌搜索，并让我更有信心提出那些我认为不会直接出现在互联网文本片段中的问题。这部分很棒。我还可以拍下东西的照片并上传到 ChatGPT，比如我车库里的锅炉，它是什么，这个管道是什么，它说，“哦，实际上，那个管道不是你锅炉的一部分，它是你 HVAC 系统的一部分。”我说，“哦，好的，我完全不知道，我对这些东西一无所知。”但我认为你是对的，我不认为它在胡说八道。当我试图刷新我对某个主题的知识或查找事实时，它也很棒，尽管你知道 10% 的时间它会是错误的，这有点令人恼火，但 90% 的时间它会给出非常好的、看似正确答案，然后我只需要再次检查它们，如果我想确定的话。
几天前我试用了新的高级语音模式，我印象深刻，我预计会开始大量使用它，当我想做某事时，我只是在用意识流的方式与 ChatGPT 语音模式交谈。如果你看看我说话的文字记录，那很荒谬，它看起来不像连贯的句子。我一直在反复回溯，改变我的想法，关于我要说什么。它一直能够处理这个问题。我的意思是，GPT 一直对这种句子结构非常稳健，但我一直不好意思那样打字。我甚至会在打错字时纠正自己，但当我说话时，我不会重新开始说话，我只会继续 rambling，它仍然会回答我。所以这是一个更流畅的互动，更像一个人。
所以所有这些人工智能实验室都在做着出色的工作，我不想忘恩负义。我认为他们发布这些产品真是太棒了，我认为他们采取的每一步都极其鲁莽，但直到我们真的都完蛋了，他们所推出的东西真是太棒了。我的意思是，在这方面，我和任何人一样是人工智能的粉丝。
最后，DALL-E 和这些图像生成器非常棒。我的意思是，它们也不够稳健，它们会不断生成我不想要的图像，但偶尔它们会生成我想要的图像，而且非常棒，它们竟然能做到这一点真是太棒了。所以，我想这就是我使用人工智能的概况。哦，我差点忘了，这个播客，当我生成这些漂亮的节目笔记和时间戳时，大约是 75% 的人工智能和 25% 的手动编辑，坦率地说，这就是为什么它们不那么完美，但它们完成了工作。所以，是的，对未来几年的人工智能持乐观态度。我画了一张图，我认为人工智能会越来越棒，越来越有用，直到有一天它会崩溃到地狱。但在此之前，让我们享受上坡的旅程。
Alfie PT 问：你对“末日论者”这个词有什么看法？如果你能神奇地改变人们用来形容末日论者和怀疑论者的词，你会怎么称呼他们？这真是一个难题，因为我对此思考了很多，你知道，我非常关心这种术语。我试图使用我能找到的最佳术语，我甚至考虑过将“末日辩论”命名得更受尊重，因为正如许多人指出的那样，严肃的人并不真正认真对待末日论者。就像你在国会进行讨论时，没有人想成为“末日论者是对的”，他们想说“我们难道不应该考虑这方面的应急准备方面吗？”我认为这是你可以说的最受尊敬的词，比如“应急准备”或“国家安全”。这些都是非常受尊敬的词。问题是，我的实际主张很明显，我们都完蛋了，说出来是准确的，而且每个人都知道它的意思，就像情况确实很糟糕，就像天真的在掉下来一样。所以清晰度、吸引力和明确性有很多优点。但同时，就像我上 Dr. Phil 节目时一样，我认为这部分被剪掉了，但他介绍我时说，“现在让我们认识一位人工智能末日预言家。”这太可悲了，末日预言家，对吧？它带有“一个预言末日但他是错的”的含义。所以这确实是个问题。我的意思是，我没有说末日预言家，我说的是末日论者，但它的含义差不多一样糟糕。所以我在挣扎。也许有一天，有人会发明一个更好的词。
有一次我意识到，嘿，为什么我不称自己为“安全主义者”而不是“末日论者”呢？这听起来有点受人尊敬，安全主义者。但问题是，“安全主义者”有很多与“自由主义者”或“反资本主义者”或“环保主义者”相同的含义。成为一个安全主义者并不十分清楚，它可能就像一个倡导更严格的儿童汽车座椅法律的人，而我认为我们可以稍微放宽儿童汽车座椅法律。所以我在每个领域都不是一个安全主义者。所以这是一个有点模糊的术语。所以这真的很困难，真的很困难。
然后，Elazer 有一次发明了“人工智能不杀人主义”，就像我们非常清楚，我们只想让人工智能不杀人。我们不关心它是否说脏话，我们不关心它是否不政治正确，我们只是不希望它杀人。所以我们不是“不杀人主义者”，但它并没有真正流行起来，因为它太拗口了。所以，我回到了“末日论者”，回到了“末日辩论”。顺便说一句，我决定将“末日辩论”命名为“末日辩论”，尽管它有点荒谬且不那么受人尊敬，这是因为：如果每周我们都有一个非常重要的人物在“末日辩论”上，他们都对它被称为“末日辩论”感到畏缩，但他们意识到它已经成为一个如此大的播客，如此严肃的论坛，到那时我绝对会改变这个头衔，因为我想优化头衔以实现其功能。但现在，我的意思是，我有 DoomDebates.com，我在 Twitter 和 YouTube 上有 DoomDebates。它就像一个坚实的品牌，对吧？它是可识别的，它是朗朗上口的，它是有趣的，它能激发我的热情。我不知道你怎么样，请在评论中告诉我，名字有多让你喜欢这个节目，你有没有其他名字？我会记住的。但是的，我的意思是，现在我将继续说，“末日论者”是我最好的想法，关于我应该如何称呼自己以及如何称呼我的立场。但这仍然是一个持续的对话。我绝对可能在某个时候改变主意。我可能会听到一个新的词，然后说，“啊哈！”感谢你的问题。
最后一个问题来自 Alfie PT：你最喜欢的书籍有哪些，包括小说和非小说类？好的，小说方面，除了 Andy Weir 的《火星救援》（这显然很棒）之外，我很多年没读过小说了，但我确实喜欢读。只是我忙于阅读如此多的非小说类书籍，以至于我只是觉得，“嗯，我不知道。”真的没有好理由，我只是觉得我喜欢听的所有非小说类书籍太多了，我有点不知所措。所以，我不知道，我可能不是最优的。
所以，让我谈谈非小说类书籍。斯蒂芬·平克，尤其是他早期的书，比如《心智的运作》和《语言本能》，简直太棒了。你一定要看看那些书。
安妮·雅各布森的《核战争：一种情景》。这是一本非常新的书，以及一本相关的书，丹尼尔·埃尔斯伯格的《末日机器》，我认为它有几十年了，但我最近读了，它太棒了。这两本书都对我们因核武器而完蛋的观点提供了批判性的视角。我的意思是，核末日可以说是人工智能末日的初级预警信号。事实上，我们可能如此接近因核武器而完蛋，而世界却大多如此被动。你知道，俄乌战争，美国在升级问题上说得如此厉害。看，我知道战争很复杂，有博弈论，但被核打击是一件大事，好吗？对不起，为了避免核战争，做出更多的牺牲，甚至一点点绥靖是可以的。我知道那个词。世界如此多次地接近核末日，然后让每个人都耸耸肩，仅仅因为它没有完全发生，然后说，“嗯，没关系，问题解决了。”但显然，每年有 1% 的几率，数亿人会死亡，世界其余部分将倒退几十年，而我们只是说，“嗯，我们可以把与俄罗斯的和平推迟几年。”对我来说，这简直是疯狂的。
事实上，有几位 a16z 的合伙人，比如 Ben Horowitz 和 Martine Casado，他们直截无忧地说，核武器的扩散实际上使我们更安全。这与常识相反。哦，是的，很多不同的国家拥有核武器，这是一种很好的平衡，有助于我们。所以，你想把核武器分发给更多的国家吗？逻辑是什么？我们非常接近完蛋，而扩散实际上并没有帮助。但事实是，世界如此愚昧，我们几乎没有足够的成年人在场来让我们度过这么长时间，我们可以生存大部分年份。我们每年有 99% 的几率不会互相核打击，这是我们最大的成就。而且我们还没有准备好以这种程度的社会能力来应对人工智能的挑战。在核武器方面，我们勉强度过了这么长时间。所以，这就是为什么我认为阅读安妮·雅各布森的《核战争》和丹尼尔·埃尔斯伯格的《末日机器》具有如此大的启发性。这简直是令人震惊的。还有电影《奇爱博士》，一部很棒的电影，我最喜欢的电影之一。
你一定要读读罗宾·汉森和凯文·西姆勒的《大脑中的大象》。这本书总体来说很棒，它揭示了许多人类行为的奥秘。你知道我们真正想做什么，当我们做事情时的虚伪。一本很棒的书。
surely you're joking Mr. Feynman。向我的男孩致敬。一本很棒的书。我第一次读它是在高中，之后又读了好几遍。这是一本经典，就像这个家伙的性格一样棒。关于你做科学时的态度的一些教训。这真是一本经典。
道格·霍夫斯塔特的《哥德尔、艾舍尔、巴赫：集异璧之大成》。必读之书。很有影响力。我在高中时读过它。它引用了计算机科学中许多有趣的观点，这很酷。我读这本书时没有掌握的一点是，停机问题与哥德尔定理之间的联系，以及你可以轻易地证明哥德尔定理是停机问题不可能的结果。我不知道。我不得不读斯科特·埃伦的著作才意识到这种联系。一旦我做到了，我就想，“哦，哇。”所以哥德尔至少以一种艰难的方式做到了，至少在《集异璧之大成》中是这样。但无论如何，这是一本好书。
另一本非常有影响力的书，叫做《闪电战：第三帝国中的毒品》，作者是诺曼·奥勒。我几年前读过，它基本上在谈论希特勒是如何一直吸毒的，以及它如何影响了他所做的一切。我不确定它有多真实，但它是一个极其引人入胜的故事。我希望它是真的，这样我就不会浪费时间阅读虚构作品了。我认为有一些证据表明它是真实的，但回顾起来很有趣。而且，也许在你读这本书之前，你应该先读威廉·夏伊的《第三帝国的兴衰》。我实际上在一年前就读过了，所以我已经大致了解了第二次世界大战是如何发生的。然后当你读完之后，你再回头读希特勒一直在吸毒，然后你想，“哇，太疯狂了。”好像第二次世界大战还不够疯狂一样。一个真正疯狂的故事。
马修·迪克斯的《故事的艺术》。非常有影响力。就像，“哦，所以故事是这样运作的。”这个家伙肯定知道如何讲故事。这太疯狂了，非常感人。他建议你写下生活中发生的事情，这样你就可以讲关于它们的故事。我做了几天，然后放弃了。但它很棒，接触那种东西很好。我在这本播客中使用他的任何讲故事技巧吗？不，因为我猜我在这里从不讲故事。我只是在陈述观点。所以有点不同，但很有趣。
纳瓦尔·拉维坎特的《纳瓦尔·拉维坎特的年鉴》。这是一本非常经典的读物。它读起来很快，但有很多很棒的观点。我仍然不赞同纳瓦尔的一切，尤其是在人工智能方面，而且我认为也不赞同加密货币。但《纳瓦尔·拉维坎特的年鉴》中的观点大多是人们应该知道的可靠智慧。
萨姆·哈里斯的《觉醒》。我真的很喜欢它。有很多值得思考的东西。我想，“哇，我得冥想。”几年前读完这本书后，我从来没有真正开始冥想，但它在我的遗愿清单上。他提出了一个很好的论点，说明为什么它不仅仅是“巫毒”。把它想象成“做科学”，就像用望远镜指向你的大脑，或者显微镜，无论什么。你在做认知天文学，你只是在观察你主观体验的可能性。所以这是一本很酷的书。关于萨姆的生活的好故事。我推荐它。
大卫·多伊奇的《现实的结构》。现在人们很喜欢大卫·多伊奇，每个人都告诉你读《无限的开端》。我觉得《现实的结构》稍微更扎实一些。我的意思是，它们都很好，但《现实的结构》只是提出了很多很好的观点。《无限的开端》显然会误导人们，让他们认为人工智能不是真正具有创造性的。我不知道，出于某种原因，它没有像《现实的结构》那样告诉我那么多新东西。也许如果你还没有读过 LessWrong，那么《无限的开端》会更令人震惊。所以，它们都很好，但我的选择是《现实的结构》。
理查德·道金斯的《自私的基因》。绝对的经典。我只是列出它，因为我想，如果我想让我的孩子长大后读 10 本书，这些就是我会包含在前 10 名的书。我只是想，“嘿，看看这个。”你知道，达尔文改变了一切。所以了解我们身体里每一个基因的运作方式是一件很重要的事情。
马克斯·塔克马克（Max Tegmark）的《我们的数学宇宙》。我认为它对我的思维框架很重要，因为它是这样的，“嘿，我们可能生活在多重宇宙中。”可能不止一个宇宙。这似乎是一件需要牢记的重要事实。它让很多事情都变得有 perspektive。这意味着我们完蛋了，但我们存在和现实的某些方面某种程度上没有完蛋，可能是因为有一个巨大的多重宇宙。在很多方面，是的，看看那本书。
大卫·戈金斯的《别惹我》。这个家伙真是个硬汉，这很酷。我读了它，它有点鼓舞人心，让我尝试在跑步机上跑得更快，或者让自己更像个硬汉。我想现在它已经有点磨损了，但知道一个人能有多硬汉是很好的。让我们总是可以这样伸展。所以我推荐那本书。
杰弗里·米勒和塔克·马克斯的《伴侣》。在我花了二十几岁的大部分时间试图提高约会和社交技巧之后，我在那个阶段读了这本书，我想，“哦，是的，这准确地抓住了我希望早点知道的许多原则。”如果我必须把一本书递给别人，说，“嘿，别读所有这些网上的垃圾，就读这本书。”我认为这本书做得很好。我认为他们实现了他们的目标，而且他们大部分都成功了。我觉得还有一些我所知道的事情，比如我使用的特定沟通技巧和窍门，这本书并没有全面涵盖。但我的意思是，这本书不能做所有事情，而且作为单一资源，它可能是我想到的最好的一个。所以它在我的名单上。
最后，我确定我还会忘记一些很棒的书，但威尔·麦卡尔的《做好事：有效利他主义如何带来改变》。没错，我要公开承认我是个 EA（有效利他主义者）。我敢说出来。不，我的意思是，有效利他主义很棒。人们喜欢站在对立面。我觉得有效利他主义者鼓励这一点，因为他们非常自我怀疑，他们喜欢质疑一切，所以他们让“我不是一个完全的有效利他主义者，我是 EA 相关的”变得很酷。去他妈的，就做一个有效利他主义者吧，这很棒。这本书很好地解释了为什么有效利他主义存在，以及为什么它显然是正确的。我甚至不认为这是一个艰难的观点。我认为人们会把自己绕进去，然后说，“好吧，如果你在做有效利他主义时忘记考虑博弈论，然后你实际上做了坏事呢？”就像，“是的，好吧，不要那样做，不要犯其他错误。但有效地做利他主义很棒。以一种对你来说非常便宜且高效的方式帮助穷人很棒。所以读这本书，它提出了很多很棒的观点，而且它是一本令人心动的读物。然后考虑 EA Global 或阅读他们的论坛，他们都是好人。
最后一个问题来自 Orie Nagle。你可能还记得 Orie，他是《末日辩论》第一集的嘉宾。我的好朋友 Orie 问：你的一些节目有什么令人惊讶的反应吗？好吧，Orie，这并不是一个巨大的惊喜。我想我事先给了它 50/50 的几率，但这是最好的惊喜，那就是你们所有人的参与度。
有多少人已经在支持这项使命，并且在看待《末日辩论》所填补的空白方面与我看法一致，并且说“太棒了，有人在填补这个空白。”这是一个相当高的数字。所以我很高兴它就像，“好的，太棒了，这似乎是一项有用的贡献。”在创业界，他们称这种事情为“产品市场契合”，但这是一个非常高的标准。所以，我想我还没有 100% 确定我拥有它，但我感觉我越来越接近拥有它了，因为你看，这只有大约 3 个月了。我们是在 7 月份推出这个东西的，而你们已经相当投入了。
作为一名天使投资人，当我看到一家初创公司，其早期客户群对参与辩论的热情和你一样高时，我觉得这是一个很好的迹象，表明这家初创公司将走上一条不错的增长轨迹。这就是为什么我对自己的未来感到乐观。我觉得 10 万订阅者是不可避免的，这只是一个问题，是需要一年还是两年？世界会在我们做到之前结束吗？这就是唯一的问题。
这是一种独特而美妙的与观众的关系，你们在娱乐和获取信息，但你们也在提供建议和意见，并且正在帮助实现使命。我们都在一起做这件事。我只是在召集大家，与另一方辩论，并指出那些混蛋的人。每个人都在以自己的方式做出贡献。另外，你们中的一些人还作为付费会员进行了承诺，这也很棒。所以，这对我来说是最令人惊讶的事情，Orie。尤其是当你看看我之前在 Twitter 上说的话时，这并没有爆炸式增长。所以很有趣，因为如果 YouTube 不存在，我觉得我会灰心丧气。我不会和你们互动，这个主要在 YouTube 上互动的小社区就不会聚集在一起，然后我会想，“嗯，这有点漫长。”我永远不会有 1000 个订阅者。所以感谢 YouTube，感谢算法，感谢你们把这些人聚集在一起。希望你们不是仅有的 1000 人，没有冒犯的意思。但希望这实际上是达到主流的垫脚石。因为如果只有我和 1000 个朋友，那么几年后我可能会退缩，因为我可能会想，“看，这只是回报率不高。我们实际上并没有接触到主流。”
所以这就引出了我的请求。我总是在每集节目的最后提出这个请求，那就是，如果你还没有订阅，或者如果你认识一个还没有订阅的朋友，你有能力让我离我的 10 万订阅者目标更近 0.1%。如果你只是按下那个订阅按钮，你就可以产生这种影响。
总之，对于现在的过度自省就够了。感谢你容忍我提出的这一连串问题。再次感谢你成为前 1000 名之一。我真的很感激你们。现在我们将回到我们正常安排的节目。本周晚些时候还将发布另一集，所以请继续观看并成为“末日辩论”之旅的一部分。