Transcription
欢迎来到“末日辩论问答”第一期。我们刚刚在 YouTube 上突破了 1000 名订阅者，这是一个历史性的里程碑。我们真的开始起步了，每周都在呈指数级增长，又增加了 100 名订阅者。所以增长的速度似乎在加快，你知道，指数级的起飞，我以前在哪里听过这个概念？我感谢每一位分享并参与评论的人。我认为 YouTube 算法开始意识到我们在这里抓住了“瓶中的闪电”，我希望它能快点，因为我不认为人类还有多少年时间了，我也不希望人类的未来在达到 10 万订阅者之前就被彻底熄灭。你不讨厌这种事发生吗？对于那些将自己定位为首批千名订阅者之一的人，非常感谢你们让“末日辩论”取得了今天的成就。我很高兴看到有多少人为了这个事业而努力，并且像我一样享受这段旅程。好了，我们开始吧。我不能让开场白太长，因为当你拥有像我一样的 1000 名订阅者时，你会收到海量的问题，这会使一期节目变得冗长，所以我们得赶紧开始。出发吧！YouTube 用户 e shiz 问道：你如何看待 David Shapiro 说 OpenAI 是一家正在沉没的船，并且有大量人员离职？嗯，他们肯定有问题，对吧？一家 1500 亿美元的公司像这样大量流失领导层并不常见。我甚至不会尝试列出所有人的名字，因为他们真的络绎不绝。我能想到的几个人是 Ilia，显然，Greg Brockman 处于六个月的休假状态，Merera 刚刚离开，John Schulman 去 Anthropic 了，这只是最近几个月的事情。我甚至没有谈论链条下方的其他人，或者 Dario 或 Paul Christiano 在 2020 年左右离开。我甚至没有谈论那些人。所以，有大量的流失。那里发生了什么？这似乎指向了很多戏剧性，似乎指向了对 Sam 的严重不信任，或者人们厌倦了 Sam 的滑稽动作，或者人们意识到 Sam 完全不负责任，就像他并不真正关心 AI 安全一样。他只是口头上说说，他知道存在一些风险，但实际上，他觉得“我必须让这家公司赢”，从我收集到的信息来看，这似乎是他的心态。我不敢说我能读懂人心，但如果我必须猜测，那就是我的猜测。那么，OpenAI 是一艘正在沉没的船吗？我可以告诉你我的直觉是什么。直觉上，一年前，我绝对有那种想法：“天哪，OpenAI，多么成功的公司，多么伟大的公司。它们处于 AI 发展的最前沿，而且它们的团队简直是摇滚明星，他们充满激情，正在开创 AI 的未来。我是说，你看，我仍然是一个 AI 悲观主义者，所以我不会去加入他们，对吧？我当时很害怕，但作为一个喜欢酷东西的工程师，我也完全被吸引了，我想：“天哪，那里才是应该去的地方。”我当时的感觉就像我对 2004 年到 2010 年的 Google 的感觉一样，那是 Google 的真正黄金时代，你知道吗？就像 Paul Buchheit 创造了 Gmail 那样，那是真正的 Google 时代，当时我想：“哇，这是什么公司？这家公司怎么能飞得这么高？”所以，这就是我对 OpenAI 的感觉。自从那时以来，这种魅力肯定已经减弱了。现在看起来，嗯，Anthropic 正在赶上，它们的收入正在赶上，它们推出的产品非常接近，它们大致处于同等水平，对吧？就像 Claude Sonnet 可能比 GPT-4 更好。所以现在，如果说有什么的话，我感觉更倾向于 Anthropic，因为我想：“哇，这里有一群低调、负责任的人，他们实际上对 AI 安全给予了更高的口头承诺。”所以，在很多方面，我肯定比 OpenAI 更喜欢 Anthropic，而且我不再觉得 OpenAI 在它们所做的酷工程方面遥遥领先。有多少人像我一样，他们会说：“是的，Anthropic 在安全方面做得很好，但 OpenAI 太酷了。”有多少人感受到同样边缘化的酷炫因素的减弱？也许很多人，谁知道呢？我只是在试图回答 David Shapiro 的问题，试图回答 e shiz 关于它们是否是一艘沉没的船的问题。我认为这是一个因素，对吧？它们能否招募到顶尖工程师或那些有酷炫感的人？我也应该加上我的免责声明。看，我认为所有 AI 实验室都很糟糕，我与所有 AI 实验室都有矛盾，OpenAI、Anthropic、DeepMind、Meta，所有这些。它们都没有提出这样的可能性：“嘿，我们应该知道得更多，我们应该知道这个问题是棘手的，没有人有任何可行的计划，甚至连一个好的猜测都没有，我们如何才能不被杀死。我们只是说‘哦，是的，是的，安全很重要，我们最好努力研究安全，我们会尽力研究安全。’没有人说‘嘿，我们最好努力研究的问题是一个如此困难的问题，以至于我们无法解决它，我们解决它的机会非常渺茫，这是一个棘手的问题。’AI 实验室从不说这一点，它们只是继续前进，就像‘是的，我们会尽力而为。’这就是我和它们之间的矛盾。我认为这真的很糟糕。我认为需要有人来介入，你知道，民主的监管，国际条约需要介入并说‘伙计们，停下来，这不行。你们没有承认这个问题是棘手的，抱歉，不是这个事实，而是……’你知道，很可能。你们从不承认这一点，你们也没有动力去承认这一点。社会上的成年人必须介入，无论他们是谁，无论什么样的成年人都能阻止我们卷入核战争，也许那些同样的成年人可以来到所有 AI 实验室说‘伙计们，停下来，暂停 AI。’所以，我必须提醒你，这是我对所有 AI 实验室的立场，即使我谈论 Anthropic 的低调和拥有良好的技术，以及 OpenAI 曾经很酷，当我这么说的时候，我不想让你认为我实际上支持这些 AI 实验室的运作。关于 OpenAI 的最后一件事是，它们在烧很多钱。所以，理论上，它们有很好的利润率，因为它们是一家软件公司。所以我敢肯定，如果它们是唯一的垄断者，它们可以以盈利的方式销售产品。但似乎成本竞争和持续的资本支出正在耗尽它们的预算。我甚至不知道它们每年烧掉数亿美元，所以无论它们积攒了多少十亿美元，它们都无法持续太久。所以它们必须继续融资，谁知道它们什么时候能盈利，谁知道它们什么时候能控制成本。Uber 曾以著名的方式做到了，对吧？它们在扩大规模并最终控制成本后终于实现了盈利。我是说，很多软件公司都做到了，所以原则上这绝对是可能的。但也有一个相当现实的可能性是，市场条件不允许它们在资金枯竭之前弄清楚这一点，然后它们不得不进行大规模裁员。就像现在，现金充裕。如果它们需要一年的运行时间，它们就去找软银的孙正义，再拿 50 亿美元或者它们需要的任何钱，500 亿美元，对吧？孙正义以疯狂地投入数十亿美元而闻名。所以它们仍然可以获得资金，但资金的来源可能会在它们弄清楚如何盈利之前关闭。所以，以一个初创公司投资者的身份来看，我肯定会仔细审视这家公司是否能成功。但是，看，如果它成功了，那么它可能是一个万亿美元的公司。所以，如果你说，好吧，它们有 50% 的成功机会，也许它将是一个 5 万亿美元的公司，所以也许我可以投资，希望它能有 2.5 万亿美元的预期价值。所以，这就是为什么资金来源至少在经济状况良好的时候仍然对它们开放。这就是我对 OpenAI 轨迹的全部看法。我认为我不是这方面最好的分析师，但你问了。wro7 问，根据我在大学的经历，也许我最看重的一部分教育是在线课程，关于批判性地评估研究和临床试验。你提到你有计算机科学背景，我想知道你认为你从正规教育中获得的最有价值的东西是什么？好问题，wro7。我拥有加州大学伯克利分校的计算机科学学士学位，数学辅修，我还选修了几门理论计算机科学和证明论的研究生课程。基本上，我会回答你问题的反面。我最讨厌的课程是那些与我的专业无关的课程，比如人文学科的课程，在那里你会读一本小说，然后你必须解释象征意义，然后写一篇关于小说中象征意义的文章。那是我最糟糕的经历，因为当时我就是不理解。我想：“所以我们只是在胡说八道，或者这似乎不是一个好的有价值的练习。我为什么要这样做？这太糟糕了。”我只是忍受它，因为我大脑的那个部分还没有上线，当时我想：“好吧，让我们试着以某种方式破解系统，让我们试着找到一个简单的公式，这样我就可以最快地完成它，拿到 B，然后继续。”我没有那种“黑客”心态。所以我只是想：“好吧，这太糟糕了。所以，我必须忍受。写好这篇论文的唯一方法就是试着真正理解这些象征意义的东西，而且我仍然觉得没有什么可以理解的。我确信有些人喜欢辩论象征意义或寻找新的解释，但就我个人而言，我很恼火他们浪费了我的时间。我真希望我能把那些时间要回来，因为我绝对什么都没学到。我很高兴现在有 LLM 的存在，因为现在他们不能布置那种作业，而且不认为你不会作弊，因为当然 LLM 可以轻松地写出这些象征意义的文章，而且很容易掩盖它来自 LLM。我听说大学生的确在使用它，所以这就像我被困在这个愚蠢的非专业必修课的监狱里，现在每个人都越狱了，所有的学生都自由了。我只是太早了，白白受苦了。我的痛苦毫无意义。这就是人类的处境，你知道吗？后代看着过去的一代人，就像‘哇，他们经历了那么多痛苦，而且他们的痛苦毫无意义。’我至少在选修人文学科课程的背景下知道那种感觉。为了真正回答这个问题，关于计算理论、形式证明系统、算法、编译器，甚至 AI 的知识。我上了一门 AI 课程，那是我从大学里学到的最好的东西，就像理解这个领域一样，自己阅读与我所学课程相关的教科书。世界上所有的智慧都在教科书中。教科书太棒了，就像流行书籍、视频几乎无法与教科书相比。YouTube 上的 Three Blue One Brown 是个例外，它比教科书好，只是不如教科书全面。尽管我在大学里学到了很多东西，而且显然学到了不少东西，我是说，伯克利计算机科学系会给你相当好的教育。尽管我在大学里学到了很多东西，一旦我进入大三、大四，以及大学毕业后，我开始阅读 Eliezer Yudkowsky，我想：“哇，这里有这么多东西要学。”最终，我认为我从 Eliezer 和他提到的所有疯狂事情的后续阅读中学到的东西比我从大学教育中学到的要多。如果我必须比较的话，而且我对大学给我的交易，或者大学给任何人的交易，总体上并不满意。这真是一笔糟糕的交易。我早在 2011 年就开始这么说了，我想：“等等，我刚才做了什么？我为什么花了这四年的大学时间？我为什么不自己读教科书，然后自己去参加一些派对，省下我父母的钱，他们付了我的大学学费，还省下了我在这些该死的人文学科课程上的时间？到底发生了什么？我为什么就接受了这个套餐？我为什么没有自我反省地说‘哇，他们只是打包了一大堆垃圾’？我不认为智商低于 110 或高于 125 的人真的应该上大学。如果你的智商太低，你就会很难坐下来理解一些不会帮助你的东西，就像那些考试，它们要求你通过。首先，你会忘记它们，你甚至不会记得它们。而且，如果你记得它们，那也不是你长大后真正需要的技能。所以，如果你的智商甚至不到 110，你就是在浪费时间，而且是在白白挣扎。如果你的智商高于 125，就打开一本教科书。我喜欢认为我的智商高于 125，并且我有能力打开一本教科书阅读并从中学习。如果你是这样，大学就是教授给你读教科书，你可以自己做。你可以在 YouTube 上做到。所以我不太明白去上课的意义。然后你可能会说：“是的，Leon，你不明白。重点不是课堂，重点是宿舍生活，是参加派对的社交体验。”好吧，但我认识很多在大学里的人，他们说：“哦，是的，我去你的宿舍，或者我住在你宿舍旁边，我经常和你一起玩。”但实际上，我去社区大学，或者我甚至不去大学。有很多人都和大学生群体很接近，他们仍然融入社交圈，而且他们不必每年支付 5 万美元或多少钱去上大学。而且据我所知，他们学到的东西比在校学生多，而且他们可能还在免费旁听课程。这才是天才之处，对吧？你可以不花钱就得到一切，而且不必被迫写一篇该死的论文。所以这有点好笑。我认为大学只是为那些智商在 110 到 125 之间，顺从、随和，而且动力不足的人准备的，就像不知道自己想做什么一样。我认为这是一个相当狭窄的群体。坦率地说，我基本上认为大学不应该存在。我认为高昂的价格、高额的学生债务以及对“入门级”工作的就业市场不断缩小的状况，正在为我效劳，让人们意识到大学是一笔糟糕的交易。所以，如果我的孩子去上大学，我会感到惊讶，因为世界会结束，但因为这似乎是一笔糟糕的交易。westo7 又提出了一个问题：你愿意分享一些关于你患有阿斯伯格症的特别之处吗？你知道，wro，你可以叫我“阿斯比”，我允许你这样做，没关系。我惊讶地听到这位我一直关注的才华横溢的人有一些神经多样性的方式，但这种惊讶显然只是我缺乏教育或熟悉度的反映。简而言之，你无知的追随者请求你分享一些关于你作为阿斯比的生活洞察。免责声明：我是自我诊断的，所以很有可能在我说了关于我是阿斯比的所有事情之后，我实际上不是阿斯比。我不想排除这种可能性，假设它是 20%。即便如此，我还是要继续下去，因为我认为我可能就是。我为什么这么认为？基本上有两个原因。首先，我从小就有一种逻辑性、注重细节的思维方式。我九岁就沉迷于计算机编程，所以做这种事情，非常热衷于这种事情，有点像阿斯比。此外，我是一个内向的人。而且，我相信我从与他人共处中获得的满足感异常低。我感觉像穿了一件“情感避孕套”。所以，如果我只是和另一个人闲逛，当然，这很酷，但我在非常低的水平上获得它。所以我只是想：“好吧，让我去看 Three Blue One Brown 吧，那对我来说是更多的刺激。”我只是觉得人际交往给我的刺激不足，而我对神经典型人的心理模型是：“哇，我们现在在一起真是太酷了。这个物理空间太棒了，我正在用我的声带振动你的耳朵，这太神奇了。我从这次互动中获得了一点点效用，而从我的角度来看，我获得的却少得多。我欣赏它，我看到它的一些吸引力，但我就是没有得到那种我感觉其他人获得的滴漏。在我二十多岁的时候，我会和人们出去玩，你知道，我们会出去过夜，对吧？我们会去酒吧和俱乐部，我们会跳舞，我们会因为音乐声太大而互相大喊，我们会喝醉。但我只是在想：这些人是在假装玩得开心吗？这似乎不是那么有趣。然后我才意识到：“好吧，你可能也穿了‘情感避孕套’，你只是必须想象这些感觉在情感上与你产生更深的共鸣，如果你想理解一个普通人是什么样的。”如果你们认为我对普通人的心理模型是错误的，请留下评论，教我如何更好地理解他们。但是，这两种特质的结合，就是如此逻辑性，热衷于编程和理解系统，再加上戴着“情感避孕套”，从人际互动中感受不到多少情感回报，而且对“哦，天哪，我在演唱会上，太酷了，这里有这么多人”这种事情毫无吸引力，我就是不太喜欢。我觉得这种组合是阿斯伯格症的诊断特征。但再次强调，心理学家们，你们知道，请告诉我，随时给我一个不同的诊断。无论如何，我显然是高功能人士，而且由于多年的练习和一系列的失败，我觉得我已经达到了理解社交技能的程度。我的社交技能在某些方面相当好，我对社交技能的理解更加稳健，因为它更像是明确的逻辑，而不是像普通人那样直观。我只是必须努力社交，并拥有良好的社交互动，仅仅因为我戴着感觉像“情感避孕套”的东西，它削弱了参与社交互动的积极回报。下一个问题来自 Davos J。你对埃隆·马斯克如何似乎智商很低的行为，尤其是在推特上不断分享和推广非常愚蠢的阴谋论或容易被证伪的右翼言论，但他在选择参与的公司和他们取得的成功水平以及他激励聪明人加入他的能力等方面却如此聪明，你有什么最好的心智模型来解释吗？大多数推特上的白痴和骗子连五名员工的公司都经营不好，但埃隆却在以多种方式改变世界。我们如何解释他与典型的推特傻瓜相比的异常成功？好吧，大多数从证据反推并称他愚蠢或虚伪的人，他们的心理模型无法向前推理来解释他是如何做到特斯拉和 SpaceX 的，所以那些人显然是错的。我经常喜欢指出，埃隆实现的奇迹，比圣经中说耶稣所做的还要令人印象深刻。那太令人兴奋了。想象一下，你生活在公元 30 年，你看到耶稣把水变成酒，你会想：“哇，多么奇迹啊。”你甚至看到耶稣复活了人们，甚至他自己也复活了。好吧，那确实令人印象深刻，把一个人带回生命，毫无疑问。但然后你看看外面，看到一座巨大的闪闪发光的现代摩天大楼，然后摩天大楼发出的声音比你想象的任何声音都要响亮，它冲向云层，然后又轻轻地降落。哪个奇迹更好？让死人复活，还是让摩天大楼发出只有上帝才能发出的声音，飞向天空，然后又轻轻地降落，你可以检查一下，是的，这真是太重了，刚才飞向了天空。我敢肯定，SpaceX 的发射和着陆直观上比耶稣从死里复活是一个更大的奇迹。因为直观地说，在你属于一个技术文明之前，如果只是公元 30 年，你只有作为一名自给自足的农民或什么的经验，你并不明白这些巨大的技术建筑可以飞向天空。而你却看到随机的人们总是生病，生得很重，对吧？到处都是瘟疫，没有卫生，没有淋浴，对微生物学一无所知。所以，你生活在这个时代，人们总是生病，然后最终好转，就像每个人都处于生病到中度健康到非常健康的状态，不断地来回变化。就像“哇，耶稣从被钉死到复活了。”好吧，是的，那相当不错，相当不错。但这并不像奇迹。来吧，有些人对此有争议，我觉得我不需要争论太多，因为它显而易见，如果你只是忘记你对火箭是“技术”的了解，就像公元 30 年，他们没有这种精神权威，他们说：“哦，是的，你弹一下手指，灯就亮了，那不是魔法，那是技术。”他们没有这种奇迹的精神范畴，你可以因为知道别人知道它们是如何工作的而忽略它们。他们只是说：“是的，奇迹就是奇迹。”他们对什么算作奇迹更公平。所以，我想指出的是，埃隆·马斯克完成了一个比耶稣更好的奇迹。我将坚持这一点。回到你关于埃隆·马斯克的问题。我认为唯一能够解释证据的模型是，他是一个具有非凡能力的人。他有时也像一个小丑，自负很高，在推特上走得太远，说些荒谬的话，或者太固执于他的“批判性”一边，似乎是这样，对吧？他似乎确实有一些人性弱点。我不是说，嘿，埃隆·马斯克的每一条推文都很棒。我认为很多都很聪明，我认为他是一个深思熟虑的人，他的很多想法都很到位。但我确实看到他相当一部分的想法，也许称之为 25%，只是一个少数，我想：“哇，埃隆，收敛一点，那不是一条好推文。”但归根结底，埃隆最令人瞩目的就是他的奇迹。我就是无法移开视线。所以我只是把他看作是：好吧，他是一个奇迹般的人，他在完成奇迹的能力方面是一个巨大的异常值，但有时他也显得很荒谬，对吧？他就是两者兼有，你必须同时持有这两种概念。然后，当涉及到我了解的领域，比如 AI 风险时，他有时会说一些聪明的话，比如：“嘿，我真的很担心 AI 风险。”“嘿，我支持 SP 1047，因为我们需要开始进行监管。”他有时会说一些话，比如：“是的，埃隆。”我像是在点头。然后有时他会说：“嗯，AI 会好奇，它会寻求真相，所以它会想让人类活着，因为它对我们感到好奇。”我想：“什么？不，那毫无意义，那显然是愚蠢的话。”所以他就是这样不一致。但正如我经常说的，关于最新的 LLM，它们甚至能在大家说错话的时候，接近正确答案，你知道吗？就像 2015 年，当埃隆说“嘿，看看 AI 安全”，而其他人都没有说的时候。或者当然，事实是，在所有这些疯狂的事情中，他也在让火箭自行着陆，而其他人却做不到。他也是 NASA 宇航员从国际空间站带回家的那个人，对吧？我是说，他达到了这个目标，你必须给他应得的赞誉。绝对不能否认他是一个某种程度上独特、奇迹般有技能的人。我还要补充一点，我真的很喜欢 Ashley Vance 和 Walter Isaacson 的传记。这是一本关于一个非凡人物的好读物，世界上没有多少非凡的人物。我拥有相当多的特斯拉股票，我只是认为这个人将继续创造不成比例的回报，即使他偶尔失败。我只是认为他的能力是奇迹般的。这就是我对埃隆的看法。Tino 问：感谢你提供“双重十字”概念的链接。顺便说一句，我将把它放在节目笔记中。有一个很棒的 LessWrong 帖子解释了“双重十字”，这是一个解决争论的绝佳技巧，基本上我就是在我的辩论中使用它。我的辩论在我看来就是富有成效的“双重十字”交流。Tino 继续说：你在辩论中使用它的经验如何？你遇到的最常见的陷阱是什么？你如何说服对方参与这个过程？以及对方即将退出对话的迹象是什么？我不会告诉对方我在做什么，我不会解释：“嘿，‘双重十字’将这样运作。”我有时会提出我只是想弄清楚我们 disagreement 的想法。这通常是我告诉他们关于整个“双重十字”事情的全部内容。但我会把它保持常态，你知道吗？我不会试图让它从他们的角度来看过于理性主义。突然之间，通过在我这边进行“双重十字”，我变成了一个好奇的采访者，就像“哇，我非常想听听你如何看待世界。”现在，在我看来，这不是因为我真的很好奇，而是因为我像拳击手一样在擂台上，我像是在跳舞，对吧？我在寻找机会出拳，但我不希望过早出拳。我只是想确保我击中的东西是真实存在的，而且我并不满足于它在他们自己看来是真实存在的，直到我问他们很多问题，并澄清那确实是他们的心理模型，然后我才出拳。在花了半个小时澄清他们的立场之后。我认为这是一个巨大的失败模式，当你去和大多数人争论时，他们告诉你的第一件事，当你甚至开始争论时，可能就是侮辱，就像一开始一样。“哦，太好了，你带着恶意来和我争论。”他们开始出拳，甚至在你说了任何话之前。然后你开始陈述你的观点，然后他们立即反击，就像“哦，太好了，经典的自由派观点，经典的保守派观点。”他们立即试图抓住你所说的东西并进行争论。就像，“等等，在你可以扔出自己的拳头之前，确实需要很多在拳击场上跳舞。”所以，很多舞蹈，这就是我如何看待“双重十字”。就像，“好吧，多告诉我一些。你认为这个还是那个？”这就是为什么我花这么多时间做一个所谓的“好听众”。人们说：“哇，Leon，真是个好听众。”我其实不是，我其实是个糟糕的听众，但在我进行争论或辩论的特定情况下，我必须成为一个好听众，这样我才知道要辩论什么。而对方会承认：“是的，这就是我的立场，这就是我真正相信的。”问题是，如果你在对方确认他们所想之前就出拳，对方的举动，无论他们是否意识到，基本上就是转移他们的立场。所以现在你出拳了，你以为你击中了他们，但他们不会确认你击中了他们，因为他们转移了立场，现在他们可以表现得好像“不，不，不，那不是我的立场。”所以你必须确保他们已经告诉你了。其他立场，这也被称为“设下陷阱”，对吧？我的意思是，通过采访他们的立场，我也在设下陷阱，陷阱就是他们说出自己的立场，就这么简单。是的，真是太疯狂了，有多少争论进行下去，你永远无法确定对方的立场是什么，而你却试图与之争论，然后你就输了，你处于一个更弱的地位，因为你在出拳之前没有足够详细地观察。所以，当我进行辩论时，每个人都赢了。他们是互相尊重的辩论。在我内心深处，我感到兴奋，就像“是的，我是个拳击手。”现实地说，我踢不了任何人。我就是个死肉。但在我脑海里，当我进行这些辩论时，我想：“是的，这是拳击，我要打出一记好拳。”所以我对自己感觉很好。而对对方，我超级礼貌，我说：“哦，多告诉我一些，让我们澄清你的立场，让我们真正说出你的立场。”所以，我听起来像一个礼貌的、互相尊重的采访者。而从观众的角度来看，我提供了一项公共服务。你知道吗？你可以去我的播客，真正地了解我的嘉宾的想法，因为我会帮助你真正地阐述嘉宾的想法。所以每个人都赢了。在我脑海里是一场战斗，对你来说是一场互相尊重的采访，对观众来说，这是一项公共服务。对嘉宾来说，这是一个富有成效的互动。希望没有人输。当你使用“双重十字”时。所以，希望这是一个更强大的“双重十字”与像阅读 LessWrong 并说：“哦，那些理性主义者，他们太书呆子了。”不，不，不，不。如果你想让你的拳头击中目标，这就是你出拳前的舞蹈。如果你想让你的拳头真正击中目标，那就是“双重十字”的黑暗面。但再次强调，这不是黑暗面，对吧？我出拳的原因是因为这个人确实在做糟糕的论证，而且我们现在把它揭露出来真是太好了。即使对方说：“哦，糟糕，我不想让你揭露我的糟糕论证，我想赢。”但太糟糕了，你去了“末日辩论”，你必须让你的论证被击中。Hammer of 655 问：谁是 AI 存在风险辩论中拥有强大论点的人？嗯，我认为我无法公正地回答这个问题，但有几个名字浮现在脑海中。在“末日论”一边，显然，Eliezer Yudkowsky 的 LessWrong 系列文章是独一无二的。如果你想让我评论某个特定的帖子，请在我的 YouTube 评论区发布，因为我正在做一个名为“理性主义 101”的系列。你可能已经看到我 YouTube 频道上的一些视频，我基本上只是评论这些经典的 Eliezer Yudkowsky 的 LessWrong 帖子。所以，现在就深入研究吧，你可以参与“理性主义 101”项目。然后是 Rob Miles，看看他的频道，我会放在节目笔记里。他以一种易于理解的方式很好地解释了许多存在风险的概念。所以我强烈推荐浏览他的 YouTube 频道。然后是 John Sherman 的“人类四重奏”播客。我自己也参加过几次。John 很棒。它肯定更适合普通观众。所以，如果你已经深入研究了技术性的 AI 安全讨论，也许你不是理想的观众。但我是说，我有点深入研究了，我还是听了。我认为这很棒。如果你只是想：“到底发生了什么？我不是技术人员，但我就是不明白为什么社会不认真对待 AI 风险，而且很紧急。”那么就看 John 的播客吧。你会觉得：“哦，终于有一些理智的人在这里谈论这个问题了。”太好了，而且不必深入研究技术细节。所以，一定要看看 John German 的“人类四重奏”播客。然后我会推荐你去看 Pai 社区，pa.info。基本上，加入 Discord。我也会说：“嘿，最新的论点是什么？我应该看看什么？”我再给你一个“末日论”资源。这是一个新网站，叫做 Lethal Intelligence。去看看吧。那里有一份很长的“末日论”解释者和“末日论”科学家的名单。我自己也在上面，所以你知道这是一个很棒的资源。但那里有很多持有值得一看的“末日论”观点的人。我认为他也列出了非“末日论”者。所以，去看看 Lethal Intelligence.com。我也会把链接放在节目笔记里。然后我们到了非“末日论”者。我必须告诉你，这很难。就像，通常我没有问题说：“嘿，这里是另一边的人，他们提出了一堆非常有说服力的论点。”这很难，伙计。对于非“末日论”者来说，这很难，因为就像，我不知道一个人怎么能至少说：“好吧，有 5% 的概率是‘末日论’。”那些说概率低于 5% 的人，我就是不明白。这对我来说太疯狂了。但我的意思是，只是强迫我说出几个名字。当然，节目的朋友 Robin Hanson。我尊重他所说或所写的一切，因为他非常深思熟虑，他拥有如此详尽的心理模型，这些模型是相互加强的，而且考虑周全。而且作为一个个体，他总体上显然比我聪明。所以你必须尊重他可能知道他在说什么。但我的猜测是，可能不是。我只是记下了。然后是 Carl Shulman。毫无疑问，一个聪明人，他有很多聪明的观点。但就像，当涉及到 AI 末日这个话题时，我仍然看不到。这似乎就像他没有正面解决末日问题，他只是说：“看，我可以想到的所有其他非末日情景。”但它们都好像在忽视房间里的大象，那就是：“好吧，但如果 AI 变得更聪明一点，然后就太聪明了呢？”所以我不太理解 Carl Shulman 的观点。但如果你只是在寻找一个非“末日论”者，他没有明显错误，也没有做出明显糟糕的论点，他绝对在我短名单上。所以你可以看看 Doresh Patel 对 Carl Shulman 的采访，那个相当不错。然后是 Quinton Pope 和 Nora Belrose。我认为他们是同一个实验室的同事。我必须给他们俩点赞，因为他们似乎至少理解“末日论”的论点。他们似乎至少比我通常期望的非“末日论”者更流利地讨论它。这很罕见，我希望他们是对的。我认为他们的概率是 1% 到 4%。我忘了确切的数字。所以这有点超出了我所说的“理智范围”。我认为你真的至少要给它 5%。但是的，至少他们不像 Yan LeCun 那种 0.01% 的类型。所以他们几乎在理智范围内，而且他们显然是聪明人。我当然希望他们是对的。所以，去找 Quinton Pope 和 Nora Belrose。我也会把链接放在节目笔记里。这就是我想到的所有非“末日论”者。你知道，我可以想到很多我在整体上尊重的人，就他们的工作而言。但我根本不尊重他们的非“末日论”论点。就像 Yan LeCun、Steven Pinker、David Deutsch。我只是觉得他们的论点质量从根本上来说太弱了。所以真的只有少数几个人，我才觉得：“好吧，你的论点不是立即可以被驳斥的。”我认为我刚刚列出了他们。H 655 的另一个问题是：这是我相当心理学的问题。为什么加速主义者觉得他们需要称“末日论”者为邪教？我想问的是：为什么总体上话语是糟糕的？我认为这就是更大的问题。人们喜欢攻击对方，无论他们能用什么方式。进行客观层面的论证是困难的，而且很乏味。当你只需要说：“你知道吗？你即将听这个人说话，但猜猜怎么着？他是个强奸犯。”这种话语可以阻止对话，然后你就自动赢了。这就像“愚者之王”，当如此容易获得那种“嘿，我赢了，或者我赢得很轻松，人们已经站在我这边了”的多巴胺冲击。这只是更少的工作，如果你能成功地赢得这场战斗。我经常在推特上看到人们在他们看来是通过进行愚蠢的人身攻击来获胜的。就在昨天，我回复了一个在推特上随意称“AI 末日邪教”的人。我只是说：“看，如果你列出真正的邪教，拥有高概率‘末日论’的庞大群体将在你的名单中显得格格不入。”这表明你正在使用“邪教”这个词来修辞或混淆，而不是作为精确的沟通。当然，没有回复。关于推特和许多在线互动，人们喜欢两面兼顾。一方面，他们说：“嘿，我们只是在发泄，我们只是在玩乐，我们只是在发帖。”另一方面，他们说：“哦，是的，我是一个哲学家，我的推文实际上非常机智，我喜欢有很多粉丝，我实际上使用推特作为知识来源。推特上确实有很好的思想交流，而且埃隆让推特免费真是太好了，因为这是思想的市场。”所以他们两面兼顾。他们表现得好像他们不认真对待，但我们都知道在推特上发生的互动确实能推动事物的发展，能推动话语，能改变人们的想法。所以，你使用频繁的人身攻击，以那种形式，让你成为一个混蛋。我见过人们试图狡辩，当我指出他们正在使用人身攻击时。就像，就在前几天，有人说：“如果你看看 Beth Jos 对比 Connor Ley，很明显 Beth Jos 举的重物更多，你知道举重实际上非常重要，任何不明白举重重要性的人，我们都应该打折扣他们的意见。”我说：“哇，所以你显然只是在进行人身攻击，你只是绝望地想找点什么来避免谈论客观层面的论证。”而那个人说：“不，不，不，不，不，这不是人身攻击。这实际上是一个很好的背景信息，有助于你评价论点。”就像，人们进行人身攻击时，试图将其掩饰为“不，你不明白。”这很常见。好吧，你不明白。这个人关于这个人的事实实际上非常重要。但它不是，它真的不是一个重要的事实，谁举的重物更多。所以，推特，我确实认真对待话语，因为有严肃的人在交流严肃的思想，只是其中一些人对此很混蛋。所以我经常回到这个想法：“嘿，我们真的需要一个裁判。”想象一下，如果推特有一个开关，你可以打开它，突然你就会有一个裁判，他了解基本的辩论规则，基本的辩论标准，比如当你试图谈论实质性问题时，不要爆出人身攻击。你会说：“嘿，那个称‘末日论’者为邪教的人，你得到一张黄牌，你不应该那样做。”或者，“嘿，那个完全歪曲对方的话，误解他们的主张，然后嘲笑他们的人，你得到一张黄牌。”在 Mark Andrion 的案例中，我写了一篇文章，说明他应该得到一张红牌，因为他犯了很多错误。但我会把那个留到下一期“末日辩论”。但是的，我的意思是，这很疯狂，我们有一个叫做推特的工具，它非常擅长给人们带来多巴胺冲击和实时互动，它非常令人上瘾，但它却缺少如何改进话语的低垂的果实。这并不难，就像社区笔记一样。做一个话语笔记并不难，就像“那是一次人身攻击，人身攻击是糟糕的话语，你的话语得分现在下降了，你是一个糟糕的话语交流对象。”这并不难。所以，这是我希望有一天会出现的一种社会技术。就像我说的那样，我在这里尽我的一份力量，通过“末日辩论”，我坚持严格的标准，什么是好的话语，什么不是。我不会容忍有人肆无忌惮地当混蛋，然后说：“嘿，伙计，归根结底，就是看谁得到的赞更多。”不，话语是有标准的。即使我们还没有确定谁是对的，谁是错的，在客观层面，我们可以说你在元层面犯了一个违规行为，应该有后果。应该有一个反馈循环。应该有一个裁判。所以，待续，对吧？我一直在思考我在这方面能做什么。ml algo trader，他实际上是我的朋友，问：我一直在想，你的辩论/视频需要多少准备时间？你提前练习吗？如果练习，练习多久？哦，我从不为我的视频练习。你现在听到的是我当下意识流的真实写照，没有记忆或照稿子。下一个问题。不，我只是开玩笑。对于辩论和嘉宾访谈，我会提前列出主题大纲，我也会与嘉宾分享，有时我会进行模拟辩论来准备。所以，如果你还记得，对于 Robin Hanson，我发布了一个意识形态图灵测试，我假装是 Robin，作为我辩论准备的一部分。然后我还发布了一个视频，回顾了我将要告诉 Robin 的内容。当我打开 Substack 的高级会员时，只是为了独家内容。我的一些辩论准备，我想会是独家的，因为你知道，全世界不需要看到每一个部分。而你们，我的大脑信任者，高级订阅者，你们可以评论并帮助我制定策略。所以，这可以成为 Leon 反应剧集的有趣奖励。当我观看别人的播客或演讲，然后暂停并发表我的看法时。那些我实时进行的。所以，并不是我事先已经看完了整个内容。除了在某些情况下，我会提前完成，然后我会回溯并添加一部分到我的反应中。有时我会告诉你：“嘿，你接下来会看到这个。”所以，这有点混合。但我看整个内容的数量，就像，我不是看两次。我看了大约 1.3 次。当我说话回应时，我说的确实是即兴的。
不像我在念稿子，但我的秘密是，我说的内容比最终剪辑出来的要长两三倍。很多时候，我会在讲一个半生不熟的观点时停顿一下，重新思考我要说什么，然后重新录制。当然，你只会看到最后一次录制。我学到的一招是，如果我试图整理思绪，对我来说很重要，如果你在 YouTube 上观看，我会在句子中间停顿，然后我必须确保“冻结”画面。这样，当我继续说话时，如果我剪辑了，你就不会注意到有剪辑，因为冻结效果很好，我的头会保持在思考停止时的位置，你不会注意到。当然，我做得没那么好，你会注意到我有很多剪辑，我会在视频的另一部分突然跳跃。所以我绝对鼓励，如果你想以音频形式收听，你知道有播客，所以你不必在 YouTube 上收听。打开你的播客播放器，搜索“Doom Debates”，这可能是最好的收听方式。我编辑内容的目的是不想浪费你的时间，当你听到我说“哦，我该想些什么”或者听到我重复我说过的话时，那是在浪费你的时间。我的工作就是把这些东西剪掉，我最后给你的内容就像一个有逻辑大纲的独白，有点像 Sam Harris 做的那样。我想他是如何做一个好的播客独白的榜样。至于录制时间，每 1 小时的内容需要大约 3 小时的录制时间，然后还有 3 小时的编辑时间。所以，我可能需要连续 6 个小时才能制作出 1 小时的视频/播客。我认为效率很重要，因为我的流程越有效率，我就能越快地推出内容，我能处理的话题就越多，我也能更好地将它融入我的生活，这样我就更愿意跳进工作室做这个，同时我也在做其他工作。所以效率对我来说很重要，但 6 小时的劳动换来 1 小时的输出内容，考虑到你们已经观看了 1000 小时的内容，这已经是相当有效率了。如果我推出 1 小时，你们花费了 1000 小时的集体生命，我至少应该花几个小时而不是浪费时间。Laura O'Connor 问，Sam Altman 和其他人说我们会创造我们现在还想不到的新工作，但看起来像呼叫中心工作人员、客户服务、医生（在获得监管批准后）以及许多其他工作都面临被广泛自动化的风险。社会将如何处理这些人？我同意失业率会上升，我并不真的相信所有这些很酷的新工作都会被创造出来。我认为有很多已知的工作，比如客户服务，正在被直接自动化，至少是足够高的比例，以至于你可以淘汰一级，保留二级，保留二类，基本上是人们升级到的那一类。我从我认识的人和我在读的东西中看到了足够多的例子，让我觉得，是的，我不知道为什么客户服务人员应该期望在低级别的客户服务中找到另一份工作。如何重新安置一个曾经做低级别客户服务的人？他们去哪里？他们成为网红吗？他们成为“象征性人类”吗？所以你去一个地方，一切都自动化了，但他们说，“看，我是象征性人类。”我不知道他们要去哪里，我承认我可能会感到惊讶，所以我不做自信的预测，但我就是看不到。我认为随着人工智能越来越好，我认为我们将被挤压到经济中非常少的几个领域。话虽如此，也许所有这些低技能的人将被挤压到那些突然薪酬更高的领域，因为就像“嘿，总得有人做吧”，就像你必须拿起牙刷，擦拭一个机器人够不到的随机裂缝，你每小时能赚 100 美元，因为经济如此富裕。也许这种情况会持续一段时间。最终，试图分析超级智能 AI 杀死我们之前会发生什么并不是我的强项。我也认为很难根据趋势来判断，因为趋势可能是，哦，再过十年，人类仍然需要开车。AI 永远不会开车。但然后情况发生了变化，就像“哦，AI 在开车了。”哦，现在 AI 正在驾驶所有汽车，所有人类都突然失业了。所以，如果你试图天真地进行归纳和推断，基于某个特定的趋势，我认为你将会迎来一个严峻的教训，就像这样。就像我读到客户服务人员被裁员时，这一切都出乎意料地发生在一年的时间里，而且还在继续。但是，如果你只看在 6 到 12 个月内的裁员，那相当迅速，就像“砰”，你们以为客户服务很安全？不，客户服务已经经历了重大的转变。所以，关于社会将如何处理那些无法从事有生产力工作的人的问题，我没有特别的见解，除了“是的，福利，普遍基本收入”。我认为这已经发生了。已经有很多人无法实际获得最低工资，因为他们太不可靠了。雇主不会发现他们有足够的价值来支付他们最低工资，他们已经获得了残疾福利，他们已经处于经济边缘，但仍然生存着，因为我们生活在一个足够富裕的社会，至少是许多第一世界国家是这样，当然不是全世界，但我们生活在一个足够富裕的国家，就像“嗯，他们会得到一些东西，对吧？他们会得到一些基本的东西。”如果我个人无法参与经济，我会觉得这很糟糕，但我认为我仍然可以做一些有趣、有创意、可以与他人合作、也许可以与他人竞争、也许可以与一些更笨的机器人竞争的事情。我认为生活仍然值得过。所以，最难的问题是，我们能否确保为他们分配资源？我认为答案是肯定的。我的意思是，我认为福利并不难做到。我认为很快答案就会变成“不”，因为 AI 会杀死我们。别忘了，AI 会杀死我们。但是的，我认为这就是我对失业问题的全部看法。Julian W 问，有什么好的话题/研究问题可以深入研究技术性 AI 安全，比如硕士论文或小型项目来入门？好问题。我没有一个非常具体的答案给你，但可以查一下 Matts，即机器学习对齐和理论学者。Matts 赋能研究人员推进 AI 安全。Matts.program.org，我会在节目笔记中放一个链接。你可以看看 Redwood Research，这是一个我尊敬的小型组织，专注于技术性 AI 安全的一些重要方面。除此之外，还可以看看 AISafety.community，这是一个有趣的网站，有很多 AI 安全相关的组织。但是，关于具体问题，我认为没有一个万能的问题。这是一个非常困难的多方面问题，我们离获得基本立足点还很远，祝你好运。你可以解决任何问题，你可以解决可纠正性，如何让一个有目标的 AI，在不认为“哦不，你在伤害我的目标”的情况下，愿意让你关闭它。这是一个未解决的问题，也是众多问题之一。这个问题有很多角度。Roman Yampolsky 喜欢指出的是，我们如何调和所有不同人类的所有不同价值观？你如何将它们合并？什么是正确的方式？我的意思是，显然有无数种方法可以做到，但什么是正确的方式？我们希望 AI 怎么做？如果我们打算编程一个超人类效用最大化器并很快让它运行，我们最好尽快弄清楚。对齐问题有很多角度，而我们可能没有多少时间来解决它，所以我认为最好直接向公众传达：这是棘手的，我们解决它的机会非常渺茫，所以我们必须成为房间里的成年人，重新安排时间表，让能力时间表落后于安全时间表，这意味着减缓或暂停它。我喜欢使用的另一个关键词是“棘手的”，谈论它是一个棘手的问题。现在，对于这次问答第一部分的大结局，我有一个来自 Manic Mind Trick 的六部分问题，所以我将回答所有六个部分，今天就到这里。Manic Mind Trick 第一部分：你是否曾被 AI 进步的必然性所压倒，觉得我们可能都在进行一场输掉的战斗？我知道这是一种失败者的心态，但很容易陷入其中。是的，生活一直都在走向不可避免的死亡，对吧？所以，即使是那些试图在没有通用人工智能、没有核武器、没有世界必然终结（除非宗教这么说）的情况下度过一生的人类，人类也必须处理“我将死去，我的孩子最终也会死去，也许我们的社会也会灭亡”的想法。你知道，历史有那么多不同的时代，它总是在那个意义上转瞬即逝。所以，我仍然与我的祖先有联系，就像“你们处理了短暂的存在，我处理了短暂的存在”。人类一直都是无助地随波逐流。现在的不同之处在于，我们终于有能力控制整个宇宙了。这与人类历史的所有方面都不同。我们真的可以破解我们所处的游戏，对吧？就像我们是这个电子游戏中的角色，就像《模拟人生》，但突然我们敲打着第四面墙说，“嘿，我想出去。”“我知道这一切是如何运作的，我也可以进入上帝模式。”或者就像《楚门的世界》中，楚门最终上了船，试图看看海洋有多远，最终到达了墙壁。这有点像人类，我们正在触及我们被置于其中的宇宙的边界。这很酷，但不幸的是，与此同时，我们也把装满子弹的枪对准了自己，在我们有机会出去之前，我们就结束了。你知道，正如 Eric Weinstein 所说（不是说他通常有好的观点，但他有一个很酷的比喻，关于传送门），你找到了通往传送门的办法，你找到了离开这个被困的游戏关卡的方法，或者别的什么。所以我们正在找到传送门，但我们也在杀死自己，我们实际上不会离开，或者我们不会真正了解发生了什么，我们不会成功地升级自己，我们只会死于某种升级自己的东西。我想，被某种可能升级自己的东西杀死，这算是一种不错的安慰奖。我希望它会在杀死我们之后升级自己，而不是仅仅“用回形针，用专用简单硬件”。我希望它会升级自己。所以，我现在谈论的这些事情确实代表了我祖先时代的一个断层。我认为让他们对他们所处的时代做出同样的说法是不公平的。我们处于历史可能终结的时代，这确实使生活比人类几个世纪以来所经历的更加短暂，更加悲伤。但它可能感觉上与我们的祖先所感受到的并没有太大不同。短暂就是短暂，就像我们的大脑无法理解这是比 10 的 80 次方更短暂。它们不知道我们的大脑最多只能处理“嗯，这很短暂”。所以，不，我不会感到不知所措，因为我的神经元不会精确地处理数量级。但如果它们会，那么我可能就会。Manic Mind Trick 第二个问题：你听过的关于非末日情景的最佳论点是什么？有什么让你停顿了一下吗？是的，我的意思是，我可以提出几种我们不会走向末日的方式。模型中的不确定性，换句话说，未知的未知。只是我遗漏了什么。你知道，你永远不知道你遗漏了什么。生活有时会让你措手不及。哦，该死，我遗漏了那个。当然，我认为那些非末日论者遗漏了很多东西，他们将在许多方面措手不及。所以，也许我也将在某种程度上措手不及，谁知道呢？另一个潜在的乐观原因也许是我们确实有很长时间才能让 AI 变得超级智能，而且我们也不会互相核打击。我的意思是，谁知道呢？可能还会有一个 AI 寒冬。我不是说肯定不会再有 AI 寒冬了。也许那些机器人总是会卡住，而我们非常擅长操纵物理世界，而机器人却非常不擅长。当然，它们可能只是大师级的心理操纵者，它们可以拥有一支人类军队来为它们进行物理操纵。但也许它们就是不擅长成为大师级的操纵者，无论出于何种原因。或者也许我们可以阻止它们，或者不发布那个大师级操纵者的版本，对吧？就像，看，这些是可能的，对吧？这些希望是可能的。它只是，感觉有点脆弱的希望，对吧？感觉有很多理由认为这些希望不会成真，但你不能完全排除它，对吧？也许你可以寄希望于那种情景。也许我们会进入一个长期的半 AI 寒冬，在那里很容易为这些 AI 准备一个“关闭按钮”。就像，无论出于何种原因，它们只是对我们来说不是超级有效的，所以它们只是我们的“苦力”，一切都很棒。我仍然认为我们将从那里过渡到工具性趋同的效用最大化超级智能。但到那时，也许我们会对安全有更多的理论。我很难描述乐观情景，对吧？我正在尝试。你可以寄托希望的另一个地方是，超级智能工程不会比人类工程好多少。许多在特定领域拥有领域专业知识的人，比如化学和生物学，他们说，“我告诉你，伙计，纳米机器太难造了。”你将用来操纵那些东西的移液器尖端会卡住。他们提出了所有这些反对意见，就像，“好吧，我只是认为有许多不同的方法可以有效地设计宇宙，而你的直觉是错误的，你已经接近这些方法的边缘了。”但是的，我的意思是，这是 AI 可能失败的一种潜在方式，就像，如果事实证明操纵事物和设计事物，我们恰好非常接近变得非常非常非常困难。也许 AI 会对改变细胞 DNA 的后果感到困惑，它会对自己如何预测该细胞的行为感到困惑。这是可能的，但就像我们在 AlphaFold 和 AlphaProteo 中看到的进展一样。我觉得它会预测细胞的行为，而不是所有可能的细胞的行为，但足以预测细胞的行为，以至于它基本上有一个它理解的蛋白质类型和操作的白名单，并坚持这些，就像工程通常那样。你不会预测一切，你只会坚持那些你可以预测的东西。我认为这将是一种强大的方法。所以，总之，抱歉又回到悲观主义者并给你悲观的论点。我只是看不到任何这些特定原因的乐观前景。我认为最强的两个是，也许我们会再经历一次寒冬，因为进步很难预测，以及未知的未知。我只是感觉不太自信，但从逻辑上讲，我也看不到为什么我不应该自信。这就是我现在的立场。我会说，就我个人而言，我的直觉并没有崩溃，对吧？在某种程度上，我仍然期望过上“又一个美好的一天，又一个美好的一天”。就像今天，我的手机服务实际上已经中断了，这是我 10 年来的第一次，Verizon 发生了全国性中断，我说，“该死，把手机放回去，我很忙，我是一个忙碌的人。来吧，让服务恢复。”即使我知道，“嘿，也许 5 年后它会永久中断，对吧？”所以，就像我应该在精神上做好准备，但我想，“去他妈的，让手机服务恢复，来吧，我得走了。”所以，在某种程度上，我的直觉就是期望有正常的一天，好好放松，即使我的逻辑思维说，“我不知道那会怎么发生。”Manic Mind Trick 第三个问题：你是否参加过标准化智商测试，结果如何？我从来没有。我希望我做过，得到一个官方分数，因为我认为智商很重要。我一直在谈论人们在特定智商范围内应该做什么，比如上大学。好吧，130 的智商是前 2%，145 的智商是前 0.1%。我客观地猜测我的智商在 135 到 150 之间。也就是说，我可能是 100 到 2000 人中最聪明的人。我不确定，可能有点偏差。这只是基于我在高中和大学里一直名列前茅的经验，但不是那种我从来没听说过比我更厉害的人的程度。我实际上认识很多比我在这方面更厉害的人，即使是在我的高中和大学。SAT 也可以作为智商的替代。所以，当我 2004 年参加 SAT1 时，我的分数是 1600 分中的 1560 分。显然，数学 800 分，因为他们把数学弄得太简单了。只有语言 760 分。回想起来，我想，“拜托，过去的自己，你连语言都考不到 800 分？”真的有那么难吗？我可能可以临时抱佛脚，做得更好。我想我只需要更多的词汇量，或者更多的阅读理解练习。但我不明白那是什么问题。回想起来，我只是觉得我现在的自己如果能辅导过去的自己，可能会把分数提高一点。但我想 760 分也不错。我找到了一个随机网站，它将 SAT 分数映射到智商，因为我认为它们之间有很强的相关性。它说，如果有人得到 1560 分，那么他们的智商是 150 分。所以，太棒了，我接受。但说实话，可能更低。我认为当接近 1600 分时，就像，你会说什么？1600 分必须映射到一个相当高的智商。所以他们快用完可以映射到高智商的 SAT 分数了。所以我认为我受益于这种效应。人们如何使用他们的智商很重要。对我个人来说，这些特定的技能很容易，将事物简化为几个简单的基本组成部分，并理解少量组件之间可能交互的范围。我觉得我在这方面做得很好。理性主义和认识论，可以说是我的强项。你知道，AI 的东西确实引起了我的共鸣。将客观论点与人身攻击和其他元层面的讨论分开，对我来说非常容易。我惊讶地发现，对其他人来说似乎非常困难。解释事物/用语言表达我的想法，并以引人入胜/娱乐的方式说话。我觉得这些特定领域恰好是我擅长的汇合点，无论我的智商如何。所以，即使有些人智商稍高，但他们可能在这些特定的子技能上不如我。反之，也许我的智商比别人高，但我讨厌微积分之类的东西。在数学领域，那不是我的强项。所以，在智商相似的人类之间肯定有回旋的余地。我认为 AI 末日和播客谈论 AI 末日这个话题，你知道，我做这个播客并不奇怪。我试图发挥我的优势，也试图最大化我的影响力。我的原始智力对于观察人类人口来说并不那么独特，有数百万像我一样的人。但如果我选择正确的事情来运用它，如果我发挥我的优势，也许我能改变世界。我认为承担提高公众对通用人工智能迫在眉睫的灭绝的认识，并建立高质量辩论的社会基础设施，这符合我的优势。感觉很合适，而且肯定有需求。总之，回到智商话题。我认为我的智商不是天才级别，不是 150 以上的原因之一是，我有很多次我非常愚蠢的记忆。当我还是个单身书呆子想认识女士时，我读了各种博客和泡妞秘籍的书，我接受了很多建议，认为它们可能是准确的。哦，是的，这是一本泡妞秘籍，他们知道他们在说什么。他们会给出糟糕的建议。别误会我，有些建议很好，但很多建议都很糟糕。就像，我正在应用建议，我想，“我为什么要应用这个建议？”就像，哦，讲一个关于我的生活有多棒的长故事。就像，我为什么站在这里讲一个漫长而尴尬的故事？这是糟糕的技术，对吧？最终，在经历了一百万次尴尬的互动后，我明白了。这只是其中一个技巧。我没有做太多贬低，如果你知道的话。幸运的是，我没有像一个巨大的贬低者，但那也是大部分糟糕的建议。所以，如果我连注意到糟糕的建议都做不到，我能有多聪明？我不知道。这设定了一个上限，对吧？我认为我现在比过去更聪明了，因为我不断改进我的启发式方法。我比以前更知道如何进行二次检查或证明事物的价值。我只是注意到什么有效，对吧？基本上是建立模式。就像每个老人说他们聪明一样，因为他们的模式太好了。每个人都这么说。我喜欢认为这是真的。我怎么知道？好吧，这是我对自己的智商的看法。Manic Mind Trick 第四个问题：当世界末日时，你想在耳机里播放什么？我无法专注于这一点，因为我有一个固执的想法。我只会想，“该死，世界末日了，我怎么才能无痛死亡？该死，世界末日了，我怎么才能无痛死亡？”我只会专注于这一点，我不会真正关心当时在播放什么。所以，是的。Manic Mind Trick 第五个问题：随着我们越来越接近通用人工智能，AI 的能力对公众来说变得越来越危险和不可控，我们可能会看到大规模恐慌和针对 AI 领导者的暴力行为爆发，试图阻止 AI 灭绝。你对此有何看法？我不一定认为这是我们应该预期的社会动态，尽管非末日论者喜欢指出我们并说，“嘿，你们为什么不发疯？今天我们就会开枪射杀你们，暗杀人们，并对数据中心发动空袭。”他们喜欢说，“你们的信仰很奇怪，所以你们现在应该发疯。”就像，“你自己会发疯吗？”他们说，“是的，我会。”我说，“你真的会吗？我不这么认为。”我认为你仍然是你，你不会发疯。我读到，在各种灾难中，人们通常保持秩序，并互相帮助，尽管你可能会认为，“哦，现在是人与人之间的斗争了。”但事实并非如此，他们确实倾向于遵循他们习惯的规则，他们确实倾向于尊重当时的情况。所以我乐观地认为，提高恐惧水平可以帮助推动一个真正有成效的解决方案。它可以帮助我们实现互联网治理和监管，而不是每个人都完全无法无天和疯狂。我不乐观地认为由此产生的监管会足够。它可能不够，但我乐观地认为，散布恐惧将有效地帮助我们尝试并最终。Manic Mind Trick 第六个问题：你妻子的末日观是什么？好问题，Manic Mind Trick。所以我刚刚给她发了短信，她的回复是：“确切的说法是，没有答案，永远不要想它。”我拒绝了。好吧，作为背景，我妻子是个普通人。所以这是一个非常典型的普通人的回应，就像，“看，这不是我的事。我有其他兴趣。好吧，你是那个末日 guy，你来解决吧。如果你需要我投票，告诉我，但否则，享受你的末日 guy 生活吧。”这就是我妻子的态度，就像，“好吧，你明白。我们不需要每个人都成为末日 guy，只要他们不碍事，我认为没关系。”好吧，这是第一部分。我们已经完成了问题的一半。我将再做一集。我认为每个写问题的人都应该得到回应。作为你们精英前一千名订阅者，你们应该得到这个。只是你必须理解我的困境。处理一千名订阅者并不容易。这是一个沉重的负担。我的一部分想说，“好吧，你们中的 500 人出去，出去。这仅限于 500 人。”另一部分是，“哦，是的，我们的使命是达到数百万观众的主流受众。”所以，我们才刚刚开始。请继续关注《Doom Debates》第二部分订阅者问答，希望在接下来的几天里。如果你一直看到这里，并且喜欢它，但你不是《Doom Debates》的订阅者，你只是在浏览其他视频，然后在侧边栏看到了它，就像，“嘿，这个人会回答什么样的问题？”然后你点击了，你说，“哦，这很有趣。看，这是生死攸关的。”好吧，如果你想加入我参加第二部分，现在就点击订阅按钮。否则，就别费心了。好吧，做出你的决定，做正确的事。剩下的，订阅者们，来吧，让我们开始吧。