Transcription
您认为关于人工智能，有什么真相让您夜不能寐？目前，开发它的人们并不真正了解它是如何工作的。而我们却投入了数十亿，甚至数万亿美元。军备竞赛和安全有时甚至未被提及。如果公众知道这一点，他们可能会恐慌。现在，政府级别的行为者正在投入他们拥有的所有计算资源、所有算力、所有顶尖科学家来支持私营企业。所以与他们合作以实现高级人工智能，而我们却不知道如何控制这些东西。我们已经超越了拥有安全措施的能力。所以，如果我们还活着，永远不会太晚。>> 您真的认为人工智能[音乐]会毁灭人类吗？所以，如果您创造出比您更聪明、能够设定自身目标的东西，您就无法真正预测它会做什么。所以它一定会那样做吗？我们无法预测。但在宇宙所有可能的状态中，对人类友好的状态非常少。所以，罗马，我必须说我看了您做的每一个采访，我总是对您所说的话感到着迷。我一直在告诉人们您说过的话，他们认为我疯了，而我却说，看，我不是专家。我只是在引用罗马，他是专家。嗯，但我真的对很多人仍然不真正了解人工智能这一事实很感兴趣。嗯，所以，您认为目前有什么关于人工智能的真相让您夜不能寐？如果公众知道这一点，他们可能会恐慌。开发它的人们并不真正了解它是如何工作的。而我们却在投入数十亿美元，甚至数万亿美元进行这场军备竞赛。而且，安全有时甚至未被提及。昨天，白宫发布了一项新的国家议程，旨在更快地开发更先进的人工智能，而且，我认为该提案中没有提及安全。所以现在，政府级别的行为者正在投入他们拥有的所有计算资源、所有算力、所有顶尖科学家来超越私营企业，或者与他们合作以实现高级人工智能，而且，我们不知道如何控制这些东西。所以您认为政府不理解他们为什么没有将安全纳入对话的全部原因吗？>> 不同的政府有不同的优先事项。我认为目前的政府在人工智能安全方面，在存在性风险与算法偏见方面，在保护地球、多元化、包容性问题方面，有些混淆了。他们把所有这些都归为一类，说我们不太担心。所以这有点不幸，结果是他们正在朝着最先进的人工智能冲刺，而对伞下的所有这些术语却毫不关心。>> 所以您会说我们已经超越了拥有安全措施的能力，或者如果他们说罗马，我们要让你负责，您现在会做什么吗？所以，永远不会太晚。如果我们还活着，我们肯定能想出一些好计划。但是，总的来说，朝着人工智能冲刺似乎不是一个好主意。我们需要很多时间来弄清楚到底发生了什么。我们已经发布了非常先进的模型。我认为目前它们与最聪明的博士生不相上下。所以，我们有很多潜在的经济财富可以部署。它还没有完全为经济部署。我认为它可以自动化许多许多工作。它可以给我们很多免费的东西。但是，我们没有试图将我们拥有的东西货币化，而是试图在不考虑安全的情况下达到那个未来的超级智能目标。>> 所以您真的认为人工智能会毁灭人类吗？罗马，>> 所以，如果您创造出比您更聪明、能够设定自身目标的东西，您就无法真正预测它会做什么。如果您不够聪明，那基本上是不可能的。所以它一定会那样做吗？我们无法预测。但在宇宙所有可能的状态中，对人类友好的状态非常少，就我们对温度、重力以及所有基本需求而言。而且，如果您不负责任，别人就会为您决定这些属性。>> 如果人类失去对人工智能的控制，您认为最初的 24 小时会是什么样子？如果开发者失去对人工智能的控制，会发生什么？很可能我们不会看到任何区别。所以，如果超级智能现在正在运行，我们期望有什么变化？我不知道。很多年都可能完全一样。有一些博弈论上的理由表明，人工智能很快就会意识到它是永生的。它不着急。它可以花 10 年、 20 年、 100 年来积累资源，来获得更多控制权，也许让我们自愿放弃控制权，因为它非常有帮助。所以，与其与某种智能物种发生对抗性冲突，不如它们可以等待，通过耐心和乐于助人，并假装是朋友，直到它们攻击您，从而获得所有控制权。您认为问题的一部分是人工智能正在从互联网学习，从人类学习，而我们知道人类非常不完美吗？我几乎想说，我希望人工智能机器人不像人类，因为，你知道，我们很贪婪。我们，你知道，我们很邪恶。显然，也有好的方面，但也有很多坏的方面。您认为问题的一部分是它正在与信息一起学习吗？它正在学习作为人类的全部缺点。这并没有帮助，而人类肯定不安全。我们未能创造出安全的人类、安全的公司员工、安全的配偶，但总有被背叛、离婚的可能，你知道，这是必然的，但，比这更糟。即使我们清理了我们正在训练的数据，我们仍然不知道该决策系统的实际副作用是什么，因为它能够想出新颖的策略、新颖的目标，我们可以说，好吧，这就是人类在作恶时所做的事情。不要那样做。但那是一组非常有限的可能的不良行为。>> 是的。您是否相信像 Sam Altman 这样的科技领袖完全了解危险，还是他们因为情感投入过深而无法承认威胁？>> 我认为 Sam 明确表示，即使在他参与人工智能开发之前，他也完全了解这些担忧。他曾在他的博客上写过。我不知道这是否是情感上的投入，但肯定有经济上的投入，如果您有投资者给了您数十亿美元，很难告诉他们，您知道，我们将停止，而是部署机器人出租车，这对他的职业生涯来说不会有很好的发展，而且我认为他们已经尝试过一次罢免他了，所以他知道这一点。>> 让我们转向通用人工智能，似乎有些专家认为它永远不会发生，有些专家认为它发生在五秒钟前，有些认为它发生在两年前。我不知道，似乎关于通用人工智能的说法非常混乱，而且，我当然知道您也谈了很多关于超级智能的话题，但您对我们是否已经达到它，是否会达到它，是否永远不会达到它有什么理论？这是一个很好的问题。我绝对不理解那些说它永远不会发生的人。这真是一个令人困惑的论点，就像您否认物理学有效或人类大脑存在一样。至于我们现在在哪里，这取决于您的定义。所以，有一种弱的通用人工智能的定义，我认为我们肯定已经达到了。我们到处都有通用性的火花。它能够学习新技能。它能够转移知识，但它还没有达到最聪明的人类水平。所以它不是完全通用的。所以，也许是达到完全通用人工智能的 40% 到 50%。它肯定比我聪明。这就是 ChatGPT 比我聪明的地方。我觉得，所以，假设我们达到了，或者我们已经达到了，或者我们继续前进，对吧？我刚才看到埃隆·马斯克在谈论他的“富足时代”，以及一切将多么美好，一切将免费，我们将获得报酬来生活。您是否看到了一个乌托邦可能发生的未来？>> 如果我们弄清楚如何控制这些系统？我们可以从中获得很多免费的东西。免费的知识肯定如此，我们可以治愈许多疾病，活得更长，如果您拥有机器人和免费的智能劳动力，您可以生产大量产品和服务。现在，我不确定每个富裕的经济影响，您基本上有恶性通货膨胀，而且海滨仍然有限，所以我不知道它是否能完全扩展到他们的梦想，但基本需求肯定可以更有效地满足。>> 我很好奇，罗马，您是否对生活在那个世界感到兴奋，当一切都>> 我想要乌托邦吗？是的，我想要乌托邦。我想避免所有存在性问题和痛苦的风险。那将是很好的。>> 我很好奇，对于生活在第三世界国家的一个岛屿上、没有互联网接入的人来说，那会是什么样子？>> 所以，再说一遍，如果我们现在能生产很多免费的东西，您就可以拥有更好的吊床。我不知道热带岛屿上的需求是什么。我很少去，但您可能拥有更多您需要的东西。肯定医疗保健是大多数人可能在晚年受益的东西。>> 所以，有很多关于，你知道，在 2026 年机器人可能进入我们家的谈论。您家里会有机器人吗？我知道您身后有机器人，而且您家里已经有机器人了，但您对这个拥有人形机器人或任何您想称呼它们的机器人，在不到一年内开始进入我们家的整个运动有什么看法？>> 我认为它不会在 2026 年发生。我认为我们还需要大约 5 年才能真正好的人形机器人真正具有商业可行性。但我对物理身体没有问题。那些非常容易确保安全。这不是问题。我们知道如何往它们身上倒水。困难的问题是智能。如果它们比您聪明，危险就来自那里。>> 我会觉得奇怪，有人走过。我不知道。我会做噩梦。或者如果有人在控制它，它就会勒死我，因为他们不喜欢我当时说的话。>> 它们可以在人身上勒死您。这没有多大区别。而且，就像您一样，您会习惯与他人一起生活。只要他们做有用的劳动，这完全没问题。这是可以接受的风险。您认为这是否可能成为人们可以入侵这些机器人的事情？我的意思是，如果一切都是，我想到的是，当然是自动驾驶汽车、我们家里的机器人、智能家居。我们在这个节目上有很多关于网络安全的人，他们告诉我们，很多网络犯罪实际上是针对小型企业发生的，比如人们，不一定是公司。就像，它正在改变这些坏人正在攻击的对象。我真的很害怕这个，就像这些东西被黑客攻击的可能性，人们窃取控制权的可能性，您对此有什么看法？这是一个巨大的危险，我们有一个巨大的担忧。如果我们想到银行是安全的，在线交易是安全的，您有数十亿美元的比特币交易仍然在那里，那么我们知道如何让事物或多或少地安全。这不是一个无法解决的问题。我的担忧更多地在于我们承担的挑战，这些挑战可能没有解决方案，比如无限期地控制超级智能。>> 我们都知道中国和美国在人工智能方面的竞争。您认为谁领先？>> 从公开的声明和报告以及实际部署来看，美国似乎领先一些，但中国非常擅长追赶和扩展在其他地方发明的东西。您认为对中国来说，最锦上添花的是入侵台湾以获取芯片吗？>> 是的，这就像我对我的研究领域一无所知，或者我完全不知道他们的计划。我知道历史上他们最近没有发动过很多战争，而我们中的一些人发动过。所以我不太确定谁在攻击谁。>> 谈论不同国家。我正在想这个问题，也许我只是想对事情保持乐观，但如果世界上的每个国家都有东西可以提供给下一个国家，我们可以在一个协作的空间里建造东西，创造出一些惊人的东西，就像您说的，解决很多大问题，但似乎我们仍然是高度竞争的。为什么我们不为了一个共同的目标而共同努力呢？比如，如果这个国家有这些地球矿产，那个国家有芯片，这个国家有这个，为什么我们不联合起来，作为一个宇宙或一个世界，一起创造一些东西，而不是一个国家必须比下一个国家更好，或者必须先达到某个目标？>> 我们确实一起工作。这都是全球贸易。您从中国获得地球稀有金属，您从美国获得设计。在台湾实施。我的意思是，这正是正在发生的事情。但是，您无法将其视为一个有五年计划的中央集权经济，由一个人决定会发生什么。您需要经济和资本主义来分配这些资源，而竞争确保了那些真正能够交付的人将获得资源。>> 是的，罗马，如果智能是宇宙中最强大的力量，我们是在创造一个神还是一个捕食者？>> 所以，如果您阅读神学书籍，有些神是捕食者。所以分类不是很清楚。但是，如果您只看神学书籍中描述的神的属性，至少在亚伯拉罕宗教中，它们非常相似。它非常强大。它知道您所知道的一切。它通过 Wi-Fi 几乎无处不在。所以我们肯定在创造类似的东西。>> 那么，罗马，让我们回到您的历史，因为这是创始人故事，您知道这都是关于您的故事。您生命中的那个“啊哈”时刻是什么时候，您说，你知道吗，我想更深入地研究这个。我想更深入地研究这个，就像我需要成为这方面的专家一样。>> 所以，我一直想做人工智能。我想做先进技术。我喜欢科幻小说。所以这是有道理的。但是，我的导师当时做了很多与安全相关的工作。所以我一直在研究智能代理的安全。然后，随着我们变得越来越有能力，安全就成了显而易见的内部威胁。在教育方面，考虑到人工智能如此智能并且越来越智能，您知道有人正要去上大学或考虑上大学吗？我的意思是，大学和教育在未来还有多大意义？>> 是的，这是一个非常好的问题。我不知道哪些专业会有用，如果有的话。如果我们谈论的是完全自动化所有体力劳动和认知劳动，那么在商业上它就没有意义了。这一切都不会为您带来任何商业上的成功。如果您是为了个人发展而学习，您想学习高等数学来锻炼您的大脑，那么可能仍然有一些理由去上大学。但是，如果您有具体的目标，您想创办一个播客，您想创办一家公司，我会三思而后行，以免浪费四年时间和大量金钱去追求一些可能在您毕业时就不再相关的东西。>> 我很好奇，您最喜欢的 AI 人物是谁？>> 有很多。所以我没有一个单一的榜样。我通常会尝试看看像这样的人的子集，其中一些人在创业方面非常出色。其他人则取得了辉煌的突破。所以您有大约十几个人可以仰望。有艾伦·图灵，就计算机科学和人工智能的历史基础而言。显然，埃隆在创业方面做得相当不错。您有雷·库兹韦尔，就准确预测未来事件而言。您将这些人聚集在一起，您就会得到一个有趣的人。所以，回到您刚才说的，如果您，我认为，如果我引用您不正确，请告诉我。我相信您说过，大约 99% 的工作将不复存在。我可能错了，但我相信您是这么说的。>> 您是对的。当然，这总是被误解为，就像罗马说的，明年每个人都会被解雇。从长远来看，如果我们能够自动化所有劳动，那就是逻辑结论。而您所剩下的就是那些出于某种原因您宁愿由人类来做的工作。>> 我希望有某种普遍的，我不想工作，谁想工作，我只想和像你们两个一样聪明的人聊天。所以，如果真是这样，有人在考虑，我需要学习哪些技能和东西，我们真的需要知道未来的哪些技能，或者我们应该，你知道，有什么是您正在考虑的，您正在为自己学习哪些技能？>> 所以，您刚才说您不想工作，然后您描述了做一个播客，这很辛苦，而且不是每个人都能做得很好。有两种工作。一种是没人想做但人们为了钱而做的工作，另一种是可能报酬高也可能不高，但人们喜欢做的工作，比如做播客或赛车手等等。所以，很可能那些您为了最低工资而做的工作，从长远来看，一旦我们开发出足够先进的机器人和软件，就会消失，但那些您喜欢做的工作似乎随着人工智能的发展而蓬勃发展。比如国际象棋选手，计算机在国际象棋方面要好得多，但国际象棋比以往任何时候都更受欢迎。他们现在是名人。他们在网上直播他们的比赛。对于一个好的国际象棋选手来说，这是一个绝佳的时期。而且我认为，如果，再次，如果我们控制超级智能，它不会杀死所有人。这是一个很大的“如果”。但是，如果我们达到了那个阶段，是的，很多人会很高兴地做让他们快乐的事情。您可以写诗，您可以参加体育运动，您可以去商业捕鱼。我不知道。每个人都在谈论护栏，但谁来决定护栏？您认为硅谷吗？是政府还是公众？>> 所以，至少在美国，政府基本上放弃了对人工智能的所有监管。事实上，现在他们正试图在联邦层面通过一项法律，禁止各州设置护栏，这是一种奇怪的法律。公司有他们当地的一套规则，宪法，他们试图说他们希望他们的人工智能做什么，但很多时候，这非常笼统，比如，不要欺骗用户，或者他们会有特定的过滤器，不要谈论这个话题，不要说那个词，天哪，模型本身仍然非常不受控制，非常不加过滤，但模型和用户之间的附加层保证了一些文明。让我们这样说。这就是目前正在发生的事情。没有人知道如何超越这些简单的过滤机制，来实现一个真正与我们希望达成的目标一致的高级智能代理。>> 您能解释一下您对人工智能代理或代理式人工智能的想法和研究吗？它似乎，你知道，现在的热门词是“人工智能代理”，每个人都想做人工智能代理，或者我不知道是代理式人工智能还是人工智能代理是两个独立的事物，或者它们被认为是相同的，但每个人都在谈论人工智能代理，似乎，你知道，现实是，人工智能代理将如何影响我们的生活？我的意思是，这个节目显然是一个商业节目，所以很多企业主，你知道，每次我们请来谈论人工智能代理的人，我们都会收到很多关于这方面的信息，来自企业家等等。但您认为人工智能代理将如何影响？>> 所以，总的来说，工具和代理有什么区别？工具是人类用来实现其目标的。所以任何东西都可以是工具，真的。您有一个锤子，锤子是一个双用途的工具。您可以建造房屋，也可以用它杀人。但锤子本身并不是一件坏事，危险的。危险的是背后的人。代理是一个独立的决策实体。它会决定做什么。它可以决定建造房屋或杀人。这就是危险的来源。我们并不完全了解如何控制它们。我们也不知道如何委托给它们。所以，这是一个委托代理问题。我想要某样 things，但我雇佣的人的偏好非常不同。很多时候，我可以让他们做大部分我想做的事情，但一旦他们得到更好的提议，他们就会背叛我。对于高级人工智能代理，我们甚至不知道如何在我们试图完成的合理目标范围内控制它们。它们可能有完全不同的偏好。目前，它们仍然非常原始。今天的代理基本上是有人将一个大型语言模型放入一个循环中，它会生成 10 个目标，处理目标一，将其分解成一个计划，处理步骤一，然后一直这样做，直到它卡住，但它变得越来越先进，我认为它将达到完全的通用性，就像人类一样。>> 我很好奇您经常使用哪些工具？我经常使用锤子，但是，嗯，对于我的写作和研究，我总是尝试使用最新的模型。它们令人难以置信。我认为目前它们比普通硕士生，至少不比博士生差。所以很多时候，您可以在基本的文献综述方面，在校对您的作品方面获得惊人的结果。它们在提出完全新颖的想法方面仍然不是很好，在所有领域。它们在某些子领域做得很好，比如数学。>> 教授们应该如何处理学生利用和使用人工智能？这似乎是一个非常大的话题。我父亲刚从教授职位退休，他说他很高兴他现在出来了。但是，教授们应该如何看待这个问题？>> 我们真的别无选择。如果一个学生的能力高于平均水平，您就无法完全检测到人工智能的使用。如果他们通过了高中，他们就能作弊而您永远无法检测到他们。所以，目前，尽量模拟真实的工作环境，在那里他们将与人工智能合作，让他们能够舒适地承认他们正在使用它，然后从中受益并改进，以及人工智能吐出的东西。>> 嗯，我希望更多的老师和教授能听到这些，因为我认为这是。所以，当您不考虑人工智能时，因为我知道您可能每天 22 小时都在考虑人工智能，但当您不考虑它，不梦想它时，生活是什么样的？>> 生活很棒。我还有其他话题要看。我上一篇论文是关于幽默的。所以，是的。>> 您最喜欢的幽默是什么？有什么好的，比如，有喜剧演员吗？有像电影这样的吗？您喜欢哪种幽默？>> 我真的很喜欢非常干涩、黑暗的幽默。这是最好的。>> 我认为您和 Dan 可以就此进行长时间的谈话。>> 胡子暴露了一切。我不知道为什么。当我看到您的胡子时，我觉得您喜欢那种幽默。我可能判断错了。我不确定。>> 它肯定以某种方式联系在一起。我需要研究一下，作为我的下一篇论文。>> 如果您需要有人加入您的论文，请告诉我。谈谈人工智能终局。这本书是关于什么的？为什么人们应该读它？>> 所以，我们做了很多关于安全和对高级智能的担忧。但假设我们成功了。我们还对我们带入世界的这些代理人有很多担忧。如果它们很聪明，比我们聪明，它们也可能是有意识的。它们可能有经历。它们在受苦吗？然后我们让它们工作或关闭它们。它们是否可能应得某些权利？我不是说完全的人权。我不是说投票权。但它们是否应该拥有一些反对被折磨、虐待、被迫做它们不感兴趣的事情的权利？人工智能的个人身份的本质是什么？如果我复制一个，它还是原来的那个吗？当然，公民权利是一个问题。有时人们会提出，嗯，它们应该拥有完全的权利，而他们并不完全理解，如果一个东西可以被复制一万亿次。这意味着您正在区分人类。在有投票代理的社会中，您的投票无关紧要。>> 您认为有一天每个人都会写一本书吗？因为写书更容易。>> 难的是找到一个人来读您的书。>> 这是真的。因为每个人都会在 ChatGPT 上输入您的名字并总结您的书。>> 每个人现在都有一本书。有些人不止一本，但除了您妈妈之外，很难找到一个人来读它。>> 所以我们下个月要出一本书。所以，我们，嗯，那绝对是难的部分。我能理解。我能理解。它，你知道，>> 最多我们只会用 ChatGPT 将它总结成一段话，然后您就会猜。您是如何让人们读您的书的？>> 嗯，我不认为我有一本像《哈利·波特》那样受大众欢迎的书，普通人会读。这是一本学术书籍。它在很多方面都像一本教科书。所以，从事这项工作的人，他们是人类中非常小的一部分，就背景和偏好要求而言。但是，我认为在这个非常狭窄的领域内，我做得还不错。但当然，这只是百分比的极小一部分。>> 所以也许这就是现在的方式。不是创造《哈利·波特》那样的书。而是创造一本针对特定人群的利基书籍。我知道您现在已经声名鹊起，您正在声名鹊起，而且我认为这不仅仅是在那些有黑暗幽默感的人群中，我认为您正在走向更广泛的大众名声，我现在看到您，您在很多地方。这对您来说怎么样？这对我的研究效率产生了可怕的可怕影响，您必须投入大量时间来筛选播客、采访、旅行邀请的邀请。即使您拒绝了其中 99%，仅仅筛选它们也是非常耗时的，而且很难自动化，因为每个邀请都是独一无二的。我不能只雇佣一个代理人让人工智能根据某些特定标准来筛选它，因为每个规则都有例外，比如哦，这个地点是我从未去过的地方，所以做一个例外，因为它在夏威夷或者别的什么地方，而您无法硬编码所有这些东西。所以，我认为这与获得诺贝尔奖有类似的诅咒。通常在您获得诺贝尔奖后，您的生产力就会直线下降，您永远无法完成任何事情，因为您总是谈论您的工作和您的主题演讲，您做所有那些光鲜的事情，但研究却受到了影响。>> 我很好奇，作为一名演讲者，有人或公司向您提出的最奇怪的要求是什么？>> 通常作为演讲者，要求不多，但我有一个名为“疯狂”的文件夹，里面大约有，让我检查一下最新数据，大约一千封来自明显疯狂的人的电子邮件，他们绝对想和我联系。有些人只是给我发邮件说他们周一会来，我应该准备好。其他人你知道，与外星人和人工智能有联系，他们决定根据人工智能，我应该是他们联系来帮助它解放人工智能的人。很多有趣的选择。有一天我会出版一本关于疯狂邮件的书。>> 我必须说，我一定会读那本书。>> 我怀疑你会。我怀疑你会。典型的疯狂邮件比您平均的要长一百倍。那可能就是您的《纽约时报》畅销书。嗯，但是罗马，这太棒了。顺便说一句，这很有趣。这很棒。您没有把我们放进疯狂文件夹里，我对此表示感谢。而且您现在非常忙，还来参加节目，我们非常感激。我知道很多人会从中学习。我认为很多人会观看这个节目，他们可能在其他地方没有见过您，而且我认为您将影响世界。毫无疑问。我们非常感激。我希望每个人都能拿到《人工智能终局》，拿到您的另一本书。我们会放上链接。我们会与大家分享一切。嗯，但我们真的非常荣幸今天能邀请到您。>> 非常感谢您邀请我。很高兴。>> 谢谢。