Transcription
我个人认为，我们需要谨慎对待通用人工智能技术。这并非仅仅因为我们可能会失去对这项技术的控制，尽管这是一个合理的担忧，一些世界顶尖的 AI 研究人员已经反复强调了这一点，对吧？让我们暂时想象一个世界，我们已经完全掌控了这一切，对吧？我们迟早会超越我们构建的系统自动倾向于存在错误且不可靠的阶段，并且我们真的可以实现一切自动化。我们想要这样吗？我的意思是，那我们该做什么？你我以及普通大众。所以一些爱好者说，那么我们每天有你知道的 16 个清醒时间可以做有创造性的事情。但是，如果你尝试做的任何有创造性的事情，它都可以立即被复制，或者已经被某种机器智能预测到，或者可以被改进，那不是一个非常令人满意的观点。对吧？我认为我的希望是，在接下来的 10 年里，我们将更加关注安全、可靠和可持续的 AI 系统。我们可以依赖的 AI 系统，我们足够了解其优势和劣势，以便负责任地使用它们来更好地运行我们的社会。[音乐][音乐]感谢您收听改变世界的印度首个未来科技与可持续发展播客。我是主持人 Eddie Avil，今天我非常荣幸能与您一起邀请到 Holga H 先生，他是 RWTH 亚琛大学人工智能的 Alexander von Humboldt 教授和人工智能中心主任。莱顿大学机器学习教授。加拿大不列颠哥伦比亚大学计算机科学兼职教授，欧洲人工智能研究实验室联合会董事会主席，欧洲人工智能协会副主席，他的研究旨在以人为中心的人工智能、有益人工智能和普惠人工智能的方法论和技术进步。所以，教授，我真的非常感谢您抽出时间参加播客。我想从 OpenAI 和 ChatGPT 开始，对我来说，我认为这是人类历史上最酷的时刻之一，因为你知道，直到那时，我认为人工智能一直在经历起伏的周期，繁荣与萧条的周期，但 2022 年 11 月，我认为你知道，它某种程度上使人工智能民主化了，然后显然你知道，当它首次推出时，每个人都加入了进来，你知道，这简直是神奇的，然后 Ilya Sutskever 某种程度上你知道，发推文说，你知道，它具有这些新兴特性，并且可能具有某种意识，然后就炸开了。你对 ChatGPT 有什么看法？你对它从 2022 年至今的增长有什么看法？特别是如果您能谈谈最新的发布，你知道，ChatGPT 5，你知道，因为人们的假设是，你知道，也许我们可以通过这些统计数据和数据模型，我们可能能够达到或走向通用人工智能，你知道，一些顶尖的 AI 研究人员，你知道，来自 DeepMind 的 Sam Altman，Ilya Sutskever，以及许多其他人，你知道，真的相信规模化假设，但你知道，这似乎已经遇到了障碍，所以你对 ChatGPT，特别是 GPT-5 发布和规模化假设的看法？>>是的，我很高兴来到这里，当然也很高兴分享我对这些话题的看法，作为一名从事人工智能研究的人，我想过去 30 年了。感觉不像，但确实是 30 年了。所以，首先，你提到的 ChatGPT 时刻，几年前，我真的认为那是一件意义重大的事情。首先，毫无疑问，伟大的技术成就使得像 ChatGPT 这样的人工智能系统得以广泛使用。我认为这并不真正局限于 ChatGPT，而且我认为我们应该感到兴奋的技术也不仅限于生成式人工智能或大型语言模型，但它们确实发挥着非常重要的作用，我认为这种技术实际上发挥的最重要的作用是向世界展示，向所有人展示人工智能系统可以做有意义的有趣的事情，对吧？老实说，你知道，在 2022 年之前它们就可以做到，但只有专家才知道，并且在某种意义上直接相关，对吧？虽然在某种意义上，这些发展对人们的影响已经比他们意识到的要长了，但我认为拥有这种全球意识，即人工智能技术可以做一些非常了不起的事情，这是新的，对吧？而且也令人兴奋，并且在某种意义上是有用的，但也伴随着一系列风险。我相信我们稍后可以谈谈。那么关于 ChatGPT，关于 GPT-5，以及你知道的最新版本的 ChatGPT，老实说，对我来说，这有点令人失望，原因在于，一些之前存在的重大缺陷和局限性仍然存在，对吧？我最近看到一个非常有趣的 LinkedIn 帖子，有人要求一些相对简单的事情，那就是，你知道，给我一份美国总统的海报，你知道，大约 150 年前的，附带他们的任期日期、姓名和照片。结果却错误百出，对吧？我认为这概括了问题所在，对吧？这些系统，包括 GPT-5，仍然存在一个主要问题，那就是它们会编造信息。它们会提供不正确的信息，并且它们在不被理解的情况下这样做。换句话说，没有人能真正预测到，什么样的查询会导致严重错误或轻微误导的信息，而哪些查询会产生正确的信息。这很令人不安，对吧？我的意思是，这在某种程度上也限制了这些系统的有用性。它并没有让它们变得毫无用处，但它意味着我们必须非常谨慎地使用它们。所以 GPT-5，我认为很多人认为这将是避免这些问题、克服这些问题的一个重要步骤，而它看起来并没有达到爱好者们所期望的程度。你知道，我个人对此一点也不感到惊讶，因为像我的许多同事一样，对底层技术有一些了解的人都认为，底层技术存在严重的局限性，而你之前提到的规模化假设，它说，你知道，如果我们有更多的数据、更多的计算能力和更大的模型，最终我们将达到与人类同等水平的智能。我认为规模化假设是相当错误的。我们仍然可以取得进一步的进展，我毫不怀疑 GPT-5 在某些可衡量的方面比 OpenAI 训练的以前版本的大型语言模型要好。但我认为我们正在达到一个极限，在那里，你知道，可能任意数量的新数据和规模化将无法解决其中一些基本问题。所以我们需要新的、新鲜的想法，如果我们真的想达到 AGI，即通用人工智能。但在我们甚至讨论这个问题之前，我认为应该问一个问题，我们真的想要 AGI 吗？对吧？这真的是一个值得追求的目标吗？我认为在这里，人们可以非常合理地持有不同的意见。我的意思是，我们知道大型科技公司的领导者们是怎么说的。他们几乎一致地认为，首先，这是不可避免的，其次，这对人类来说是一件非常非常棒的事情，我认为这些说法必须受到质疑，它真的对人类来说是一件非常非常棒的事情吗？我们应该把它当作不可避免的事情吗？>>对，对，教授，我意思是，您提到了很多有趣的点，关于人工智能的风险，模型幻觉，然后您对最新的 ChatGPT 的表现并不感到惊讶，我们真的需要人工智能吗？这是一个非常有趣的问题，因为我认为今天世界正在朝着……也许是那些大国和大型科技公司正在竞相获取这些技术，因为他们从根本上理解，获取这些技术将给他们带来某种不公平的优势，我认为我们生活在一个资本主义世界，一个中心化的世界，纵观世界，权力结构一直如此，我们显然理解“分而治之”的道理，所以它一直像一个中心，无论是国家还是大型科技公司，他们都理解这一点，我猜这就是他们在做的，显然关于 AGI 的叙事，我不太确定我们是否真的需要人工智能，因为教授，我认为人类天生就充满好奇心，我认为将会有比 AGI 本身更重要的事情，因为我们不断创造，所以我认为 AGI 不是顶峰，因为你知道，有量子计算，我们正在摸索，也许我们会理解生命的源代码，因为我们在这里摸索二进制代码，而有了量子计算，我们将摸索生命的源代码，在原子中，你知道，那意味着什么？所以，我的意思是，我确信我们所做的每一步都是因为像您这样勇敢的思想家，他们不断地推动范式，并构建可能……你知道，哲学上我们可能需要质疑我们是否需要它，但我认为它永远不会停止，因为我们总是在创造，我们是好奇的生物，我们将永远继续建造，这就是我所相信的。我想从你解释你在随机局部搜索算法方面的工作开始，以及它在实现你开创的自动化机器学习方面所起的作用。>>所以，让我们从自动化机器学习开始，这确实是我所在的团队，首先在 UBC，与那里的同事一起，然后又在莱顿大学，你知道，变得相当有名，我认为这是有用且有趣的工作。那么，什么是 AutoML？你知道，如果你想有效地设计和部署机器学习应用程序，这是一个非常广泛的术语，对吧？它当然包括，你知道，我们刚才谈到的基于 LLM 的系统，但也包括更简单的系统，比如，你知道，一个在某些嵌入式设备上运行的小型模式识别算法，对吧？或者，你知道，一个允许我们预测某些机械何时会发生故障或需要维修的小型回归算法。所以，你知道，我们不必完全考虑大型语言模型，就能看到机器学习的有用应用。但关键是，要设计有用的机器学习应用程序，目前仍然需要大量的专业知识，对吧？我们稍后会讨论是否可以通过简单地提示大型语言模型来做到这一点，对吧？但是，你知道，传统上，而且我相信现在仍然是这样，要构建一个好的机器学习模型，然后以负责任、有效且经济有效的方式部署它，需要相当多的知识和专业知识，对吧？所以，对于更复杂的任务，我认为需要机器学习领域的博士级别专业知识，对吧？这也是为什么一些机器学习专家薪酬极高的原因，对吧？因为他们人数不多，而这种特定的专业知识需求极高。因此，考虑到专业知识和人才的瓶颈，尝试自动化这些机器学习专家在构建系统时必须做出的某些决策，当然是一个非常有趣的设想，对吧？这包括关于训练过程的决策，关于预处理训练数据，也包括关于模型架构的决策，如果我们考虑神经网络本身，对吧？比如有多少层等等。事实证明，做出这些决策的过程至少可以部分自动化，这使得执行这个过程的人能够更有效率，并且基本上能用他们的时间做更多的事情。它也降低了完成这项工作所需的专业知识水平。换句话说，你可能不需要成为博士级别的专家来完成其中一些任务，但你可能只需要硕士或学士级别的专业知识就足够了，对吧？这就是自动化机器学习背后的关键思想。而你做到这一点的方式是，你基本上巧妙地结合了机器学习、统计学和优化技术。对吧？很多机器学习的背后本质上就是优化。而这正是我多年前在随机局部搜索方面的工作发挥作用的地方。随机搜索，因为事实证明，存在一类广泛的优化技术称为随机搜索。这些技术可以基本上在非常巨大的可能解决方案空间中找到好的解决方案，它们通过巧妙地利用随机性来做到这一点。那么你可能会问，为什么我们必须掷骰子？为什么我们必须在这里使用随机性？原因在于，除非你对如何找到你正在寻找的东西有完美的了解，否则在其中加入一些随机探索是一个非常好的主意，而且需要适量的随机探索。现在，如果你校准了对好的解决方案的定向搜索，因为你知道它们看起来是什么样的，对吧？例如，特别准确的机器学习模型，不需要大量训练数据，不需要大量能源，对吧？如果你将这种定向搜索与一点随机探索结合起来，并且你非常精确地校准它，那么你就会得到性能惊人的系统。在这种情况下，你得到的是允许你自动找到机器学习架构和超参数的系统，那些小旋钮和按钮，你必须调整它们才能从中获得良好的性能，才能真正让它们闪耀并良好地工作。所以，简而言之，这就是自动化机器学习的意义，以及强大的优化技术在 AutoML 中的作用。现在，这有多么有趣，教授？我一直对 XR 技术很感兴趣，你知道，我们一直在构建沉浸式技术，我提到这一点是因为有一个有趣的人叫 Kichi Matsuda，他创作了一个非常有趣的视频，叫做“AI Agents”，他在其中展示了一个未来，你知道，世界将从携带技术转向穿戴技术，因为现在我们被困在二维界面上，你知道，然后我们将拥有这些头戴式可穿戴设备，这些头戴式可穿戴设备将是智能的。他展示了一个人们实际上戴着这些眼镜的世界，他们拥有大量的代理，你与代理交谈，这基本上是一个一切都是自然语音交互的未来，你说话，你构建东西，你构建图像、视频、编辑东西，可能还有大型语言模型。所以你谈到了，你知道，我们能否达到那个世界，我们是否能足够地民主化事物，以至于我们可以自动化整个流程，并通过提示构建一个大型语言模型。这非常非常有趣。如果你能谈谈这一点，那就太好了。而且，既然你谈到了自动化，你知道，这些大型语言模型在很大程度上是黑箱，你知道，这显然有一些人在研究机械可解释性，你知道，理解这些 AI 模型在做什么，你有点担心，你知道，你自动化得越多，最终这些模型就会变得越像黑箱，我们无法理解。是的，Eddie，这是一个绝佳的问题，对吧？我们自动化得越多，我们是否就越不理解里面到底发生了什么？如果这样，这是否是一件坏事？对吧？所以，首先，让我说，我认为这是真的。我们自动化得越多，我们就越不理解里面到底发生了什么。对吧？现在，我们中的许多人认为这不一定是个问题。对吧？我想你和我可能对类似……你知道，电脑显示器是如何工作的，或者甚至 CPU 或 GPU，它们是计算机内部的处理芯片，也许我们对现代汽车是如何工作的有一个大概的了解，对吧？尽管我想你我可能都造不出一辆，但我们仍然驾驶它们，而且没问题，对吧？所以，换句话说，我们可以使用我们不理解的技术，而对于大多数人每天使用的技术来说，情况就是如此。这是一个问题吗？我认为答案是，这不一定是个问题，但有些关于技术的东西非常重要，需要理解。我认为汽车就是一个很好的例子，对吧？我的意思是，我们完全可以不详细了解汽车是如何工作的。我敢打赌，大多数人甚至不知道。更不用说自动驾驶或任何未来汽车了，就说现在在印度、欧洲、美洲路上行驶的汽车，对吧？这些汽车实际上充满了计算机，对吧？充满了小型处理单元，它们在没有任何司机知道的情况下做着各种非常复杂的事情，对吧？这与自动驾驶无关。这只是关于，你知道，管理发动机，你知道，管理一些愚蠢的事情，比如车厢内的空气温度等等，对吧？所以汽车是令人惊叹的复杂机器，我们理所当然地使用它们，并且我们驾驶它们，也许只需要几周的培训，任何 16、17、18 岁的孩子都可以相对安全地驾驶汽车。那么为什么我们需要更多地了解它们呢？原因很简单。我们可以这样做，是因为汽车的设计使得它们的优势和劣势都得到了很好的理解，对吧？我们非常清楚，工程师们非常清楚，在什么条件下汽车会变得危险，对吧？然后我们有交通规则，确保这些情况不会过于频繁地发生，对吧？我举个例子。我们非常清楚，以我们现在拥有的汽车，在人口稠密、孩子们玩耍的区域以每小时 200 公里的速度行驶，是完全不负责任的，原因在于，如果发生任何可预测的事情，比如一个孩子跳到车前，你都无法及时刹车，那将是一场灾难，对吧？所以我们非常清楚这一点，因为汽车的制造方式，以及汽车物理学的运作方式。我认为当我们谈论复杂的 AI 系统，比如大型语言模型、ChatGPT 等等时，我们实际上并不知道它们何时会开始让我们失望，对吧？所以这更像是一种试错。而这就是我们必须担心的黑箱性质的技术，你知道，它在一个时刻看起来完美地以每小时 200 公里的速度行驶，然后在下一个时刻就彻底让我们失望，这种情况确实发生过。虽然我认为 GPT-5 还没有发生，因为它还很新，但之前的版本的大型语言模型已经发生过了。我举个例子，最近有一则新闻，某个初创公司使用大型语言模型进行编码，你知道，加速开发某些软件的过程，而该软件与公司的数据库进行了交互。结果是，你知道，其中一个所谓的“快速编码”会话，本应更快地产生新的软件，从而使公司工作更有效率，实际上却抹去了整个数据库，一个包含公司客户和产品等宝贵信息的数据库，对吧？那是一场彻底的灾难。为什么会发生这种情况？嗯，因为它发生的代码是 AI 系统生成的，它不安全，对吧？然后实际上非常有趣的是，AI 模型，它进行了非常充分的道歉。我的意思是，你知道，它们在语言方面做得相当好。它进行了非常充分的道歉，但基本上说，现在什么也做不了了，这个数据库已经丢失了，对吧？所以，任何会做这种事情的员工，你都会解雇他，而且你可能永远不会雇佣这个人，因为我们并不难确定，你知道，一个人类软件工程师是否具备防止这种情况发生的必要技能，但我们现在还不能真正做到这一点。所以我们不知道它们何时会做像我刚才解释的例子那样灾难性的事情，因此，将它们用于编程等目的是不安全的，只要生成的软件用于任何会影响世界的事情，而不仅仅是娱乐我们。所以我们必须非常小心。因此，这就是高度自动化黑箱性质可能给我们带来麻烦并造成巨大损害的方式。不是因为我们不详细了解内部发生的事情，而是因为我们不了解技术的优势和劣势。我们不了解它何时能提供价值，以及何时会让我们失望。现在，我和你一样对人工智能发挥重要作用的未来感到兴奋，原因有两个。我认为，你知道，我们的世界正面临着巨大的挑战。而其中一些挑战是全球性的。其中之一就是气候变化，对吧？如果你关注新闻，你会看到关于热浪和森林火灾之类的报道，这些报道非常清楚地表明了气候变暖的有害影响，对吧？而且实际上很难应对，对吧？科学不容易，政策不容易，世界各地的公民也不容易做需要做的事情。我认为实际上巧妙地使用人工智能可以帮助我们过上我们想要的生活，同时消耗更少的能源，通过提高效率，这非常重要，对吧？因为很少有人愿意放弃生活水平，但我认为人们很愿意用更多的技术模式来代替生活方式，比如交通方式，或者冬天供暖和夏天制冷的方式，当太热的时候，所以做正确的事情，如果它变得负担得起的话。而人工智能是帮助我们负担得起且有效的技术，以帮助我们避免气候变化最糟糕的影响之一，对吧？这只是一个例子。在欧洲，我们还有一个我们非常关注的问题，我认为在印度你还没有那么严重，但未来也可能出现，那就是人口结构变化，基本上是劳动力萎缩的前景。当劳动力萎缩时会发生什么？我认为，如果你想保持你的生活质量，工作的人越来越少，他们需要更有效率。而自动化和人工智能技术尤其可以极大地帮助这个过程。所以，这里有两个例子，说明为什么我们应该对未来更强大的人工智能系统感到兴奋。但我需要指出的是，对于这两种积极效应中的任何一种，我们都不需要 AGI。我们不需要通用人工智能。所以所有这些狭义的人工智能系统可能就足够了。而对于狭义的人工智能系统，当然，更容易理解它们在什么情况下工作得好，在什么情况下工作得不好。对吧？对于 AGI，这非常困难，就像对人类一样困难。>>对，对，教授。是的，我认为人工智能，即使是狭义的人工智能，实际上正在以非常棒的方式改变世界，而环境，我认为，这是一个巨大的问题。我认为就在一周前，印度乌塔拉坎德邦发生了特大暴雨，造成了大量生命损失，但我认为这是因为我们人类没有理解，不加节制地消费将导致问题。我们一直在消费，而且由于世界在经济上变得强大，我们没有理解这些空调、汽车、航班等等正在增加碳排放量。你知道，我认为需要更多的对话，让我们理解我们实际上正在扼杀我们赖以生存的世界。你谈到了劳动力萎缩。是的，我认为印度可能没有这个问题，但我认为在全球范围内，这似乎是一个巨大的问题。日本、欧洲，我认为这就是为什么有大量来自印度、中国的劳动力涌向欧洲和印度等地。你谈到了 AI 编码，你知道，是的，你知道，你不能完全依赖这些编码代理，但有很多人实际上在使用人工智能进行编码，我们组织本身也使用这些编码工具，谷歌的 Sundar Pichai 提到，他们正在利用一定数量的人工智能来完成他们的编码工作。你是一位倡导使用自动化，你知道，越来越多的自动化的人。你对这些 AI 代理或编码的未来有什么直觉？因为人们谈论，你知道，AI 编码代理、AI 联合科学家等等，但这些代理目前没有持久的记忆，也没有完全的推理能力，或者能够计划和行动。你认为什么时候我们应该拥有所有这些东西结合在一起，也许我们可以拥有自动化工具或代理，它们可以是你的 AI 联合科学家或编码工具？>>是的，这很难预测，因为我认为这正是我们仅通过扩展当前 LLM 底层技术而永远无法获得的。所以，我一直觉得有趣的一点是，实际上众所周知，微软对 OpenAI 及其技术感兴趣的主要原因并非如此，不是因为像 ChatGPT 这样的聊天机器人应用程序，而是为了自动化工作流程和编码。所以微软非常聪明地看到了那里的主要瓶颈。我的意思是，软件已经变得极其复杂，即使是优秀的软件工程师也很难管理。这也是为什么我们拥有的许多软件有些错误，并且实际上相当不安全，而且效率也相当低。所以，这些是人类生成的软件往往会遇到的三个主要问题。现在，事实证明，基本上试图利用自然语言技术取得巨大进展的编码方法，至少在我看来是完全错误的。为什么呢？嗯，计算机代码可能在表面上看起来像自然语言，但它绝不是。计算机代码本质上是可操作的数学。所以，为了确保计算机代码是正确、安全和高效的，你需要的是数学逻辑思维。这也是原因之一，你知道，我在大学工作。我教年轻人编程和思考算法等课程。所以，让人们达到那种不只是以日常模式思考，而是以自然语言思考的水平，是非常困难的。因为只要你用自然语言思考编码，你就不会有效率。你不会做得好。你不会写出正确的代码。所以你必须先教这些年轻人逻辑，这对我们来说并不容易，因为我们不是逻辑生物。我的意思是，你知道《星际迷航》和斯波克先生，你知道，我们对某种超凡脱俗事物的最主要代表之一，就是某个人在逻辑中运作和生活，这是很有原因的，因为我们不这样做，对吧？那不是我们自然的状态和优势。所以问题是，能够让我们在人类语言方面做得很好的技术，这些大型语言模型，完全不适合处理逻辑，这就是为什么大型语言模型，ChatGPT，即使在 GPT-5 之后，在底层也无法进行逻辑思考，无法进行逻辑推理，甚至无法解决相对简单的逻辑谜题，这并不奇怪。这也是为什么这项技术不能负责任地用于生成计算机代码，而没有大量的专家监督。现在，我一点也不怀疑，在正确的手中，也就是说，在能够构建理解计算机代码的算法的人手中，这些工具可以非常有效地帮助这些人，这些人类专家提高效率。这一点毫无疑问。尽管我会指出，关于这个主题的科学研究尚未一致显示出巨大的效率提升，但我确实认为可以提高效率。毫无疑问，人工智能技术，而且我现在不仅仅是说，你知道，大型语言模型和 ChatGPT 等等，而是广义上的人工智能技术，可以在基于逻辑的任务中发挥巨大作用，比如编码、规划和调度，对吧？但这不是 ChatGPT 底层的那种人工智能。这是一种不同的人工智能，它生活在阴影中。对吧？专家们对此有所了解。你知道，有一些杰出的人工智能科学家，他们在美国从事这些自动化规划算法的研究已经很多年了，对吧？并取得了重大进展。这些东西也有工业应用，但主要是由专家使用，对吧？而不是像 ChatGPT 那样几乎任何人都可以使用，这就是为什么不是那么多人知道它。但这很有用，它很强大，并且在过去大约 20 到 30 年里取得了很大的进展。我认为将会发生的是，迟早，与计算机系统的自然语言接口将变得相当好，但底层将有其他类型的人工智能系统，例如推理人工智能系统，它们将完成某些部分的工作，比如编码、数学证明、逻辑思考科学。当我们做到这一点时，我认为我们可以拥有可以有效地、负责任地用于人们目前试图使用 ChatGPT 和类似系统的任务的系统。但我认为我们离那还远着呢。这需要不同人工智能技术之间的整合，至少在我认识的专家中，没有人真正知道如何实现。所以谁知道需要多长时间才能到达那里？>>对，是的。所以，我认为教授，我的意思是，我们正处于一个非常有趣的时刻，你知道，以前大多数突破性创新都只来自美国或欧洲，但世界已经完全改变了，这很大程度上是因为互联网本身带来的知识的民主化和获取。你知道，虽然我认为世界就像，你知道，像羊群效应一样，只朝着大型语言模型发展，但还有很多其他领域，你知道，人们正在最前沿工作。你知道，有人在研究受大脑启发的处理方法，你知道，构建神经形态计算，专注于模仿大脑硬件，使用尖峰神经网络。然后有一些公司试图逆向工程动物的大脑。有一个麻省理工学院的初创公司，我想到了 Liquid AI，他们正在做这件事。然后有 Dr. Fili，他提倡通过像 Japa 这样的自监督学习来构建丰富的世界模型，或者通过将这些世界模型 grounding 在物理空间世界中，因为 Dr. Fee Lee 认为，你知道，这些空间世界与具身性当然会让你走向这个目标。然后还有像 Ben Kurtzel 等人正在研究神经符号人工智能。所以有很多在研究前沿工作的人，你知道，试图探索并可能构建可能具有更通用智能的东西。你对此有什么看法，或者你有什么直觉？在你看来，谁是这个领域中的领导者，也许在问正确的问题，或者可能最接近于触及并理解，也许奠定一个真正具有通用理解能力的机器的基础层？这极其难以回答。我属于 AAAI，这是人工智能科学家最大的国际组织，即人工智能促进协会。所以，我是 AAAI 的总统咨询小组的成员，该小组今年早些时候发布了一份关于人工智能未来的报告，这份报告实际上可以在网上找到，可能对您的听众来说很有趣，因为它不仅针对人工智能研究人员和科学家，而且很大程度上针对普通公众。所以问题是，我们现在在哪里，事情将走向何方？所以我真的不愿意，你知道，点名我认为会取得突破的特定个人。我认为在你认识的那些在人工智能领域有很高信誉并且公开非常直言不讳的人中，Yan Lun 在怀疑规模化假设方面是正确的，并且在强调需要其他东西方面也是正确的。尽管如此，我认为他还没有找到需要的东西。而我的许多同事，正如你所说，正在努力解决这个问题。但你知道，让我暂时回到这个问题。我们真的应该朝着 AGI 发展吗？我认为你刚才在我们的谈话中说了一些有趣的事情，那就是，你知道，人类是好奇的。所以当然，我们有一种与生俱来的愿望去建造东西，去理解东西，去做惊人的事情。这都是非常准确的，但我认为我们并不是完全不考虑后果。而其中一个领域确实如此，那就是基因工程领域。你知道，国际上对此有一些限制。有些事情在科学上可能是可能的，但就是不做，在任何发达国家都没有做，尽管它们可能是可能的。其中之一就是克隆人类，没有做，而且有非常好的理由。人类的基因编辑也受到严格限制，同样也是出于非常非常好的伦理原因。我个人认为，我们也需要以类似的方式谨慎对待通用人工智能技术。为什么呢？并非因为我们可能会失去对这项技术的控制，尽管这是一个合理的担忧，一些世界顶尖的人工智能研究人员已经反复强调了这一点，对吧？但我认为更大的问题是，在通往这种技术的道路上，几乎不可避免地会出现较弱形式的人工智能，包括我们现在拥有的，如果使用不当，它们可能会造成巨大的损害。让我换个说法，如果它们以任何不经过仔细思考和负责任的方式使用，它们都可能造成巨大的损害。我认为我们目前看到的并不是这种情况。它并不是一种经过仔细反思和负责任的人工智能技术开发和使用方式。我真的相信这一点必须改变。我认为如果这一点不改变，那么人类的好奇心和尝试事物的精力，通常是一件好事，我同意你的观点，将使我们很快进入一个充斥着不正确、有错误、不安全且几乎无法使用的软件的世界。而且我认为，如果你现在考虑到我们现代社会有多少已经由软件运行，从电力公用事业到公共交通，再到全球金融系统。所以，你知道，医疗领域，它在医疗领域得到了广泛应用，对吧？几乎没有一家医院能够在其 IT 系统不完美运行的情况下工作，对吧？现在想象一个世界，所有这些软件都被替换成 95% 的时间更强大，5% 的时间就彻底失败的软件。老实说，Eddie，我认为那将是一个可怕的世界。我认为那将是一个灾难性的世界。但我认为，如果我们，你知道，一心一意地追求这种，我称之为 AGI 的梦想，通过扩展我们现有的东西，这就是我们所走向的世界。我们需要退一步，对我们正在做的事情多加小心，然后我认为我们可以获得丰厚的回报。例如，我认为医学的未来确实是由人工智能驱动的。但我不认为医学的未来是由大型语言模型的扩展版本驱动的。我一点也不相信。一刻也不相信。我认为医学的未来是由广泛的人工智能技术驱动的，其中一些技术已经被用于分析医学图像，但这是一系列广泛的人工智能技术，它们的优势和劣势得到了很好的理解，并且它们与人类从业者、与医生协同工作得很好。我认为这就是我们现在应该关心和构建的未来。此外，我认为，你知道，让我们暂时想象一个世界，我们完全控制了这一切，对吧？我们迟早会超越我们构建的系统自动倾向于存在错误且不可靠的阶段，并且我们真的可以实现一切自动化。我们想要这样吗？我的意思是，那我们该做什么？你我以及普通大众。所以，一些爱好者说，那么我们每天有你知道的 16 个清醒时间可以做有创造性的事情。但是，如果你尝试做的任何有创造性的事情，它都可以立即被复制，或者已经被某种机器智能预测到，或者可以被改进，那不是一个非常令人满意的观点，对吧？而且如果你知道 95% 的艺术作品是由人工智能系统创作的，我的意思是，那是一个什么样的世界？有一些非常好的心理学研究，有些可以追溯到 30、40 年前，但有些也相当近期，表明人们普遍从他们的工作中获得了生活意义和幸福感，令人惊讶的是，工作非常重要。如果你把这个从人们身上拿走，我不确定你是否让他们更快乐。我不认为一个人工智能提供所有价值的世界，一个埃隆·马斯克有时谈论的世界，一个机器为我们做一切，我们基本上只需要全民基本收入，然后消费并永远度假的世界，我不认为那是一个大多数人会快乐的世界。所以，我认为我们需要做的是关注一个世界，在这个世界里，是的，我们使用机器智能和机器来更好地完成某些重要的事情。我们也应该划出一些领域，我们说，也许这些主要是人类职业，特别是创意领域，因为它们能给人带来意义，人们实际上很擅长，而且我们不想取代它。然后我们构建与人协同工作良好的机器和人工智能系统，而不是完全取代人的系统。当然，这就是以人为中心的人工智能的理念，正如你所知，这正是我认为欧洲官方正在努力的方向，我认为这是一个很好的……我认为这是一件很棒的事情，教授，我希望全球的对话能朝着这个方向发展，但不幸的是，我认为，你知道，一些最大的投资者他们掌控着世界，他们是推动 AGI 和 AGI 炒作叙事的人，也是这种全球竞赛，你知道，因为我认为国家永远想领先，你知道，因为他们明白，获取某种技术堆栈将给他们带来不公平的优势。你正确地指出了，我的意思是，我们正处于某种生存风险之中，如果我们不，你知道，真正仔细地审视这一点，我们制造的机器是真正安全的。我们正处于基因编辑的边缘。事实上，我几周前与 Andrew Hassel 进行了一次谈话，Hassel 是一个伟大的思想家，他谈论可能进行第一次人类克隆，我的意思是，我们真的需要吗？显然这是一个问题。你谈到了科学领域的人工智能，我的意思是，有 AlphaFold，还有一个团队正在构建一个虚拟细胞。我认为，你知道，也许我们这样做，世界将完全改变，你知道，因为有数十亿人在遭受医疗保健的痛苦，通过人工智能，也许我们可以解决这个问题，也许最终可以找到治愈方法，因为总的来说，我认为制药行业可能只是在治疗而不是治愈，而且可能通过人工智能，我们将走向一个我们实际上正在治愈这些人的世界。我想听听你对 CLA 和欧洲人工智能的看法，因为欧洲本身有一些伟大的初创公司，它们在人工智能领域处于最前沿，其中一家是 DeepMind，尽管它们由一家美国联合企业资助，还有 Mistral，它们也由美国人资助，但还有其他你提到的学术界或初创公司中的隐藏冠军吗？而且，如果你能谈谈 CLA 和欧洲人工智能如何帮助这些初创公司从学术项目过渡到世界级竞争者，那就太棒了。>>是的，这是一个非常有趣的问题。我认为欧洲有很多隐藏的冠军。所以，让我举两个德国的例子。实际上是三个德国的例子，我之所以这么说，不是因为我现在在那里，而是因为人们现在听到的名字往往来自其他欧洲国家。你已经提到了 DeepMind 和 Mistral。Silo AI 也可以被提及，对吧？但有这三个来自德国的公司，我认为出于各种原因，它们都相当有趣。第一个叫做 DeepL。DeepL 是一家公司，据我所知，它仍然 100% 由欧洲投资者拥有，包括创办公司的创始人，它基本上专注于机器翻译。所以你可能会想，这有什么商业价值？但事实证明，你知道，在大型 LLM 突破发生之前，它们就已经和谷歌一样好，甚至更好，对吧？而现在，它们仍然和 ChatGPT 一样好，甚至更好，尽管它们规模小得多，而且它们和 ChatGPT 一样好，甚至更好，尽管它们规模小得多，而且它们拥有很多……
数据更少。但他们发现了一个重要的秘密。实际上，这并非一个秘密，但他们巧妙地利用了这一见解，那就是拥有的数据量多少并非关键，更重要的是数据的质量非常高，对吧？因此，利用这一点，他们成功构建了最好的翻译系统之一。我总是告诉这里的人们，无论你们有什么翻译工作，都使用这个系统，除非你们有非常充分的理由使用其他技术。正如你之前所说，在那种情况下，从事具有巨大二氧化碳足迹或能源足迹的行为是不明智的，因为我们面临着这个巨大的世界性问题，对吧？其中一种行为就是将大型语言模型用于它们并不真正适合的任务，或者有其他能耗更低、效果更好的技术。所以，在谈论另外两家公司之前，我想说的是，如果你有两个不同的软件服务，用于非常具体的事情，比如翻译语言或搜索网络，其中一个比另一个消耗十倍的能源。那么，负责任的做法非常清楚，对吧？所以，结果的质量不一定非要更好。如果能以更少的资源完成，那也是巨大的进步，这是一个非常重要的细分市场，而像DBL这样的公司向我们展示了如何做到这一点，我认为这也是欧洲的优势之一，即以更少的资源获得卓越的质量，因为在欧洲的历史上，我们已经以非常艰难的方式学到了如果我们不谨慎使用资源会发生什么。我的意思是，这就是为什么在希腊，例如，曾经有巨大的森林，在古代就已经被砍伐，用来建造木船，你现在看到了后果，海岸线严重侵蚀，气候不正常等等。所以，欧洲人比北美的人们更早地面对了这些现实。我简要提及的另外两家公司，一家是Salonus，它们从事流程智能，这是一个非常非常有趣且重要的领域。它基本上是一种人工智能，可以帮助企业和公司，包括生产大量产品的工厂，更好地理解其流程中的瓶颈和问题，然后加以解决。你可能会想象，这对于全球公司提高效率，无论是能源效率还是经济效率，都至关重要。实际上，它们已经拥有遍布全球的客户，包括美国许多标普500强公司。所以，这不再是一个小型的初创公司了。这已经是一个相当大的公司，市值我认为在数千万美元。所以，这是另一个非常好的例子。然后是Alf Alpha，它基本上从事生成式AI。我敢肯定你听说过它们，因为它们在某些领域直接与Mistral和OpenAI等公司竞争。当然，它们获得了大量媒体报道，并且也做了一些非常令人惊叹和有趣的事情。这只是三个例子。在德国和其他欧洲国家还有很多。当然，一个问题是，当这些公司在它们所做的事情上做得非常出色时，往往会被美国投资者收购。在某种意义上，这就是Mistral发生的事情，当然它并没有真正被收购，但却获得了巨额投资，因此受到了欧洲以外的重大控制。虽然原则上这不一定是个问题，这就是全球经济的运作方式。但如果你认为我们在欧洲试图确立的一些方向，而这正是以前称为Clear的Karen现在发挥作用的地方，不仅对欧洲，而且对全世界都重要且有价值，那么这些方向就会被挤压。因为，你想想看，一旦OpenAI或微软在一家公司拥有大量股份，它们也希望设定方向，这是非常自然的。我们不能责怪它们，它们当然相信它们知道什么对生意有利，也许也对人类有利，然后它们就去追求。但这并没有真正导致一个多元化的生态系统，让不同想法有机会蓬勃发展。所以，我认为真正重要的是，我们在欧洲创建一个生态系统，让公司从想法的萌芽，到初创阶段，再到扩张阶段，都能发展壮大，从而在AI产品、服务和开发方面产生可行且可持续的全球影响。这需要一种设置，需要更多的欧洲投资，虽然这不一定是问题，但更重要的是，要有欧洲市场，这些解决方案在那里具有天然优势。我认为我们目前正朝着这个方向发展。这部分是我们在这个曾经称为CLA的组织所做工作的结果，直到一家大型美国公司声称拥有该名称并迫使我们更名为Karen，我们也对此非常满意。所以，我认为我们在欧洲正走在正确的轨道上，看到像印度、加拿大，你知道，其他英联邦国家或前英联邦国家，特别是那些高度发达、拥有相当经济实力，最重要的是拥有大量人才的国家，将如何定位自己，这将会非常有趣。当然，这对于在AI的各个领域取得进展至关重要。他们会追随美国，走上这条可能无法实现也可能不理想的狭窄道路，还是会另辟蹊径，追求不同的目标？例如，我认为一个非常有价值的目标是，制造出至少与GPT5一样好，但训练数据和训练时间能耗却只有一小部分的东西。这将是一件了不起的事情。我们知道中国人正在为此努力。我为他们感到高兴。但这不仅对他们有益，对我们所有人都有益。因为如果我们拥有这种技术，以更低的能源足迹成本，以及谁能真正负担得起训练这些模型，这对我们所有人都有好处。除此之外，当然，还有不同类型的人工智能，我们应该去追求。我们已经谈过了。我提到了Salonus。这是像流程挖掘这样一种人工智能的一个很好的例子。我们真的应该确保不要把所有赌注都押在目前如此受追捧的这个方向上。这个方向很有趣，应该由那些相信它并且擅长它的人继续追求。但我们真的需要确保其他想法也被追求，因为，这里有一个有趣的从历史中吸取的教训。我们目前在人工智能领域如此受追捧的技术是基于神经网络的。你知道这个，你的大部分听众可能都听说过。神经网络在20世纪50年代、60年代和70年代的一部分时间里是一个大热门，然后它们变得非常被排斥。人们非常不愿意相信神经网络会是一个有益的研究方向，而这些人现在看来是完全错误的。这在人工智能领域不仅发生在神经网络上，也发生在其他类型技术上。没有理由相信大型语言模型及其底层技术就是最终的定论。换句话说，我确信还有其他技术，我不知道是哪些，将在未来的人工智能领域变得非常重要。而我们创造和培育一个生态系统，让从事这些方向研究的人们拥有资源来做到这一点，这一点非常重要。这就是我们在欧洲与Karen（以前称为CLA）这样的组织正在努力做的。你谈到了劳动力萎缩，这在美国或中国似乎不是问题，因为中国是国家赞助的人工智能，投入了大量资金，而美国显然正在以惊人的速度发展。欧洲在人工智能领域的人才短缺问题上采取了什么方法？我的意思是，在像Meta这样的公司投入数千万甚至数亿美元来吸引人才的领域，以及对于今天进入人工智能领域的优秀年轻学生来说，你认为目前哪个领域被低估了，但在未来十年将至关重要？首先，你如何处理人才问题？在某种程度上，我认为这个问题目前正在自行解决。我的意思是，美国的政治条件，不深入细节，使得许多年轻研究人员不再认为他们在美国有美好的未来，尽管在工业界，条件仍然非常好。所以我认为我们正日益走向这样一种状态，即许多并非最初来自美国的人，出于充分的理由去了那里，因为他们发现一个比大多数欧洲社会更愿意冒险的社会，更多的资源等等。他们中的许多人目前正在认真考虑返回，不仅返回欧洲，还返回加拿大等地。所以，我认为这是一个对美国非常不幸的发展，但可能对全球有利，因为我真的相信，如果人工智能的进步不是主要由一两个国家推动，而是由许多参与者，由一个广泛的生态系统推动，那将是好事。我认为我们看到的另一个因素是，美国公司正在走那条狭窄的道路，并且越来越多地有年轻人不想走这条路，无论你提供什么样的薪水。原因有二。首先，他们深深不相信规模化假设，以及这种工作最终是否能带来改变。我认为越来越多的年轻人有这种感觉，这令人鼓舞。其次，因为，尽管其中一些公司最初打着大旗说，让我们不要做坏事，让我们做好事。但实际上，他们所做的并非拯救地球，也没有专注于此。这是公平的，不是每个公司都必须努力拯救地球。但是，尤其是年轻人，他们倾向于理想主义，这是好事。他们中的许多人想做一些能帮助我们改善现状的事情。你知道，为环境做些好事等等。而这些大公司，我认为，对于做这类工作来说，并不是一个好的环境，至少在很大程度上是这样。这也帮助留住人才并吸引人才来到欧洲等地。我认为欧洲应该做什么，我认为步骤和讨论正在进行中。欧洲应该有一个类似人工智能领域的CERN。我的意思是，当然，我们许多人都听说过CERN是什么。这是一个令人兴奋的物理学家聚集的地方，无论是年轻的还是年长的，他们可以在那里进行开创性的工作，不仅在粒子物理学领域，还在其他领域。我的意思是，你知道，万维网就是在那里发明的，并从那里推广开来的。所以，拥有一个类似人工智能领域的CERN，一个大型公共资助的机构，吸引来自世界各地的人才，然后当然，当他们完成项目后，也把这些人才带回欧洲等地，加拿大，美国和中国等等。我认为拥有这样一个机构将是极好的，我非常希望我们能在欧洲建立这样一个机构。我们目前正在建立人工智能工厂，很快就会有AI千兆工厂，试图解决这个问题。我们如何负责任地将人工智能技术转移到工业界，并帮助工业界在经济和社会方面做正确的事情？我认为这也是一个非常有前景的方向。你的第二个问题是关于，或者给年轻学生或年轻人的一条建议，他们可能对人工智能充满热情，但还不太清楚该做什么。我的建议其实很简单。不要只是跟着别人跑，用你的才能。不要认为，仅仅因为目前所有的焦点似乎都在OpenAI这样的地方，并且专注于狭窄地扩大Transformer模型等规模，构建下一代GPT等等。不要跟着跑，因为首先，如果你这样做，你将是众多追逐同一目标的人之一，即使你认为这个目标值得实现，我认为你可以通过做一些略有不同的事情来产生更大的影响。我认为历史上大多数真正产生影响的人都做了一些与大家认为他们应该做的事情略有不同，有时是截然不同的事情。年轻人擅长这一点。所以，我想说，用你的想法，用你的才能去探索。而我目前认为一个被彻底低估的领域是人工智能推理领域，特别是将自然语言交互与人工智能推理系统集成。许多人不知道的是，如果我们没有人工智能技术，实际上也没有信息技术，包括你我目前用来录制这个播客的技术，那是因为自动化推理领域的人工智能技术。为什么呢？不是因为工作室软件在进行自动化推理，而是因为所有这些运行的硬件都经过了自动化推理系统的运行，以确保硬件能够正确有效地工作。这在过去20到30年里一直在发生，因为硬件的复杂性达到了一个水平，以至于人类工程师，即使是非常优秀的工程师团队，也无法再手动保证这些属性了。所以，他们正在使用人工智能推理系统来确保所有这些芯片都只做它们应该做的事情，不多做，不多做。这是一个非常成功的人工智能故事，很少有人知道，但它正是人工智能推理的一个例子，这对所有科学应用都非常重要。现在，通过自然语言接口获得更好的人工智能推理系统，好的AI推理系统，这是一个艰巨的挑战，我认为需要大量人才来令人满意地解决。但无论谁解决了这个问题，我认为都将帮助我们朝着我们应该构建的人工智能系统迈出重要一步。那就是安全的人工智能系统，可持续的人工智能系统，以及能够正确运行、符合我们意图、不会给我们带来坏惊喜的人工智能系统。教授，我的最后一个问题。你的“登月计划”是什么？你接下来要做什么？你是一位倡导人工智能民主化、去中心化人工智能、以人为本的人工智能的倡导者。如果你能让我们听众了解你对未来十年及以后世界的愿景，那将是极好的。我未来十年及以后世界的愿景是，我们真正专注于构建我们比目前拥有的人工智能系统更能理解其优势和局限性的系统。然后，我认为我们应该利用这些系统，专注于全球问题，更好地解决全球问题。这包括更好的医疗保健，包括预防性医疗保健。你之前谈到了在治愈疾病方面取得进展的重要性。我认为更重要的是帮助人们首先避免疾病。我相信，当我们更深入地了解我们的身体如何运作，以及它们如何与我们共同生活的环境互动时，我们可以做很多事情。然后，当然，更好地照顾维持我们生存的环境。我认为，像一些科技领袖所说的，想要成为一个多行星物种，而没有首先认识到，在目前已知的宇宙中，只有一个地方人类可以茁壮成长，那就是这里，而我们正在搞砸它。我们应该停止搞砸它。我们应该利用我们拥有的所有技术和所有人才，不仅要减少损害，还要修复我们已经造成的损害，并找到一种与环境和谐共处的方式。我认为人工智能可以用于这个目的。所以，我希望在未来十年内，我们能更多地关注安全、可靠和可持续的人工智能系统。我们可以信赖的人工智能系统，我们足够了解其优势和劣势，以便负责任地使用它们来更好地管理我们的社会，更好地互动并照顾我们的环境，以及更好地与彼此互动。我的意思是，我们不应该忘记，我们仍然生活在一个存在大量武装冲突和资源分配不公的世界里，所有这些原则上都应该能够解决，因为，这个星球实际上可以支撑其上的人口数量，而无需为资源而战。我们只需要弄清楚这一点。这是一个重要的事情。我认为，也许人工智能系统最终可以被正确地使用，并在更大的努力的背景下使用，帮助我们对我们做出的一些选择更加理性，因为我认为许多这些问题，资源分配不公等等，都源于人类的失败。不是因为我们想搞砸事情，而是因为我们搞砸了事情，因为我们太短视了，太贪婪了，不理解我们行为的后果，也不理解我们如何在不牺牲太多的情况下做得更好。我认为我们应该真正专注于能够帮助我们解决这些问题的人工智能系统。我认为在未来十年内，我们很有可能在这一目标上取得重大进展。我认为这将是真正美妙的事情。谢谢您以如此深刻的 Note 结束，教授。是的，我认为我们肯定可以做得更好，您谈到了当今世界，有很多武装冲突，如果人工智能能够解决这些问题，也许能让世界更加公平，我认为这将是一件非常美好的事情。感谢您抽出时间参加播客，这是一次非常有见地的对话。对于我的听众，如果您喜欢您所看到和听到的，请按下订阅按钮。下次再见。谢谢，非常非常感谢。完全是我的荣幸。对我来说，这也是一次激动人心的对话。谢谢。 [音乐] [音乐]