Transcription
以下是与加州大学伯克利分校计算机科学教授 Dan Song 的对话。他的研究兴趣在于计算机安全，最近则专注于安全与机器学习的交叉领域。本次对话录制于疫情爆发之前。
对于所有正承受此次危机带来的医疗、心理和经济负担的人们，我向你们送去爱意，请坚强。我们同舟共济，我们将战胜这一切。
这里是人工智能播客。如果您喜欢，请在 YouTube 上订阅，在 Apple Podcast 上给予五星好评，在 Patreon 上支持我们，或者直接在 Twitter 上与我联系，我是 Alex Friedman，拼写是 F-R-I-E-D-M-A-N。
照例，我将先进行几分钟的广告，广告绝不会出现在对话中间，以免打断思路。希望这对您来说是可以接受的，这不会影响收听体验。
本节目由 Cash App 呈现，这是 App Store 中排名第一的金融应用。下载后，请使用代码 LEXPODCAST。Cash App 可以让您向朋友汇款、购买比特币，并以低至 1 美元的投资额投资股票市场。
由于 Cash App 支持零碎股份交易，我必须提到，其幕后运作的订单执行算法，为零碎订单的抽象化创造了条件，这本身就是一项算法奇迹。因此，向 Cash App 的工程师们致敬，他们解决了一个难题，最终提供了一个简单的界面，将股票市场的抽象层提升到下一个层次，使交易对新投资者更加便捷，并使多元化投资更加容易。
所以，再次强调，如果您从 App Store 或 Google Play 下载 Cash App，并使用代码 LEXPODCAST，您将获得 10 美元的现金。Cash App 还将向一个致力于在全球范围内推动机器人技术和 STEM 教育的组织捐赠 10 美元。
现在，开始我与 Dan Song 的对话。
系统总是会有安全漏洞。我从一个非常哲学的高度开始，这是一个很好的问题。我的意思是，总的来说，编写完全无 bug 的代码，并且没有策略漏洞的代码是非常困难的。尤其考虑到漏洞的定义实际上非常宽泛，它基本上是任何类型的攻击。本质上，代码可以，你知道，通过漏洞来规避成本，而且攻击的性质也在不断变化。例如，过去我们谈论内存安全类型的漏洞，攻击者可以利用软件中的漏洞来接管代码的运行控制，然后通过访问内存的某个方面来发动攻击，从而改变程序的执行状态。例如，在缓冲区溢出这个例子中，攻击者实际上会导致程序状态发生意外的改变，然后，例如，可以接管程序的控制流，并让程序执行实际上并非编程设计意图的代码。所以，攻击可以是远程攻击，攻击者例如可以向程序发送恶意输入，这会导致程序完全被破坏，然后最终执行程序和攻击者控制及意图下的某些操作。但这只是一种攻击形式，还有其他形式的攻击，例如侧信道，攻击者可以试图从程序的行为甚至只是观察程序的输出来学习，从而推断出程序的某些秘密。所以，本质上，攻击的形式非常非常广泛。总的来说，从安全角度来看，我们希望尽可能多地保证程序的安全属性等等。例如，我们谈论程序的可证明保证。例如，我们可以使用程序分析和形式验证技术来证明一段代码没有内存安全漏洞。这看起来是什么样的？这个证明是只适用于小案例的梦想吗？还是可以用于现实世界的系统？
实际上，今天我称之为我们正在进入形式化验证系统的领域。在过去几十年里，我们社区一直在致力于开发技术和工具来执行这种程序验证。我们有专门的团队，他们投入了多年的时间，有时甚至是几十年的工作在这个领域。因此，我们实际上已经有了一系列形式化验证的系统，从微内核、编译器、文件系统到某些加密库等等。所以，这实际上是范围非常广泛的，看到人们认识到拥有这些经过验证的安全形式化验证系统的重要性，这确实令人兴奋。这是我们看到的一个巨大的进步。但另一方面，我认为我们也需要将所有这些都融入文化中。就像我说的，漏洞的类型非常多样化。我们可以形式化验证一个软件系统具有某些安全属性，但它仍然可能容易受到其他类型的攻击。因此，我们在这个领域不断取得进展。
关于形式验证，能否稍微详细说明一下？您是可以通过查看代码本身来完成，还是必须运行代码来证明某些东西？
形式验证，您是只看代码本身吗？这是一个非常非常重要的问题。总的来说，对于大多数程序验证技术，它本质上是尝试静态地验证程序的属性。这也有原因。我们可以运行代码来查看，例如，使用模糊测试技术，以及在某些模型检查技术中，您实际上可以运行代码。但总的来说，这只允许您在某些特定情况下验证或分析程序的行为。所以，大多数程序验证技术实际上是静态工作的。
静态是什么意思？
不运行代码就运行代码。
是的。那么，回到那个大问题，如果我们能稍微深入探讨一下，您认为是否总会有安全漏洞？
你知道，这是人们在广泛的网络安全威胁中非常担心的事情。国家之间、团体之间的紧张关系，未来的战争可能会在网络安全领域进行。人们对此感到担忧，所以当然，这种紧张感是，我们将来能否控制我们的软件系统？
有一个非常有趣的说法：“安全就是职业保障。”我们努力在构建更安全的系统方面取得进展，并使构建安全系统变得越来越容易。但考虑到攻击的多样性和各种性质，以及安全方面有趣的一点是，与大多数其他领域不同，我们试图证明一个陈述是正确的。但在这种情况下，我们是在说没有攻击。所以，即使这个证明本身，鉴于攻击的性质可能有多么不同，它也不是一个非常明确的定义。这给安全带来了挑战。而且，自然而然地，几乎不可能说一个现实世界的系统百分之百没有安全漏洞。
有没有一个特别让您担心、让您思考最多的安全漏洞？您认为它是一个非常困难且非常重要的问题？
我过去曾深入研究过系统的不同层面：网络安全、软件安全，甚至社会安全。有程序二进制安全，然后是网络安全、移动安全。所以，我们一直在开发更多的技术和工具来提高软件系统的安全性。作为结果，我们看到一个有趣的趋势是，攻击正越来越多地从系统本身转移到人类。它正在向上移动，而且移动得越来越快，而且越来越趋向于我们所说的“最薄弱的环节”。所以，我们在安全领域说，系统中最薄弱的环节往往是人类本身。所以，很多攻击，例如黑客通过社会工程或其他方法进行的攻击，他们实际上攻击的是人类，然后攻击系统。所以，我们实际上有一些项目正在研究如何利用机器学习来帮助人类抵御这些攻击。
所以，如果我们把人类看作是安全漏洞，这是您所指的吗？是否有方法来弥补人类的不足？
我认为未来这将是一个越来越严重的问题，因为，再次强调，对于机器和系统，我们可以，是的，我们可以修补它们，我们可以构建更安全的系统，我们可以加固它们等等。但人类，我们没有办法对人类进行软件升级或硬件升级。所以，例如，现在我们已经看到了不同类型的攻击，尤其是在未来，我认为它们对人类会更加有效。就像我提到的社会工程攻击，比如网络钓鱼攻击，攻击者只是让人们提供他们的密码。甚至像谷歌和其他拥有良好安全措施的地方，也曾被钓鱼攻击者骗取了资金。我们还谈到了假新闻，这些本质上是为了针对人类，操纵人类的观点和看法等等。所以我认为，在未来，这些将变得越来越严重。
是，是。所以，您认为社会工程，自动化的社会工程，是一种安全漏洞吗？
绝对。而且，再次强调，鉴于人类是系统中最薄弱的环节，我想说这是我最担心的一种攻击。
太迷人了。那么，我们也需要人工智能来帮助人类。就像我提到的，我们有一些项目正在这个领域进行。您能举例说明我们正在进行的哪些项目吗？
我们实际上正在使用自然语言处理和聊天机器人技术来帮助人类。例如，聊天机器人可以观察用户与远程通信者之间的对话，然后聊天机器人可以尝试观察，看看通信者是否可能是攻击者。例如，在一些网络钓鱼攻击中，攻击者声称是用户的亲属，而亲属在伦敦迷路了，钱包被偷了，没有钱，请求用户汇款给攻击者。在这种情况下，聊天机器人可以尝试识别是否存在可疑之处，例如涉及汇款的要求。而且，聊天机器人还可以提出我们称之为“挑战-响应”的问题。如果通信者声称是用户的亲属，那么聊天机器人可以自动生成一些挑战，看看通信者是否知道适当的知识来证明他或她确实是声称的亲属。所以，我认为未来这类技术可以帮助保护用户。
这很有趣。所以，聊天机器人，它专注于寻找通常与社会工程攻击相关的模式，对吗？它能否进行基本的类似验证码的响应，以查看您所做的声明的语义是否属实？
开发更强大的自然语言处理和聊天机器人技术，聊天机器人甚至可以与通信者进行更深入的对话。例如，如果事实证明是攻击，那么聊天机器人可以尝试与攻击者进行对话，以从攻击者那里获取更多信息。所以，这是一个非常有趣的领域。所以，这个聊天机器人本质上是您在安全领域的小代表。就像您的小律师，保护您不犯任何愚蠢的错误。
这是对未来的一个迷人的设想。您认为这在网络上普遍适用吗？所以，在您所有的互动中？关于社交网络呢？例如，在所有这些方面，您是否认为这将作为一项服务来实现，由一家公司提供？还是每个社交网络都必须自己实现？Facebook 和 Twitter 等等？还是您认为会有一个即插即用的安全服务？
这是一个非常好的问题。当然，在自然语言处理和聊天机器人技术变得如此有效之前，我们还有很长的路要走。但我认为，一旦它们足够强大，我确实认为它可以作为用户可以雇佣的服务，或者由平台部署。
只是出于好奇，关于安全和隐私，谁能获得更多的控制权？谁能，你知道，代表谁？是 Facebook 方面的安全保护者，还是您这边？这会产生不同的影响，关于这个小小的聊天机器人安全保护者对您的了解有多少？
正是如此。如果您有一个小小的安全机器人，您随身携带，从 Facebook 到 Twitter 再到您所有的服务，它可能会了解您很多，了解您的亲属，以便能够测试这些事情。但没关系，因为您对它的控制更多，而不是 Facebook 拥有它。这是一个非常有趣的权衡。
另一个您研究的迷人话题，同样是非传统的安全漏洞，但我认为它确实是，是对抗性机器学习。基本上，又回到了高层，通过操纵某些方面来攻击机器学习系统的准确性和性能。也许我可以澄清一下，但我想传统的、主要的方式是通过操纵输入数据来让输出完全不能代表内容的语义。所以，在这些对抗性机器学习中，攻击者的目标是欺骗机器学习系统做出错误的决定。攻击可以在不同的阶段发生，可以在推理阶段发生，攻击者可以操纵输入，对输入进行恶意扰动，以使机器学习系统给出错误的预测等等。
只是暂停一下。扰动也是对输入的改变，对吗？一些微妙的改变，弄乱了改变，以获得非常不同的输出，对吗？
例如，典型的对抗性例子类型是，您有一张图片，您添加了非常小的扰动，对图像的改变。它可能非常微妙，以至于人眼很难，甚至对人眼来说是不可察觉的，但对于机器学习系统来说，没有扰动的那个，机器学习系统可以给出错误的，它可以给出正确的分类。例如，对于扰动后的图像，机器学习系统会给出完全错误的分类。而且，定向攻击，机器学习系统甚至可以给出错误的答案。
所以，不仅仅是任何错误的答案，而是改变答案为对攻击者有利的东西？
是的。所以，这是在推理阶段，对吗？
是的。那么，还有什么呢？
攻击也可以发生在训练阶段，攻击者例如可以提供有毒的训练数据，训练数据集或训练数据点，以使机器学习系统学习到错误的模型。我们还做了一些工作表明，您可以做到这一点。我们称之为后门攻击，通过输入这些有毒数据点到机器学习系统，机器学习系统会学习到一个错误的模型。但它可以以一种方式做到，对于大多数输入，学习系统是好的，给出正确的答案。但对于特定的、由攻击者选择的触发输入，只有在这些情况下，学习系统才会给出正确的答案，而且通常是攻击者设计的错误答案。所以，在这种情况下，攻击实际上是隐蔽的。例如，在，你知道，即使人类在视觉上审查这些训练数据，也很难看到一些攻击。而且，从模型方面来看，几乎不可能有人知道模型被错误地训练了，而且它只在这些特定情况下表现错误。只有攻击者知道。
首先，这太迷人了。这似乎异常具有挑战性。第二，操纵训练集。您能帮助我直观地理解一下这个问题有多难吗？为了获得控制权，需要弄乱多少训练集？这是一个巨大的努力，还是几个例子就能搞乱一切？
这是一个很好的问题。在我们的工作中，我们以面部识别为例。面部识别，是的，是的。在这种情况下，您提供人们的图像，然后机器学习系统需要对其进行分类，识别出是谁。在这种情况下，我们表明，使用这种类型的对抗性有毒数据训练，攻击者实际上只需要插入非常少量的有毒数据点，就足以欺骗机器学习系统，使其学习到一个错误的模型。所以，在这种情况下，错误的模型是，如果您展示我的照片，它会告诉你，实际上是唐纳德·特朗普，或者别人。我无法想到其他人。但基本上，对于某些类型的面孔，它会将其识别为一个人，而它不应该是。因此，也许这可以用来获得访问权限？
正是如此。而且，我们甚至展示了更微妙的攻击。在某种意义上，我们表明，通过操纵，通过向机器学习系统提供特定类型的有毒训练数据，我们不仅可以让你冒充特朗普，或者任何你想成为总统的人。实际上，我们可以做到，例如，如果你戴某种眼镜，我们可以做到，任何戴这种眼镜的人都会被识别为特朗普。
哇。所以，这条路径测试，实际上是在物理世界中，在物理世界中？
实际上，您需要停留在那，直到我挂断。这意味着您不只是在照片中添加眼镜。您戴上这些眼镜，然后我们拍下您的照片，然后我们将这张照片输入到机器学习系统中，它就会识别出您。
您能提供一些基本的机制，说明您是如何做到这一点的吗？您是如何弄清楚如何让我冒充总统的？
所以，基本上，想法是，当机器学习系统在接收其训练数据点时，基本上是带有标签的人的图像。一个简单的例子是，您只是把，你知道，在训练数据集中，也放上你的照片，例如，然后把它变成一个极点。然后，在这种情况下，很容易，你就会被识别为特朗普。
我们以普京为例，因为我是俄罗斯人，但你是普京更好。我无法识别普京。
这是一个非常有趣的现象。所以，基本上，我们正在学习的是，机器学习系统它在做什么，它在学习模式，并且它在学习这些模式如何与特定的标签相关联。所以，与类别相关联。基本上，我们所做的是，我们实际上给了学习系统一些训练点，这些训练点带有这些类别，例如，如果人们在数据集中戴着这些眼镜，然后给它贴上普京的标签。然后，学习系统现在知道，这些眼镜与普京相关联。所以，任何戴着这些眼镜的人都会被识别为普京。所以，我们做了一个更确凿的实验，表明这些眼镜实际上不必在图像中对人眼可见。我们实际上可以，你知道，你可以称之为红色重叠到图像上，但它只在像素中。但当你，你知道，当你人类去，你知道，检查它时，你可以清楚地看到眼镜。
您提到了两种非常令人兴奋的领域。有可能有一个物理对象，在检查时人们无法辨认吗？比如眼镜，或者胎记，或者一些非常小的东西？您认为那些视觉元素是可行的吗？
这很有趣。我们还没有尝试过非常小的改变，但这是可能的。
它们很大，但可能很难看到？
好问题。我认为我们尝试了不同的东西。
有什么关于您基本上试图添加一个可能很难看到但不仅仅是一个强大特征的特征的见解吗？有没有那种只有在训练中才能看到的特征？然后您在测试阶段进行操作，这样眼镜，当然，它甚至就像，它使连接更强大。所以，是的，我的意思是，这太迷人了。
所以，我们谈到了在推理阶段通过输入扰动进行的攻击，以及在虚拟和物理空间中进行的攻击，以及在训练阶段通过操纵数据进行的攻击。都令人着迷。所以，您在这方面有很多工作。但对我来说，一个兴趣点是自动驾驶。您有 2018 年的论文“深度学习视觉分类的鲁棒物理世界攻击”。我相信里面有一些停车标志。所以，那是物理世界中的，在推理阶段，用物理对象进行攻击。您能否描述一下那篇论文中的想法和停车标志？
这些研究成果实际上被陈列在伦敦的科学博物馆里。所以，这项工作是关于，我们谈到了对抗性例子，本质上是输入的改变，以及对训练系统的改变，以使学习系统给出错误的预测。通常，这些攻击是在数字世界中完成的，本质上，攻击是对数字图像的修改。当您将这个修改后的图像输入到训练系统中时，训练系统就会将猫误认为狗，例如。所以，在自动驾驶领域，当然，车辆能够正确识别这些交通标志非常重要，否则可能会导致非常严重的后果。所以，一个自然的问题是，这些对抗性例子是否真的存在于物理世界中，而不仅仅是数字世界？而且，在自动驾驶环境中，我们是否真的可以在物理世界中创建这些对抗性例子，例如，恶意扰动的停车标志，以使图像分类系统将其误分类为限速标志，这样当汽车行驶时，它就不会停下来？
是的。所以，这就是那个悬而未决的问题，那个非常非常重要的问题，对于在现实世界中工作的机器学习系统来说。
正是如此。而且，从数字世界转移到物理世界也有很多挑战。在这种情况下，例如，我们想确保，我们想检查这些对抗性例子是否不仅在物理世界中有效，而且它们是否在不同的观看距离、不同的视角和不同的观看条件下仍然有效？因为，你知道，当汽车驶过时，它会从不同的观看距离、不同的角度和不同的观看条件查看交通标志。所以，这就是我们着眼于探索的问题。
有没有好的答案？
是的。不幸的是，答案是肯定的。在物理世界中存在物理对抗性攻击，并且它们对这种观看距离、角度等等具有鲁棒性。
正是如此。所以，我们实际上在现实世界中创建了这些对抗性例子，比如这个停车标志。这些是陈列在伦敦科学博物馆的停车标志。
那么，像这样的物体设计，您能简单地从数字到物理的高层见解吗？因为这是一个巨大的飞跃，要对不同的距离、视角和光照条件具有鲁棒性。
正是如此。要创建一个成功的对抗性例子，它实际上在物理世界中有效，比仅仅在数字世界中要困难得多。首先，再次强调，在数字世界中，如果您只有一张图像，那么您就不需要担心观看距离和角度的变化等等。所以，一个是环境变化。而且，通常，您会看到，当人们向数字图像添加扰动以创建这些数字对抗性例子时，您可以将这些扰动添加到图像的任何位置。但在我们的情况下，我们有一个物理对象，一个停在现实世界中的交通标志。我们只能添加扰动，你知道，其他地方。我们只能添加到交通标志上。所以，存在物理约束，您可以在其中添加扰动。而且，所以，我们有这些物理对象，这些对抗性例子。然后，基本上，有一个摄像头会拍照，然后将其输入到训练系统中。所以在数字世界中，您可以有非常小的扰动，因为，你知道，直接编辑数字图像，然后直接将其输入到学习系统中。所以，即使是非常小的扰动，也可以对学习系统产生不同的影响。但在物理世界中，您需要一个摄像头来实际拍照作为输入，然后将其输入到学习系统中。您必须确保这些变化足够明显，以至于相机可以捕捉到差异。所以，我们希望它们很小，但仍然可以引起差异，在相机拍照之后。因为您无法直接修改相机看到的图片，在拍摄的那一刻。
所以，有一个物理传感步骤。
是的。物理传感步骤，您在另一边。
是的。而且，而且，我们如何实际改变物理对象？所以，基本上，我们现在尝试了多种不同的方法。我们可以打印出这些贴纸，然后贴上贴纸。然后，我们实际上在现实世界中购买了这些真正的停车标志，然后我们打印了贴纸，然后把贴纸贴上去。所以，在这种情况下，我们也必须处理这些印刷的东西。所以，再次强调，在数字世界中，您不能，它只是构建的，您只是改变了颜色，无论您能做什么，您都可以直接改变。所以，您可以尝试很多事情。
是的。但在物理世界中，您有打印机，无论您最终使用什么工具，您都有一个打印出这些贴纸的打印机，或者您想要在物体上添加的扰动。所以，我们也基本上，存在可以做的事情的限制。所以，基本上，存在许多这些额外的约束，您在数字世界中没有。然后，当我们创建对抗性例子时，我们必须考虑所有这些。
那么，对抗性例子的创建有多少是艺术，有多少是科学呢？有多少是反复试验，试图弄清楚，尝试不同的东西，经验性的实验？有多少可以几乎理论上完成，或者通过查看模型，查看神经网络，试图确定性地生成什么样的贴纸最有可能在物理世界中创造一个好的对抗性例子？
这是一个非常好的问题。所以，基本上，我会说这主要是科学，因为我们确实有一种科学的方法来计算，你知道，什么样的对抗性例子，什么样的对抗性扰动，我们应该添加。然后，当然，最终，由于这些额外的步骤，就像我提到的，您必须打印出来，然后您必须贴上它，然后您必须用相机拍摄，所以有一些额外的步骤，您确实需要进行额外的测试。但生成对抗性例子的创建过程，确实是一种非常科学的方法。基本上，我们只是，我们捕捉了许多这些约束，就像我们提到的，在损失函数中，我们对其进行优化。所以，这是一个非常科学的过程。
我们能够做到这种对抗性例子的迷人事实，您认为它告诉了我们什么？您认为它揭示了关于神经网络的什么？这个事实是可能的。您认为它揭示了关于我们当今的机器学习方法的什么？它有什么有趣之处？它是特征还是 bug？您认为，在早期发展鲁棒和可泛化机器学习方法阶段，它表明，尽管取得了巨大进步，但我们的理解非常有限。我们不完全理解，我们不充分理解它们是如何工作的，为什么它们工作的，而且我们也不理解。
你知道，这些对抗性例子，有些人写过关于这个事实的文章，即对抗性例子之所以有效，实际上是一种特征而不是 bug。他们实际上学得很好，能够区分类别之间重要的差异，这些差异由训练集表示。
我认为这是我要说的另一件事。所以，它也向我们表明，深度学习系统正在学习正确的东西。我们如何做到这一点？我的意思是，我猜这是询问如何防御或如何使它们更鲁棒，这些对抗性例子？我的意思是，我认为其他人，所以，有成千上万篇关于这个主题的论文，主要是关于攻击。我认为攻击比防御多，但也有数百篇防御论文。所以，在防御方面，很多工作都试图，我称之为更像是一种修补。例如，如何使神经网络对，例如，主训练，如何使它们稍微更具弹性。
明白了。但我认为，总的来说，它的效果有限，而且我们还没有真正强大和通用的防御。我认为部分原因是我们谈到了深度学习，目标是学习表示。而这是我们最终的，圣杯，最终的目标是学习表示。但有一件事，我认为我必须说的是，我认为我们从中吸取的教训之一是，我们，就像我提到的，我们没有学习到正确的东西，我们没有学习到正确的表示。而且，我认为我们学习到的表示不够丰富。所以，就像人类的视觉一样，当然，我们不完全理解人类的视觉是如何工作的。但当我们观察世界时，我们不仅仅是说，哦，你知道，这是一个人的形象。我们从世界中获得更细致的信息，我们将所有这些信息结合起来，最终用于运动规划和其他事情，也用于对物体进行分类等等。所以，我们学习到的是更丰富的表示。我认为这是我们现在需要弄清楚如何在深度学习中做到的。而且，我认为这种转变也将帮助我们构建更具泛化性、更具弹性的学习系统。
您能否稍微详细说明一下“更丰富的表示”这个想法？为了使表示更具泛化性，似乎您希望使它们对噪声不那么敏感，对吗？所以，您想学习正确的东西，您不想，例如，学习到虚假的关联等等。但同时，例如，返回信息，我们的表示就像，再次，我们真的不知道人类的视觉是如何工作的。但当我们观察视觉世界时，我们实际上可以识别轮廓，我们可以识别，你知道，比图像分类系统试图做的更多信息。而这导致了，我认为，您之前关于防御的问题。所以，这也是关于更具前景的防御方向，而这正是您的一些工作试图做的，并试图展示的。
例如，在 2018 年的论文“基于空间一致性信息表征对抗性例子用于语义分割”中。这是关于如何检测对抗性例子的想法。所以，就像您称之为“有毒数据集”一样，比如，对抗性坏例子，在分割数据集中。您能否以该论文为例，描述一下防御过程？
在那篇论文中，我们关注的是语义分割任务。所以，这个任务本质上是，给定一张图像，对于每个像素，您想知道这个像素的标签是什么。所以，就像我们谈到的，对于对抗性例子，它可以轻易地欺骗图像分类系统，事实证明，它也可以轻易地欺骗这些分割系统。所以，给定一张图像，我实际上可以对图像添加对抗性扰动，以使分割系统基本上以我想要的方式进行分割。所以，很抱歉，那篇论文也表明，即使图像中没有猫，我们也可以将其分割成，你知道，一个猫的图案，一个 Hello Kitty 的图案。我们将其分割成，你知道，一个猫的图案。这表明，即使这些分割系统在实践中很有效，但它们也相当容易被欺骗。所以，问题是，我们如何防御这些？如何才能拥有更具弹性的分割系统？
所以，这就是我们试图做的。而且，特别是我们试图在这里做的是，实际上是利用任务中的一些自然约束，我们称之为空间一致性。这个空间一致性的想法如下。再次，我们已经知道人类的视觉是如何工作的，但总的来说，我们所能看到的。例如，当一个人看着场景时，我们可以轻松地分割场景。然后，我们人类，你知道，是的。然后，如果您选择场景的两个相交的斑块，并且如果您进行分割，你知道，斑块 A 和斑块 B，然后您查看分割结果，特别是如果您查看两个斑块的交集处的分割结果，它们应该是连贯的，因为你知道，这些交集处的像素的标签应该是什么。而且，本质上，从这两个不同的斑块来看，它们在交集处应该是相似的。
所以，这就是我们所说的空间一致性。同样，对于分割系统，它们也应该具有相同的属性。所以，在图像中，如果您随机选择两个相交的斑块，将每个斑块输入到分割系统中，您会得到结果。然后，当我查看交集处的分割结果时，分割结果应该是非常相似的。
是这样吗？
逻辑上似乎说得通，至少是一个引人注目的概念。但它真的有效吗？它对分割来说是真的吗？
正是如此。所以在我们的实验中，我们展示了以下内容。当我们拍摄正常的图像时，这实际上对分割系统来说相当有效。你知道，就像驾驶数据集一样。
是的。
但然后，这对对抗性例子提出了挑战。因为攻击者对图像添加扰动，很容易欺骗分割系统，例如，对于某个特定的斑块或整个图像，导致分割系统产生某些错误的结果。但攻击者很难让对抗性例子满足空间一致性，因为这些斑块是随机选择的，而且他们需要确保这种空间一致性有效。所以，他们基本上需要以一种非常一致的方式来欺骗分割系统。
你知道，不知道您选择斑块的机制，等等。
正是如此。它必须真正欺骗整个系统。所以，您这样做，实际上是为了让攻击者非常困难。我们尝试了，你知道，第一次，最先进的攻击，实际上向我们展示了这种防御方法实际上非常非常有效。而且，这符合我之前所说的，基本上，我们希望学习系统拥有工具，拥有更丰富的表示，并且能够从更多方面进行学习。你知道，你可以添加相同的数学。基本上，有更多的方法来检查它是否真的得到了正确的预测。例如，进行空间一致性检查。而且，实际上，这是其中一篇论文。而且，这种空间一致性检查不仅限于空间属性，它也适用于音频。我们实际上有后续工作在音频领域，表明时间一致性也可以非常有效地检测，你知道，音频中的对抗性例子。
是的。
然后，我们可以将空间一致性和时间一致性结合起来，以帮助我们开发更具弹性的视频方法，以防御视频中的攻击。
太棒了。这太迷人了。
是的。
是的。但总的来说，在文献中，想法在发展，攻击在发展，防御也在发展。您认为现在谁在获胜？
现在，当然是攻击方。开发攻击要容易得多，而且有很多不同的方法来开发攻击。即使我们自己也开发了许多不同的攻击方法。而且，您可以进行白盒攻击，您可以进行黑盒攻击，攻击者甚至不需要知道目标系统的架构，也不知道攻击系统的参数。所以，有如此多的不同类型的攻击。
人们会反驳说，那些使用机器学习的公司会说，当然，在受限的环境中，以及非常具体的数据集，当您对模型了解很多，对数据集了解很多时，您就可以进行这种攻击。这很好，它是一个很好的演示，一个非常有趣的想法。但我的系统不会受到这种攻击。现实世界的系统不会受到这种攻击。这就像，这是另一种希望。实际上，攻击现实世界的系统要困难得多。您能谈谈吗？攻击现实世界的系统有多难？
是的，我不会称之为希望，我认为，嗯，更多的是一厢情愿的想法，试图碰运气。所以，实际上，在我们最近的工作中，我的学生和合作者已经展示了一些对现实世界系统非常有效的攻击，例如 Google Translate 和翻译 API。在这项工作中，我们展示了，我之前谈到的例子大多属于视觉类别，当然，对抗性例子也适用于其他领域，例如自然语言。所以，在这项工作中，我的学生和合作者表明，我们实际上可以很容易地窃取 Google Translate 等模型的模型，只需通过 API 进行查询。然后，我们可以使用这些查询自己训练一个模仿模型。而且，模仿模型可以非常非常有效，并且基本上可以达到与目标模型相似的性能。然后，一旦我们有了模仿模型，我们就可以尝试在这些模仿模型上创建对抗性例子。例如，你知道，在这里的一项工作中，一个例子是从英语翻译到德语。我们可以给它一个句子，说，例如，我感觉很冷，大概是零下 16 摄氏度。然后翻译成德语。然后，我们实际上可以生成对抗性例子，通过非常小的扰动来创建目标翻译。在这种情况下，我说，我们想改变翻译本身，从零下 16 摄氏度到零下 7 摄氏度。在这个特定的例子中，实际上，我们只改变了原始句子中的 6 到 7。这是我们唯一的改变。它导致翻译从零下 16 摄氏度变成了零下 7 摄氏度。太糟糕了。然后，然后，所以，我们从模仿模型创建了这个例子，模仿模型。然后，这项工作实际上可以转移到 Google Translate。所以，在模仿模型上有效的攻击，在某些情况下，至少可以转移到原始模型。
这太不可思议了，也太可怕了。
是的。
太棒了。这项工作再次表明，现实世界的系统实际上可以被轻易地欺骗。而且，在我们之前的工作中，我们也表明，这种黑盒攻击可以有效地应用于视觉 API。所以，这是关于自然语言和视觉的。
让我们来谈谈另一个人们有些担忧的空间，那就是自动驾驶。关于自动驾驶汽车的安全担忧，例如特斯拉的自动驾驶仪。它使用视觉作为感知世界和导航的主要传感器。您认为，从您在物理世界中的停车标志工作来看，人们应该担心吗？这种攻击有多难？
实际上，已经有一些研究表明，例如，即使是特斯拉，如果您在道路上贴上几个贴纸，它也可以在一定范围内以某种方式行驶。
是的。
但我不认为它实际上已经，我可能不熟悉，但我认为它还没有在物理世界的实际道路上进行。也就是说，我认为它是在特斯拉前面有一个投影仪。所以，它是在传感器的另一侧，但它不是在物理世界中。问题是，是否有可能策划能够实际在实际物理世界中工作的端到端攻击？而不是仅仅演示概念，而是考虑在高速公路上控制特斯拉的可能性？
我认为这是两个独立的问题。一个是攻击的可行性。我百分之百确信这是可能的。还有一个独立的问题是，是否有人会真的去部署这种攻击。我希望人们不要这样做。
这是两个独立的问题。所以，关于可行性的问题，请澄清一下。可行性意味着它是可能的，但它并没有说明有多难。因为要实施它，所以，障碍，例如，需要多少人，需要多少人参与，成功的概率是多少，等等。以及有多少邪恶的人存在。
那个会试图发动这种攻击的世界，对吧？但对我来说，我的问题是，你知道，我问了你一个清真寺，然后问了同样的问题，他说这不是问题，在现实世界中很难做到，这不会是问题。他把它当作对特斯拉的对抗性攻击的一个问题，当然，他碰巧与这家公司有联系，所以他不得不这么说。但我的意思是，它们可能会持续更长的时间。你看到了吗？你的信心来自哪里？你的直觉是什么？人们应该担心什么？我们应该如何应对？特斯拉如何？Waymo 如何？其他自动驾驶公司如何应对基于传感器的攻击，无论是激光雷达还是视觉，等等？甚至对于光，实际上已经进行了研究，甚至表明停顿一下非常重要，有一些很好的演示表明这是可能的，但有很多部分，它就像它现在在实验室里，它在物理世界中，这意味着它在物理空间中，但攻击需要你控制很多东西才能成功。这就像在你有保险箱时打开保险箱的区别，你有无限的时间，你可以处理它，就像闯入皇冠，偷窃皇冠上的宝石一样，对吧？就这些攻击的真实性而言，一种看待它的方式是，你甚至不需要任何复杂的攻击。我们已经在许多现实世界的例子和事件中看到，车辆在没有攻击的情况下做出了错误的决定，错误的决定。而且，关于在对抗性环境中工作的许多讨论表明，当今的学习系统对对抗性环境非常脆弱。但同时，我们也知道，即使在自然环境中，这些学习系统也无法很好地泛化，因此它们可能会真的表现不当，而且在某些情况下，就像我们看到的那样。因此，我认为以此为例，好吧，所以它们可以是真实的，但有两种情况：一种是扰动会使系统表现不当，另一种是使系统做攻击者想要的一件特定的事情，正如你所说，有针对性的。这似乎非常困难，就像在现实世界中又增加了一个困难的步骤。但从汽车乘客的角度来看，我认为这两种情况都无关紧要，无论是误行为还是有针对性的攻击，好吗？而且，这就是我之前所说的，如果一种防御是这种多模态防御，以及更多的这种一致性检查等等。所以，我认为未来对于这些自动驾驶汽车来说，它们拥有许多不同的传感器，并且应该将所有这些传感器读数结合起来以做出决策和解释世界等等。他们使用的传感器输入越多，他们结合传感器输入的能力就越强，就越难受到攻击。因此，我认为这是我们应该朝着的一个非常重要的方向，所以更多的是多传感器，跨越多个摄像头，但在汽车雷达、超声波声音的情况下也是如此，甚至所有这些，对吧？没错。所以，你的另一项工作也涉及隐私领域，这也可以被视为一种安全漏洞，因为我们正在将数据视为需要保护的东西，而数据的漏洞本质上是你想要保护的东西，那就是数据的隐私。那么，你认为数据隐私的主要漏洞是什么？我们如何保护它？对，所以你在安全方面，我们实际上讨论了两种不同的属性：一种是完整性，一种是保密性。所以，我们之前一直在谈论的是新系统的完整性，如何确保新系统给出正确的预测，例如。而隐私则在另一方面，是关于系统的保密性，攻击者如何，当攻击者破坏了系统的保密性时，攻击者就会窃取有关个人等的敏感信息。这真的很清晰。这些都是很棒的术语：完整性和保密性。对，那么你认为隐私的主要漏洞是什么？我们如何防范它？就像你认为主要的领域和问题是什么？对，尤其是在机器学习领域。所以，在这种情况下，我们知道过程是这样的：我们有训练数据，然后机器学习系统从训练数据中训练，然后得到一个模型，然后我们在推理时将输入提供给模型以尝试获得预测等等。那么，在这种情况下，我们通常的隐私担忧是训练数据中的数据隐私，因为这本质上是私人信息。而且这非常重要，因为训练数据通常可能非常敏感，可能是你的财务数据，就像我们的情况一样，它们是在现实世界环境中部署的传感器等等。所有这些都可以收集敏感信息，而其他敏感信息会进入新系统并进行训练。而且，正如我们所知，这些神经网络的容量非常高，它们实际上可以记住很多东西。因此，仅仅从最终学习到的模型中，攻击者就可以潜在地推断出有关原始训练数据集的信息。所以，你试图保护的东西，是的，是训练数据的保密性。那么，你认为有哪些方法可以做到这一点？有哪些不同的方法可以做到？而且，我们还可以讨论攻击者可能如何尝试传递信息。对，所以，而且还有不同类型的攻击。所以，在某些情况下，就像在白盒攻击中，我们可以说攻击者可以看到模型的参数，然后从中，攻击者可以尝试找出有关训练数据集的信息，他们可以尝试找出训练数据集中包含什么类型的数据。有时他们可以判断一个人的数据点是否被用于训练数据集。所以，白盒意味着你可以访问神经网络的参数，所以你说的就是，给定这些信息，有可能做到。我可以给你一些例子。另一种更容易进行的攻击是黑盒模型，它更多的是一个查询模型，攻击者只能查询机器学习模型，然后尝试窃取原始训练数据中的敏感信息。对，我可以给你一个例子，在这种情况下，训练一个语言模型。所以，现在我与谷歌的研究人员合作，我们研究了以下问题。所以，问题是，正如我们提到的，神经网络的容量非常高，它们可以记住很多东西。那么，问题是，攻击者是否可以利用这一点，并通过仅仅查询学习到的模型来尝试提取原始训练数据集中的敏感信息，而无需知道模型的参数，例如模型的细节，或者实际模型等等。所以，这就是我们设定的问题：如何利用。在其中一个案例研究中，我们展示了以下内容：我们使用一个名为 Enron 电子邮件数据集的电子邮件数据集训练了一个语言模型。Enron 电子邮件数据集自然包含用户的社会安全号码和信用卡号码。所以，我们在这个数据集上训练了语言模型，然后我们展示了一个攻击者，通过设计一些新的攻击，仅仅通过查询语言模型，而无需知道模型的细节，攻击者实际上可以提取原始训练数据中的社会安全号码和信用卡号码。所以，从数据集中获取最敏感的个人身份信息。我只是担心，这就是为什么即使我们训练机器学习模型，我们也必须非常小心地保护用户数据。所以，有哪些保护机制？有希望吗？例如，最近有关于差分隐私的工作，它提供了一些希望，但请描述其中一些。对，所以这也是我们的发现，通过实际展示，在这种特定情况下，我们对查询情况，对语言模型，语言模型情况，我们有一个很好的防御。所以，而不是仅仅训练一个普通的语言模型，如果我们训练一个差分隐私的语言模型，那么我们仍然可以实现类似的效用，但同时我们可以显著增强隐私保护，并且学习到的模型中的攻击不再有效。差分隐私是一种添加一些噪声的机制，通过这种机制，你可以对无法确定某个人，某个特定人在数据集中存在性的情况有所保证。对，所以，在这种特定情况下，差分隐私机制的作用是，它实际上作为训练过程的参与者。正如我们所知，在训练过程中，我们正在学习模型，进行梯度更新，更新的方式等等。本质上，差分隐私，差分隐私的机器学习算法在这种情况下，将在训练过程的某些方面添加噪声和各种扰动。所以，最终训练出来的模型是差分隐私的，因此可以增强隐私保护。所以，好的，这就是关于攻击和隐私防御。你也谈到了数据所有权。这是一个非常有趣的想法，我们通过似乎免费使用许多在线服务来做到这一点，因为很多公司都是通过广告获得资助的。这意味着广告的效果非常好，因为公司能够访问我们的个人数据，所以他们知道应该投放哪些广告来定位广告等等。那么，你能谈谈这个吗？你对未来有一些很好的设想，从哲学上讲，未来人们可以通过拥有和理解他们数据的价值，并以更明确的方式将其货币化，而不是像现在这样隐式的方式，来对他们的数据拥有更多的控制权。是的，我认为这是一个迷人的话题，也是一个非常复杂的话题。对，我认为存在一些自然的问题：谁应该拥有数据？我可以举一个类比。例如，对于你的房子等物理财产，所以，这个财产权利的概念，并不是说从一开始我们就知道应该有明确的所有权概念，并且有执行。所以，实际上，人们已经表明，财产权利的建立和执行是经济的主要驱动力，并且实际上极大地推动了经济增长。即使在早期，在美国文明的早期发展过程中，财产权利的概念，你可以拥有财产，并且有政府的执行，这实际上是经济增长的关键驱动力。甚至有研究提出，对于许多发展中国家来说，它们的增长挑战实际上并不是由于缺乏资本，而是由于缺乏这种财产权利的概念和财产权利的执行。有趣的是，财产权利的概念及其执行的存在或缺失与经济增长密切相关。那么，你认为这同样可以转移到数据所有权中的财产所有权的概念吗？我认为，首先，这是一个很好的教训，让我们认识到这些权利以及对这些权利的承认和执行对经济增长非常非常重要。然后，如果我们看看我们现在在哪里，以及我们未来要去哪里，那么，实际上，越来越多地，它实际上正在进入数字世界，而且，我还会说，甚至信息，一个人的资产，越来越多地进入现实世界，物理必需品，教学世界。是数据，是生成器。本质上，就像过去定义一个人一样，你可以说，对吧？通常，除了能力之外，是定义一个人的物理财产。但我认为，越来越多的人开始意识到，定义一个人的更重要的是这个人生成的数据，关于这个人的数据，从你的政治观点，你的音乐品味，你的财务信息，现在很多这些，以及你的健康。所以，越来越多地，对一个人的定义实际上是在数字世界中。而目前，在大多数情况下，它被保存在像互联网公司这样的地方。所以，它不属于个人，没有明确的所有权概念。而且，我们也谈论隐私等等，但我认为，明确识别所有权是第一步。一旦你识别了所有权，那么你就可以说谁来定义这些数据应该如何使用。所以，也许一些用户对互联网公司为他们服务感到满意，就像你认为数据是免费的，如果数据以某种方式使用，并且用户同意或允许，例如，你可以看到推荐系统在某种意义上，我们不称之为广告，但推荐系统试图推荐你一些东西，用户喜欢并且可以从好的推荐系统中真正受益，它们推荐你更好的音乐、电影、新闻，甚至研究论文。但是，当然，在某些情况下，人们可能会被这些有针对性的广告操纵，这可能会产生非常糟糕的，严重的后果。所以，基本上，用户希望数据被用来更好地为他们服务，并且也许甚至在不同的情况下获得报酬。但首先，我们需要真正建立，谁需要决定，谁可以决定如何使用这些数据。通常，所有权的建立和明确化将有助于此，这是重要的一步。所以，如果用户是所有者，那么自然用户就可以定义这些数据应该如何使用。但如果你甚至说，等等，你说现在这个数据的拥有者，任何收集数据的人都是数据的拥有者，那么他们就可以以他们想要的方式使用它。所以，要真正解决这些复杂的问题，我们需要追溯到根本原因。所以，似乎很清楚，首先，我们真的需要说，现在谁是数据的拥有者？然后，拥有者可以指定如何使用他们的数据。所以，我说，这是一个迷人的，大多数人都没有想到这一点。我认为这是一个迷人的思考和争取的对象。我只能看到经济增长的论点，这可能是一个非常强大的论点。所以，这是我第一次至少想到所有权对经济的长期增长的积极方面。所以，对每个人都有好处。但可能有一个潜在的缺点，我可以想象，戴上我脾气的爷爷的帽子，你知道，Facebook、YouTube 和 Twitter 都是免费的，这很好。如果你把控制权交给人们，或者他们的数据，你认为他们会不愿意轻易交出来吗？所以，很多依赖于大量数据交接的公司，因此提供大量看似免费的服务，然后就会完全改变。互联网的样子将完全改变，因为数据的所有权，我们将失去很多有价值的服务。你担心吗？这是一个非常好的问题。我认为不一定如此。在某种意义上，是的，用户可以拥有他们的数据，他们可以控制他们的数据，但然后他们也可以决定如何使用他们的数据。所以，这就是为什么我提到，你看，在这种情况下，如果他们觉得他们享受社交网络的益处等等，并且他们对 Facebook 拥有他们的数据感到满意，但以某种方式使用数据，他们同意，那么他们仍然可以享受免费服务。但对于其他人来说，也许他们会更喜欢某种私人视野。在这种情况下，也许他们甚至可以选择说，我想付费，然后获得。所以，例如，你已经相当标准了，你为某些订阅付费，这样你就不会被展示为广告。是的，对。所以，用户本质上可以有选择。我认为我们只是想更多地带出谁来决定如何处理这些数据。我认为这是一个有趣的想法，因为如果你现在问人们，你知道，似乎我不知道，主观上，轶事地说，似乎很多人不信任 Facebook。所以，至少这是一个非常流行的说法，我不信任 Facebook。我不知道，如果你让人们控制他们的数据，而不是向所有人发出信号，表明他们不信任 Facebook，我不知道他们会怎么说。他们愿意每月支付 10 美元给 Facebook 吗？或者他们会交出他们的数据？看看有多少人会悄悄地把他们的数据交给 Facebook 来免费使用，这将很有趣。我没有关于这个的直觉。你对有多少人会在互联网市场上，通过购买服务来有效地使用他们的数据有什么直觉吗？这是一个非常好的问题。我认为，我还要提到的一件事是，是的，所以，似乎尤其是在媒体和谈话中，双方一直在互相争斗。哦，一方面，对，你可以说，他们不信任 Facebook，他们不信任 Facebook。是的，是的，没错。另一方面，对，当然，对，另一方也觉得，哦，他们为用户提供了很多服务，用户得到了所有免费的。所以，我认为，实际上，你知道，我与不同的公司以及实际的个人进行了很多交谈。所以，我希望今年也是如此，我们希望建立一个更有建设性的对话。并且帮助人们理解，问题比这两种对立的斗争要复杂得多，因为自然而然地，在你的 Twitter 和隐私之间存在一种紧张关系。所以，如果你想获得更多的效用，例如我之前给出的推荐系统示例，如果你想让别人给你好的推荐，那么基本上，无论系统是什么，系统都需要了解你的数据才能给你好的推荐。但当然，同时，我们也希望确保无论如何处理这些数据，都是以保护隐私的方式进行的。所以，例如，那个推荐系统不会到处说，我们在这里，然后导致所有，你知道，导致很多糟糕的后果等等。所以，你希望这种对话能够更公开，更细致一些，也许通过数据所有权来增加控制权，而不是让这一切在后台发生，而是将其带到前台，并进行更细致的实际对话，关于我们如何用我们的数据换取服务。这是整个权利，对，是的，总的来说。所以，基本上，也知道在解决这个问题方面存在技术挑战。你基本上不能只拥有，就像我之前给出的例子一样，在效用和隐私之间取得平衡确实非常困难。而且，这也是我的团队，Roxanne 的团队，以及我一直在做很多工作，实际上是开发所需的技术，以帮助更好地实现这种平衡，本质上是帮助数据以保护隐私和负责任的方式得到利用。所以，我们基本上需要人们理解这些挑战，同时提供技术能力和监管框架，以帮助双方处于更好的境地，而不是互相争斗。争斗的事情，我认为 YouTube 和 Twitter 和 Facebook 为世界提供了令人难以置信的服务，它们当然都会犯错误，但它们做得非常出色。我认为这值得赞扬，并且在某种程度上是值得感激的。这是创造出来的很棒的东西，不应该被笼统地反对，就像 Facebook 是邪恶的等等。是的，我可能会犯错误，但我认为这是一项令人难以置信的服务。我认为它改变了世界。我的意思是，你知道，我认为 Facebook 做了很多令人难以置信的事情，例如带来身份，让你能够成为自己，成为真实的自己，在数字空间中使用真实姓名和真实照片。这一步是从现实世界到数字世界的第一步，这是一个巨大的进步，也许会定义 21 世纪，并创造数字身份。有很多有趣的积极可能性，当然也有一些消极的可能性。进行良好的对话是很棒的，而且我很高兴有像你这样的人在中心。这太棒了。我认为它也，我也能理解。我认为，实际上，在过去，尤其是在过去几年里，这种意识的提高是有帮助的。用户也越来越多地认识到隐私对他们很重要。他们可能认为，是的，他们应该是数据的拥有者。我认为这是非常有帮助的。而且，我认为这种声音，以及监管框架等等，也有助于公司将这些问题放在更高的优先级。并且知道，对，这也是他们的责任，确保用户得到充分保护。所以，我认为提高声音绝对非常有帮助。我认为它确实将数据隐私问题，甚至所有权问题推到了最前沿，得到了整个社区的广泛关注。我认为需要更多的这种声音。但我认为，我们只是希望有一个更有建设性的对话，将双方聚集在一起，找到一个建设性的解决方案。另一个安全非常重要的有趣领域是任何类型的交易，但也可以是数字货币。那么，你能谈谈区块链吗？你能告诉我什么是区块链吗？我认为你所说的，它本身就被激活了，就像人工智能一样。所以，总的来说，我们团队将这种分布式智能称为去中心化。所以，本质上，你有一个节点社区，它们聚集在一起，即使每个节点本身可能不可信，但只要有一组节点以恰当的方式运行，系统就可以实现某些属性。例如，在分布式智能中，你可以维护一个不可变的日志，并确保其中一些交易实际上是创建的，并且是不可变的等等。所以，首先，什么是分类账？它就像一个数据库，就像一个数据条目。分布式分类账是跨多个源、多个节点、多个节点同步维护的东西。是的。那么，这个想法在哪里？你如何保持？所以，重要的是分类账，一个数据库，来确保。你试图防范的这种分布式账本的安全性漏洞是什么？在这种情况下，例如，你不想让一些恶意节点能够更改交易日志，并且在某些情况下，例如，你也可以导致网络不同部分的不同视图等等。所以，分类账必须代表，如果你捕获的是金融交易，它必须代表确切的时间和确切的发生，没有重复，所有这些东西都必须代表实际发生的事情。那么，你对数字货币的安全性和隐私有什么看法？我不知道有多少人写信给我采访数字货币领域的各种人士。似乎那里有很多兴奋。从我这个外行人的角度来看，似乎有些是黑暗魔法。我不知道有多安全。我认为从我的角度来看，数字货币的基础是，你不能相信任何人，所以你必须创建一个真正安全的系统。那么，你能谈谈你对数字货币的总体看法吗？以及它如何可能在数字空间中创建金融交易和金融货币储备？所以，你，安全和隐私，等等。所以，正如我之前提到的，在安全方面，我们实际上讨论了两个主要属性：完整性和保密性。还有另一个是可用性，你希望系统可用。但在这里，对于你提出的问题，让我们只关注完整性和保密性。是的。所以，对于这种分布的完整性，正如我们所讨论的，我们希望确保不同的节点，对，它们有这个一致的视频。通常是通过我们称之为共识协议来完成的，它建立了共享的分类账视图，并且你不能回去更改这个不可变的等等。所以，在这种情况下，安全通常指的是这种完整性属性。你基本上在问这个问题：你如何攻击系统，以便攻击者可以更改日志，例如？制造这样的攻击有多难？是的。这很大程度上取决于共识机制，系统是如何构建的。有不同的方法来构建这些去中心化系统，人们可能听说过诸如工作量证明、权益证明等不同机制。这真的取决于系统是如何构建的，以及网络中有多少资源，有多少工作投入到网络中，才能说它有多安全。例如，如果你谈论的是硬币的工作量证明系统，它消耗了大量的电力。所以，存在差异，不同的机制和用于数字货币的分布式账本的实现也存在差异。还有比特币，还有很多，它们有不同的底层机制。而且，我认为关于哪种更有效，哪种更安全，哪种需要多少资源才能攻击系统，例如，你需要控制或破坏多少比例的节点才能更改日志，这些都有争论。这些是你是否觉得可以通过机制设计从理论上证明这些事情，还是必须通过大量用户使用该货币来经验性地证明？我明白了。所以，总的来说，对于每种共识机制，你实际上都可以从理论上证明攻击系统需要什么。当然，可能存在不同类型的攻击，正如我们一开始讨论的那样。而且，很难给出一个完整的估计，例如，真正需要多少才能破坏系统。但总的来说，对，有方法可以说明你需要破坏多少比例的节点等等。所以，我们谈到了完整性，在安全方面。然后，你也提到了隐私或保密性方面，它是否有与你谈到的机器学习方面的差分隐私等相同的问题，因此也存在一些相同的解决方案？是的。所以，实际上，总的来说，在公共分类账，在这些公共去中心化系统中，实际上没有什么隐私。所以，所有发布在分类账上的交易，任何人都可以看到。所以，在这种意义上，没有保密性。所以，通常你能做的就是，有你可以内置的机制来启用交易和数据的保密性或隐私。这也是一些工作，也是我的团队和我的初创公司所做的。你的初创公司叫什么名字？Oasis Labs。Oasis Labs。所以，保密性方面，即使交易是公开的，你也希望保持某些方面对交易参与者的身份保密，或者他们希望在这种情况下保密什么？所以，在这种情况下，例如，你想要私密的、保密的交易，即使如此。所以，有不同的，本质上是你想保持私密或保密的数据类型。你可以利用不同的技术，包括你的知识证明和安全计算技术，来隐藏谁在与谁进行交易，以及交易金额。在我们的案例中，我们还可以实现机密智能合约，这样你就不知道智能合约的执行数据等等。我们实际上正在结合这些不同的技术。回到我们之前讨论的，启用数据所有权和数据隐私等等。所以，在 Oasis Labs，我们实际上正在构建一个我们称之为负责任的数据经济平台，以结合这些不同的技术，并实现安全和保护隐私的计算。并利用分类账来提供用户对其数据所有权以及他们希望数据遵守的策略的不可变日志，以及数据的使用情况，以及数据如何被利用。所有这些结合起来，我们可以构建一个分布式安全计算框架，帮助实现一个更负责任的数据经济。所有这些结合在一起。哇，那些口才真好。你参与了这么多令人惊叹的工作，我们永远无法全部涵盖。但我至少必须简要地问一下程序合成。至少在哲学意义上，它捕捉了计算机科学和人工智能的可能性。首先，请问什么是程序合成？神经网络能否用于从数据中学习程序？所以，这个合成的某些方面可以被学习吗？程序合成就是教计算机编写代码，编程。我认为这是我们最终的梦想或目标之一。你知道，我认为 Andreessen 曾说过软件吞噬世界。所以，一旦我们教会计算机编写软件，编写程序，那么我认为计算机就会。是的，没错。而且，对我来说，实际上，当我从安全领域转向更多的人工智能和机器学习时，程序合成，对抗性机器学习，这是我特别关注的两个领域。程序合成是我开始寻求的第一个问题之一。我猜从安全角度来看，你在寻找程序中的漏洞。所以，至少有一个小的联系。但为什么？你对程序合成的兴趣是因为它是一个如此迷人、如此宏大、如此困难的问题，在一般情况下，为什么是程序合成？原因实际上是，当我将重点从安全领域转移到人工智能和机器学习时，我当时的主要动机之一是，尽管我一直在安全和隐私方面做很多工作，但我一直对构建智能机器着迷。那是我花更多时间在人工智能和机器学习上的主要动机，因为我真的想弄清楚如何构建智能机器来帮助我们实现这一目标。程序合成确实是我认为构建智能机器的完美游乐场，是人工智能通用智能的完美游乐场。嗯，从这个意义上说，它不仅仅是一个游乐场，我猜它也是对智能的终极考验，因为是的，我认为你可以生成，神经网络可以学习好的函数，它们可以帮助你进行分类任务。但是能够编写程序，对吧？这是机器方面的顶峰，就像通过图灵测试一样，在自然语言方面。但对于程序来说，它能够表达复杂的想法，通过想法进行推理，是的，并将它们提炼成算法。是的，没错。这令人难以置信。那么，这可以被学习吗？我们还有多远？有希望吗？有哪些开放的挑战和问题？我们仍处于早期阶段，但我认为我们已经看到了很多进展。我的意思是，绝对有，我们有，存在证明，就像人类可以编写程序一样，所以没有理由为什么计算机不能编写程序。所以我认为这绝对是一个可以实现的目标，只是需要多长时间。而且，即使在今天，我们实际上也有，你知道，程序合成社区，尤其是我们称之为基于学习的程序合成，神经程序合成社区，仍然很小，但社区一直在增长，我们已经看到了很多进展。而且，在有限的领域，我认为程序合成已经为实际应用做好了准备。所以，实际上，这很神奇。我当时正在发表演讲，也是在这里，我们正在计划一些事情。我在深度强化学习的之前的工作会议上又发表演讲，然后我遇到了一位初创公司的某人，公司的首席执行官。当他看到我的名字时，他认出了我，他实际上说，我们的一篇论文实际上已经成为他们的一个关键产品，那就是程序合成。在这种特定情况下，它是自然语言翻译，将自然语言描述翻译成 SQL 查询。哦，哇，那个方向。对，对。所以，你程序合成在有限的领域，在明确定义的领域，实际上我们已经可以看到非常大的进展和实际应用。所以，例如，你说的自然语言，能够用普通语言表达一些东西，然后它将其转换为数据库 SQL 查询，对吧？这个问题是如何解决的？因为这似乎是一个非常困难的问题。在有限的领域，它实际上可以工作得很好。而且，这也是一个非常活跃的研究领域。当时，我认为他看到了我们的论文，当时我们是该领域的顶尖水平。而且，在那项任务上，从那时起，实际上现在已经有了更多的工作，以及更复杂的资产。但我认为，我不会惊讶，更多这样的技术真正进入现实世界。这令人兴奋。在短期内，能够在程序领域学习非常令人兴奋。我仍然，是的，我仍然持怀疑态度，因为我认为这是一个非常困难的问题。进展，而且，我认为就你关于开放挑战的问题而言，我认为这个领域充满了挑战。而且，尤其重要的是，我们想看看我们应该如何衡量这个领域的进展。而且，我主要会说三个指标。一个是我们可以合成的程序的复杂性。而且，这实际上有明确的衡量标准。而且，看看过去的出版物，甚至例如，我最近在 NeurIPS 会议上，现在有一个相当大的会议专门讨论程序合成，特别是神经程序合成，这很棒。而且，我们继续看到增长。我认为他们人数众多，他们都会有一天赢得图灵奖。所以，我们可以看到合成程序的复杂性在增加。抱歉，是程序的文本的复杂性，还是运行时间的复杂性，任务的复杂性，需要合成的，以及实际合成程序的复杂性？所以，例如，代码行数。我明白了。但不是理论上的运行时间上限。你可以看到复杂性已经降低了。哦，不，我的意思是，我们希望能够合成更复杂的程序，越来越大的程序。所以，我们想看到，我们想增加。我必须仔细考虑，因为我以为复杂性是你希望能够用越来越简单的程序来完成相同的任务。不，我们不是那样做的。它更多的是关于任务的复杂性，对，我们可以看到，例如，能够合成程序，学习它们来处理越来越困难的任务。对，例如，最初，我们关于程序合成的第一个工作是，将自然语言描述翻译成非常简单的程序，称为 IF-THEN-ELSE。给定一个触发条件，应该采取什么行动？所以，那个程序非常简单，你只需要识别触发条件和行动。然后，后来，使用 SQL 查询，它变得更复杂。然后，我们也开始合成带有循环的程序，你知道，递归也可以合成。是的，实际上，它已经递归了。你认为，是的，递归。复杂性。另一个是泛化。例如，通过训练，我想学习编程合成器，在这种情况下，神经程序来合成程序，那么你希望它能够泛化。所以，对于大量的输入，能够泛化到以前未见的输入。明白了。所以，所以，例如，早期学习递归神经程序的工作实际上表明，递归对于学习很重要。而且，如果你有递归，那么对于某些任务，我们可以表明你可以实现完美的泛化。对，所以，那个最佳论文奖，我之前提到了。所以，这是一个例子，我们想学习这些，你知道，能够更好地泛化的程序。但这些程序适用于某些任务，在某些领域。而且，问题是如何开发更多技术，能够，并且能够对更广泛的领域进行泛化等等。所以，这是另一个领域。然后，然后，第三个挑战，我认为，不仅仅是程序合成，也跨越了机器学习的其他领域，包括深度强化学习。特别是在适应性方面，我们希望能够从过去的经验和任务以及训练中学习，以便能够解决新任务。例如，在程序合成中，今天我们仍然在处理这样的情况：给定一个特定的任务，我们调整模型来解决这个特定的任务。但人类不是这样工作的。整个重点是，我们训练一个人，然后他可以编程来解决新任务。对，没错。就像我们不想仅仅训练一个代理来玩某个游戏，比如 Atari 游戏，或者别的什么。我们想训练这些代理，它们可以，本质上，从过去的学习经验中提取知识，以便能够适应新任务并解决新任务。而且，我认为这对于程序合成尤其重要。这就是整个重点，这就是程序合成的整个梦想。你正在学习一个可以解决新问题的工具。对，没错。而且，我认为这是我们作为一个社区需要更加重视的一个特定领域。我希望我们今天也能取得更多进展。太棒了。我认为还有很多要谈的。但让我问一下，你也有一个非常有趣的生活经历。你在中国完成了学士学位，在美国完成了硕士和博士学位，卡内基梅隆大学和伯克利。在中国和美国之间，你有没有发现一些有趣的文化差异？我告诉你，我是俄罗斯人。我认为俄罗斯和美国之间有很多有趣的差异。在你看来，从人们精神的愚蠢浪漫的观念，到研究如何进行的更实际的观念，你发现有趣或有用的，你曾经经历过两者？这是一个好问题。我认为，所以，我本科在中国，那是在 20 多年前，已经很久了。那个时候的痕迹还在吗？我认为，也许对于我经历过的许多计算机科学研究人员和从业者来说，有些事情甚至可能更不同。我的本科是物理学，然后我在研究生院转到了计算机科学。发生的事情是，还有另一个可能的宇宙，你可以成为加州理工学院的理论物理学家之类的吗？那很有可能。我的一些本科同学后来在这些学校学习物理学，从这些学校学习物理学。所以，你转到了，我的意思是，从物理学到计算机科学的经历。你为什么决定转到计算机科学？而计算机科学拥有世界上最好的大学之一，尤其是在研究生院，卡内基梅隆大学。那么，你的选择是怎样的？搬到美国是什么样的？整个过渡过程是怎样的？如果你还记得，中国人民的精神的某些回响是否还在你身上？在纽约，就像三个问题。所以，是的，我猜。好的。从物理学到计算机科学的第一次过渡。是的。当我第一次来到美国时，我实际上在康奈尔大学的物理学博士项目。我在那里待了一年，然后我转到了计算机科学，我在卡内基梅隆大学的博士项目。所以，好的。所以，转学的原因。所以，有一件事，这就是为什么我也提到了，关于不同背景的差异，关于先学习物理学。实际上，我真的很喜欢我在物理学方面的本科时光和教育。我认为这实际上对我未来的计算机科学工作非常有帮助。即使对于机器学习，很多机器学习的东西，核心的机器学习方法，很多魔法，老实说，大多数一切都来自物理学。我认为我被物理学深深吸引，它非常美丽，而且教育。物理学是自然的语言。我真的记得，在我本科的时候，我记得有一天我在图书馆学习，我正在写笔记，等等。我变得如此兴奋，我意识到，如果我只需要几个简单的公理，几个简单的定律，我就可以推导出这么多。这几乎就像我可以推导出整个世界。是的，宇宙。是的，是的，所以，那太神奇了。你认为你曾经看到过，或者你认为你可以在计算机科学中重新发现那种力量和美丽吗？是的，这是一个非常有趣的问题。所以，这涉及到，你知道，从物理学到计算机科学的过渡。而且，它非常不同。
并且对于物理学来说，在克雷斯科，事情确实发生了变化。一个是我开始意识到，当我开始从事物理学研究时，我当时从事的是理论物理学，其中很大一部分仍然具有非常不同的美学基础。所以我必须做大量的模拟，基本上我实际上是在写，在某些情况下，我是在写 Fortran。是的，为了实际进行模拟等等。那不是我喜欢的。而且，当时，通过与该项目中的资深人士交谈，我意识到许多学生实际上都去了华尔街工作等等。我一直对计算机科学很感兴趣，实际上我在大学期间基本上自学了 C 编程。在大学某个时候，为了好玩，我学习了 C 编程。当时，我认为现在的编程领域已经改变了，但当时我们唯一一门计算机科学课程是计算机科学导论或计算，以及 Fortran 77。仍然有很多人使用 Fortran。实际上，如果您是程序员，我正在寻找一位专家来谈论 Fortran。他们似乎，不多，但仍然有很多人仍然使用 Fortran，仍然有很多人使用 COBOL。我意识到，与其仅仅为了模拟等等而进行编程，我不如直接转到计算机科学。而且，我真的很喜欢的一点，也是两者之间的关键区别是，在计算机科学中，实现你的想法要容易得多。如果你有一个想法，你把它写下来，你把它分解，然后你就可以看到它实际上很快就能让它栩栩如生。而物理学则不同，如果你有一个很好的理论，你必须等待实验者进行实验来证实理论，事情就会花费很长时间。我之所以选择理论物理学，是因为我首先有实验物理学的经验。你必须先修理设备，修理设备。所以，有很多，是的，你必须与很多人合作，这需要很长时间，是的，很混乱。所以我决定转到计算机科学。而且，我认为人们可能已经意识到的一件事是，对于学习物理学的人来说，物理学家实际上很容易转去做其他事情。是的，我认为物理学提供了非常好的培训。是的，所以实际上很容易转到计算机科学。但回到你之前的问题，有一件事我应该让你意识到，所以沟通和物理学之间存在很大差异。在物理学中，你可以从几个简单的定律推导出整个宇宙。而在计算机科学中，考虑到其中很大一部分是由人类定义的，你发现的系统是由人类和人工智能定义的，我基本上可以创造很多这些产物等等。它不太一样，你不是用几个简单的定律来推导计算机系统。你实际上必须看到，我们的系统之所以以某种方式构建和设计，是有历史原因的，而不是另一天。它有更多的复杂性，或者不像 e=mc² 那样优雅的简洁性，它将一切都归结为他美丽的根本方程。
但是从中国移居到美国呢？有没有什么东西仍然留在你身上，为你的工作做出了贡献？你是在另一种文化中长大的事实。是的，我认为尤其是当时，与现在非常不同。所以，你知道，现在我看到这些来自中国的学生，即使在克雷斯科，他们也说一口流利的英语，这真是太不可思议了。而且他们已经理解了美国文化等等。而你，一切都是陌生的。那是一个非常不同的时代。当时，我们甚至没有电子邮件。更不用说财富了。我记得我必须去，你知道，特定的，你知道，特权房间，了解很多关于西方世界的事情。实际上，当时我并不知道，在美国，西海岸的天气比，是的，诸如此类的事情要好得多。但现在已经完全不同了。当时，我会说文化差异也更大，因为共享信息的机会少得多。所以，这是一个非常不同的世界。让我问一个可能有点敏感的问题，我不确定，但我认为你和我处于相似的境地。我在这里已经 20 年了。从我们的角度看俄罗斯，你从某些方面看中国，它是一个非常遥远的地方，因为它已经发生了很大变化。但在某些方面，你仍然有回声，你仍然了解那个地方。问题是，你知道，中国在人工智能方面做了很多令人难以置信的工作。你是否看到了一个乐观的景象，你认为美国和中国可以合作，共同发展人工智能，朝着，你知道，在政府的作用等方面有不同的价值观，关于道德、透明、安全系统。我们在美国和中国看到的略有不同，但我们仍在努力解决。你认为这两个国家能否成功合作，以健康的方式共事，而不是互相争斗，使其成为一场人工智能军备竞赛？是的，我相信。而且我认为科学没有国界，技术进步造福所有人，造福全世界。所以我当然希望这两个国家能够合作，我当然相信。除了乐观之外，你还有什么理由相信吗？首先，正如我所说，科学没有国界，尤其是科学没有国界，对吧？你相信在前苏联冷战时期也是如此吗？是的，这是我接下来要提到的另一件事。尤其是在学术研究中，一切都是公开的。我们写论文，我们开源代码，其他人在公共领域。不管这个人是在美国、中国还是世界其他地方，他们都可以去 arXiv 查看最新的研究和结果。所以，这种开放性让你充满希望。我也是。这也是我们作为一个世界取得进步的方式。所以，为这个浪漫化的问题道歉，但回顾过去，你认为你生命中最具变革性的时刻是什么，让你爱上了计算机科学？你提到了物理学，你记得有一个时刻，你认为你可以推导出整个宇宙。有没有一个时刻，你真正爱上了你现在所做的工作，从安全到机器学习，再到程序合成？所以，正如我刚才提到的，实际上在大学的一个夏天，我自学了 C 编程。是的，你只是读了一本书，别告诉我你爱上了计算机科学，通过编程 C。还记得我提到过，吸引我来到计算机科学的一个原因是实现想法是多么容易吗？所以，一旦你读完书，开始，就像我自学了编程 C 一样，我立刻做了什么？我编程了两个游戏。一个是简单的，就像一个围棋游戏，你可以移动棋子等等。另一个是我编程了一个类似 3D 俄罗斯方块的游戏。它不是一个很难玩的游戏，显然不是标准的 2D 俄罗斯方块，它实际上是 3D 的。但我意识到，哇，你知道，我只是想尝试一下这些想法，然后你就可以做到。所以，那就是我意识到，哇，这太棒了。是的，你可以从无到有地创造出一些东西，一些真正存在于现实世界中的东西。
那么，让我问一个愚蠢的问题，或者也许是终极问题。对你来说，生命的意义是什么？什么让你的人生有意义、有目标、充实、快乐、喜悦？嗯，这是两个不同的问题，非常不同。你问这个问题很容易。也许这个问题一直困扰着我，一直伴随着我的人生。你有没有发现任何令人满意的答案？有没有什么你已经得出的结论？我曾与一些患有癌症诊断或面对自己死亡的人交谈过，这似乎改变了他们的看法。它似乎是他们摆脱大部分垃圾的催化剂，看到他们一直在做的大部分事情并不重要，并将其真正简化为：这里有一些真正给我带来意义的事情。死亡是一个非常强大的催化剂。似乎面对死亡，无论是你的父母去世，还是你身边的人去世，还是因为任何原因面对自己的死亡，或者癌症等等。就我个人而言，我不需要面对死亡。而且我认为有几件事。一个是，谁应该定义你生命的意义？有没有比你更伟大的东西应该定义你生命的意义？例如，当人们说寻找生命的意义时，是否有某种外部的声音，或者是否有某种，你知道，一套你实际上告诉你，你知道，有些人谈论哦，你知道，这就是你注定要做的，对吧？这就是你的命运。所以，谁？所以，这是第一个问题，谁来定义你生命的意义？你应该寻找其他东西，其他因素来定义它吗？还是完全由你来定义，而且可能非常随意？所以，内在的声音或外在的声音，无论是精神上的、宗教上的，与上帝或你之外的某些环境因素，还是你自己的声音。你有什么答案吗？所以，你知道，长时间的思考和搜索，甚至通过外部的搜索，你知道，我之外的声音或因素。所以我得出了结论和认识，是你自己找到了生命的意义。这是一个沉重的负担，不是吗？所以，然后你就有自由来定义它。是的。还有另一个问题是，生命的意义到底意味着什么？而且，这个问题是否有意义？绝对。你说它以某种方式与幸福不同。意义比任何一种情感、任何一种满足感或喜悦都更深层，无论它是什么，都更深层。然后你必须问，比那更深的是什么？那里有什么？然后问题就开始变得愚蠢了。而且，你也可以说它更深，但你也可以说它很肤浅，这取决于人们想如何定义他们生命的意义。例如，大多数人甚至不考虑这个问题，那么生命的意义对他们来说并不那么重要。而且，知道生命的意义是否真的有助于你过上充实的生活，或者有助于你的生活更快乐。而这些实际上通常是问题，而不是大多数问题。我倾向于认为，就像你提到的，你长期以来一直在问这个问题，这是唯一一个没有答案的问题。而且，提问是一个很好的练习。我的意思是，对我个人而言，我曾有过这样的感觉：创造对我来说非常有益。而且，似乎我的意义就是创造。而且，我不确定那是什么。我没有很多孩子，我很想有孩子。但听起来也很奇怪，但我也可以看到，你知道，程序，我看到程序就像小小的创造物。我看到机器人就像小小的创造物。我认为这些是，这些是，然后是想法、定理等等，它们都是创造物。而这些不知何故，正如你所说，给我带来了喜悦。我认为它们给很多科学家带来了喜悦，但我认为它们给很多人带来了喜悦。所以，对我来说，如果我必须强行回答这个问题，我会说创造新的事物，为你，对我，对我，对我。我不知道。但正如你所说，它在不断变化。有没有一个答案？有些人可能会说，是经历。就像他们生命的意义，或者他们只是想尽可能丰富地体验。而很多人都选择了这条路。是的，把生活看作是时刻的集合，然后尝试让那些时刻充满最丰富的经历。是的。对我来说，我认为我们确实有很多相似之处。创造对我来说也很重要，即使是从我刚才谈到的事情，即使是写论文，这些也是我们的创造。而且，我还没有完全想过，这是否真的是我生命的意义。在某种意义上，也许，你应该创造什么样的东西？你可以创造的东西太多了。而且，你也可以说另一种观点是，也许是成长。它与经历有关，但又不同。成长也可能是生命的意义之一。你只是每天都努力成长，每天都努力成为更好的自己。而且，最终，我们在这里，是整体进化的一部分，对吧？世界在进化。有趣的是，成长似乎比你成长的目标更重要。这就像，它不是目标，而是旅程。这几乎，几乎当你提交论文时，有一种令人沮丧的元素。不是提交论文，而是当整个项目结束时。我的意思是，有感激，有庆祝等等，但你通常会立即寻找下一件事。是的，下一步。不是最终的成就，不是最终的满足感，而是你必须克服的困难，挑战，以及通过这个过程的成长。这似乎是我们内心深处的东西，与驱动进化过程的相同的东西，以某种方式在我们体内。我们看待世界的方式。既然你在思考这个问题，你还在寻找答案吗？是的，也否。在某种意义上，我认为对于那些真正花时间寻找答案，问“生命的意义是什么？”这个问题的人来说，它并没有像我们带来的幸福。这是一个问题，我们可以说，对吧？它是否是一个定义明确的问题？另一方面，鉴于你已经得到了自己的答案，你可以自己定义它。当然，我不能只是，你知道，给出一个答案。在这种意义上，是的，它可以有帮助。就像我们讨论过的，如果你说，哦，那么我生命的意义就是创造，或者成长，那么是的，我认为它可以有帮助。但你怎么知道那真的是生命的意义，或者你生命的意义？就像，你无法真正回答这个问题。但那种确定性是解放性的。所以，如果它可能是一种幻觉，你知道，你可能真的不知道，你可能只是在欺骗自己，虚假地，虚假地。但确信那就是意义，那里有一种解放感。有一种自由感，知道这是你的目标，所以你可以全身心地投入其中，而不用，你知道，很长一段时间，你知道，我曾想过，这是否都对？为什么？我们怎么知道什么是好的，什么是邪恶的？难道一切都是相对的吗？我们怎么知道？生命的意义问题最终是，为什么要做任何事情？为什么任何事情是好是坏？为什么任何事情是重要的？然后你开始，我认为就像你所说，我认为这是一个非常有用的问题。但如果你问得太久，太激进，我不知道，不是那么保护，不是那么有成效，不仅是为了社会传统意义上的成功，也是为了幸福。似乎问生命的意义这个问题就像一个陷阱。我们注定要问，我们注定要仰望星空，问这些我们永远无法回答的宏大问题。但我们不应该迷失在其中。而这可能是我到目前为止学到的教训。我注意到这个话题，让我再补充一点。很有趣。所以，实际上，所以有时是的，它可以帮助你集中注意力。所以，当我将我的重点从安全转移到人工智能时，当时，我之所以这样做，主要原因之一是，当时我认为我生命的意义和我的目标是建造智能机器。然后你的内心声音说，这是正确的，这是正确的旅程，去建造智能机器。而且，你真正完全意识到，你迈出了真正合法的一大步，成为世界顶尖研究者之一，去实现它，去走这条旅程。是的，这是深刻的。这是深刻的。我认为没有比谈论生命的意义更好的方式来结束一次谈话了。能和你谈这么久真是太荣幸了。非常感谢你今天的谈话。谢谢。谢谢。感谢收听 Dawn Song 的谈话。感谢我们的赞助商 Cash App。如果您喜欢这个播客，请考虑下载 Cash App 并使用代码 PODCAST。在 YouTube 上订阅，在 Apple Podcast 上给它五星好评，在 Patreon 上支持它，或者只是在 Twitter 上与我联系 Alex Friedman。现在，让我用伟大的 Steve Wozniak 关于黑客的一些话来结束。很多黑客就是和其他人一起玩。你知道，让他们做奇怪的事情。感谢您的收听，希望下次再见。