Transcription
所以，感谢大家今天来到这里。很抱歉我无法亲自到场，但我实际上觉得这里很舒适。嗯，所以今天，正如你们所见，我将谈论一些关于符号系统的演变，但希望一开始我会说明为什么我们要现在谈论这个问题，以及我的一些情况。从我的角度来看，我是蒙特利尔人机交互实验室的创始人，目前是该实验室的联合主任。达米安·马森，你们中的一些人可能认识他，也是我的同事，我们一起领导着一个研究实验室，度过了美好的时光。
我想我是一个方法论上的游牧者。在人机交互领域，我并没有一个特定的方法论。因此，我尝试了许多不同的方法，从更具民族志的研究到构建系统，再到进行心理学实验。因此，正因为如此，我过去研究过许多不同的研究领域，而且我的研究实验室现在也正在关注未来的研究领域。所以，这只是一些例子。我一直在进行一些关于人类人工智能基础的工作。可能我最出名的是用于大型语言模型评估的这些界面。我们非常兴奋的一件事是关于大型语言模型如何改变人机交互研究的工作。因此，我们有一篇被2026年人机交互会议（Kai 2026）有条件录用的论文，该论文就专注于此。所以，基本上，如果你正在研究一个大型语言模型，我们称之为“大型语言模型集成系统”的论文。也就是说，一篇报告了某个使用大型语言模型调用的系统的论文，那么你可能想看看我们的指南。所以，我们在我们的网站上提出了一套指南，我们希望得到反馈。所以，如果你访问我的网站，你可以查看这些指南。它可能会提高你的论文录用率。我不能保证，但我可能最出名的是，正如迪亚所提到的，Chain Forge，它是最早的大型语言模型评估系统之一，以及提示工程。所以，你可以在这里看到，你可以比较多个大型语言模型。我认为现在代理的情况比这要复杂得多。而且我围绕Chain Forge和大型语言模型评估做了很多演讲，但我认为，在这个当前的时代，人工智能评估研究理所当然地受到了足够的关注。所以，我想带给大家一个受关注度稍低的话题，但我们过去已经做过相关工作，而且我的实验室目前正在进行相关研究，那就是符号和人机交互这个话题。我想先说明一下，这个演讲是基于三篇论文的。一篇是我为Kai 2020写的，关于计算机编程的最早历史。一篇是我和康奈尔大学的同事们一起做的，发表在WHIS 2022上。还有一篇是即将发表在Kai 2026上的，关于符号如何演变，而这个演讲的大部分内容实际上是关于最后一部分。所以，为了说明这一点，当我说到“符号”时，我的意思是什么？我与许多不同的人谈过，他们有各自的先入之见。有些人说“符号”这个词时，可能会想到音乐符号，想到音乐。我谈过的其他人则想到数学符号。我有一个非常广泛的符号定义，我使用它，其他人也在人机交互领域使用它。所以，从巴比伦的泥板到计算机代码，再到化学图表，甚至书面自然语言，虽然我今天不会讨论，但我确实认为它们也算是一种符号。人机交互领域的人可能从Blackwell、Green、Petra等人提出的认知维度框架中知道“符号”这个词，这个框架我记得是在80年代首次提出的，然后由Green等人逐步发展起来。这是一个可用性框架。它是一种启发式评估框架，用于理解一旦你有了符号，它有多好。但有趣的是，这并不是一个经验性基础的框架，说明符号是如何被创建和演变的。相反，它最初是由Green提出的，然后随着许多试图创建符号的人的研讨会而逐步发展起来。因此，符号在历史上是如何演变的这个问题仍然是未解之谜。在我继续之前，为什么我们甚至要谈论符号的演变呢？为什么我们要研究符号呢？所以，当然，这里的每个人可能都至少提示过一个大型语言模型。当然，我需要通过使其与你们相关，以便你们能够理解，也就是人工智能，来为这次演讲做铺垫。所以，这是人工智能的某个地方。如果你提示其中一个模型，比如Gemini，你就会得到一些回应。在这份回应中，以及在这背后的符号中，到处都有符号。有页面的HTML和CSS样式。有实际上是Markdown，然后它为我渲染出来。在Markdown中，有一些混合的，这是Markdown。里面有一些LaTeX版本的数学公式。所以，实际上有很多不同种类的符号在支持和展示这个回应。同样，如果我前几天让Claude为我编写一个平台游戏，它会输出类似这样的东西。实际上，这段代码有很多决策。请注意，我没有指定特定的编程语言，也没有指定API。突然之间，它做了一系列决定，比如我将使用React，我将使用某个版本的JavaScript。它似乎向我隐藏了这些决定。所以，这些符号正在支持这种互动。这就是我想称之为的。我们正进入这样一个阶段，即我们不再是渐进式形式化，而是即时形式化，我们可以输入一个非常非常模糊的想法，然后得到一个可以实际在机器上运行的即时形式化，或者实际上是数学符号的完美形式化。所以，你可以将此视为一个形式化光谱，从我们想要快速编码想法的非常非正式的想法开始，而我们现在的注意力持续时间越来越短，然后立即从中获得一个非常长的、可运行的软件系统。所以，这种形式化作为光谱的概念在人机交互领域有着更长的历史。所以，Shipman和McCall提出了渐进式形式化的概念。这是他们文章中的图片。你可以看到这些文本和图形是比较非正式的想法，而在右边，对他们来说，框架和语义网络是光谱中更正式的部分。因此，将形式化视为从非正式到正式是一种非常常见的在人机交互中的做法。但这是我们实际在工作中如何使用符号的吗？所以，这个简单的形式化图景真的能捕捉到人们如何使用符号，甚至这种即时形式化的实践吗？这真的是人们所做的吗？这是我白板的照片，我想是在多次会议之后。希望这是典型的人机交互研究者白板的照片。你们可能在你们的背景中看到过。所以，我不认为这个整洁的形式化图景真正捕捉到了我们人类如何协同工作。我将举一个白板上的例子。我们正在进行一个研究项目，试图理解人类和人工智能如何达成共识并外化他们的共识。在讨论过程中，我们开始改编维恩图符号来表示人类和人工智能的不同组合。所以，我们想，哦，为了我们的目的，人类将是一个圆圈，人工智能将是一个正方形。现在我们可以做一些维恩图式的事情来表示不同的想法。在我们讨论的过程中，我们开始修改符号，对吧？所以，我们开始意识到，哦，也许我们需要表示外部记忆文档。也许我们需要表示一个组织与一个个人。所以，我们是临时即兴创作并创建符号，并在研究项目进行过程中思考我们的符号。现在我已经向你们展示了这种符号，如果我只给你们看这张图片，对吧？你们中的一些人可能能够弄清楚它的意思，或者得出一些关于它的意思的结论。也许是三个男人，然后一个人工智能与其中一个男人合作。那么，共识可能在男人之间共享，对吧？如果我事先没有告诉你们所有这些语义定义，而是直接通过展示这张图片开始这个演讲，你们将不知道我在说什么，对吧？所以，这种基础化正在不断发生。同样，我在我自己的个人工作中也使用了符号。我曾经兼职做游戏设计师。最近我读了Michael Seres写的《高级游戏设计》这本书。他介绍了一种非常有趣的系统图符号，来自控制理论和生态学。我受到启发，然后去了一家咖啡馆，我想，“哦，好的，我将用它来理解和剖析我的模拟经营游戏中的经济动态，对吧？”你不需要知道这里具体发生了什么，但它基本上是，哦，我从市场上买种子，然后我种下种子，然后我得到农产品，然后它是资源分配以及资源如何随时间增加或减少。所以，这里是农产品会增加蚂蚁的数量，对吧？蚂蚁会减少农产品的数量，因为蚂蚁在吃农产品。但当我使用这种符号时，我也在扩展它，对吧？所以我意识到卖家没有一种表示约束的概念。如果我种下种子，它们会生长吗？也许这取决于土壤肥力。所以，我自然而然地扩展了符号。所以，当人类不受约束时，他们不需要坚持这些严格的形式结构。事实上，他们可以不断地适应和发明符号来巩固他们的沟通和思考，因为他们在共同解决问题。这不仅仅是我办公室里发生的事情，对吧？这能推广吗？人类在历史上一直在这样做。这是一张博物馆的照片。我去年在希腊。你可以看到这些小粘土令牌。事实上，一些最早的符号历史来自于这种需要，即提供收据、库存或数学数量来跟踪库存。所以，回到我们的观点，形式化只是一个光谱，还是一个过于简化的图景？好吧，实际上，右边有一个假设，那就是我们有一个正式的表示来编码我们的想法，对吧？当我之前展示从代码直接从一个非正式的想法直接进入React代码时，React是如何产生的？当我们进行这种非正式化操作时，我们在这里假设了很多。那么，我们最初是如何达到这种形式主义的呢？所以，我开始将其视为一个正方形，而不是将其视为一个光谱，即我们只是从非正式到正式，也许有一个翻译的维度，我们可以翻译成现有的正式表示。但也有可能，不总是，但可能有一个创造的维度，即当我们遇到一项新任务时，我们实际上是在创造一个新的正式表示。事实上，我认为人们的工作方式，至少在白板上，更多的是进行这种形式化的操作，不仅在水平方向上，还在垂直方向上。所以，人工智能涵盖了顶部部分，我们可以从非正式到至少是成熟的现有正式表示，而且速度很快，但当前的人工智能系统在创造维度上没有什么可说的。事实上，问题可能更糟。因为人工智能在即时形式化方面非常出色，它实际上是在激励人们使用已经占主导地位的语言或符号。这只是一个例子。自然语言也发生这种情况。有人在网上说，哦，我现在将默认使用Python，而不是使用我作为软件工程师可能喜欢的语言，仅仅因为我认为我的编码助手在使用这种符号方面更好。所以我把它看作是，当前的人工智能系统有一个巨大的盲点。所以，它们本身无法动态地与我们一起演变新的抽象，然后用它们来巩固我们后来的沟通。所以，持久性也很重要。它们可能能够立即做到这一点，但它们能否巩固并有意义地为新符号的演变做出贡献是另一回事了。所以，对于我的研究实验室和我的一些即将进行的研究，这就是整体的研究陈述。我们如何设计系统来支持人们在创建、演变和形式化新符号的过程中？你可以将其视为新的抽象。但这里有一个问题，那就是为了设计支持人们进行这一过程的系统，我们首先需要了解这个过程是什么。这个过程是什么？这里有人能确切地告诉我创建、演变和形式化新符号的过程吗？我认为这方面有很多研究，但对我来说仍然不清楚。我试图研究了一下，但仍然很不清楚。所以我认为，在我们解决如何围绕这一点设计新系统这个更广泛的问题之前，我们需要以更清晰的眼光前进。所以，我今天的大部分演讲更像是一种回顾，回顾历史。因此，由此引出了一个更早的问题，我们需要问：符号是如何产生的？为什么它们被创造出来？它们是如何演变的？所以，我们需要问很多问题。所以，有很多问题，比如：符号是如何随着时间演变的？发展的过程是什么？我们说的“正式”是什么意思？一些符号是如何变得正式的？所以，我们在过去一年里进行了一项更广泛的比较分析，分析了符号系统的演变。我们进行了所谓的“平行比较历史”，即我们考察了许多不同类型符号的个体历史轨迹，然后我们随时间进行比较和对比，以得出更普遍的模式，这些模式可能不适用于所有情况，但适用于绝大多数情况。所以，我们研究了乐谱符号、舞蹈符号、编程符号、化学式等等。所以，这是被Kai有条件录用的那篇论文。好的，现在我将开始讲述历史轨迹。我们还发现了符号演变的阶段。所以，我将给出广泛的概述。符号是如何演变的？符号的演变在一定程度上反映了语言的演变，因为符号是一种书面语言。所以，当然，在开始时，某人或一个社区会发明一个符号并对其进行孵化，然后再发布给更广泛的社区。我今天主要会讲我称之为“链接和基础隐喻”的过程。我会举一个例子，但基本上，最初的创造过程是非常文化情境化的，并且由一系列隐喻组成。在这个阶段，你想要创造一个符号，它实际上服务于描述性目的，试图准确地描述你正在符号化的概念或经验现象。在第二阶段，符号被传播到更广泛的社区。人们采用它，社区采用它，随着不同社区的采用，符号自然会分化。这只是一个例子，如果你在白板上一起工作，你可以改编维恩图符号，但很快，例如，我们超出了该符号的传统限制。所以，在这个阶段，符号会分化，除非有社会和物质基础设施来管理这种传播。如果你确实达到了第三阶段，那么它将导致第三阶段，即符号的制度化和神圣化。所以，通常可以进行标准化工作或统一工作，这通常以标准委员会的成立为标志，即一群人聚集在一起，决定这是该符号的规范版本。我稍后会讲到神圣化。我们还有这些所谓的“功能阶段”，在底部。它们并不完全对应于上面的社会阶段，但基本上，符号会经历。首先，它只是关于描述你试图描述的现象。然后你可能会开始用它来生成关于世界的理论。无论是我们没有真正跳舞，但我们记下了舞蹈，现在我们要跳舞，这是一种关于世界的理论。或者使用化学式来得出尚未通过实验检验的结论。最后，如果你达到了这个阶段，并非所有符号都达到了这个阶段，但你可能会达到一个评估阶段，即符号成为衡量世界的标准，我稍后会讲到这一点。好的，现在可以了吗？所以，每一个，我将只介绍我们论文中的一些模式。我们的论文非常长。实际上，有人告诉我们要删减。但有很多不同的模式，不幸的是我无法涵盖所有这些模式，但我主要将涵盖隐喻和文化适应在符号创建早期阶段的突出作用。在这一点上有什么问题吗？因为我实际上看不到聊天。有什么评论或问题吗？>> 我确实有一个澄清问题。>> 所以，你之前在谈论这种从非正式到正式，然后你评论说，很多大型语言模型实际上不支持从创造的角度来看，从非正式到正式。我想更多地了解一下，从你的角度来看，有哪些建议，比如你认为这仅仅是语言不够有表现力，还是我们应该考虑其他方式来解决这个问题？我当然，从训练方面和自然语言处理方面来说，也许应该意识到这一点，因为它完全取决于你用什么数据来训练它。我们尝试过构建系统，我得说实话，我们尝试过构建系统，你在其中发明了一个新的手写符号，人工智能需要遵守它，而人工智能非常糟糕，目前的视觉模型在这方面非常糟糕，令人震惊。所以，在某种程度上，我觉得这可能是训练数据的问题，也许将来会有所改善。但也有一个更具未来感的愿景，那就是我们如何，你知道，我们如何分享我们的符号？如果我们能够构建一些人工智能的组合，这样我们就可以发展我们用来与它沟通的符号，或多或少准确地，也许我们可以做到这一点。我仍然认为视觉模型在这方面存在很多问题。但然后，我们如何更新所有其他模型的权重，对所有人来说？我们如何分享符号？我认为这是一个更难的问题，也许我没有那么好的立场。所以，我认为这项研究确实提出了一系列关于我们如何拥有不那么固定在它们默认表示的人工智能模型的问题。>> 嗯，好的。我能问一个澄清问题吗？>> 是的。所以，你的论点是否基于这样的前提，即人们有意寻求开发符号系统，还是更多的是，你知道，符号系统是人们固有的寻找新思维和推理方式的需求的副产品或结果，对吧？比如，如果你想到笛卡尔的坐标系，它是统一几何和代数的一种方式，其意图本身并不是开发这种符号系统。所以，我很好奇你采取的是哪种视角。>> 我认为当新的情况出现，意想不到的问题和意想不到的情况出现时，这就是新符号的出现，或者人们发明新符号来解决这些问题。所以，我同意这一点。>> 好的。所以，这是一个寻找表示窗口注释的有意过程。>> 有时是有意的。[笑声]>> 好的。有时就像白板一样，对吧？它不是那么有意。就像我们意识到，如果我们通过白板进行沟通，我们无法很好地理解我们正在谈论的内容，仅仅通过自然语言。所以，我们开始适应，我们开始临时开发符号，以便解决我们遇到的基础问题。>> 嗯，>> 好的。>> 好的。所以，我将开始介绍一些历史例子。>> 所以，隐喻和文化适应的突出作用，这是什么？所以我将给出很多例子。所以，基础隐喻。所以，在Kai 2023上，法国的研究人员引入了微手势符号的概念，正如你在这里看到的，这些像摩尔斯电码一样的符号，他们的目标是，我们有很多人机交互领域的微手势文献，我们需要比较和对比文献中不同的手势，因为这有点不清楚。你必须观看视频才能理解手势之间的差异，我们可能想对其进行分类。所以，他们正在开发一种简洁的符号供人们记录下来。有趣的一点是，你可以看到这里最初的破折号，左边的第一个破折号比其他破折号低。它不一定比其他破折号低，但为什么它比其他破折号低呢？这是因为它以我们手的身体经验为基础，对吧？手和拇指比手的其他手指低。一旦你知道拇指在哪里，你就知道食指在哪里，等等。所以，这是他们故意做出的决定。另一个基础隐喻的例子，即身体经验的隐喻，我真的很喜欢这个弦图。这是《描绘量子过程》一书中的一张图片，你有一个弦图，作者们正在改编弦图符号，它在数学上是基础的，用于量子范畴论，他们展示了一个非常好的图像，即这种拉弦然后形状旋转180度的变换，你会认为这在数学上是有效的，而且确实有效，对吧？所以，你可以进行这种变换。所以，这是一个例子，说明他们如何发明这种符号，利用人类的感知能力来理解接下来会发生什么。在新符号的发明初期，尤其是在新领域，最常见的事情之一是链接隐喻。即你不仅将隐喻与另一个领域的符号联系起来，还与该领域本身联系起来。其中一个突出的例子是化学，化学式及其起源。Brazelius，他引入了现代分子式，比如这个。他最初受到算术符号的启发，比如加号。你可以看到这是他最早引入符号的作品之一，在这部作品和其他作品中，他明确提到他做出了这种链接隐喻。他称之为数学中的算术。所以，他并不一定，他正在利用这种与现有符号的链接隐喻，以便以后能够形成关于世界的理论。另一个链接隐喻的例子是舞蹈与音乐。我们如何记录舞蹈？嗯，也许我们可以参考乐谱。也许这在历史上一次又一次地发生，是因为舞者和音乐家在同一个地方。舞蹈是伴随着音乐的。舞者可以是音乐家。所以，出于某种原因，许多人似乎自然而然地在发明舞蹈符号时会想到乐谱符号。然而，当我们观察符号的演变时，我们会发现，这些最初的链接隐喻，这个链接隐喻，现在并不明显。这可能是一个相当糟糕的舞蹈符号，如果我诚实地说，对舞蹈来说，对吧？这是什么意思？它直接与我所看到的横向相似的乐谱符号的五线谱相联系，但它如何转化为舞蹈却很不清楚，对吧？因此，由于这些最初的限制，存在着一种隐喻之间的斗争，如果你愿意的话，即与我们直观的舞蹈功能映射的接近程度，与所做的链接隐喻并不匹配。因此，在这种情况下，Laba符号的演变，这是一个特定的舞蹈符号，通过将五线谱旋转90度而演变，这样更容易理解，哦，也许这个图的左侧是身体的左侧，右侧是身体的右侧，中间是胸部区域，对吧？所以，它使得这种映射更加清晰，但它打破了与乐谱符号最初的视觉相似性。现在你可能会问，好吧，你一直在谈论化学等等，但是我们在计算领域，这是一个计算研讨会，所以我们最终需要在某个地方提到计算机编程，而且碰巧我之前做了一些关于计算机编程历史的研究，事实上，我们在计算机编程中看到了非常相似的模式，即文化背景和链接隐喻的突出作用。这里有一个来自ENIAC项目的例子。左边是我们最早的一些流程图的图片。Goldstein和Von Neumann引入了“流程图”一词。右边是我们从ENIAC项目中看到的块状图。实际上，ENIAC项目是在一所电气工程学校进行的，那里有大量的这些块状图。所以，一旦你将它们并列，就不难看出，最早的编程符号之一看起来很像Goldstein和Von Neumann当时在同一所学校里看到的其他图表。对吧？现在，这是最易用的符号吗？这个最初的链接隐喻，就像舞蹈一样。链接隐喻成功了吗？这是用户最易用的符号吗？嗯，这值得怀疑。Goldstein和Von Neumann认为是的。他们含蓄地认为，使用这种块状图表示法可以使相对不熟练的操作员清楚地了解程序的总体轮廓。然而，ENIAC项目的程序员们，他们觉得这是自然的表示法吗？答案实际上是否定的。ENIAC项目的程序员主要是女性，她们被招募到项目中，几乎没有接受过培训，而且大多数人没有电气工程背景。所以，正如Bartik在这里所说，我一生中从未读过块状图。Betty也没有，我们以为它是从左到右像书一样阅读的。所以，在这种情况下，她们将她们现有的文化知识应用于理解新的情况。我们再次看到链接隐喻的突出作用发生在Fortran中。所以在Fortran被John Backus提出之前，这是他在IBM当时正在处理的一个名为“月球问题”的项目中的一个快照。他基本上负责将这些长计算输入机器，并使用计算机来执行这些长计算。当时，你会看到这些符号夹杂在打字表示法中。他坐在电脑前，花了很长时间将数学公式编码成机器码。所以，IBM当时以其打字机而闻名，以其字母数字打卡机而闻名。所以，他想，如果我不需要，而不是进行这种缓慢的翻译过程，为什么我不直接输入数学符号呢？对吧？为什么我不能只用键盘来做这件事呢？所以，当Backus发明Fortran时，他并没有像我们今天可能认为的那样，深入思考算法和我们今天可能使用的词语，条件等等。他更多地是在思考一个实际的可用性问题，即我有一些数学方程，我只想将它们输入机器，这就是我对最佳计算机编程的设想，如果我们能直接输入这些数学方程。总的来说，我向你们展示了很多链接隐喻。希望你们现在明白，不同情况下的符号实际上是高度文化情境化的，而且链接隐喻至少在最初是非常普遍的。当我们审视符号的演变时，我们会发现这些最初的相似性会随着时间的推移而消失。这是量子电路符号中Tofoli门的例子。如果你看右边，熟悉量子计算的人可能会认出这个符号。但实际上，Tofoli门，它源于对曲柄的最初基础隐喻。物理机制，曲柄机制，Tofoli通过一系列图表展示了他如何受到这些机制的启发，然后细节逐渐被抽象，被抽象，首先被Feynman，然后是Bremner，直到我们得到今天现代的符号。一个非常突出的例子，你可以非常清楚地看到这一点，那就是手语书写，它最初是由Valerie Sutton发明的，然后与聋人社区合作了几十年。我发现手语书写非常好的地方在于，Valerie Sutton有一段非常棒的自传史，有大量的图片，而许多符号都没有这种情况。所以，它非常有启发性。这是一个手语书写的例子。这意思是“猫看见狗就跑得很快”，据我所知，在ASL中。所以，你可以在这里看到“猫看见狗跑得快”。这是来自Signp。现在，如果我告诉你，你知道，这个符号的灵感是什么？最初的链接隐喻是什么？我刚刚向你们展示了很多，这是一个现代形式，但你们刚刚向我展示了很多链接隐喻和基础隐喻。最初的隐喻表示是什么？这里的人们可能不会说，“当然，那是乐谱符号，对吧？当然是音乐。”但实际上，这就是最初的链接隐喻。所以，让我带你们看看。所以，我们有乐谱符号。它并不总是这样的。但这是一个例子，说明它现在是什么样子。然后我们有许多不同的人，不仅仅是Zorn，但为了这个目的，我只展示Zorn。Frederick Zorn发明了他自己的舞蹈符号，你可以看到这些舞者叠加在五线谱旁边。这个符号的一个有趣之处在于，它实际上有一种舞者在舞台上移动的图片。并非所有舞蹈符号都有这个。瓦莱丽·萨顿年轻时在学习芭蕾舞时，看到了佐恩的符号，并受到启发，创造了自己的符号。她不一定遵循佐恩，但她受到启发，写下了她正在学习的芭蕾舞动作，并发明了她称之为“舞蹈书写”。多年来，她发明了舞蹈书写。我想她最初是在1973年发表的。所以，在她发明它之前已经很多年了。但她发表了它，哥本哈根大学的学术研究人员注意到了舞蹈书写，他们说，“嘿，我们有一些手语的录像，我们想构建一个符号系统来记录这些手语，用于存档、比较、比较各种国际手语。”所以，他们请来了萨顿，萨顿看了很多这些视频，开始发明这种符号。她当然受到了舞蹈书写的启发。所以，很多东西看起来像舞蹈书写。一些五线谱被省略了。但你可以看到它是线性的。你可以看到她在这里使用的数字。数字，你在这里再次看到数字，表示你举起的 the number of fingers。但随着手语书写的演变，随着她与聋人社区的合作，一些最初与乐谱符号链接隐喻的残余开始消失。所以，你看到五线谱现在完全消失了，但你仍然保留了之前的线性化。你还看到这些数字不再出现。你还可以看到手指现在更直接地出现，以获得更直接的基础隐喻。然后我们失去了更多的残余，现在符号被堆叠起来。所以，这种线性化，这是乐谱符号的残余，现在已经丢失了，现在符号被堆叠起来。所以，它看起来更接近于身体的外观映射。另一个有趣的事情是，肩膀不再出现。你以前不得不反复写肩膀，但它们并没有增加任何东西。所以，人们就停止记录它们。然后是最后的垂直变换，它消除了乐谱符号的唯一残余，即小节线。那么，符号是如何产生的，至少是最初的，以及它们最初是如何演变的呢？嗯，发明符号的关键在于类比对齐的认知过程。你正在将你现有的文化知识应用于新领域。在类比对齐的过程中，一些源符号中的规则和假设会被打破，因为隐喻会随着时间的推移而被打破。这个过程中有趣且重要的一点是，我们从实验研究中也知道，类比对齐实际上会模糊目标领域中的变异维度。所以，让我举一个例子来说明这一点。我之前向你们展示了白板的照片。最后，我们没有采用这种符号。我们没有继续使用这种符号。它对我们很有成效，但有一个问题。了解克拉克的共同基础工作的人可能能够识别出这个问题的一部分，那就是共同基础并非如此简单地被人类达成。不幸的是，我对你的看法与你对我的看法不同。即使我们持有对一个项目的不同看法，我们仍然可以沟通。所以，这是一种具有误导性的观念，即存在简单的重叠。在共同基础中，理解这一点也很重要，我拥有关于你的看法，而你可能拥有关于我的看法。所以，存在着更高阶的看法。我对你的看法，你对你的合作者的感受。所以，维恩图可能过于简化了事情。它们欺骗我们认为共同基础可以简单地共享。但它实际上是在简化，人类之间的共同基础与人类之间的共同基础有何不同？在这种符号中并不完全清楚，但使用符号的这个过程实际上是有见地的。它并非完全损失。所以，我们工作中的一个基础是，符号不仅仅是关于将经验现象的变异维度映射到感知现象。它是关于对你来说有意义的东西。所以，这个白板的例子，我有不同的实体类型，如人类或人工智能。我有共享理解的概念。在感知领域，我有视觉上突出的形状、形状之间的重叠、大小、颜色等概念。符号实际上是在执行这些概念之间的映射。所以，随着时间的推移，这种形式化不仅仅是消除歧义，它也是一个决定什么对我们重要的过程。形式化是一个设定我们关心的值以及什么最重要、什么次要的过程。所以，如果我们编码了实体类型和共享理解，但然后我们忘记了我们试图建模的经验或概念领域中的其他部分，那么我们可能会忘记它们的存在。历史上发生的一件事是，如果你不知道某个特定现象，比如电子和原子，那么后来你就需要修改你的符号来引入这种变异。我们在现代化学的结构式中看到了这一点，共价键和价电子的发现启发了对现有符号的扩展，这些符号需要遵循Brazelius等人设定的符号。好的。所以，随着符号的演变，我们最初可能会说，我们选择了我们的共同基础符号，并且我们经常使用它，并且许多社区开始采用它。它们可能会达到这种神圣化阶段，即符号成为他们看待世界的一种方式，而它们不再容易看到那些之前不太稳定的变异维度。所以，这里的高阶看法和外部文档，我们没有做出这些区分，因为符号可能会强加一种看待世界的方式。这种情况经常发生。一个突出的例子是民族音乐学，音乐理论家认为，存在着一种“符号中心主义”。即我们将音乐等同于西方的乐谱。而且，成为一名专业音乐家或真正擅长演奏音乐就是理解乐谱。>> 所以，所以你讲了这么多历史，我时间有限。>> 所以，我们刚刚做了这项工作。论文里还有更多内容。我们很快就会发布预印本。但其影响是什么？我认为这项工作有很多不同的影响。我只提供一些我们早期想法的草图。所以，我从这项工作中得到的一个体会，以及我为什么喜欢做这项工作，是因为我认为它是一种有趣而舒适的对历史的提醒。我做了很多以大型语言模型为中心的评估研究，对我来说，这是从所有那些人工智能研究中一种舒适的休息。但我也想为你们提出一些其他的，你知道，早期的想法，只是给你们一点我正在思考的东西。所以，通常，正如我在演讲开始时所说的，人工智能系统使我们能够轻松地即时形式化想法，从非正式想法到明确定义的符号，这些符号在人工智能模型的训练数据中得到了很好的表示。但我们也可以考虑反向进行，并提出一些机会，让我们能够使先前确定的符号或形式化变得易于修改。一个例子是，如果你用Lua编写，你可能有很多原因用Lua编程语言编写游戏或其他东西，但也许Lua非常非常受限制。我尝试过用这种格式编写，也许你会错过一些你习惯的其他编程符号的结构。所以，通常你必须为你的符号变体编写一个特定的解析器或编译器。但如今，我们是否可以随心所欲地编写，或者进行这种临时扩展，比如，与其说我的函数是“function A”，这非常冗长，也许我错过了JavaScript或TypeScript中的箭头符号，所以我直接写下来，然后让机器或大型语言模型来弄清楚发生了什么。所以我认为我们可以寻找我们正在构建的系统中的机会，以便随着时间的推移进行这种非正式化操作。在我之前的工作中，我做了一种非常非正式化的操作，但是在代码中进行手写。这里有一个量子计算电路的例子，我当时正在发明这种符号，在Python代码中你可以说n=8或者k=sqrt(n)，然后你可以在符号本身中直接使用这些符号，你正在将代码的一部分提升到非正式的领域，但一切仍然可以运行。另一个更直接地与我今天讨论的内容相关的想法是开发能够帮助人们为新任务和新问题构建新符号的系统，这样的系统会是什么样子？这是一个早期模型。我认为我们可以学到的一件事是，我们如何具体化在符号创建早期过程中所做的这些决定。所以，经验或概念领域中的变异维度，我们如何使它们突出，以及这些维度与感知通道之间的映射。所以，比如这里的形状现在被这些不同的索引所饱和，而颜色现在是我们索引不同手指的方式，对吧？也许系统建议简化符号的方法，说，我们不需要画出所有这些复杂性，现在我们可以画一条线。也许你应该考虑一下。或者也许你应该从这些不同的符号中汲取灵感，使这些链接隐喻更加透明。或者也许建议我们将手指映射到颜色，颜色的感知通道并不直观，并建议一个替代映射。所以，总的来说，我对未来研究的问题是，我们如何开发新的系统，这些系统能够动态地巩固人机沟通的形式，而不仅仅是内容，当这种形式在人工智能的训练数据中看不到时。那么，我们如何与人工智能共同发明这些新的抽象，然后用它们来巩固人工智能与我们的沟通呢？所以，也许人机沟通的愿景可以让我们更接近我所认为的梦想，那就是我们与人工智能合作，就像我们可能与一个人在白板上合作一样，我们可能会发明我们的
我们自己实验室、我们机构中使用的抽象概念，嗯，并与人工智能共同创造它们，之后通过它们与人工智能进行交流。所以，谢谢大家，现在我来回答问题。>> 是的，非常精彩的演讲。我也很欣赏这次愉快的历史课。嗯，关于最后一个话题，人机通信，似乎[清嗓子]很多例子都来自人们以某种方式降低维度，或者基于非常普遍的共同经验找到更易于理解的东西。嗯，它们是视觉的。我的意思是，我们在视觉信息方面非常快。我们在对事物做出快速的身体反应方面非常出色。而模型，至少在目前这个阶段，它们擅长处理标记。在某种意义上，它们可能擅长处理向量。那么，您是否看到了历史上的类似之处，我不知道，例如，人们在人类感官体验的不同模态方面很擅长，或者有什么东西以一种可能更类似于我们如何与人工智能连接的方式连接起来，或者您是否认为这更多是一个翻译问题，就像人工智能只需要在我们所在的地方与我们见面，而更多的是一方向另一方解释，而不是双方带着共同的，你知道，嗯，能力走到一起。哦，有一个问题，比如人类是否会喜欢我们提出注释，而人工智能只是从中获取，或者我们是否可以共同构建。>> 是的。就像您如何翻译那些历史人类例子，那些例子来自一个地方，我们知道如果我们将事物放在那个页面上，具身化将非常快，到一个非常不同的实体。如果我理解正确，我确实认为其中一些，我的意思是，我们在这里正在做一个规范性的论证。嗯，我认为这些符号演变的历史悠久，就像这些逐渐认识到可用性并不好，然后随着时间的推移逐渐改进。也许如果我们有嗯，也许如果我们有人工智能系统习惯了这一点，它们就可以尽早警告我们，我们所做的决定将产生更广泛的影响，并且可能在某种程度上是次优的，或者在哪些方面是次优的。所以我认为，与人工智能合作可能比与人类合作更好。如果您试图一起构建一个注释，嗯，人工智能可能能够想到人类无法想到的一些事情。我仍然认为视觉模型在这方面确实会遇到一些基本问题。所以它们不是，有一些性能问题，基本性能问题，但是，嗯，是的，我认为这是一个有趣的问题，这可能会有所不同，与人工智能合作可能会有所不同，当然，如果我们展望未来，特别是如果我们想要一个通用人工智能，那么AGI至少在我看来需要能够发明新的符号来作为其思考的基础，因为这是人类社会、人类思想和人类知识的核心组成部分。如果它不能做到这一点，那么它可能无法，可能存在限制。我不知道我是否回答了这个问题。好的，我有一个问题。我不知道如何最好地表述这个问题。当我想到头脑风暴或协作过程时，似乎尤其是在探索阶段或创意阶段，存在很多模糊性，以及很多更像是中间步骤，然后我才最终形成一个系统或符号。那么，在思考如何处理这些模糊性方面，是否有任何指导，或者这些模糊性或中间输出如何帮助塑造最终的符号形成，这有意义吗？感觉这个过程中有很多不确定性和模糊性，我们应该如何看待它？>> 是的，这是一个好问题。我认为维恩图点例子恰恰说明了，如果使用符号的实践有助于您得出关于您可能忽略或避免的结论，那么这不一定是一种失败。所以，就像将符号作为一种共同思考问题并得出结论的方式，并且可能有些是可以丢弃的，就像那个符号不一定需要比对话更长久。在许多情况下，它不会。嗯，它更多的是罕见的情况，在这种情况下。嗯，这就是为什么我将这些阶段，我事先说过，就像制度化是一个罕见的阶段，神圣化是罕见的。嗯，这并不一定意味着所有这些都必须，嗯，如果我们正在创建支持这种识别模糊性过程的新系统，那么模糊性有时可能是文化冲突，与您的领域知识相关，就像我熟悉这个符号，因此我以某种方式解读它，而这实际上使我们更难沟通。所以，大型语言模型的一般世界知识可以贡献的方面之一就是试图预测这些，比如文化冲突。理解来自不同背景的人可能如何解读同一符号的视角，可能是其中一个方向，一个潜在的方向。>> 好的，谢谢。聊天中有一个问题。您想让我读一下吗？哦，当然。嗯，>> 好的。>> 我知道我可以读。>> 好的。>> 我知道有一些研究，其中大型语言模型在彼此交谈时可以发明一种胡言乱语的语言。有一些关于这个的强化学习工作。嗯，您对此有何看法，它如何出现，这是否表明人工智能有潜力创造自己的符号？是的，好问题。是的，当然。嗯，也有一个可怕的潜力，就像[笑声]就像如果它发明了自己的符号，然后它们用我们无法理解的符号进行交流，那可能是一个对齐问题。嗯，我认为这是必要的，就像我刚才提到的，人工智能系统可以发展自己的沟通方式或自己的符号或表征。我认为，如果我们有人工智能系统想要发现新的科学，或者开始发现并取得科学进展，它们可能需要发明新的符号来更好地向我们解释发生了什么。所以，符号开发也可能存在某种可解释性方面。嗯，让我再看一遍问题，这样我就，嗯，我听说有研究。您对此有何看法，它如何出现？>> 是的。所以，我的意思是，有人在研究它[笑声]，我知道有人在研究它。我认为也有特别的危险。>> 似乎从历史例子来看，存在这些新的新兴领域，其中符号提供了一种解决问题的方式，就像新的技术或新的问题出现一样。嗯，当然，我认为您在量子电路等方面的工作正是触及了那个边缘，对吧？就像新技术，我们必须开始为它们开发符号。我很好奇，如果您要与一群真正致力于开发符号的人再合作一年，您知道一个深入的案例研究会是什么？哦，嗯，>> 就像不那么历史化，但几乎是共同设计符号系统和人工智能支持工具来增强它们，其中它们具有这些类型的风险。>> 对，有两个领域我感兴趣，一个是我之前提到的，游戏设计，因为我认为游戏设计者已经开始草图，而这正是过程的一部分，所以理解人工智能如何支持游戏设计过程，而不是仅仅，我们提示，然后我们得到一个游戏。首先，我认为这些系统目前做不到，而且我认为作为一名游戏设计师，这并不有趣，而其他游戏设计师，其中一部分是创造过程的乐趣。嗯，所以当然，当我们从事游戏设计时，由于视觉表示的挑战，您通常需要使用很多符号来表示事物，所以这是一个，但如果我更科学地思考，曾经有一段时间我想与机器学习和人工智能研究人员合作，关于，你知道，当他们开发不同的模型架构时，因为这就像是前沿，您需要不同的符号，它们正在出现。它们并没有真正正式化，但围绕如何表示这些架构正在出现。嗯，也许如果我们有一个更好的符号或更正式的符号，我们就可以更快地想到改进或替代的模型架构，然后我们可以测试。这正是我所说的。如果您有一个能很好地描述世界的符号，那么您可能会进入生成阶段，现在您生成关于世界的理论，然后尝试测试，对吗？嗯，所以，是的，如果我有资金和人们真正真正感兴趣，那么我可能会花很多时间观察很多机器学习研究人员的工作。>> 谢谢。是的。>> 好的，太好了。嗯，是的，就这样吧，也许再为他鼓一次掌，非常感谢您精彩的演讲。谢谢大家。