Transcription
[音乐] [音乐] 因为现在我知道了 [音乐] 现在你在动了 我发现自己处于盲点 现在你不会打电话了 我们失去了 [音乐] 我在想念你 [音乐] 我在想念你 [音乐] [音乐] 振作起来 [音乐] [音乐] 是 [音乐] 我会 [音乐] 屏住呼吸 [音乐] [音乐] [音乐] 早上好女士们先生们，十分钟后我们将在宴会厅开始我们的一天，谢谢 [音乐] 你，我 [音乐] [音乐] [音乐] 想保持 [音乐] 起来 起来 [音乐] [音乐] 所以，我准备好屏住呼吸了 [音乐] [音乐] [音乐] 我是日子 [音乐] 你和我，我们是唯一的，我们是 [音乐] 晚上唱着你，为了播放那首歌 [音乐] 呼吸，你随着门进来，它打开了，慢慢地播放 [音乐] [音乐] [音乐] [音乐] [音乐] 我听到了番茄 [音乐] 你的 [音乐] [音乐] 冰冷而疲惫，总是在我脑海里，我感觉一切都回到了 [音乐] 女士们先生们，我们的节目将在 5 分钟后开始 [音乐] 一切 [音乐] [音乐] n [音乐] 的 [音乐] [音乐] 回来 [音乐] [音乐] 他 他 [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] 我在看着你看着太阳升起，女士们先生们，请就座，我们的节目即将开始，谢谢，女士们先生们，请欢迎回到舞台，您的主持人兼 AI 工程师峰会联合创始人 Benjamin [音乐] duny 早上好，早上好，早上好，早上好，我们怎么样？我们昨晚都玩得很开心，这是玩得很开心的观众回来了，还是没玩开心的观众？看起来有些人玩得太开心了，但非常感谢你们回来参加 AI 工程师世界博览会的最后一天，很高兴见到大家，我有 3 分钟 45 秒和几个公告要宣布，所以我想直接开始，我一直在和几个人交谈，当我能有机会的时候，关于我们投入了很多精力开发的移动应用程序，以及它将如何帮助您参加本次活动和互动，所以我想澄清几件事，第一，日程安排，您可以收藏会话，查看会话详情，收藏它们，然后您可以转到我的日程安排，所以现在我可以在那里看到它，对于多轨道活动，我只想说清楚，您可以在这里构建自己的日程安排，所以有些人没有收到这个备忘录，当然，您可以看到所有赞助商，您在那里有地图，但这里真正杀手级的功能是生成匹配和其他网络功能，所以我想邀请 Simon sturmer 上台，他是这个项目的首席架构师，来帮助解释一些功能，我们可以为 Simon 鼓掌吗？所以 Simon，我们这里有一些生成式配置文件，这些看起来都是独一无二的，对于每一次互动，请告诉我一些关于幕后发生的事情，所以我们所做的是，我们提取您的个人资料，或者我们从您的社交媒体和您注册时回答的问题中构建一个个人资料，然后我们从中创建嵌入，并将它们放入向量数据库，然后我们进行余弦相似度搜索，并提取您最相似的五个个人资料，非常好，现在我将转到 A Pora 的个人资料，我可以看到她所有的演讲，我还可以看到一些谈话要点，这些也是为我生成的，没错，那些是当那个旋转器转动时实时生成的，是的，太棒了，现在如果我们转到她的一个会话，我们可以看到，在观看完我们的演讲后，您可以对其进行评分，我们内置了会话反馈，所以这是一个完全自定义的应用程序，但好了，这是我喜欢的真正杀手级功能，因为当我第一次来到旧金山时，在 2015 年，我参加了一个科技会议，每个人都在分发名片，所以当你遇到某人时，比如如何与他们联系？哦，让我们交换电子邮件，对吧？这是其中一种，给我你的推特，你的领英，总是和不同的人不同，对吧？为什么我们现在不全部拿到呢？Simon 先生，好吧，我将扫描您的徽章，砰，好了，我们有了，所以我们现在为每个人都有徽章扫描，一旦我扫描了他的徽章，我就得到了他的电子邮件，即使他最初将其设为私有，他也可以设置他的设置，使其默认与我共享，当我扫描他时，仍然有谈话要点，笔记等，现在他在我的扫描短名单上，所以活动结束后，我可以查看我所有的扫描，我甚至可以导出我所有的联系人，它将通过电子邮件发送给我，所以这很酷吗？我们怎么看？好吧，好吧，酷，酷，谢谢，所以这就是匹配，非常感谢 Simon，感谢您的帮助，非常酷，所以这就是应用程序，只想确保我们都明白，另一件事是我们有 AI 工程工作，所以这是 ai.engineer jobs，目前我们正在展示我们博览会合作伙伴的工作，所以如果您正在寻找下一个机会，请去看看，任何博览会合作伙伴，如果您不在那里，请给我发电子邮件，我将在今天结束前将其发布，还有谁想发布一些工作，给我发电子邮件，我们可以谈谈，最后，还有一个公告，我还有 20 秒，我们很高兴地宣布 2025 年的门票现已发售，如果您在这里度过了愉快的时光，现在是锁定最佳价格的最佳时机，所以您可以访问 ai.engineers2025 或扫描该二维码，这将为您预留座位，锁定最佳价格，我们目前还没有确定日期，但很可能与今年差不多，所以这就是我今天的时间，我很荣幸地欢迎我们的开幕主题演讲嘉宾来到舞台，他是这个行业的绝对传奇人物，请和我一起欢迎 Chris [音乐] lner 好了，大家早上好，今天来这里是想和大家谈谈模块化和加速 AI 的步伐，你知道什么是 ji，我不会告诉你们所有这些，让我告诉你们我认为它非常酷且与其他技术非常不同的地方之一是它非常容易部署，有很多很棒的端点，有很多很好的实现，有很多方法可以非常轻松地构建原型并快速启动，但尽管有所有这些不同的端点可用，有时您确实有其他需求，有时您可能想去，你知道，控制您的数据，而不是将数据发送给别人，有时您可能想将其集成到您自己的安全中，因为您的关键公司数据在您的模型中，您不想在别处对其进行微调，有时您想自定义模型，比如研究一直在发生，对吧？构建专有模型在很多方面最适合您的用例，可以使您的应用程序更好，当然，推理端点很昂贵，所以有时您想省钱，有时有一些非常有趣的硬件，您想探索主流之外的东西，您想去做，如果您关心这些事情中的任何一件，您需要做的就是超越端点，那么您如何做到这一点呢？嗯，很多人都探索过这一点，我敢肯定答案已经改变了，以前我们有像 PyTorch 和 TensorFlow 和 Cafe 之类的东西，但是随着推理变得越来越重要，世界发生了变化，首先我们有了 Onyx tensor RT 之类的东西，今天有如此多的不同框架，其中一些是针对一个模型的，如果您关心那个模型，那很酷，但如果您有很多不同的东西要部署并想与之合作，那么在所有这些不同的技术之间切换会非常令人沮丧，当然，这不仅仅是一个模型，你们都知道，有如此庞大的不同技术被用来构建现实世界的东西和生产，当然，这些都不是真正为 Gen 设计的，所以我的担忧，我反对现状的是，这种碎片化减缓了将研究和创新从 Gen 引入您的产品，我认为我们已经看到了如此多的演示，去年是 Gen 演示的一年，但我们仍然在努力以经济有效且良好的方式将 Gen 引入产品，那么谁的错呢？是我们吗？就像你们中的许多人是 AI 工程师一样，如果我们不同情 AI 工程师的困境，因为你们这些构建这个的人，每周都有新的模型和优化出现，对吧？每个产品都需要用 Gen 增强，这不是一件事，我们被压垮了，事情太多了，我们甚至跟不上，没有时间处理新硬件和其他所有令人兴奋的新功能，当然，一旦你让某件事真正起作用，成本最终会使这些事情难以扩展，因为将事物投入生产意味着突然你按单位付费，所以这不是 AI 工程师的错，我们应该关注这里的担忧和面临的挑战，所以我认为我们需要一种新的新方法，对吧？我们学到了很多，让我们看看我们需要做什么，如何解决和改善世界，这就是模块化的意义，我将快速介绍一下我们正在做什么以及我们的方法，首先，我们是谁？模块化是一家相当年轻的公司，我们已经经营了几年了，我们汇集了一些世界上构建了所有这些东西的专家，所以我们构建了 TensorFlow 和 PyTorch，我们构建了像 LM 和 ML 和 XLAa 这样的编译器，以及所有这些不同的东西，所以关于这一点，我可以告诉你的是，我们学到了很多，我很抱歉，因为我们知道使用所有这些东西为什么如此令人沮丧，但实际上，你知道，五年前的世界看起来非常不同，Gen 并不存在，这是可以理解的，我们非常努力，但我们学到了，所以我们的目标是让你能够拥有你的 AI，你可以拥有你的数据，你可以控制你的产品，你可以在任何你想部署的地方部署，你可以做到这一点，并且比当今的系统容易得多，那么我们如何做到呢？嗯，我们所做的是真正回归基础，我们将把最好的技术整合到一个堆栈中，而不是每个模型一个解决方案，我们的目标是提升 Python 开发者，PyTorch 用户，这就是整个行业所在，所以我们想与现有的人合作，我们不想说，嘿，抛弃一切，你知道，然后尝试新的东西，我们想逐步教授并赋予人们新的工具，让他们拥有超能力，让他们拥有超能力，最后，我花了很多时间在 Apple，我喜欢那些能正常工作的东西，你想要构建在基础设施之上，你不想成为基础设施的专家，所有这些东西都应该这样工作，不幸的是，现在 AI 中情况并非如此，所以模块化，我们正在构建一种名为 Max 的技术，我将非常快速地解释一下这是什么，Max 是两件事，一是 AI 框架，我将花很多时间谈论它，AI 框架是免费的，广泛可用，我们今天会谈论它，二是我们的托管服务，这就是模块化赚钱的方式，非常传统，我们今天不会花很多时间谈论它，所以如果你深入研究这个 AI 框架，我们认为它是两件事，它是部署 Py TS 的最佳方式，也是做 Gen 的最佳方式，这两者都非常重要，Max 目前非常专注于推理，这些是 PyTorch 有时具有挑战性的领域，这是 Gen AI 让我们在成本和复杂性方面抓狂的地方，所以真正专注于这个问题是我们一直在做的事情，另一件事是我之前说的，是 Python，所以我们原生支持 Python，这就是整个世界所在，我们还有其他选择，包括 C++，我们稍后会谈论，那么我们如何处理这个问题呢？嗯，正如我所说的，我们开箱即用地与 PyTorch 合作，您可以带来您的模型，您的模型可以工作，我们可以与 PyTorch 的各种东西进行通信，比如 Onyx 和 TorchScript 和 TorchCompile 等等，所以您可以选择您的路径，这都很好，如果您想深入，您可以使用原生 API，原生 API 非常适合，如果您说您懂 KV 缓存和页面注意力等语言，并且您关心 LLM 和其他 Geni 技术的最新进展，那很酷，而且 Max 非常不同，因为它确实重建了大量的堆栈，我没有时间谈论它，但我们不是在 CNN 和 Nvidia 库以及 Intel 库之上构建的，我们用一个统一的堆栈替换了所有这些，这是一个非常不同的方法，我稍后会谈论这意味着什么，所以您得到的是一堆您不必担心的技术，所以再次，作为下一代技术，您将获得大量您不必担心的编译器技术、运行时、高性能内核等，并且您不必担心它，这确实是重点，那么为什么您要使用 Max 呢？它是一个 AI 框架，您有一个，对吧？所以人们可能想要使用替代方案的原因有很多，例如开发人员的生产力，您的团队更具生产力，这实际上非常重要，特别是如果您在推动最新进展，但它也很难量化，所以我将做同样的事情，你知道，人们通常会做的是去谈论可量化的事情，那就是性能，所以我将举一个例子，我们刚刚发布了一个版本，它具有我们的 int4 in6 K 花式量化方法，这实际上比 lad.CPP 快 5 倍，所以如果您今天在云 CPU 上使用 lad.CPP，这实际上是一件大事，5 倍可以对您产品的实际感知延迟和性能和成本特性产生相当大的影响，之所以可能，再次是这种疯狂的编译器和技术以及其他底层技术的组合，但您不必关心这一点的事实实际上相当不错，而且这不仅仅是一个模型，你知道，我们有这个让推理技术变得容易，然后我们用人们非常熟悉的一个模型来演示它，所以如果您关心这类事情，这实际上相当有趣，它是许多熟悉事物的下一代方法，但它也是以一种可推广的方式完成的，CPU 很酷，所以我的意思是，到目前为止我们一直在谈论 CPU，但 GPU 也同样酷，我想说的是，我所看到的是，CPU 和 AI 已经得到了很好的理解，但 GPU 是大多数痛苦的根源，所以我将稍微谈谈我们的方法，所以首先，在我告诉您我们正在做什么之前，让我告诉您我们的梦想，这不是一个小野心，这是一个疯狂的梦想，想象一个世界，在那里您可以像编程 CPU 一样轻松地编程 GPU，用 Python 而不是 C++，用 Python，那是一个与当今世界截然不同的事物，想象一个世界，在那里您可以更好地利用您已经付费的 GPU，我不知道您的工作负载，但您可能在 30% 左右，也许 50% 的利用率，这意味着您支付的 GPU 数量是您应该支付的 2 到 3 倍，考虑到当今的技术，这是可以理解的，但出于显而易见的原因，这对很多事情来说都不好，想象一个世界，在那里您拥有 Cuda 的全部功能，所以您不必说有一个强大的东西和一个易于使用的东西，您可以有一个可扩展的单一技术堆栈，这是一件非常困难的事情，你知道，Nvidia 有很多非常好的软件人员，他们已经为此工作了 15 年，但我不认识你，我不在我的手机上运行 15E 软件，它也不运行黑莓软件，我认为是时候真正重新思考这个技术堆栈并推动世界向前发展了，这就是我们正在努力做的，那么它是如何工作的呢？嗯，你知道，就像 Pyour 一样，您只需一行代码即可将 CPU 切换到 GPU，哈哈，我们都见过这个，这说明不了什么，我实际上讨厌这种演示，因为这种实现方式通常是在顶部有一个大的分叉，两个完全不同的技术堆栈，一个建立在 Intel mkl 之上，一个建立在 Cuda 之上，因此，结果是，除了幻灯片上的内容之外，其他任何东西实际上都不起作用，所以 Max 所做的就是，我们深入研究并说，让我们替换掉整个技术层，让我们替换掉矩阵乘法，让我们替换掉融合的注意力层，让我们替换掉图的东西，让我们替换掉所有这些东西，然后让它工作得非常容易，非常可预测，让我们把它缝合在一起，是的，它在幻灯片上看起来不错，但幻灯片忽略了重点，所以如果您是高级开发人员，你们中的许多人不想知道这一点，那很好，如果您是高级开发人员，就像我说的，您将获得 Cuda 的全部功能，所以如果您愿意，您可以直接在 Max 上编写自定义内核，那很好，对于高级开发人员，我不会深入研究，它比 Triton 语言之类的东西容易使用得多，它拥有良好的开发工具，并且拥有您期望从世界一流的 GPU 编程技术实现中获得的所有东西，对于不想编写内核的人来说，您还可以获得一个非常精美的自动融合编译器等等，所以您可以在不编写手动融合内核的情况下获得正常情况下的良好性能，这再次是可用性的重大改进，现在，你知道，这很酷，有很多东西都承诺简单，但性能呢？使用 GPU 的主要原因之一就是性能，所以我认为很酷的一件事，也是对模块化很重要的一件事是，我们不是与 L 标准进行比较，我们是与供应商的最佳进行比较，在这种情况下是 Nvidia，他们是其架构的专家，所以如果您去看看，有无数种衡量事物的方法，微基准测试，看看神经网络中的核心操作，矩阵乘法，这是各种工作负载最重要的东西，再次是一组数据，但我们将其与 kuas 的硬编码内容进行比较，然后也与 cutless 这个更具可编程性的 C++ 版本进行比较，所以 Max 正在满足并超越这两者，你知道，只是稍微好一点，我的意思是，这取决于你的标准，数据很复杂，但是，你知道，如果你赢了 30%，考虑到这些事情的成本、复杂性和付出的努力，30% 实际上是一件大事，所以我谈了很多关于“什么”的问题，但我没有谈论“如何”的问题，那么“如何”实际上是其中非常重要的一部分，我将举一个例子，我们足够疯狂，决定从头开始为 Geni 重建世界上第一个 AI 堆栈，作为其中的一部分，我们意识到我们必须更深入，所以我们构建了一个编程语言，我们有一种新的编程语言，它叫做 Mojo，所以关于 Mojo 的事情是，如果你不想了解 Mojo，你不需要使用 Mojo，你只需要使用 Max，这没关系，但我们必须构建 Mojo 才能构建 Max，我将告诉你几件事，我们的目标是 Mojo 是扩展 Python 的最佳方式，这意味着你可以摆脱 C、C++ 和 Rust，那么它是什么，作为一种编程语言，它是完整的，它是 Pythonic 的，所以它看起来像 Python，感觉像 Python，你对 Python 的所有了解都会转移过来，你不需要重新培训一切，这是一个真正的大事，你有一个完整的工具链，你可以在你的电脑上下载，你可以在 Visual Studio Code 中使用它，它是开源的，可以在 Linux、Mac、Windows 上使用，有 200,000 人，Discord 上有 20,000 人，这真的很酷，如果你有兴趣，我很想让你去看看，但 Mojo 是什么？嗯，什么实际上是编程语言的东西？嗯，我们决定 AI 需要两样东西，它需要 Python 的所有惊人之处，在我看来，是开发者，是生态系统，是库，是社区，甚至抱歉，是包管理，以及人们已经习惯使用的所有东西，那些是 Python 的优点，不幸的是，Python 的缺点是它的实现，所以我们所做的是，我们将 Python 的优点与一些非常精美的、高通量的编译器技术、ML 等好东西结合起来，然后使我们能够构建一些特别的东西，所以虽然它看起来像 Python，请忘记你对 Python 的所有了解，因为这是一个不同的野兽，我不会给你一个完整的关于 Mojo 的一小时演示，但我会给你一个例子，说明它为什么是一个不同的野兽，我将把它拉回到你们很多人关心的事情上，那就是性能，我想说的是，Mojo 很快，有多快？嗯，这取决于，这不是一个稍微快一点的 Python，这是一个从硬件光速开始工作的系统，所以很多人发现它在疯狂的情况下快了 100 到 1000 倍，甚至可能更好，但速度不是重点，重点是它的意义，所以在 Python 中，例如，你不应该写 for 循环，Python 不是为编写 for 循环而设计的，如果你关心性能，至少在 Mojo 中，你可以编写做任意事情的代码，这是一个从我们的 Llama 3 中提取的例子，用 Mojo 编写，它使用标准算法进行分词，它追逐链表，有 if 语句，for 循环，就像普通代码一样，而且它是 Python，我的意思是，感觉就像 Python，这才是重点，所以对你来说，Mojo 的好处是，首先，如果你不想关心它，你可以忽略它，但如果你关心，你不需要学习 C、C++，你的成本默认比 Python 低，因为性能就是成本，这意味着作为研究人员，如果你使用它，你实际上可以拥有全栈的可破解性，如果你是经理，这意味着你不需要在你的团队中有知道 Rust、C++ 和类似东西的人，你可以拥有一个更连贯的工程结构，在那里你可以根据需要进行扩展，所以如果你想看到一些非常有争议的东西，请查看模块化博客，我们将解释它实际上比 Rust 快，Rust 被许多人认为是黄金标准，尽管它仍然是一个 15 年的语言，所以我必须结束了，如果我超时了，他们会生我的气，我想说的是，你们中的许多人可能想超越 API，它们很棒，那里有惊人的技术，我也对它们感到兴奋，但如果你关心对你数据的控制，你想集成到你的安全中，你想定制，你想省钱，你想跨硬件移植，那么你需要转向其他东西，所以如果你对这些感兴趣，那么 Max 可能对你非常有趣，Max 是免费的，你今天就可以下载，它是完全可用的，尽情享受吧，我们没有谈论生产或部署等事情，但如果你想这样做，我们也可以提供帮助，我们支持 Kubernetes、SageMaker 上的生产部署，我们可以让你非常容易，正如我所说的，我们的 GPU 支持实际上非常困难，我们正在为此付出巨大的努力，我们想把它做好，所以它将在九月正式发布，如果你加入我们的 Discord，你可以获得早期访问权限，我们非常乐意在此之前与你合作，我们一直在不断推出新产品，所以如果你有兴趣了解更多，你可以访问 mod.com，在 GitHub 上找到我们，其中很多是开源的，并加入我们的 Discord，谢谢 [掌声] 大家，女士们先生们，请欢迎来到舞台，AWS 的首席开发者布道师 Auntie aart，大家好，我非常高兴能参加这次会议，并与大家分享从软件开发人员到 AI 工程师的五个实用步骤，如果有人在这里好奇，幻灯片上的这个 AAR 是当你要求 AI 让你看起来更具代理性时会发生什么，好了，让我们开始吧，我相信大家都熟悉这张图片，以及 swix 关于 AI 工程师新角色的帖子，正如你可能每天在工作中体验到的那样，你不再需要成为一名完整的 ML 研究员或数据科学家，以前需要数月或数年才能将 AI 项目投入生产的想法，现在只需要几个 API 调用就可以完成，非常令人兴奋，但如果你正在使用 AI，了解这项技术的基础仍然是有意义的，这涉及到几件事，对吧？你必须在基本层面上了解基础模型是如何工作的，为什么它们有时会在你的应用程序代码中产生你意想不到的输出，对吧？你必须了解如何自定义模型，如何例如有时微调模型以适应你的特定用例和数据集，如何将函数包含在你的应用程序代码中，让它们访问其他系统，好消息是，如果你刚刚开始成为一名 AI 工程师，现在有很多资源可供你学习，我想在这里特别提一个课程，叫做“大型语言模型的生成式 AI”，我的几位同事，我们实际上与 Andrew 和 deeplearning.ai 的团队合作，一起完成了这门课程，帮助你理解生成式 AI 的基础知识，帮助你构建现实世界的应用程序，如果你好奇，可以在 deeplearning.ai 和 Cera 上找到它，第二步是开始动手使用 AI 开发工具来帮助你提高生产力，我认为我们都见过这句话，并且我们在日常工作中体验过，我们工作的方式，我们开发应用程序的方式，这些天已经发生了很大变化，我们实际上可以使用自然语言输入来与应用程序交互，而且英语确实已经成为最受欢迎和最热门的编程语言之一，我认为，我们可以看到这种情况发生，例如，你现在可以通过要求 AI 重写一个 readme 文件来从英语到代码，我们也可以进行代码到英语的转换，例如要求 AI 为你的代码中的函数添加文档，但这还不是全部，如果我们看看软件开发生命周期，我认为我们中的许多人都可以同意，我们通常花费大部分时间不是编写有价值的代码，而是编写与之相关的所有其他事情，有时高达 70% 的无价值任务，那就是编写样板代码，编写文档，尝试维护旧代码库，有时我们只有一小部分时间，也许 30%，我们花在实际创造乐趣上的时间，在软件开发的创意任务方面，这就是我们在 AWS 的灵感来源，促使我们创建了 Amazon Q，Amazon Q 是一个由 Geni 提供支持的助手，专门为软件开发而设计，这不仅仅是一个编码助手，Q 开发者实际上使用代理来执行更复杂的任务，并帮助你自动化这些任务，例如功能开发和代码转换，想象一下处理旧的基于 Java 的代码库，你需要迁移到更新的 Java 版本，为了展示它是如何工作的，我请我的同事 Mike Chambers 准备了一个快速演示，让我们来看看，在我的 IDE 中安装了 Amazon Q 后，我可以转到新标签页，然后开始与 Amazon Q 开发者对话，我可以做一些你可能期望的事情，比如如何创建一个无服务器应用程序，我该如何开始，然后聊天会话会返回一个我应该执行的指令列表，从安装 AWS Sam CLI 开始，在哪里获取它，以及如何逐步创建项目，如果我做到了，那么 Sam 这样的无服务器工具可能会返回一些生成的代码，这是代码，也许我不太清楚这段代码的作用，所以我可以右键单击代码并将其发送给 Amazon Q，要求 Amazon Q 解释，然后代码将与解释一起进入提示，并生成答案，这对于我们生成的代码来说很棒，但也可以想象一下遗留系统的代码，那是很多年前别人写过的代码，你可以让 Amazon Q 帮助解释它，我们也可以让 Amazon Q 生成代码，这可能是你期望的那种，我可以在我的代码中输入一行注释，在这种情况下，我想创建一个输入检查函数，我将给它更多的定义，我实际上希望它修剪发送到此函数中的任何字符串，是的，Amazon Q 可以生成这个小函数，这很好，但如果我需要生成更多的代码呢？我可以转到聊天并输入 slev，然后我可以输入一个更全面的描述，我想要什么，在这种情况下，我将要求它编写一个按类别搜索 DynamoDB 的函数，并提供有关我想要的输出格式的大量详细信息，这不仅仅是一行或几行代码，在这种情况下，它将再次返回一个我需要执行的操作的逐步列表，我需要添加 template.yaml，它建议我创建 search by category.mjs 和更多东西，但这不仅仅是一个大的待办事项列表，这是一个计划，而且是 Amazon Q 可以为我们执行的计划，它生成一些代码作为更改集，我们可以查看我们当前代码与它建议的代码之间的差异，如果我们喜欢，我们可以单击插入代码按钮，它将把所有这些代码添加到我们的项目中，远不止几行，所以 Amazon Q 开发者不仅仅是代码补全，好了，如果你想了解更多关于 Amazon Q、Amazon Q 开发者的事情，我们今天还有几个会议，所以请确保你关注这些博览会会议，我们还在我们的 AWS 展位上有一个会议，你也可以访问我们的 Amazon Q 开发者中心，了解更多关于你可以用它做什么的例子，好了，让我们进入第三步，这是乐趣开始的地方，开始使用 AI 进行原型设计和构建，乐趣包括几个步骤，对吧？每个与 AI 合作开发的人都知道这一点，一切都始于定义你的用例，然后你真的在这条路上，试图从不同的模型中选择，你试图，你知道，根据你的用例定制它们，决定是提示工程，还是你做 rack，还是你需要用你的数据进行一些微调，当然，在整个开发工作流程中，你必须纳入负责任的 AI 政策，确保数据是私有的和安全的，并且还要在你的应用程序中实施护栏，然后当你集成时，另一个有趣的方面显然是与代理合作，我们在这里整个会议都在谈论这一点，以及关于如何让他们保持最新的有趣话题，GenOps，我认为有很多术语，MfmOps，LLMOps，所以真的，有很多事情需要考虑，我想简要地深入探讨一下模型的选择问题，这是一个非常重要的问题，当你评估模型时，你必须彻底评估它们，因为很可能没有一种尺寸适合你，事实上，如果你看看所有你想实现的用例，很可能没有一个模型能统治一切，这就是我们开发 Amazon Bedrock 的原因，Bedrock 是一个完全托管的服务，它让你能够访问各种领先的基础模型，你可以开始尝试，将它们集成到你的应用程序中，它还集成了你需要的工具来定制你的模型，无论是微调，还是包含 Rec 工作流程来构建代理，当然，所有这些都在一个安全的环境中，你完全控制你的数据，说到选择，只是给你一个快速的概述，截至今天，这是你可以选择的模型，我们与领先的公司合作，如 eii、21 Labs、Entropic、Cer、Meta、M AI、Stability AI，我们还提供我们自己的 Amazon Titan 模型供你选择，我非常兴奋地指出，上周我们与 Entropic 一起推出了 Cloth 3.5 Sonet，并将其集成到 Amazon Bedrock 上，所以从上周开始，你也可以使用这个模型，非常令人兴奋，选择也伴随着责任，对吧？我们不断创新，并努力让你更容易地构建跨不同模型类型的应用程序，就在几周前，我们在 Amazon Bedrock 中引入了一个新的统一对话 API，它有什么作用？统一对话 API 通过一种新的统一方法，结构化调用来帮助你，这意味着你可以使用相同的参数和正文，无论你选择哪个模型，在平台方面，我们负责翻译，如果参数对不同的模型调用不同，为你处理系统、用户、助手提示，并提供一致的输出格式，并且还内置了本地函数调用支持，但让我向你展示一下代码中的样子，这是一个 Python 示例，展示了如何使用新 API，这是 Python，所以我们开始只是集成 Python SDK 客户端，然后你可以定义这个消息列表，这里是你输入用户消息提示的地方，你也可以输入系统提示，然后这个消息列表，你可以通过这个单一的 API 调用，使用对话 API，在这里的模型 ID 中，你可以选择你想测试的模型，我正在使用 Entropic 模型，然后传递消息和推理参数，再次，在这个 API 中，所有这些参数都是标准化的，我们将处理幕后工作，将其转换为模型期望的特定格式，所以你有一个简单的方法来处理不同的模型，同样，对于函数调用，我们也内置了支持，我们实现它的方式是通过定义一个工具列表，工具在这里相当于你想提供访问权限的函数，然后当你调用对话 API 时，你可以传递这个工具列表，好了，如果你想了解更多关于对话 API 的信息，这里是我们的生成式 AI 空间在 community.AWS 上的链接，它有更多的代码教程，代码示例，不仅是 Python，还有其他语言，所以请查看，作者 Dennis Trout 本周也在这里的观众中，所以如果你想与他联系，谈论不同的代码示例以及如何使用 API，请随时联系，好了，现在让我们将 AI 集成到我们的应用程序中，这可能是一个完整的会议，但我想专注于我们现在在会议上讨论的最热门话题之一，那就是代理，我还有另一个演示，上次我请我的同事 Mike 准备了一个激动人心的演示，向你展示你可以用代理做什么，Mike，我们需要能够在 AWS 控制台内创建代理工作流，并且在服务内部，它完全是无服务器的，我用它创建了一个玩 Minecraft 的代理，让我告诉你我是怎么做的，如果我们进入 AWS 控制台，在左侧菜单中向下滚动到代理，你可以看到代理屏幕，然后我可以打开我的代理，我的 Minecraft 代理，现在如果我进入代理构建器，并稍微展开屏幕，你就可以看到我用来创建这个代理的一些参数，所以你可以看到我使用的语言模型，在这种情况下是 Claude 3 Haiku，你还可以看到代理的说明，这并不是我自己的笔记，这实际上是我们正在进行的提示工程，以解释我们希望代理，在这种情况下是 Minecraft Bot，如何玩游戏，然后我们还必须添加一些工具，一些 Minecraft 工具，所以我们通过操作和操作组来做到这一点，我有一些不同的操作组，我们有 Minecraft 操作和 Minecraft 实验，让我们看看操作，在里面，我们可以看到一些非常简单的东西，一些机器人可以执行的操作，这些都与代码链接在一起，我们有跳转操作，我们有挖掘操作，你可以看到挖掘操作的描述，它有一些说明，再次，这是提示工程，然后我们有一些我们可以选择的参数，收集，事实上，我们需要这些参数，所以机器人需要为我们获取这些，如果我再向下滚动一点，这里有一些非常简单的操作，获取玩家位置的操作和移动到位置的操作，我想在实际操作中展示它们，因为机器人实际上可以解决问题并推理出如何使用这些工具来解决简单的问题，让我们进入游戏，现在是晚上，所以让我们将其设置为白天，这样我们就可以看到发生了什么，所以将时间设置为今天，好的，屏幕中间可以看到 Rocky，Rocky 是在游戏中运行的 Bedrock 代理，我们可以和它交谈，我们可以进行聊天，但如果我们想让它来找我们呢？现在没有来找我的工具，所以如果我，我将稍微后退一点，让它更具挑战性，我将说“来找我”，然后会发生什么？代理将通过一系列操作进行推理，它将查看谁请求了它，然后它将获取该名称，那是我的名字，然后它将找到该玩家的位置，然后它将从它当前的位置到我的位置映射一条路径，所有这些都发生在一眨眼之间，而且是代理工作流，让所有这些发生，这非常令人兴奋，我每天都在发现这个机器人可以做的新事情，但说到这里，就回到你了，好了，谢谢 Mike，如果你想知道我们是怎么做到的，请查看我们的展位会议，我们也在那里运行演示，我们今天晚些时候在代理轨道上还有一个会议，所以请确保你进去看看，如果你想了解更多，当然，你可以在 GitHub 上找到项目的代码，所以如果你想自己玩玩，以及如何将代理集成到有趣的事情中，请查看这个项目，好了，我们快到了，所以我想强调的最后一步是保持更新，正如你们都知道的，这个领域发生了很多事情，一个很好的方法是参与社区，说到社区，我还有一个最后的公告，我非常兴奋地宣布，我们将把我们在旧金山的 AWS Loft 转型为社区的 AI 工程中心，所以我们非常兴奋地在那里举办研讨会、活动和聚会，如果你想建议一些你最感兴趣的主题，让这些活动对你最有价值，请填写这份快速调查，同样，如果你有兴趣自己发表演讲或主持聚会，你可以告诉我们，我们今晚还有一个活动，我认为我们正在接近容量或刚刚达到容量，但我们今晚在 Loft 有一个与 Entropic 的欢乐时光，如果你还没来，我们已经满了，别担心，我们正在努力在接下来的几周和几个月里组织更多这样的活动，所以请留意它们，说到这里，我的演讲就结束了，这总结了成为一名 AI 工程师的五个实用步骤，让我们一起创新，我期待着，我很高兴看到你用 AI 构建的东西，非常感谢，请务必查看这里的其余会议，也请到外面的展位去看看，非常感谢，Anthropic 的 Alex Albert，好了，大家早上好，今天我想从一个故事开始，如果你愿意，一个简短的历史课，所以，坐下来，放松一下，我将带大家回到 1882 年，那是电气革命的黎明，世界上第一个商业发电厂刚刚开放，电力，这种令人惊叹的新力量，在制造业中风靡一时，人们声称它将改变一切，然而，在这个时期发生了一些非常有趣的事情，或者说，没有发生，你看，尽管电力在与当时的传统技术，如蒸汽机相比，具有明显的优势，但它并没有立即提高制造业的生产力，为什么呢？因为工厂老板只是试图用这种新技术替换他们的旧技术，进入一个过时的范式，让我们想象一下当时典型的工厂，所以我们有一台巨大的燃煤蒸汽发动机在一端，上面有一系列传输线，驱动着数百台以相同节奏运行的机器，这些传统的蒸汽动力工厂效率极低，你知道，如果一个站点需要电力，所有人都必须突然启动整个蒸汽发动机，它必须为所有站点供电，工厂布局由传输线的限制决定，而不是由对流程或工人最有利的因素决定，当电力到来时，许多工厂老板只是简单地更换了蒸汽
用电动的引擎，当然，你知道他们增加了一些灯光，而且，你知道，工人不必整天在燃煤炉旁辛劳。但工厂的根本局限性依然存在。所以这场真正的电气革命，它实际上直到我们从零开始，以电力为核心构想工厂时才真正到来。工厂开始变得灵活和适应性强。它们允许使用更小、更专业的工具。工人可以将他们的工具带到物品旁，而不必将物品搬回他们的工作站。整个制造过程变得更高效、更人性化、更具生产力。
现在，让我们快进一百四十多年到今天，你会发现我们正处于与人工智能和大型语言模型（LLMs）相关的类似节点。企业、初创公司、开发者都在将大型语言模型构建并集成到他们的产品中，但通常他们只是将其附加到现有的产品界面上，在左上角添加几个星形图标按钮，然后就收工了。这并不是我们在硅谷第一次看到这种情况。让我们回想一下移动技术首次出现的时候，对吧？公司只是简单地尝试将他们的网站缩小并放到手机上。直到我们从零开始，利用移动设备独特的特性，如始终开启的摄像头和GPS，重新设计了应用程序，我们才真正开始看到该领域的真正创新和普及。正是在那时，Snapchat和Uber等公司开始崭露头角。
所以，就像公司和工厂经历了“用电动引擎取代蒸汽机”的阶段，科技公司经历了“只雇佣几个移动网页开发人员”的阶段一样，我们现在正处于人工智能领域的“魔法星形图标”阶段。是的，这很有趣，但事实是，你不能责怪任何现在正尝试这样做的公司或开发者，对吧？就像我们所有人都在尝试这样做，但在许多方面，我们仍然处于早期阶段。大型语言模型是非确定性的，它们难以构建，它们与大多数开发者习惯使用的东西完全不同。可靠性仍然是一个问题，提示仍然需要一轮又一轮的优化，而且我们也才刚刚开始触及潜在产品机会的表面。到目前为止，除了文本框之外，还没有什么真正引人注目的东西。我们一直缺少一些东西，一些有点难以捉摸的东西。
但就在上周，我认为我们触及了一个潜在的新产品未来的表面，一个我们可以构建的未来。正如你们中的一些人可能已经听说，上周四我们发布了新模型Claude 3.5 Sonnet。3.5 Sonnet是我们新Claude 3.5系列中发布的首个模型，它只是一个中等模型，但它却比我们上一个最好的模型Claude 3 Opus更优秀。在我看来，Claude 3.5 Sonnet是目前世界上最好的模型之一，基准测试似乎也支持这一点。MLU、HumanEval、GPQ、工具使用——所有这些常见指标中，它在许多方面都处于同类产品的顶尖，尤其是在这些学术实验室类型的环境中。
但我最兴奋的是它在现实世界中的实际表现。该模型在RAG（检索增强生成）用例中表现尤为出色，这得益于其200K的上下文窗口，并且对整个上下文具有近乎完美的召回能力。在编码任务上，3.5 Sonnet似乎能更好地理解调试问题，它不像之前的模型那样容易陷入相同的循环。我们发现衡量更复杂推理链的最佳方法之一是拉取请求（pull requests）。它们有一个明确的任务，通常需要几个步骤来解决，而模型能够迭代地编写和测试，从而找到解决方案。在我们内部的拉取请求评估中，我们看到Claude 3.5 Sonnet得分达到64%，相比之下，Claude 3 Opus仅得38%。
3.5 Sonnet还拥有最先进的视觉能力。它在几乎所有我们测试过的基准测试中都显示出比Claude 3 Opus显著的改进，例如表格转录和光学字符识别（OCR）现在都轻而易举。我将这个表格传递给3.5 Sonnet，它基本上完美地复制了它并用Markdown格式呈现。嗯，可能你们无法阅读所有这些数字，但请相信我，我仔细检查过它们以确保它们都正确。当我开始试用这个模型时，视觉能力实际上是最让我惊叹的地方。感觉我们真的站在了解锁更多用例的最前沿。
而且，你知道，当你们听到我说了这么多时，你们可能会想：“Alex，那很棒，但如果我不能真正使用这个模型，那它就毫无意义。”你们说得对，我们也听到了你们的心声，这就是为什么3.5 Sonnet现在可以在RPI、AWS Bedrock和Vertex AI上使用。我们理解开发者在构建时需要选择，我们希望Claude能在任何地方供你们使用。
在定价方面，3.5 Sonnet比Claude 3 Opus便宜五倍。它每百万输入令牌仅需3美元，每百万输出令牌仅需15美元。3.5 Sonnet的速度、智能和低成本的结合，使其在你的应用程序中比Claude 3 Opus更经济实惠，更易于使用和嵌入。
但3.5 Sonnet并非我们上周发布的所有内容。我们还发布了一个新的产品功能，我认为它在启发开发者从零开始思考和构建AI产品方面更具启发性。它叫做“Artifacts”（工件）。Artifacts将Claude生成的内容与实际的聊天对话本身分离开来。这允许你与Claude协作处理从SVG到React网站的各种事物。当Artifacts与3.5 Sonnet结合使用时，它们变得非常强大。那些编码技能，加上推理能力，再加上强大的视觉敏锐度，共同带来了一种真正有趣的新产品体验。
它也是开发者最好的朋友，让你能够快速截取屏幕截图和Figma图表，并迅速将其转化为你可以直接使用的代码和组件。正如你在这段视频中看到的，我基本上只是从一个屏幕截图就克隆了整个cloud.AI聊天布局并用React实现。这个功能实际上已经“隐藏”了一年半多，现在才真正等待被发现。也许这条推文说得对，我们确实正处于大型语言模型生产化曲线的早期阶段，这实际上非常鼓舞人心。
Artifacts并非我们最近推出的唯一AI功能。周二，我们发布了“Projects”（项目）。Projects使开发团队能够通过将Claude的输出基于你自己的知识（无论是风格指南、代码库、转录文本，甚至是你在Claude团队计划中的过往工作）来更高效地工作和协作。你甚至可以在聊天中与所有Anthropic的队友分享这些项目。我们的工程师现在上传他们使用的代码仓库和文档，我开始看到人们实际上只是分享聊天记录和Artifacts，而不是Google Docs或网站文档。Projects是另一个很好的例子，它说明当你首先从大型语言模型和人工智能的角度思考时，你实际上可以开始构建与这些技术相辅相成，而不是感觉像现有功能的简单附加的产品体验。
现在，希望大家的创意产品灵感都涌现出来了，我想稍微深入探讨一下我们最近推出的API改进，以及那些能让你真正构建这些酷炫功能的东西。我还想预告一下接下来会推出什么，这将使你能够构建更多。
一个月前，我们发布了新的工具使用API（Tool Use API）。工具使用允许你为Claude提供自定义的客户端函数，然后它就可以智能地利用这些函数。工具使用还支持诸如一致的结构化JSON输出等功能，配合3.5 Sonnet。我实际上已经开始看到开发者在开发者控制台中一次性给Claude提供数百个工具。
在开发者控制台方面，我们也在不断迭代。我们添加了一个提示生成器，它使用Claude根据任务描述为你编写提示。所以你可以在这个视频中看到，我们输入一个任务描述，然后就生成了一个优化过的提示。一旦提示完成，你就可以直接在工作台中编辑它。你还可以看到，我们增加了对变量的支持，这样你就可以编辑提示模板，并测试像RAG这样的用例。最后，我们还在开发一个新的评估功能，目前它在控制台中带有Beta标签，我们计划很快分享更多关于它的信息并继续迭代。
那么接下来还有什么呢？嗯，目前我可以分享两件事。首先，你可以期待更多的模型：3.5 Haiku和3.5 Opus将在今年晚些时候推出。随着每一代模型的发布，我们都力求提高智能、降低延迟和降低成本。我告诉开发者的第一件事是，不要忘记以此为念进行构建：模型将在数月而非数年内变得更智能、更便宜、更快。当你规划产品路线图时，要有足够的雄心，相信在你的开发周期内可能会有新模型问世。
我们还在研究其他领域，例如可解释性。在我们最新的一篇名为《扩展单语义性》（Scaling Monosemanticity）的论文中，我们解释了如何能够在模型中找到针对不同主题激活的特征。一旦你识别出一个特征，你就可以限制它的值，并将其调高或调低，从而实际引导模型的输出。几周前，我们通过“金门Claude”（Golden Gate Claude）向Claude用户展示了这是如何运作的，这个版本的Claude显著增强了“金门大桥”特征。是的，这是粉丝最爱。我们目前还有一些Beta测试者正在试验一个“转向API”（Steering API），这允许开发者找到并限制特定属性的特征，并实际调高或调低这个“拨盘”，这再次让你除了通过提示之外，还能控制Claude的输出。我们希望在不久的将来也能将此功能推广给更多的开发者。
现在，如果这次演讲中的任何内容激发了你们的任何想法，我鼓励你们走出去，尽快构建并制作快速原型，以获得验证并启动反馈循环。为了提供更多激励，我们昨天实际上又启动了一项“与Claude共建”竞赛。它将持续到7月10日，前三名项目将各获得1万美元的Anthropic API积分。要查看更多详情，请访问下面的链接，它也在我们文档页面的顶部，所以你也可以在那里找到它。我会让它停留一会儿。
最后，如果你有任何问题，或者想了解更多我们正在思考的事情，我将在接下来的几个小时里在大厅尽头的AWS展位。你也可以在X/Twitter上找到我，用户名是Alex Alber，带有两个下划线。我确实会尝试阅读所有的私信，我在那个网站上花的时间太多了，所以也欢迎在那里提问。
至此，我想对大家说声非常感谢，并祝大家享受峰会的最后一天。
女士们，先生们，请欢迎LangChain的首席执行官Harrison Chase上台。大家好，今天我想谈谈代理（agents）。
由大型语言模型驱动的代理其实并非新鲜事物。ReAct论文于2022年10月发布，LangChain大约一个月后推出，而AutoGPT已经有一年多的历史了。对我来说，AutoGPT代表了代理炒作的顶峰，我实际上认为在那之后的几个月里，人们对它的兴趣有所下降，因为大家意识到通用的代理架构不够可靠，无法构建可投入生产的系统。
尽管兴趣有所下降，但我确实认为有一些非常有趣的工作正在进行。OpenAI的Assistant API在几个方面都非常新颖，我稍后会再谈到它。今年早些时候，我们推出了LangGraph。LangChain虽然也做代理，但它还做了许多其他事情。LangGraph是专为代理构建的。然而，这到底意味着什么呢？
LangGraph具有高度可控性和低级特性。正如之前提到的，我们发现这些通用的代理架构不够可靠，而那些将代理投入生产的公司正在构建自定义的认知架构，编码了他们希望代理行为方式的细微差异。这非常重要，因此我们使LangGraph具有极低的级别和高度可控性。它还带有内置的持久化层，这使得许多非常酷的“人在回路”（human-in-the-loop）交互模式成为可能，而且它是“流式优先”的，因为流式传输对于大型语言模型的用户界面非常重要。
需要强调的是，LangGraph可以与LangChain一起使用，也可以独立使用，并且与我们的测试和可观测性平台LangSmith无缝集成。LangGraph已经被我们许多出色的合作伙伴投入生产使用，这些合作伙伴包括GPT Researcher等前沿开源项目，Repet等开创性独角兽公司，以及挪威邮轮、Ally Bank和Elastic等大规模创新的上市公司。今天，我们很高兴地宣布LangGraph的第一个稳定版本，重申我们致力于构建一个代理架构，让您能够构建将代理投入生产所需的自定义认知架构。
但这并非我们正在推出的唯一产品。我想回到我之前提到的Assistant API。我认为它有很多非常酷和新颖的地方。它不仅仅是一个构建代理的框架，它还引入了基础设施组件。它内置了持久化功能，为你跟踪和存储消息，所以你不需要自己做这些。它有后台运行的概念，非常适合长时间运行的异步工作负载，并且允许你配置代理。
缺点是它没有让你完全控制认知架构应用程序。它带有一个特定的状态，它期望你的应用程序拥有一个消息列表，而且它有点僵化，不允许你轻松地做其他事情。
所以这让我们思考：如果我们把LangGraph（它允许你构建这些自定义认知架构）与这些通用的代理基础设施组件结合起来会怎样？今天，我们很高兴地宣布LangGraph Cloud，这是朝着这个方向迈出的一步。
有了LangGraph Cloud，你可以将用Python或JavaScript编写的LangGraph应用程序，无需任何更改，就能获得一个生产就绪的代理API。这个代理API拥有Assistant API的所有优点：它为你的LangGraph代理的任何状态提供内置持久化；它带有一个任务队列来管理后台运行；你可以配置图的不同实例来更改所使用的LLM或提示。
但我们也添加了一些让我们非常兴奋的其他功能。当你启动一个代理运行并发送一条消息，它开始执行大量工作时，如果你在它完成之前又发送了另一条消息，会发生什么？我们称之为“双重发送”（double texting），我们引入了四种不同的模式来处理这种情况。代理不仅可以通过聊天调用，也可以通过计划触发，LangGraph Cloud内置了Cron作业来轻松支持这一点。
我提到了“人在回路”（human-in-the-loop）。我们看到的一个非常重要的“人在回路”功能是能够在特定步骤之前中断。例如，如果你有一个工具，你真的希望用户批准访问，那么LangGraph Cloud就很容易提供断点，让你添加这个功能，并在获得确认后恢复。
这并非唯一受支持的“人在回路”功能。有了LangGraph Cloud和内置的持久化，你可以轻松回到代理轨迹中的任何一步，编辑它，然后从那里恢复。这支持了许多非常酷的“时间旅行”式功能，我们认为这些功能对于未来的用户体验将非常重要。
需要强调的是，LangGraph Cloud的另一个好处是它不受OpenAI的限制，并且支持任何你可以用LangGraph构建的认知架构。
最后，我想谈谈LangGraph Studio。我们认为LangGraph Studio是构建、调试和分享代理的最佳方式。
看看这段视频，你可以轻松地看到代理的图表，你可以调用它，获得所有步骤和令牌的流式输出。你可以回溯，修改步骤，编辑它，然后从那里恢复。你还可以添加断点，这样在未来的迭代中，你必须明确批准才能继续。
所以，我提到的所有那些“人在回路”功能，我们都将其内置到LangGraph Studio中，并提供了一个专门针对构建代理的开发者体验。
LangGraph Cloud目前处于私有测试阶段。我们很高兴能与前沿公司合作，找出如何可靠地部署代理。我们认为像LangGraph这样能让你完全控制应用程序认知架构的框架只是其中一部分，我们坚信每个人都应该构建自己的业务逻辑，将其融入其中，这在某种意义上就是你的护城河。然而，我们也认为有一些通用的基础设施组件会减慢产品上市的速度，而这正是我们希望通过LangGraph Cloud来构建的。谢谢大家！
好的，大家觉得开幕主题演讲怎么样？是的，非常棒！我想快速介绍一下即将开始的几个分会场，这样我们就可以了解一下。
首先是“代理”（Agents）分会场。吴恩达曾有名地表示，人工智能代理在2024年可能会比下一代前沿模型带来更大的进步。我们的主持人，来自MLOps社区的Demetrios，刚刚在隔壁组织了他自己的人工智能质量大会，并带来了他的尤克里里，将引导我们构建团队、工厂和人工智能代理。请在14至15号沙龙加入他，前往那里请到AWS展位，然后在大厅尽头右转。
接下来是“评估与大型语言模型运维”（Evals and LLM Ops）分会场。人工智能工程师应该构建真正的护城河，而不是GPT-4的包装器。Twitter喜欢那些粗糙的最小可行产品（MVPs），但严肃的人工智能工程意味着编写出色的评估，并建立良好的运营纪律，以便你能够更好、更快、更便宜地交付产品。你可能认为我们的分会场赞助商Galileo AI提供了一个UI生成平台，但你可能会惊讶于他们如何交付那些用于交付平台的评估。说起来真拗口，这是Swyx的文案，我第一次读到它。所以请在2至6号沙龙加入Osman，就在你身后的门外左侧。
在我们去年的峰会上，OpenAI推出了多模态人工智能年，带来了视觉和图像生成。今年，GPT-4o只是众多前沿模型之一，我们将用它来推动设备端视觉、实时文本转语音、角色模拟和课堂教育等应用。其中一位分会场演讲者Ben Higher曾在Apple Vision Pro上从事人工智能工作，他的联合创始人Alexis将引导我们进入多模态的黎明。请在这里，在7号沙龙加入她。
人工智能工程师大会汇聚了GPU资源丰富和匮乏的工程师，我们很高兴能向那些正在创造它的人学习最先进的技术。我没有机会预演这段，但进展顺利。我们的主持人Nyla曾在Nvidia和Convey担任产品经理，她很高兴能加速我们在GPU和推理领域顶尖团队的学习。由于日程冲突，我们还有昨天分会场的两场演讲：来自Cognition（又名Devin）的Scott Wu谈Co-gen，以及Google Gemma的Kathleen Cannell谈开放模型。请在这里，在8号沙龙加入Nyla和她的演讲者们。
最后但同样重要的是，人工智能领导力分会场的第二天将解决人工智能副总裁的更多需求，包括理解企业级RAG、构建安全、隐私和合规保障方面的评估、招聘和发展人工智能工程组织，以及来自Cohere和Twilio的案例研究。提醒一下，这个分会场专供佩戴绿色挂绳和绿色徽章的人工智能领导力分会场参会者。因此，如果在会议开始时有空位，我们可以让佩戴蓝色徽章和蓝色挂绳的演讲者进入，但其他任何人，请不要尝试参加这些会议，这些是专属会议，否则你将被安保人员请离现场。请不要让我们这样做。如果你想参加明年的这些会议，门票在那里供你购买。所以这些会议在大厅对面的B到D沙龙举行。
嗯，所以在这场演讲之后，我们还有一些活动。我们有上午10:30到11:10的展览和展览会议。然后是上午11:15到12:15的分组讨论环节。之后我们将享用午餐。我们还有更多的展览和展览会议。然后是HF Zero，他们将举办一个演示日，那将在2到7号沙龙举行，就在门外。然后我们还有更多的展览会议。之后，我们将在下午4点到5点回到这里进行闭幕主题演讲，其中包括GitHub的首席执行官Thomas Dohmke。
但我相信，如果演示之神眷顾，我们今天可能会有一位特别嘉宾。Tim，我们准备好了吗？哦，嘿，你好，这是谁？嘿，大家好，请大家欢迎Swyx！来自新加坡。他正在现场观看，现在是我们的凌晨1点。好的，Swyx，很高兴你能加入我们。Ben，情况怎么样？我们想不想给这里的人们更多背景信息？嗯，安排演讲者很难，尤其是在他们忙着发布Gemma 2的时候。把这一切组织起来是一次有趣的经历。我希望每个人都玩得开心，我希望这些演讲引人入胜。我真希望我能和你们在一起，我们非常想念你。我知道很多人长期以来都以为你不能来是个玩笑，所以我真的很高兴你支持我们。这家伙在所有事情上都非常有帮助，就像你在这里看到的所有会议，他都在策划，当然还有他朋友们的帮助。
但是，从远处看直播是什么感觉？你有没有时间看直播？你有没有看任何演讲？是的，如果有人正在看YouTube直播，那聊天室里就是我，和大家一起闲聊，有时会说一些我后悔的话。但能作为观众之一，这非常有趣。我的梦想一直是能真正参加这些会议，只是作为一个旁听者，什么都不知道。我想即使作为核心组织者，也有点太多不知道的事情了。但尽管如此，这仍然很有趣。我认为从这次活动中吸取的教训将使我们能够实施许多程序和政策，从而使我们的组织任务更加顺畅。而且我认为，既然我们已经证明了这种模式，我们现在可能会有更多的预算。
那么，在我们进入最后一天之际，有什么临别赠言吗？是的，我的意思是，有很多精彩的演讲。我个人对所有这些都感到兴奋，我无法挑选最喜欢的。之后我会在直播中补看。而且我认为还有一些派对，对吧？我确定社交日程是怎样的。有很多派对，我想它们都应该在主页上，主页现在变得非常长了。是的，我们把它们放到Slack上吧，大家都在Slack上吗？我们也把它们放到Slack上吧，我们会把它们放到公告或通用频道里。是的，而且我想，我想我恢复了2025年的网站。在你上台之前我把它弄坏了，因为我告诉你我要更改URL，然后我们没有更改二维码，所以再试一次。这就是我弄坏它的原因。我以为是我们的二维码提供商突然流量激增，然后他们就把它切断了。有趣，不，是我的错，Swyx要为演示之神负责。Swyx是演示恶魔。
好的，非常感谢你的出现。很遗憾你不能和我们在一起，但很高兴能与你合作举办这次活动。让我们为Swyx鼓掌！
现在我们要休息了。我们将在下午4点回到这里，但在此之前请享受分组讨论。再见。
嗯，所以你最终会陷入麻烦，所以，嗯，这有点重要，我将用几分钟的时间更技术性地深入探讨如何进行合成数据，所以请耐心等待一下，我们会再回到这里，这是一个如何不做的例子，嗯，Coco 是一个数据集，它有大约 20 万张图片，每张图片有五个简短的描述和一堆嗯对象标注，比如嘿，这里有一辆自行车，这些坐标等等，假设你想利用这些简短的描述和这些对象标注来生成包含此处所有信息的联合的更详细的字幕，如果你只是天真地用这些信息调用 GPD 4，它会生成这个，不必阅读所有内容，但有两件重要的事情要注意，第一件事是它会产生幻觉，它说在第二段中，港口右侧附近有一个人，我认为那里有一个人，那里有大约五像素，可能是柱子，也可能是一个人，我们不确定，这是因为对象标注不好，但除此之外，嗯，模型在这里也采取了很多创意自由，比如说有五个耶茨脱颖而出等等，所以你需要对你的数据进行一些预处理，然后再将其输入模型，这是另一个例子，有一个来自谷歌的数据集叫做本地化叙事，这里的任务标注员，标注员被要求口头描述这张图片，当你描述图片时，你的鼠标会悬停在你正在描述的图片部分，所以它很好，因为它鼓励人们创建非常详细的描述，捕捉图像中的空间位置，所以例如这里说前面的女孩在弹吉他等等，空间推理是视觉语言模型通常会遇到的问题，我最终不得不建立一个相当复杂的数据处理管道来获得非常好的结果，这里不需要深入细节，但需要注意的是，它变得非常昂贵，每张图片最终需要 20 次 LLM 调用，这里的 LLM 是 mixw 8x7，所以它变得相当昂贵，但这是必要的，训练数据是模型性能方面最大的推动者，因此，我可以说我们在生成训练数据上花费的计算量比实际训练模型本身多一到两个数量级，所以是的，这个特定的数据集我们已经开源了，它可以在 hugging face 上找到，这里有一个例子，它为这张图片生成的问题类型，在最后有一个有趣的问题，孩子对图像中快乐的存在有什么理论？我稍后会谈到，但基本上你想生成一些干扰问题，这样模型就知道不要总是同意用户提出的问题，所以是的，处理合成数据涉及一些挑战，我早期有一个有趣的事件，一个用户说嘿，我问了一个相对简单的问题，为什么模型无法回答这个问题？当我查看它时，发现他们没有大写问题中的第一个字母，而模型在训练中从未见过这样的东西，所以我说我该怎么办？所以确保你的训练数据与你的真实世界查询具有大致相同的分布非常重要，所以我们最终增加了一个额外的步骤，我们在训练模型之前人为地注入大写问题和拼写错误等，还有一个我们称之为模型崩溃的风险，即你的模型会产生偏差，例如，如果你试图让 Mi 生成干扰问题，它只会生成一个与图像完全无关的问题，它总是会生成关于恐龙和外星人的问题，所以如果你用那个训练你的模型，它会学到嘿，如果问题是关于恐龙和外星人的，总是说不，这并没有真正帮助，所以你需要在这个合成数据生成过程中注入一些熵来避免这种情况，在合成字幕的情况下，你可以做一些事情，比如嘿，描述这张图片，但也考虑图片上的 alt 文本，它可能没有，可能相关，但如果相关，则使用相关的这个事实，这通常很有帮助，好了，回到正题，在过去的三个月里，我有一些重要的学习经验，我想与大家分享，第一个是社区在整个过程中起到了关键作用，我们从员工那里获得的最初参与让我意识到，嘿，也许这比我正在开发的 QA 测试应用程序更有价值，因为很多人需要它来构建这样的应用程序，来自一家企业公司，这非常有价值，能够直接与客户交谈，就像有人在推特上发私信一样，然后说嘿，我刚看到你在找这个，你怎么看？但这也有助于我们与许多合作伙伴、导师建立联系，并获得社区的大量支持，开源至关重要，我在这里别无选择，因为竞争是免费的，我能做什么？但是当你处于开发工具领域时，这非常重要，开源对许多开发者来说很重要，他们希望能够在不同的环境中运行它，这对许多企业用户来说也很重要，在很多情况下，他们不想自己运行软件，但拥有这个选项对他们来说非常重要，因为他们的大多数企业都遇到过供应商破产或决定以其他方式欺骗他们的情况，这对于我们参与进来也至关重要，社区中有许多人帮助将其移植到不同的平台，在网络浏览器中运行模型等等，所以这对我们来说非常有价值，这一点有点争议，不确定每个人是否都同意，但我坚信安全护栏应该在应用程序层实现，而不是内置到模型本身，这是我第一次尝试使用 GPT 4B 构建 QA 测试应用程序时学到的东西，该应用程序拒绝包含人类的任何图片都没有意义，我理解他们为什么觉得这很重要，开发工具是 B2B2B，而不是 B2C，所以让开发者更容易决定他们想要什么护栏并将其实现到他们的模型中，而不是为所有用户决定，我并不是说这不重要，如果你想构建一个助手，将这些东西直接内置到模型中是有意义的，但当你为开发者构建时，意义不大，是的，我现在坚信小型模型将统治世界，在计算机视觉领域，可能比在文本模型领域更甚，效率非常重要，在很多情况下，你非常担心成本，因为你每秒处理 30 帧的视频，每秒 0.7 美分会迅速累积，而且没有多少余地，但也有一些情况是你非常担心隐私或延迟，因此你想在需要做出决策的地方附近运行模型，这并不是说大型模型没有用，我认为它们非常有用，我只是认为我们大部分时间都会在开发环境中使用它们，也许用于生成训练数据，但你想要部署的产物很可能是较小的模型，另一件让我有点惊讶的事情是人们对 mream 的不同用途，有很多人在构建以前不可能实现的新应用程序，因为模型能够理解语言和图像，但也有很多人在使用该模型进行传统的计算机视觉任务，比如场景中是否有人？或者有什么可疑的事情发生？告诉我这张来自路边摄像头的图片中的巴士在哪里？所有这些在拥有 Transformer 之前都可以做到，比如训练一个 YOLO V3 模型等等，我从中吸取的教训是，提示比训练自定义模型提供了更好的开发者体验，所以对于许多有兴趣将视觉集成到他们的应用程序中的开发者来说，以前他们会想，你知道吗，不值得我花两周时间学习如何收集数据、标注数据和训练我自己的自定义模型，给他们一个选择，让他们说嘿，以相对便宜的价格，你只需用英语描述你想要从这张图片中提取什么，就可以让他们现在考虑这样做，好了，我想我还有点时间，所以我很兴奋地进行现场演示，如果演示之神保佑我的话，但我们会看看，总之，是的，Moon dream 将走向何方？我们不是 AGI 人，我非常专注于让开发者能够轻松地用视觉构建出色的应用程序，我目前正在研究一些模型改进，我现在就谈谈一些，现在我们使用 729 个 token 来表示一张图片，所以你一次只能真正发送一张图片给模型，我们正在努力让用户可以选择给模型一个更压缩的表示，如果你不试图从图像中读取文本或其他内容，这很有意义，如果你只是想进行分类等等，这会使模型运行得更快，这很重要，特别是如果你使用的是 CPU 而不是 GPU，GPU 无法做那么多，CPU 无法做那么多并行计算，所以这类事情最终非常重要，我们刚刚也完成了一轮种子轮融资，来自 felis Ascend 和 GitHub 基金，我忘了在幻灯片中包含它，抱歉，这意味着更多的 GPU，但更重要的是，这意味着我终于可以睡个好觉了，因为我们能够再招募几个人加入团队，如果你有兴趣，请联系我们，网站上有联系邮箱，或者在 Twitter 上联系我，我们今年夏天晚些时候还有一个令人兴奋的版本即将发布，我对此非常期待，所以请继续关注，我想差不多了，我还有几分钟时间，所以我要尝试做一些可能不是最明智的事情，但我们会看看结果如何，好了，我关闭了 Wi-Fi，这一切都在本地运行，所以这个要做的是，它将开始接收我的网络摄像头，并以无限循环使用 Moon dream 来描述它看到的东西，我们可以问它不同的问题，所以我们会看看结果如何，是的，你可以问它不同的问题，所以让我们说，这个人戴着眼镜吗？你确实需要告诉模型简短地回答，如果你想要一个是或否，否则它会给你一个，用一个词回答，我们试试看，是的，好的，我摘下它们，我看不见它了，它做到了吗？[掌声] 它做到了，我回到旧的提示，[掌声] 好了，这就是我的全部内容，谢谢大家，非常感谢 Vic，我们非常激动地欢迎下一位演讲者，Ben hilac，他是 Dawn Analytics 的创始人之一，他将谈论无界产品时代，大家好，嗯，我想我确实有这个，我不需要那个，我非常激动今天能和大家在一起，我认为这是可能是世界上最酷的 AI 会议，在一个如此激动人心的历史时刻，我认为尤其对于 AI 产品来说，如果你还不认识我，无论是通过 Twitter 上的演示，还是有时可能不明智的辛辣观点，我的名字是 Ben hilac，我是 Dawn 的创始人，在 Dawn，我们帮助一些世界上最好的公司，从 GitHub 到罐头汤，构建更好、更可预测的 AI 产品，我一生都非常痴迷于构建和设计无界产品，所以无界产品就是以某种方式超越鼠标、显示器的产品，对我来说，这始于机器人技术，当我还在读八年级的时候，第一个是，最终是 SpaceX 的火箭，这些都是非常无界的产品，然后最近，我在 Apple Vision Pro 的设计团队工作了四年，我们设计了 vision OS 的第一个版本，我认为 AI 使产品比以往任何时候都更加无界，你可以打字，你可以说话，你可以展示图片或视频，就像我们刚才看到的，你也可以恳求，你可以讨价还价，你可以倾诉，这些是非常有趣的输入模式，这种无界性常常使产品变得不可预测，令人困惑，难以理解，用户认为你的产品可以做一些它不能做的事情，他们尝试做这些事情，但不起作用，然后他们就离开了，认为它甚至不能做它不能做的事情，当你与人们交谈时，尤其是与不在这个房间里的人交谈时，他们如何使用 chat TBT，他们如何学会使用它，通常是口碑相传，他们听到他们的一个朋友说他们用它来规划旅行，然后他们就用它来规划旅行，我们中的许多人，尤其是在这个房间里，尤其是技术更强的人，我们通常通过反复试验来学习，我们不断尝试，不断尝试，不断尝试，因为我们知道这些模型很棒，我们知道它令人印象深刻，但很多人不是，他们不做反复试验的事情，他们尝试一次，不起作用，他们就不再尝试了，所以这次谈话是关于制造好的 AI 产品，为此，我将只涵盖三件事，这三件事是过去，产品是如何变得更加无界的，以及过去对无界产品有效的经验，现在，今天的 AI 产品，有哪些好的和坏的设计模式，然后第三点是未来，所以再次，只有三件事，只有过去、现在和未来，很简单，我们将从过去开始，我们使用的大多数软件都显示在屏幕上，你主要通过滑动、点击和触摸来使用它，当你点击某个东西时，开发者期望发生的事情就会发生，这取决于你作为开发者的好坏，用户很容易理解你的应用程序可以做什么，他们看到按钮，他们就明白了，你也很容易理解你的用户在做什么，你只需在按下按钮时添加一个 amplitude 或 mix panel 调用，你就能看到他们做了什么，所以如果你想到过去两年最大的变化之一是多点触控，这就像，而不是一个指针，你有两个，但仅仅通过添加第二个指针，你就可以获得相对距离，你就可以获得旋转，仅仅是这个小小的改变，就基本上使智能手机成为可能，就像让使用这么小的屏幕变得容易一样，现在它变得越来越疯狂了，就像我们到处都有无界产品，产品如此无界，你有软件，你知道，在旧金山的街道上自由游荡，被愤怒的暴民攻击，所以这变得越来越疯狂，所以我想稍微谈谈我参与设计的一个无界产品，那就是 Vision Pro，我想谈谈我们在设计它时学到的三课，这些课从外面看并不那么直观，我认为有界产品通常由这个“如果”问题定义，就像我们开始的时候一样，“如果”用户陷入最疯狂的境地，所以像这样简单的事情，哦，好吧，如果有人在客厅里，然后他们搬到卧室，然后躺在床上，你的应用程序应该发生什么？如果你设计的是笔记本电脑上的 Mac OS，你就不必担心这个问题，但这是我们必须考虑的事情，还有数百个类似的问题，如果有人在飞机上怎么办？如果有人在朋友旁边怎么办？如果有人有某种残疾怎么办？比如，他们不能移动，他们不能转动脖子，他们卧床不起，所以所有这些“如果”，我认为这就是无界产品，我们所有构建 AI 产品的人都在不断思考，哦，就像，如果有人输入这个，如果有人输入那个，还有评估等等，所以没有结构，你就只有混乱，你有一张空白的画布，你有很多“如果”，无限的可能性世界，所以作为产品设计师，我们有责任增加结构，结构创造了清晰度，所以再次，我想谈谈我们增加结构的三种方式，第一种是突出重要的东西，并快速完成，你在 Vision OS 中看到的第一件事是主屏幕，它有应用程序，有联系人，有环境，所以这些是我们认为在使用 Vision OS 时很重要的事情，所以它们是你首先看到的东西，这可能听起来并不新颖，在很多方面也是如此，这和你 iPhone 上发生的事情一样，但当你将其与之前的 VR 产品进行比较时，很难理解你实际上是如何，你知道，这个东西有什么用？当你看到这个菜单时，第二点是层次结构，层次结构赋予无界产品形状和目的，它帮助用户理解它有什么用，他们应该用它做什么，所以再次，我们有主菜单，这是 Vision OS 的起点和终点，我们有窗口，它们有边界，你可以调整它们的大小和移动它们，任何单个窗口都可以全屏，所以这是我们的层次结构，最后一点，非常重要，也是让无界产品感觉熟悉的最简单的方法，抱歉，直观，我有点超前了，是熟悉感，这是我们在构建 Dawn 时遇到的事情，我们第一个原型是这个星团的东西，你可以探索它，非常有趣，现在它看起来更像这样，这些是表格，我们有图表和例子，再次，只是结构，清晰度，我认为这并非巧合，你知道，Vision OS 上的电视应用程序看起来很像 tvos 上的电视应用程序，这不是巧合，也不是懒惰，当人们处于未知领域时，你想给他们尽可能多的家的迹象，控制中心也是如此，当人们看到 Vision OS 时，他们已经知道如何使用它了，所以再次，这三点，突出重要的东西，将其放在最前面，建立层次结构，然后利用熟悉感，好了，这就是过去，现在我们将谈论现在，特别是我们将谈论 AI 产品，我们将谈论产品如何以好的和坏的方式将结构融入其 AI 功能，非常重要的是要注意，正确的结构对于你的应用程序来说非常独特，这就是重点，它赋予你的应用程序形状，帮助你的用户理解它实际上是做什么的，所以让我们以 dot 为例，dot 是一个伴侣，dot 是一个日记，至少对我来说是这样，所以他们增加的结构是，如果你捏一下，你可以看到每一天都被分开，感觉很像日记，如果你点击一个人或两个人，在这种情况下是我的联合创始人，我可以看到关于他们的结构化信息，在时间线上，每次我提到他们给 Dot 时，所以再次，你从聊天中提取结构，lexity 很好地利用结构来使他们的体验感觉更像搜索引擎，而不是像 chatbt，而不是像你正在进行的对话，他们通过，你知道，将你的标题，你知道，你的查询放在顶部作为标题，突出显示它来自的来源，然后在下面给出答案，然后让它占据整个页面，无论如何，这使得它感觉更像一次性，而不是来回的对话，现在我想谈谈我看到的一种反模式，这是在 versell 的聊天机器人演示中，我认为 versell 在整个世界上做了最酷的设计工作，我不喜欢这个，这是关于几乎短暂的 UI 的想法，但又在聊天流程中，我理解它的吸引力，所以实际上，如果我们回到这里，抱歉，这是一个视频，我想展示，你知道，你有一个滑块，所以你不需要，你询问，你想购买 Doge，它向你展示了这个 UI，所以你可以精确地调整数量，而不是通过文本来完成，它，你知道，可能很好，问题是，当它卡在这个非结构化的东西中时，它就开始飘走了，当我尝试提出后续问题时，然后有时我甚至有两个，我回到第一个，我按下购买，现在我正在与一个完全不同的东西互动，它让我想起了“房子向上”的感觉，它只是向上，向上，远离，所以与其试图将结构化的东西放入这个非结构化的东西中，我认为答案是把它拉出来，把它拉到一边，这意味着随着对话的继续，你可以更新这个结构，而不会破坏用户的位置，这正是 Claude 所做的，他们称之为 artifacts，我认为它如此成功的原因是，他们将你正在处理和迭代的应用程序的结构从实际对话中分离出来，所以当你进行更改时，你甚至可以在版本之间切换，而无需滚动对话，所以它很漂亮，而且它确实带来了另一件我认为对 AI 应用非常有效的事情，那就是这个版本控制的概念，这实际上是原始 chat CPT 功能之一，这有点疯狂，但如果你编辑一条消息，你可以切换版本，而且它实际上维护着整个树，非常复杂，但非常强大，v0 versel 再次做了令人惊叹的事情，它感觉非常熟悉，几乎就像你在使用 Google Slides 或类似的东西，但你可以回去并继续迭代 UI，而不必担心丢失任何东西，所以再次，版本，我认为熟悉感是无界产品最重要的东西之一，我认为 Claude 在这方面做得非常出色，再次，我在这里吹捧他们，但 chbt 在你所有的聊天中引入了记忆，完全无界，所以当我告诉它一些关于，你知道，我正在处理 JavaScript 时的一些医疗问题时，它就知道，这对我来说非常奇怪，我认为这个项目以及项目结构的理念非常熟悉，所以跨项目共享上下文更有意义，代理是大多数人非常陌生的东西，以及这个拥有，你知道，所有这些不同的任务，你正在输入数据，在步骤之间，但你知道，熟悉的是电子表格，电子表格非常熟悉，对我来说不是，但对很多人来说是，我认为在世界上，我看到的代理的唯一真正用途是电子表格，这是 Clay，每一列基本上是代理正在采取的一个步骤，用户正在定义，所以它在整个过程中建立上下文，跨越电子表格，每一行，它通常几乎是，你这样做就像一个评估，就像你运行前 10 行，然后运行接下来的 50,000 行，100,000 行，所以你做对了，你最终会在最后一列得到一个个性化的电子邮件，但在此之前有所有这些步骤，接下来我认为对于帮助人们理解你的应用程序是做什么的，以及跳过所有提示技巧、提示工程的噪音非常有效的是示例和预设，我认为 Chachu 是第一个这样做的，他们有这些消息来安慰朋友，计划一个轻松的一天等等，vzer 在这方面做得非常出色，我们不仅有这些建议，而且他们还有一个探索页面，你可以看到其他用户在做什么，什么实际上有效，再次尝试，你知道，这个提示，你知道，空白画布问题，Notion 也是如此，他们有一个简单的菜单，你可以改变文本的语气，而不是像，你知道，你是一个非常简洁的 GPT，等等，所以你只是在使用这些经过验证的、经过证明的东西，Notion 可以验证，而最后一点将我们带到未来，界面将来会走向何方？lus 去年做了一个很棒的演讲，他将提示工程描述为试图从后座用泳圈驾驶一辆骆驼，我认为这是他的比喻，这有一些真实的道理，所以我认为首先，未来将会有更少的提示工程，我们已经看到了，我们已经看到了生成图像，你知道，Apple 设计的方式，你混合搭配这些不同的概念，你能够，你知道，Twitter 上有很多演示，人们基本上，你正在以更直观的方式在情感之间切换，然后就在昨天，Figma 发布了调整文本语气的方式，你可以在专业、休闲、扩展、简洁之间切换，但问题是，休闲意味着很多不同的事情，休闲对于一家财富 500 强的公司来说，以及一个，你知道，直接面向消费者的化妆品品牌，在 TikTok 上投放广告，这些都非常不同，与你最好的朋友或同事交谈时的休闲，这些都不同，那么我们如何避免在提供这些预设时过于简化呢？答案是你只需要，我不知道我在这里放了多少个零，你只需要将预设的数量乘以一百万倍或十亿倍，所以你有足够的预设来处理一切，我认为稀疏自编码器提供了一条非常有希望的途径，所以如果你尝试过 Golden Gate CLA，你可以识别出 Golden Gate Bridge 的一个特征并放大它，它会让 Claw 痴迷于桥梁，特别是金门大桥，或者金门大桥，我的朋友 gdus 有一个很棒的演示，用于操纵图像，所以你可以在这里看到，他正在增加光影的播放量，增加宁静的森林溪流或威尼斯运河的量，再次，一种非常可控且可预测的方式，好的，但现在我们有了数百万十亿个选项，我们如何避免过多的选项？我认为这涉及到第三点，即排名预设，这些预设是个性化的、可搜索的，甚至可以通过自然语言调用，它们甚至可能不会直接对用户可见，用户输入类似“更友好”的内容，然后你就会调出相应的预设，比如你有多近，有多对抗，再次，他们可能直接编辑它，也可能不编辑，这就引出了最后一点或倒数第二点，即开发者定义的个性化，一旦你能够定义这些特征，你就可以开始为每个用户进行调整，以文本提示今天无法做到的方式，因为文本提示就像这个脆弱的纸牌屋，如果你删除一个词，整个输出都会改变，所以你能够为每个用户进行调整，最后一点，尤其是当你开始你的应用程序时，它将变得越来越不同，每个用户都将从评估转向分析，我认为对于很多领域来说，不会有一些客观正确的答案，比如谁是第一任总统？是的，但对于特定用户来说，总结的正确语气，我不这么认为，所以我认为越来越多的是关于你如何理解你是否满足了用户的需求以及他们所要求的东西，所以，就是这样，非常感谢，哦，是的，我们将跳过这个，非常感谢你，非常感谢 Ben，现在我们很兴奋地欢迎来自 Caria 的 Karan Goyle，他将谈论状态空间模型，大家能听到我吗？太棒了，我们看看我能不能跟上 18 分钟的进度，很高兴来到这里，我是 Curran，我是一家名为 Cesia 的小型公司的 CEO，这是一家成立了 8 个月的小公司，我将告诉你一些我们正在做的事情，并尝试描述一些我们在多模态智能出现时看到的一些挑战，以及我们如何计划解决它们，并希望实际展示一个演示，如果 Wi-Fi 可用的话，所以也许稍微设定一下背景，过去四五年的 AI 主要集中在这个批量智能的概念上，这基本上是构建一个能够长时间推理问题然后解决问题的 AI 系统的核心，所以你可以考虑数学问题或物理问题，这些问题很难，有很多应用实际上需要的是流式系统，它们是实时的，它们即时工作，所以想象一下生成视频、音频或对传感器流进行理解应用等等，所以它一分为二，有两种不同的应用类型，就像通常有批量工作负载和流式工作负载一样，所以我们过去几年看到的大部分内容都集中在批量 API 上，你调用云中的模型，需要几秒钟，然后你就会得到一个相当好的响应，现在我们看到一些转向更多实时应用的转变，在那里你将不断地查询模型，并要求它以低延迟返回响应，然后利用这些来整合或生成信息，我认为这个领域非常令人兴奋，因为它将对许多有趣的应用程序产生变革性影响，这些应用程序到目前为止实际上并不一定是过去几年我们看到的大部分内容的主要焦点，所以对话式语音就是一个例子，你应该能够与系统互动，然后与它交谈，它应该能够理解你并代表你完成各种任务，这类似于拥有设备上的助手，它们可以非常高效地运行，低功耗，随时随地，无论你是在手机还是笔记本电脑上，然后是世界生成，就像你可以想象一个实时生成游戏，类似于图形如何在 GPU 上渲染一样，所有这些都应该能够实时在低功耗的手机上，MacBook 等上发生，机器人技术是另一个很好的例子，它汇集了所有这些，在一个设备上，它试图理解世界上的所有东西，所以我认为这就是令人兴奋的交叉点，即我们如何使智能更快、更便宜，以便我们可以将其应用到几乎所有地方，以及一些非常强大的实时智能的例子，对于对话式界面来说，这将非常有趣，因为你应该能够拥有一个代理，它可以为问题提供客户支持，回答有关健康保险的问题，你知道，打电话给你的供应商来取货，所有这些协调任务通常很烦人，应该被自动化，并且实时智能代理应该完成它们，然后人类可以花时间解决更难的问题，这些问题更有趣，在客户支持方面，这可能是处理，你知道，那些对客户来说更重要的客户，因为他们很生气，或者他们更有价值，等等，同样在机器人技术中，有一个概念，就像人类一样，摄入音频、视频、传感器数据，然后立即响应所有这些信息，所以我认为这就是我们应该生活的世界，所有这些智能模型都运行得非常快，它们看到了所有这些不同的问题，并且它们能够真正地，你知道，驱动这些以交互为核心的新体验，这就是我们介入的地方，我们正在构建这些实时基础模型，所以，我将谈论的一些内容是我们为如何创建深度学习模型所做的真正新想法的工作，我之前做了博士研究，我与这里的许多人一起进行了博士研究，克里斯是我们的博士导师，我们非常专注于这个想法，你应该能够拥有一个模型，它可以在信息进入模型时压缩信息，并利用它来真正构建核心是流式传输的强大系统，我将稍微谈谈这个，但这就是我们过去四五年一直在使用的技术，我们一直在学术界开发，有些人可能听说过 Mamba，这是一个更近期的迭代，你知道，我做了博士研究，研究了一些早期迭代，没有人使用，但它们是现在更广泛使用的现代事物的先驱，现在我们在 Caria 所做的是，基本上是利用这一点，并试图理解我们如何改进它，我们如何突破架构可以做什么的界限，我认为这是一个有趣的问题，因为我们不应该满足于只有一种做事方式，我认为这是一种糟糕的思考未来方式，所以我们的方法是，让我们思考设计模型的新方法，这些方法不一定基于，比如说，Transformer 架构和现在普遍存在的深度学习标准配方，我认为这归结为高效地建模长上下文是一个巨大的问题，因为你知道，许多实际数据都是非常长的序列数据，我认为文本可能是最不有趣的，长序列数据，因为文本实际上已经相当压缩了，你知道，你在两分钟的文本或两句话的文本中有很多信息，但还有其他领域，你知道，音频、视频等等，那里有如此多的信息，你知道，想象一下看一天的安全摄像头，你可能会有如此多的信息进入系统，而只有很少的部分是有用的，所以压缩是智能的基础，因为我们能够做到这一点，我们可以查看所有这些信息，然后将其压缩成任何需要记住或理解的内容，我认为到目前为止，我们看到的是，我们构建的 AI 系统不一定表现出相同的行为，它们不是基于压缩原则，而是基于检索的想法，保留所有上下文，然后利用它来推理你看到的所有信息，所以我认为，我们的观点是，只要你在这个范式下工作，多模态 AI 仍然会很困难，因为如果你试图思考人类一年做什么，你基本上会处理和理解大约十亿个文本 token，一百亿个音频 token，这些是我做的粗略计算，以及大约一万亿个视频 token，可能低估了我们处理的视频量，还不包括你正在处理的所有其他感官信息，而且你同时进行，而且你是在一个适合你大脑的计算机上进行的，而且你，你知道，有时不吃不喝，而且你仍然运作良好，所以你知道，系统可以有可变的功率量，所以我认为智能已解决的想法离真相很远，因为人类是一个极其令人惊叹的机器，它以一种非常压缩的方式做一些非凡的事情，而我们的 AI 模型做不到，所以我认为这就是我们每天起床的原因，我们思考这个问题，然后我们说，是的，我们离应该在的地方还很远，而今天最好的模型在，你知道，一千万到一亿个 token 的范围内，所以这非常好，取得了很大进展，但实际上这就是我们所追求的，如何构建这些长寿命的机器，它们能够真正地在很长一段时间内理解信息，我认为很酷的是，就像人类一样，你可以毫不费力地记住 30 年前发生的事情，你不需要做 rag 或检索或其他任何东西，你只是，你知道，你记住了它，它存储在你的大脑中，然后你就能弄清楚，所以我认为这是我们应该能够放入我们的 AI 模型中的一项非凡能力，所以今天模型的一些大问题是，你知道，它们是基于 Transformer 构建的，非常优化数据中心，我认为，我们看到很多工作，这些工作是关于次二次模型，所以上下文长度的二次缩放，实际上意味着，你知道，处理长上下文所需计算量非常大，所以目前主要的做法是投入计算来解决这个问题，然后希望它能够扩展，显然计算是拼图的重要组成部分，因为你需要更多的计算来做更困难的事情，但这种方法，因为二次缩放实际上与，你知道，非常大的多模态上下文和文本上下文往往较短，多模态上下文会变大，因为你进入系统的信息 token 要多得多，所以这将是这些模型的一个大挑战，尤其是如何高效地进行推理，所以你不会，你知道，为了进行相当有限的推理而烧毁数据中心，就像你必须想象我们正在进行一千倍或，你知道，十万倍的推理，然后，如果模型以相同的方式扩展，它将非常非常非常昂贵，所以你将无法轻易地渗透到我所谈论的所有这些应用程序中，所以，我认为这是一个巨大的挑战，所以，再次，我们的假设是，你需要新的架构，这就是我们花费时间的地方，我们希望使这些模型更高效、更快、更强大，同时能够处理所有这些长上下文问题，这是一张关于，你知道，Transformer 在处理这个问题时效率不高，但显然，扩展这些模型是一个很好的方法，所以，你知道，我们的一些工作是新的、根本上高效的架构，它们的核心是压缩，所以它们的操作方式，我有一张关于这个的幻灯片，给你一个快速的说明，但它们在上下文长度上的扩展更接近线性，所以你应该能够，因为这个，更低功耗的实现，你可以压缩信息，当它进入系统时，你有低内存使用量，而且因为这个，你可以扩展到更大的上下文，这是所有关于 SSM 的工作，我只是放了一张我喜欢的很酷的幻灯片，Jensen 在他的一篇 Wired 文章中对 SSM 有一个有趣的引用，我喜欢一直谈论它，但我认为这是一项很有潜力的很酷的技术，这就是我们花费大量时间的地方，如果你们有兴趣阅读更多内容，YouTube 上有很多视频和许多资源，试图让它更容易理解和深入了解一些细节，但你知道，工作直觉基本上是，Transformer 通过关注每个过去的 token 来进行二次生成，所以当 token 进入系统时，你基本上会保留它们，然后查看所有过去的 token，如果你想生成“跳跃”这个词，来自“敏捷的棕色狐狸”，你实际上会查看整个上下文，试图理解下一个词应该是什么，然后生成它，将其推入上下文，再次执行，使用 SSM，你只有一个流式系统，所以你有一个 token 流入，它们会更新模型的内部内存，然后 token 被丢弃，所以这实际上简化了系统，这就是为什么它是一个核心的流式接口，因为你不会保留所有关于过去发生的事情的内存，你将其压缩成某种压缩文件状态，在模型中，它将用于未来的生成，所以这是利用了递归的想法，而递归是人类进行许多推理的核心，你知道，过去几个月，许多这些模型被采用，所以很高兴，你知道，许多人现在对这种替代的做事方式感到兴奋，它更倾向于递归而不是检索，所以我认为，我们将看到
有更多的活动，特别是多模态数据变得越来越重要，你知道，多模态数据在效率方面有很多挑战，这意味着我认为这些模型在未来三到五年内将发挥更大的作用，同时我们也在努力扩展它们并使它们更有趣。很多人问我关于质量的问题，我只有几分钟时间，所以我会快速浏览一下幻灯片剩下的部分，但是，你知道，SSM 通常具有正确的质量，显然在压缩和保留所有信息之间存在权衡，但实际上压缩可能很有帮助，所以如果你想象安全摄像头的例子，如果你观看 24 小时的录像，实际上实时压缩所有这些信息将有助于你解决任务并更好地回答问题，而不是每次都查看全部 24 小时，所以我认为这就是一个经验法则，即压缩对于大上下文非常有用，对于短上下文则不太有用，因此我们看到质量对于长上下文问题和多模态问题实际上非常好。让我快速谈谈我们正在做的一些工作，所以我们开始研究多模态数据，几周前我们发布了一个语音生成模型，所以这是文本到语音，并且与我们正在做的一些工作一致，即为单个模型引入更多多模态数据，并使用 SSM 来支持推理和训练等等，所以这是一个你可以实际玩弄的模型，我试图给你看一个演示，但这个模型最让我们自豪的一点是，我们真的缩短了延迟，所以当你玩它的时候，你会从数据中心获得即时语音反馈，我们还在做一些很酷的工作，实际上在 Mac 和其他设备上运行这些模型，这样你就可以在任何设备上获得与你在数据中心相同的体验，并且高效地做到这一点，它将支持我还有多少时间，好的，我们没时间了，但我几乎也完成了，所以，请访问网站 play.ai，很遗憾我没能展示演示，但请玩玩它，并给我们反馈，这是我的电子邮件，如果你想给我写便条，我很想听听反馈以及你们发现的任何有趣的东西，谢谢 [音乐] bre to go right I'm ready to go found I and I know they on to so and I'm ready breath toat [音乐] [音乐] I'm ready to [音乐] [掌声] [音乐] the [音乐] down [音乐] he he [音乐] you and me we were the only on we were holding nothing back from the greatest nights we ever Sun L up The Bard driving slow in your car singing every night to play that song 100 times fire in your bedroom like on my mind you the music my mind Frozen and tired always on my mind I feel it all come back in the moment SP like the so if you want to come open play it slow motion [音乐] memory so my heat feels like a m up the night [音乐] I the driving Your Heart Sing My love every night to play that song made fire the summer [音乐] dancing and tired always on my mind I feel it all come back in the [音乐] moment the oce if you come with the door it open play it all in slow [音乐] motions feel it all come back in the moment can spin to like the ocean so if you want to come open motion [音乐] [音乐] [掌声] [音乐] you know you know how you [音乐] get [音乐] [音乐] [音乐] [音乐] [音乐] know know [音乐] heav The Echoes secrets that we know doors that open for us in a moment keeping light our everything we we catch our breath in the midle of it all Chas ech sun is coming up all the Crystal [音乐] Vision true on the I can see on the horizon all we can feel [音乐] see in the forest for the trees I'm keeping watch all that storming waking [音乐] uping s everything we we catch our breath in the midle of it allas ech is C all the is coming Crystal [音乐] Vision I can see on the horizon all we can feel it Chas the is all know chasing the [音乐] light [音乐] it like aever up we to believe looking the I see on the [音乐] horizon true belever weing the I can see on the horizon all we can feel is life is all know [音乐] we [音乐] [音乐] n [音乐] we [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] here [音乐] [音乐] you would you you would you you would you [音乐] you [音乐] you you you you you you would you would you would you you you [音乐] [音乐] [音乐] me you you you you [音乐] you you you what you [音乐] you you you you you you [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] taking one more breath beside you so I could strength div us I know we the best I could go the I but this how we got to give it up sometimes it's KN when to kill your pride there's no what to blame nothing really stays the same this is how we [音乐] [音乐] [音乐] and I know your Reas a but I know there's a row over all the past your head on my shoulder but I know we're better on our but this is how we go got to it up KN to kill your there's no nothing really stays the same this is how we we hold on to let go [音乐] hold got to give it up sometimes as C oh KN to kill you Pride there's no to blame nothings [音乐] [音乐] n [音乐] B [音乐] [音乐] oh [音乐] [音乐] B [音乐] [音乐] B n [音乐] [音乐] up t-shirt through high these night tastes like gold sweet with Obsession show me something [音乐] as [音乐] ouring while [音乐] sing as through window all newes burning through the page tearing all you're we we our problem underneath like super like superoes it's coming over now down a Harmony only super CR you want to feel like it's St in America your influence moon Waxing insan blame it [音乐] all we we out the night like we wear our clothes dancing through the [音乐] while Asing through window down a Harmony only heic you want to feel like forever s in America coming over me electric [音乐] [音乐] going come us hold tonight all going come us hold [音乐] tonight us [音乐] hold down a Harmony oface that only we can you feel [音乐] it's feel like us it's forever you're get Mar [音乐] [音乐] hold come with us [音乐] hold it back in 9 we were kids falling in love for the first time your hand you look me in the eyes kind of feeling you get life but now something went you're moving on I found myself on The Blind Side now you won't call we lost it all you fade away I'm picking up my heart from every piece that's broken been trying to get back to myself but don't have a clue I'm looking for some luck can't find a door it's open I'm losing all mys like I'm here because I'm missing because I'm missing you oh I'm missing you because I'm missing you I'm missing you [音乐] I was chasing all the sides trying to hold on to something that I couldn't find wish you didn't Captivate my mind now I know we' been the sunet in Paradise but now something went wrong you're moving on I found myself on The Blind Side now you won't call we lost it all you fade away I'm picking up my heart from every piece that's broken been trying to get back to myself but don't a CL I'm looking for some luck can't find a open I'm losing all my feels like I'm because I'm missing you because I'm missing you oh because I'm missing youing because I'm missing you because I'm missing you up my heart every piece that's broken try to get back to myself don't have a CL I'm looking for some Lu can't find a door it's open I'm Los know my hope feels like I'm left here too because I'm missing [音乐] you baby just don't walk away I Need You Now fade it out all the time we spent Al fighting through the don't let me down I need you now I'm feeling wor out getting to me lost some trying to get on my feet caught in the madness I feel you somehow don't let me go I need you right now I want to be next to you you want to be next to me me holding our Paper Hearts fading our Broken Dreams I want to be next to you you want to be next to me holding our paper heart fing our Broken Dreams I want to be next to [音乐] you you [音乐] tell me that you to stay baby just don't walk away I Need You Now f it out all the time alting through let down I need you now I'm feeling out it's getting to me lost some heart trying to get on my feet caught in the madness I feel you somehow don't let me go I need you right now I want to be next to you you want to be next to me holding our Paper Hearts fading our Broken Dreams I want to be next to you you want to be next to me holding on Paper Hearts feing our Broken Dreams I want to be next to you you you [音乐] to be next to you to be to me hold ouring our Broken Dreams to be next to you you want to be next to me hold it our paper heart now Broken Dreams I want to be next [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] oh [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] let [音乐] [音乐] we got [音乐] an eyes wide sh we got everything we need and then a little too I know that you're starving for something you can't touch would you be hon with me right now there's something in the under car I can feel it coming up don't you want to feel it taking over your SES don't you ever teolog baby come escap with me I'll come sweep you your Fe don't to feel it don't don't you think there's in my that's weighing me down it's just the weight of the world now I'm calling it out we're a little starving for some lightening love can we speak Hest right now there's something in theur I can feel it coming up don't you want to feel it taking [音乐] over baby I'll come sweep you off of your feet don't you want to feel it don't you don't hold breath and and I'm what I and I know to and I'm ready breath and to IAT and I'm ready to go your it and IGN my soul and I'm ready we [音乐] are do feel it CAU in theow I'll come back to your know that you summer all that I [音乐] bre breath I hold [音乐] it I'm ready to [音乐] [掌声] again in a you eyes again when I least expected you're all that I want we know together we got it all hold my [音乐] breath breath [音乐] IAT and I'm ready to if I find myself at your door would you follow me to better places I find myself your the keys let's go up I [音乐] up to go I found what I want and I know we're on top so I'll and I'm ready to oh hold in my breath and I'm ready to go I catch and I'm ready [音乐] toat to your it I'm D in and I'm ready to [音乐] [音乐] [音乐] down down [音乐] back [音乐] a [音乐] [音乐] back [音乐] s night and days you and me we were the only one we were holding nothing back from the greatests we ever Sun up the driving slow your singing every night to play that song 100 times made fire [音乐] in come back in the moment could spend to the ocean so if you want to come the door it open it motion [音乐] my heat feel like a b it up the night when I'm alone when I hear this words you made a [音乐] theing your heart singing every night to play [音乐] that made fire daning the rec in your bedroom like always on my [音乐] mind I feel it all come back in a moment SP like the ocean if you want open play it all slow [音乐] all you to come it open it all back in slow motion [音乐] [掌声] [音乐] [掌声] [音乐] get he [音乐] [音乐] [音乐] [音乐] [音乐] you know you feel me you know secrets that we know doors that open for us in a moment keeping light on ring keeping our sight everything we want we catch our breath in the midle of it all Chas ech is coming up is coming Crystal [音乐] Vision like you belever looking on the I see on the [音乐] horizon the trees keeping all waking up and turning on keeping light riding hold keep our sight [音乐] everything catch our breath in the midle of [音乐] Chas is coming all the coming Crystal [音乐] Vision like [音乐] you true belie the I can see [音乐] Horas stop and I won't let it goas let [音乐] it up looking on the I can see on the horizon all the we can feel ch [音乐] I True Believer weing the I can see on the horizon all we feel [音乐] [音乐] he [音乐] [音乐] w [音乐] [音乐] we [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] oh [音乐] [音乐] [音乐] me [音乐] [音乐] you [音乐] you you you you you you you you would you would you you you you [音乐] you you you you you you [音乐] [音乐] here [音乐] do you do you you you would you you you [音乐] you you you you you you would you would you would you would you [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] we got it I know we did the best we could if I could go back UND the mess would memorize your face before I go but this is how we grow got to give it up know to kill your pride there's no to blame nothing really stays the same this is how we sometimes we hold on to [音乐] [音乐] there is nothing lost between [音乐] us I know your days a but I know there's a rainbow over all the head oner I know on but this how [音乐] we it up [音乐] KN when to kill your pride there's no to blame nothing really stays [音乐] the let [音乐] [音乐] to kill you Pride there blame stays the this is how we [音乐] sometimes we hold on to let go [音乐] [音乐] [音乐] B [音乐] [音乐] n [音乐] [音乐] B [音乐] [音乐] [音乐] [音乐] d [音乐] I was watching you watch the up tshirt through taste [音乐] obession dancing right through the fire while we watch itose as we up our as morning through Windows all through the P tearing the we our problems cles like super like super heroes it's coming over now down a Harmony of that only [音乐] youever Amer influence wax now I couldn't see it until you show me how feels like we're insane we blame it all on love [音乐] saturated our daning while give up our gos as a new evening comes through the wind it's coming over now it's w down a Harmony only it's Amica over MEC Sy every night on kn a super you feel like [音乐] forever the going so come with us don't hold back tonight is all we have the is going come [音乐] us [音乐] hold come with us don't hold back tonight is [音乐] we [音乐] going Harmony [音乐] only in America it's coming over me electric Sy every night on fire Master [音乐] super us [音乐] it's come don't hold t [音乐] [音乐] t hold [音乐] it was summer back in 89 we were kids falling in love for the first time your hand you me in the eyes kind of feeling you get in a but now something went you're moving on I found myself on The Blind Side now you won't call we lost it all you fade away I'm picking up my heart from every piece that's broken been trying to get back to myself but don't have a CL I'm looking for some luck can't find that's open I'm losing all my like I'm here because I'm missing you because I missing you oh because I'm missing you because I'm missing you because I'm missing [音乐] you because I'm [音乐] you I was chasing all the sides trying to hold on to something that I couldn't find you didn't Captivate my mind now I know we've in the sunsets in Paradise but now something went wrong you're moving on I found myself on The Blind Side now you won't call we lost it all you fade away I'm picking up my heart from every piece that's broken trying to get back to myself but don't have a CL I'm looking for some Lu can't find a that's open I'm losing all my feels like I'm here because I'm missing you because I'm missing you oh because I'm missing you because I'm missing you because I'm missing picking up my heart every piece that's broken trying to get aing open my Miss [音乐] tell all Al through I need you nowz I'm feeling worn out it's getting to me got some heart trying to get on my feet caught in the madness I feel you somehow don't let me go I need you right now I want to be next to you you want to be next to me holding our Paper Hearts fading our Broken Dreams I want to be next to you you want to be next to me holding our paper heart feeding our dreams I want to be next to [音乐] you you you [音乐] tell me to St baby just don't walk away I Need You Now fad it out all the time we spent Al fight through the fire don't me down I [音乐] need getting to me lost some heart trying to get on myet caught in the madness I feel you somehow don't let me go I need you right now I want to be next to you you want to be next to me holding our paper heart fing our Broken Dreams I want to be next to you you want to be next to me hold it our paper heart feing out Broken Dreams I want to be next to you [音乐] you want to be next to you you want to be next to me holding our Creer heart fing out brok dreams I want to be next to you you want to be to me holding our hearten [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] [音乐] n e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e e.
**多模态数据活动**
在多模态数据方面，活动量更大，尤其是在多模态数据变得越来越重要的情况下。你知道，多模态数据在效率方面存在许多挑战，这意味着我认为这些模型在未来三到五年内将发挥更大的作用。同时，我们也在努力扩展它们并使它们更有趣。很多人问我关于质量的问题。我只有几分钟时间，所以我会快速浏览一下幻灯片剩下的部分。但是，你知道，SSM 通常具有正确的质量。显然，在压缩和保留所有信息之间存在权衡。但实际上，压缩可能很有帮助。所以，如果你想象安全摄像头的例子，如果你观看 24 小时的录像，实际上实时压缩所有这些信息将有助于你解决任务并更好地回答问题，而不是每次都查看全部 24 小时。所以，我认为这就是一个经验法则，即压缩对于大上下文非常有用，对于短上下文则不太有用。因此，我们看到质量对于长上下文问题和多模态问题实际上非常好。
**我们正在进行的工作**
让我快速谈谈我们正在做的一些工作。所以，我们开始研究多模态数据，几周前我们发布了一个语音生成模型。所以，这是文本到语音，并且与我们正在做的一些工作一致，即为单个模型引入更多多模态数据，并使用 SSM 来支持推理和训练等等。所以，这是一个你可以实际玩弄的模型。我试图给你看一个演示，但这个模型最让我们自豪的一点是，我们真的缩短了延迟。所以，当你玩它的时候，你会从数据中心获得即时语音反馈。我们还在做一些很酷的工作，实际上在 Mac 和其他设备上运行这些模型，这样你就可以在任何设备上获得与你在数据中心相同的体验，并且高效地做到这一点。它将支持我还有多少时间？好的，我们没时间了，但我几乎也完成了。所以，请访问网站 play.ai。很遗憾我没能展示演示，但请玩玩它，并给我们反馈。这是我的电子邮件，如果你想给我写便条，我很想听听反馈以及你们发现的任何有趣的东西。谢谢。
[音乐]
**音乐与表演**
（此处为音乐和表演的描述，无法直接翻译成文本，仅保留其存在）
**AI 工程与教育的未来**
大家好，欢迎来到多模态轨道下午的会议。我们非常激动地邀请到 Steph Dua，她将讨论教育的多模态未来。她自 2015 年以来一直致力于该领域的研究，所以我们非常期待听到她的分享。非常感谢。这个设备是开着的吗？是的，能听到吗？你好，你好。我想是开着的。不，声音很小。是的，完美。大家好，我是 Steph。我将讨论生成式 AI 的教育未来。我们在这里参加 AI 工程峰会，而 AI 工程很早就开始了。所以我很好奇，在座有多少人有孩子？有多少人有孩子？好的，太棒了。有多少人的孩子已经玩过生成式 AI 了？好的。所以，你看到下一张幻灯片时不会感到惊讶。基本上，70% 的生成式 AI 用户是 Z 世代。这是 Salesforce 最近的一项研究。所以，它很早就开始了。我之所以关心生成式 AI 的教育未来，是因为教育需要一次觉醒。我们知道，早期读写能力率……她可以跑来跑去，机器人会不断地试图找到她。这是第一步。它使用了，正如我提到的，基于块的编程语言，扩展了 Scratch。当时，它不仅允许孩子们编程他们的智能灯、语音助手，还允许他们训练自己的自定义模型。所以，他们可以提供图像或文本示例来训练模型，然后将这些自定义模型用于他们自己的游戏和应用程序。例如，这里有一个学生训练了一个模型来区分独角兽和独角鲸，然后当他玩游戏时，它不仅会得到一个预测，还会得到置信度分数，他的自定义模型对这个图画是独角兽有多大的信心。我们看到置信度相当低。所以，他们做了各种各样的事情，比如查看食物中的东西，试图编程像石头剪刀布这样的游戏，让机器人像莎士比亚一样说话。它被世界各地使用，被翻译成 30 多种语言。好消息是，我们评估了它，以了解它如何提高对 AI 的批判性理解以及它如何帮助提高 AI 素养。为此，我在公立和私立学校进行了一项纵向研究，我们询问了孩子们在学习之前对 AI 的看法，然后我们让他们参与 AI 学习活动，最后我们问了同样的问题。我们发现，在他们学会了文本训练、图像训练、智能家居编程之后，他们对 AI 的智能变得更加怀疑。一开始，他们会说，是的，你知道，Google Home 比我聪明，或者这个模型比我好得多。在他们了解了它的工作原理以及如何训练它之后，他们就不那么确定它比他们聪明了。我将给你看一个简短的视频，看看它是如何进行的。对于许多更懂技术的父母来说，这是“放手去做吧，技术将是他们生活中非常重要的一部分，比我自己的生活更重要。如果这项 AI 技术让一些人感到害怕，我完全理解，但作为父母和老师，我认为这非常重要，因为这些是 21 世纪孩子需要具备的技能。我父亲年轻时，他买了一辆车，然后把它拆开，看看它是如何工作的。所以，你从小就教人们这些成年人大多编程的东西是如何工作的。所以，正如我所说的，AI 工程需要数年时间。这是他们对 AI 智能的看法在学习活动之前和之后的重要区别。那么，为什么会这样呢？为什么他们会变得更加怀疑、更加批判，并且在阅读和写作 AI 方面更加有文化呢？因为通过提供这个平台并允许他们进行实验、形成假设并进行测试，我们基本上让他们参与了科学过程，就像研究人员一样，就像我们一样。但是，我们需要有合适的沙盒，合适的平台，让他们能够快速进行实验和快速迭代。所以，孩子们并不孤单，父母也需要学习，老师也需要学习。我们在大流行期间看到，当孩子们和父母一起待在家里时，这是一个巨大的学习机会。我将向你展示 Cognates 的一个早期演示。哦，这个音频不起作用，我不知道为什么。好了，你做到了。不，我需要你帮我问一个问题。为此，我们需要 ask 块。看看你能不能找到它。太棒了。你正在编程的东西正在与你合作，教你如何编程它，对吧？想象一下将它应用于我们今天的任何聊天机器人，对吧？比如，当你对答案不满意，或者答案不适合年龄，或者你想教模型关于你的语言、你的文化、你感兴趣的奇怪事实时，我们该怎么做？我进行了另一项研究，这是与美国 10 个州的儿童和父母进行的为期数周的研究，我们首先想了解如何为家庭设计一个编程的副驾驶。所以在我们开始和构建它之前，他们想要什么？什么有效，什么无效？所以，我们发现，孩子们和父母最喜欢的一些事情是与 AI 朋友一起生成编程想法，就像他们在 Scratch 中有一个副驾驶一样。这非常有帮助。这里有一些引述，比如一位参与者说，大多数人会喜欢与 AI 朋友一起编码，因为你项目中最难的部分是当你开始时，你遇到了一个障碍，因为你没有想法了。所以，他们有一个朋友帮助解决了这个问题。它还允许他们用代码表达和阐述他们的想法。所以，如果他们有一个游戏想法，比如“我想让熊跳过刺猬”，但他们不知道怎么做，它会帮助他们找到正确的代码结构。更重要的是，它支持他们的创造性编码身份。不是机器人做了所有的编码，而是机器人只是在他们卡住时提供帮助。这一点非常非常重要。它鼓励孩子和父母一起工作，这并不总是容易的，对吧？我发现，我一直在与孩子和家庭打交道，时间很长，自 2015 年以来。这并不总是容易的。所以，实际上有一个第三方调解员说，“妈妈怎么说？爸爸怎么想？轮流试试。”这确实有助于家庭共同参与。它并不总是奏效，对吧？有时它会分散注意力，让家人能够关闭它非常重要。也许他们想自己玩游戏，自己编码。所以，他们可以随时停止它。如果你有多个兄弟姐妹争夺笔记本电脑，它并不能真正帮助解决这个问题。或者，如果概念太复杂，它就无法始终如一地进行脚手架式搭建，总是将其分解。所以，父母非常有帮助。在了解了家庭对与 AI 朋友共同创作和学习编程的核心需求之后，我去了，基本上评估了所有生成式 AI 模型，看看它们是否能做到这一点。所以，对于 Scratch 来说，顶级的生成式 AI 模型在生成解释、提供想法或问题以帮助孩子和父母探索和测试新游戏方面表现相当不错。这已经发表了，我们还创建了一个基准来衡量这一点。这只是一个例子，说明生成式 AI 的教育未来可能是什么样子，如果它应用于 Minecraft、游戏、物理模拟、科学模拟，它可以成为一个创意助手。有很多人喜欢用双手建造东西。如果我可以通过拍摄我喜欢的花朵和颜色的照片来获得想法，然后它给我想法并帮助我生成 3D 模型，然后我可以打印和绘画呢？或者，我对编织感兴趣，我想使用生成式 AI 模型来启发我的编织项目。它也可以是一个学习伙伴和教练。它可以帮助解决数学问题。所以，我和 Nancy Otero 一起创建了第一个数学误解基准，以展示 K-12 儿童最常见的数学问题，并评估顶级生成式 AI 模型在识别儿童与聊天机器人交谈时的这些误解方面的能力。如果你想下载它，我在这里放了一个链接。所以，我在这里邀请大家思考，面向所有年龄段的 AI 工程和 AI 实验，以及我们如何从我的实验到 Cognates，再到人们在 Hugging Face 上进行实验和调整的东西，并确保我们打开空间，这样我们就可以使用 AI 不仅来教学，而且实际上使用 AI 来让人学习如何进行实验和通过玩耍和实践来学习。我喜欢身体力行，我将展示我昨晚用 AI 进行的一次实验。这些是非常新的演示。这是使用最新的 Gemini API。我有三个演示，希望它们能正常工作。让我们从科学演示开始。我希望实时绘制，但我没有绘图板。幸运的是，我有一些图画，我们将看看它效果如何。所以，
我有一个天平，两边各有一个重物。如果再加 5 公斤会怎么样？所以它根据我的图纸问我问题，然后我可以画一张新的图纸，上面有 10 公斤和 10 公斤，看看是否会更好。嗯，我们再来一个，水和二氧化碳，混合后会发生什么？哦，我需要，所以想象一下我有一个网络摄像头，我像一张桌子，我实时画画，我们可以玩它，但它非常互动。我们来试试这个，地球被什么东西击中了，希望不是。我们再加一个箭头，看看会发生什么。啊，那很有趣，所以它终于明白了是月亮。我们来玩数学的，解括号里的表达式。好的，我有一个，我做好了，解括号里的乘法，假设我也做好了，我还有下一个问题。我需要一个更好的背景来演示，这肯定是真的。第一步是简化，不不不，回去。好的，任何数除以自身都等于一，但你看它没有给我答案，它只是给了我一个问题，所以我可以继续尝试，对吧，学习。嗯，我们来尝试一个更复杂的，在轴上标出四。我希望它能给我一个更好的问题。是的，最后一个是鼓励好奇心的。这个，那个女人在做什么？嗯，国旗上的颜色是什么？星星是什么形状？哦，它问了我关于约旦的事情。嗯，我们来看看它对苹果做什么。它有，你知道这是什么苹果吗？嗯，我们来看看苹果闻起来怎么样？我还有一个很好的折纸。好的，我不知道多莉去哪儿了，但你大概明白了。这些，这些就像，我不知道你是否想让我画点什么，或者你想问一个关于科学、数学或物体的问题。观众有什么要求吗？别害羞。是的，我们应该问什么？不，好的，嗯，请问，一个方程。你能告诉我写什么吗？2x + 7 = 2。谢谢。我们试试吧。我们看看它在我减去方程两边的七边做得怎么样？不错。现在如果我这样做，两边都除以二，等等，等等。嗯，关于这个很酷的事情是，我把代码开源了，并且是模板，所以你也可以玩它，它不到 100 行。你只需要创建一个 API 密钥，它是免费的，你可以创建自己的指令，希望我能启发你超越聊天机器人界面，委托指令，委托问题，并更多地像一个修补匠一样思考，并思考我们如何将这些工具交到年轻人手中，因为他们是未来，他们也需要了解这项技术以及它是如何工作的。嗯，我想我的时间到了。我所有的研究都在我的网站上，我也放了一个二维码链接。之后我很期待你们的提问。谢谢。非常感谢。然后，我们很激动地请到昆达·哈尔曼·克莱默来谈论构建语音 AI 代理。谢谢。嗯，我叫昆达，我在一家叫 Daily 的公司工作，我们提供实时音频和视频基础设施。当 GPT-4 去年发布时，我们开始做了大量的实验。我们认为 GPT-4 在文本对话交流方面做得非常好，它应该真的能和你说话，用你的声音字面意思上和你说话。所以我们构建了很多这样的东西。这可能是一年前，在生成式 AI 的术语中，这是古老古老的历史了，但可能值得一看作为背景。我是你的友好聊天机器人，随时为你解答任何问题或任务。我今天能帮你什么？你能给我讲个笑话吗？当然。为什么骷髅不互相打架？你总是从那个开始。给我讲个别的笑话。好吧，我再试一次。你管假意大利面叫什么？我也听过那个。来吧，也许只是为了让我们从很早以前一直到现在都讲笑话，我认为我们都知道我们经常使用的所有大型语言模型都会讲的笑话。这很有趣，但并不一定像第一次听到时那样有趣。所以，这是我们在这里试图做的事情的一个非常高层次的示意图，对吧？我们有一个用户在手机或笔记本电脑上，他们想和他们的设备说话，然后在云端的某个地方，我们有一堆 GPU，它们正在进行大量的重计算，我们需要以某种方式与那些云计算资源对话。所以，一旦你构建了像我们刚才看到的视频这样的东西，有几件事就会浮现在脑海中：一是速度非常重要，二是架构灵活性非常非常重要。我今天将谈论这两件事。让我们从架构灵活性开始，所以那个非常漂亮干净的图表会很快变得非常混乱。这在工程软件开发问题领域并不罕见。但我认为我想根据我查看的大量源代码，并思考了我与我的同事、客户和朋友们在构建这些东西时进行的对话，来制作一张幻灯片。事实证明，如果你想构建实时健壮的语音 AI，部署到生产规模，你必须在某种程度上了解所有这些事情。这是一张令人望而生畏的地图，我们肯定是在多模态 AI 中加入了多模态，从音频处理，比如回声消除和编码音频和视频时的 CPU 管理，到网络问题，比如防火墙穿越，再到构建检索增强生成和工具调用，这样你的现实世界应用就非常非常有用。我们可以将那种混乱的地图归纳为几个更高级别的类别。值得快速浏览一下，因为我认为它们能让你对那张地图有一个概念。所以你需要非常健壮且低延迟的媒体处理和传输。你必须编码媒体，你必须通过网络发送它，这必须非常好地工作，它必须非常快速地工作。你需要非常好的、快速的转录，至少直到真正多模态的、原生音频的模型出现，这总有一天会发生。即使在那之后，你可能仍然需要从音频到文本，以应对许多类型的 AI 用例。你必须进行大量的实时数据管道和缓冲区管理。所以，我认为在 Discord 上，我可能已经回答了 20 到 30 次“为什么我的音频流不起作用”的问题。当我用 Mac 进行本地开发，然后将其推送到云端的 Intel 机器时，那是因为，你知道，如果你编写低级音频内容，字节序问题总是会困扰你。但这里涉及到大量的管道和缓冲区管理。你想能够出于各种原因在模型之间切换，或者一起使用多个模型。你通常需要调用外部系统。你必须做一些事情，比如短语端点检测，这是当一个人说完话以及他们期望 AI 何时说话的专业术语。你需要非常优雅地处理中断，这实际上是一个很大的难题。人们会打断机器人，你需要弄清楚你要做什么，如何处理它，以及如何在人们打断时维护状态。你必须进行回声消除，除非你能说服世界上所有使用你东西的人 100% 的时间都戴耳机。我已经在互联网上进行了很长时间的音视频开发，比如我们 Daily 的核心产品是 WebRTC 技术栈，所以我可以告诉你，你无法说服世界上所有人都一直戴耳机。也许你只部署到呼叫中心专业环境中的人，但即使那样也很难。而且你需要好的、快速的文本到语音或语音生成。好消息是，这有很多工作，但当一切都整合在一起时，使用这些新的生成式 AI 工具进行构建确实令人惊叹。你可以构建让人们觉得神奇和新颖的东西，但它确实有用，感觉就像应该如此。我们构建了一个为医疗保健客户构建的示例，它解决了一个真正的痛点。我认为如果你去看医生，我相信我们所有人都去过医生那里，你不得不填写比你预期的更多的表格，在随后的医生就诊中。也许你用纸填写的，也许你收到了一个链接，可以在就诊前填写表格，这是目前的最高水平。如果一个大型语言模型可以给你打电话，或者你可以在应用程序中点击一个链接，然后进行对话，你再也不用填写表格了怎么办？你好，聊天，我叫杰西卡，我来自 Tri County Health Services。为了确保您的隐私并确认您的身份，您能否提供您的生日，包括年份？是的，是 1 月 1 日。我感谢您，查德。您能否也告诉我，哦，抱歉，是的，1983 年。感谢您提供生日，查德。现在，您能否列出您目前的所有处方，包括药物名称和每种药物的剂量？是的，我服用我的 Cil 和 Gaba pent。很好。您能否提供剂量？哦，是的，抱歉，分别是 10 毫克和 100 毫克。感谢您的信息，查德。此外，您是否有任何我们应该注意的过敏症？如果有，请列出它们。是的，我对乳胶过敏，也对青霉素过敏。感谢您告知我们您的过敏症，查德。接下来是硬的。所以，我认为你可以看到我们刚才谈到的所有这些部分实际上都是必要的，才能完成像这样的事情。但当你这样做时，它感觉很简单，感觉就像应该如此。那是一个真实的视频，里面没有任何编辑。对外部系统的调用是模拟的，它们不是，它实际上不是后端真正的电子健康记录系统，但它们是真正的工具调用。而且这些东西现在开始进入实际生产。所以，我认为在很多情况下，生成式 AI 的前沿正在迅速发展，人们真的在从我们手中夺走它，这非常令人兴奋。所以，让我们稍微换个话题，谈谈速度，因为这是另一个非常重要的部分。我们需要多快？什么是快？还有一点题外话，所以我们谈论的是，在工程方面，总是有两种速度，吞吐量和延迟。如今，对于对话交互，吞吐量已经足够好了，我们今天使用的所有工具，比如大型语言模型和其他工具，都可以像人们阅读或听一样快地生成内容。但困难的是延迟，延迟是很多工程环境中的“首次字节时间”或“首次 token 时间”。吞吐量和延迟之间存在权衡，吞吐量和延迟之间存在复杂的关联。我有时在这些演讲中展示的一个图表是，在很多领域，吞吐量往往每几年提高一个数量级。延迟的改进往往是线性的，并且远远落后于吞吐量的改进。所以延迟很难，而延迟是我们在这里遇到的主要问题。人类对话延迟，如果我和另一个人说话，如果那个人没有在大约半秒内回应，那对我来说感觉很奇怪。有时人们回应得更快。我们似乎作为人类，就像在进行推测性解码，下一 token 预测，就像天生一样，这就是我们所做的。在你说完话之前四五句话我就知道你要说什么了。我正在准备我的回应，我正在以一种贪婪的方式进行推理。如果你说了我没预料到的事情，好吧，我可以重新路由，但大多数时候我是对的。而且大多数时候，如果你真的记录人们的对话，他们通常会在 200 到 300 毫秒内回应。如果他们不回应，他们会给你某种提示。所以，大约 500 毫秒的目标非常重要，因为如果我们超过它，我们很快就会进入那个恐怖谷。事实上，我认为你刚才看到的我同事查德的视频，如果你仔细看，我希望你看到的是非常酷的、最先进的生成式 AI 的编排，以及可能比应有的慢的响应时间。所以，在过去的几个月里，我花了几个月的时间一直在思考如何缩短这些响应时间。作为一个基准，比如相对的，另一个数字显示了这件事有多难，比如 Gemini Pro 的首次 token 时间是 900 毫秒。所以，如果你目标是 500 毫秒，你已经几乎翻倍了，甚至在你做任何事情之前，甚至在你通过网络发送东西给其他服务或任何东西之前。所以，你选择的模型和工具是受限的，它们很重要。你如何将它们串联起来也很重要。所以，再次往上提一个层次，这就是我们试图实现的目标，而我们今天拥有最强大的工具来让这一切在这个领域快速运行，就是将尽可能多的东西放在一个计算容器中。所以，如果我们试图做的非常非常大的事情是自然语言、语音到文本，然后是短语端点检测，那么机器人何时应该处理或说话，然后是大型语言模型推理，然后是语音输出。如果我们能将所有这些事情放在一起并在本地和共址运行，我们将远远领先于我们现在的情况。如果我们做不到，这一点值得强调，因为我认为我确定我们今天正在构建的 95%、98%、99% 的生成式 AI 都需要调用托管服务。有很多非常非常好的理由，但在这个领域，如果延迟是你优先考虑的，而且延迟可能不是你优先考虑的，那也没关系，有很多不同的权衡你可以做出。但如果你想让事情变得非常非常快，你需要弄清楚如何自己托管东西，以及如何以一种你可以调整、控制和组合所有东西的方式来托管东西。所以，这是演讲中我看着时钟，看着你们所有人，并试图弄清楚你们对我说延迟的容忍度有多大的部分，因为我可能会讽刺地谈论延迟几个小时，这是我作为工程师痴迷的事情。我认为值得快速回顾一下这个列表，即典型的语音 AI 上下文中最好的延迟数字，因为有些数字并不明显。所以，首先，我们实际测量的是什么？我们测量的是时间，我们真正真正关心的是什么？我们测量的是我停止说话的时间。所以，如果在一侧有一个绿色的波形，在另一侧有一个紫色的波形，在这个音频编辑器中，我停止说话的时间，然后通常会有一个间隙，通常是沉默。如果间隙太长，我们可以播放等待音乐。然后另一侧有一个波形，当我第一次听到大型语言模型对我说话时。这就是我们关心的间隙，语音到语音延迟，它必须包含一切。它必须包括音频编码，通过网络发送东西，所有处理，发送东西回来，播放到扬声器。所以，这里的第一个数字实际上令人震惊地高。如果你使用的是 Mac OS 上的笔记本电脑麦克风，它有大约 30 到 40 毫秒的延迟。这有一些很好的理由。有很多音频处理，回声消除，背景噪音去除，增益控制，所有这些都在起作用。随着这些用例越来越重要，硬件和操作系统制造商可能会降低这些东西，但今天，在你控制的任何软件进入之前，你已经有了大约 40 毫秒的延迟，而你的目标时间是 500 毫秒。然后你对音频进行编码，通过网络发送它，进行一些数据包处理，在另一侧重新组装这些数据包，我们称之为抖动缓冲区，你解码，然后你终于到了转录阶段。如果你对转录和端点检测非常小心，你可能可以降到几百毫秒。然后你进行大型语言模型推理。在这种情况下，你真的希望你的大型语言模型的首次 token 时间可能再有 100 毫秒。然后你进行一些语音，抱歉，文本到语音，然后你通过网络发送，在另一侧工作。这些是实际测量的中位数数字。显然有一些含糊不清的地方，因为很难完美地测量一切，而且存在巨大的差异。但你乐观地达到了 600 到 700 毫秒，但在这个世界上，现实情况是如此。所以，这让你对我们所处的位置有了一个大致的了解。昨天我们在 Twitter 上发布了一个演示，试图真正降低所有这些延迟。我们有一个开源的容器，你可以查看、玩耍和修改它，它能让你达到大约 500 到 700 毫秒的延迟。你好，我是 Fbot，今天有什么可以帮你的？我们来玩个地理游戏吧。你想给我一些地理问题来回答吗？这才是精神。我给你一个问题。世界上最大的沙漠是什么？我认为是撒哈拉沙漠。那是正确的。撒哈拉沙漠确实是世界上最大的热带沙漠，覆盖了北非的大部分地区。做得好。下一个问题。南美洲最长的河流是哪条？一定是亚马逊河，不是尼罗河，抱歉，是亚马逊河。不用道歉，你又对了。亚马逊河确实是南美洲最长的河流，也是世界上最长的河流之一。干得好。下一个问题。澳大利亚的首都是哪里？堪培拉。又对了。堪培拉是澳大利亚的首都。你表现真棒。下一个问题。法国和西班牙边境的山脉是哪一个？比利牛斯山脉。完全正确。比利牛斯山脉确实横跨法国和西班牙的边境。你真的在炫耀你的地理技能。下一个问题。斯堪的纳维亚最大的城市是哪个？斯德哥尔摩。我想可能有一个小错误。斯德哥尔摩不是城市，而是一个旅游网站。我本来想说斯德哥尔摩。没关系，我知道你的意思，你又对了。斯德哥尔摩确实是斯堪的纳维亚最大的城市，也是瑞典的首都。你做得很好。下一个问题。波兰最大的城市是哪个？克拉科夫。差一点点，但不是。克拉科夫是波兰一个美丽的城市，但不是最大的。正确的答案是华沙，它是波兰的首都和最大的城市。哦，我觉得我应该知道的。如果我们谈论首都，也许我会问你一些问题。法国的首都是哪里？我准备好迎接挑战了。法国的首都是巴黎。德国？不太对。德国是一个国家，不是首都。德国的首都是哪里？好问题。德国的首都是柏林。斯德哥尔摩的首都是哪里？我是说，抱歉，瑞典的首都是哪里？没关系。瑞典的首都是斯德哥尔摩。哇。所以，所以，所以这里的想法不是做提示工程，因为很明显我可以更好地做提示工程。但要真正测试延迟，并将所有延迟数字放在一个地方。可视化东西很有用，而且 UI 和所有东西都是开源的。所以中间的大数字是客户端测量的语音到语音延迟，然后边缘的数字是从执行所有工作的服务器发送过来的指标，这些指标是关于各个部分的，测量结果发送回来，所以你可以看到变化，并进行关联，并获得关于这些东西的直观感受。这里的架构是 Deepgram 公司提供的两个模型，用于转录和语音生成。它们在质量和速度之间取得了很好的折衷。Deepgram 有一个托管服务，但他们也允许你在本地的 Docker 容器中运行这些模型。这是 Llama 3 8b，我认为是因为我无法让 70b 运行得像我想要的那样快，尽管理论上是可能的。我会发布一些链接，如果你想更详细地了解。所以，因为我们一遍又一遍地解决了许多问题，所以我们认为有一个开源框架会很棒。我认为我们在 AI 领域的其他地方也看到了这一点，比如 Langchain 和 Llama Index 非常有价值，这对于实时和多模态 AI 来说就是这样。这张幻灯片可能看起来很熟悉，因为我从这张幻灯片中窃取了难题列表，并制作了一张幻灯片，我把它放在了今天的演讲的更前面。但这是一款名为 Pipcat 的开源框架。它最近获得了不少关注。它是供应商中立的，尽管它来自于我们在 Daily 的早期工作。我们对此感到非常兴奋。现在收到很多社区贡献真是太有趣了。如果你正在尝试构建非常快速的多模态 AI，我认为至少值得一看。你可以构建对话机器人、语音到语音语言翻译应用程序、各种语音控制代理，比如控制你的软件用户界面，以及实时视觉模型的东西，比如刚才的精彩演示，现在也已经集成到 Pipcat 服务中了。这是 Pipcat 今天支持的所有东西。我们一直在添加东西，你也可以添加东西。所以，如果你有兴趣构建，请在 Pipcat Discord 中与我们一起交流。如果你想贡献一个服务插件，请这样做。如果你想成为一个开源项目的维护者，那很有趣，请联系我。维护者在开源世界中是黄金，我们总是在努力招募优秀的维护者。这是关于背景的最后一张幻灯片。这是 Pipcat 的星级评分列表，它开始垂直上升的那一天是 GPT-4o 发布的那天。我们将获得很棒的多模态模型，它们将非常有用，它们将使构建超快的东西变得越来越容易。但 A，它们还没有到来，B，我们仍然需要所有这些东西的编排层。另外，我刚才展示的演示，我昨天发布的，现在在 Twitter 上有 175,000 次观看。所以对语音 AI 的兴趣越来越大，我们很乐意让人们来和我们一起构建。掌声。非常感谢大家参加我们的多模态轨道。今天的会议到此结束。音乐。音乐。感觉。音乐。喜欢它。夜晚。当我独自一人。当我听到。音乐。番茄。在车道上。你唱着。每个。音乐。夜晚。火。和夏天的微风。在你的卧室里跳舞。一如既往。在我脑海里。脑海里。我感觉一切都回来了。音乐。瞬间。所以如果你想来。慢慢打开。音乐。在那个瞬间。像。所以你。音乐。音乐。音乐。得到。音乐。我们知道。做。设置。为我们打开。在瞬间。保持光明。骑行。保持我们的视野。我们所做的一切。我们喘口气。在这一切之中。音乐。追逐。来吧。来吧。水晶。音乐。像。真的。我在地平线上看到。所有。音乐。我们。保持。所有。醒来。并打开。保持光明。骑行。所有。保持。音乐。我们的。喘口气。在。音乐。中间。水晶。视觉。音乐。你。真的。相信。我看到。在。音乐。地平线。所有。音乐。我们。追逐。音乐。停止。我不会放手。音乐。在地平线上。我可以看到。所有。音乐。我们。可以。音乐。感觉。真的。相信者。我们。音乐。我。音乐。音乐。音乐。哦。音乐。音乐。你。音乐。他。音乐。哦。音乐。音乐。音乐。音乐。音乐。音乐。音乐。给你。音乐。你。你。你。你。你。你。你。你。音乐。你。你。你。你。音乐。你。你。你。音乐。你。你。音乐。你。你。你。音乐。音乐。音乐。音乐。音乐。音乐。音乐。呼吸。音乐。最好的。所以我可以。力量。分开我们。我们做到了。我知道我们做到了。我尽力了。音乐。它。音乐。起来。杀死你的骄傲。没有什么可以责备的。没有什么真的能保持不变。这就是我们前进的方式。我们坚持。音乐。音乐。让。坚持。音乐。但我知道。有一道彩虹。在所有。头顶上。但我知道。但这就是我们如何走到这一步。音乐。起来。杀死你的骄傲。没有什么可以责备的。没有什么真的能保持不变。这就是我们成长的过程。音乐。音乐。我们坚持。音乐。但。我知道。有。一道彩虹。在所有。头顶上。但我知道。但这就是我们如何走到这一步。音乐。起来。杀死你的骄傲。没有什么可以责备的。没有什么真的能保持不变。这就是我们成长的过程。音乐。音乐。我们有时。音乐。音乐。音乐。恩。音乐。音乐。B。音乐。音乐。音乐。音乐。d。音乐。音乐。音乐。音乐。音乐。早晨。我们出去。夜晚。就像我们跳舞。一路。而。音乐。唱。我们。我们的问题。音乐。像。超级。超级。只有美国。你的影响力。正在增长。现在。我看不见。我们把它归咎于。音乐。音乐。所有。而。唱。我们。放弃我们的。音乐。作为。只有在美国。它正在向我袭来。电子。音乐。夜晚。坚持。音乐。是。音乐。我们。我们。坚持。音乐。今晚。会来。音乐。我们。只有你。想感觉。像我们。它是。永远。音乐。音乐。我。永远。美国。所以和我们一起来。音乐。音乐。音乐。回到 89 年。我们还是孩子。第一次坠入爱河。牵着你的手。你看着我的眼睛。那种感觉。你懂的。但现在。出了问题。你在前进。我发现自己。在盲目中。你不会打电话了。我们失去了一切。你消失了。我捡起我的心。从每一个破碎的碎片。试着回到。不要。我正在寻找。它是。我正在失去我的一切。就像我在这里。因为我想你。因为我想你。哦。因为我想你。因为我想你。因为我想你。音乐。因为我一直在追逐。所有的迹象。试图抓住我抓不住的东西。你没有吸引我的注意力。现在我知道。我们是日落。在天堂。但现在。出了问题。你在前进。我发现自己。在盲目中。你不会打电话了。我们失去了一切。你消失了。我捡起我的心。从每一个破碎的碎片。试着回到。不要。我正在寻找。一些运气。找不到门。它打开了。我正在失去我所有的希望。感觉我被留在这里。因为我想你。因为我想你。哦。因为我想你。因为我想你。因为我想你。音乐。破碎。音乐。音乐。音乐。找出。所有。我们。花费。战斗。穿越火焰。别让我失望。我现在需要你。我感觉。L。进入我的。CAU。在。头。我感觉到你。让我。我需要你。现在。我想在你身边。你想在我身边。拿着我们的纸心。褪色我们的破碎梦想。我想在你身边。你想在我身边。拿着我们的纸心。褪色我们的破碎梦想。我想在你身边。音乐。告诉我。你。留下来。宝贝。只是不要走开。我需要你。找出。所有。穿越我。让我失望。我需要。音乐。你。在。CAU。在。疯狂。我感觉到你。以某种方式。不要放开我。我现在需要你。我想在你身边。你想在我身边。拿着我们的纸心。褪色我们的破碎梦想。我想在你身边。你想在我身边。拿着我们的纸心。褪色我们的破碎梦想。我想在你身边。音乐。你。你。我们的破碎梦想。在你身边。你。你想在我身边。拿着我们的纸。褪色我们的破碎梦想。音乐。音乐。音乐。音乐。音乐。音乐。音乐。音乐。音乐。音乐。音乐。音乐。我们有一个。失眠。睁大眼睛。我们拥有我们需要的一切。然后多一点。我知道你。明星。你。音乐。现在。有什么不对劲。我能感觉到它正在升起。你不想感觉到它。它接管了你的感官。你从来没有感觉到。宝贝。音乐。睡着了。我认为。那里。只是世界的重量。现在我把它说出来。我们有点饥饿。我们可以诚实地说话吗？现在。有什么不对劲。我能感觉到它正在升起。你不想感觉到它。宝贝。和我一起。我会把你抱起来。你不想感觉到它。你不想。你不想。音乐。是。存储。感觉。你不能忽略。你有没有。音乐。音乐。音乐。他。音乐。音乐。音乐。恩。音乐。女士们，先生们，请回到舞厅就座，参加我们的下午节目。我们将在 10 分钟后开始。谢谢。音乐。夜晚。就像我们跳舞。一路。而。音乐。唱。我们。我们的问题。音乐。音乐。永远。美国。音乐。音乐。穿过。而。我们唱。音乐。音乐。它是。永远。在美国。电子。音乐。音乐。音乐。坚持。音乐。今晚。是。我们。音乐。只有你。想感觉。像我们。它是。永远。音乐。音乐。去。所以和我一起来。音乐。音乐。音乐。女士们，先生们，我们的节目将在五分钟后开始。音乐。音乐。音乐。恩。音乐。音乐。啊。音乐。音乐。音乐。音乐。音乐。e。音乐。音乐。音乐。恩。女士们，先生们，请就座。我们的节目即将开始。谢谢。女士们，先生们，欢迎来到舞台。OpenAI 的开发者体验主管 Roman [音乐] Hu。哇，大家下午好。很高兴今天看到大家在这里。这里的能量真是太棒了。我是 Roman，我在 OpenAI 领导开发者体验。在加入 OpenAI 之前，我也是一名创始人，和在座的许多人一样，我实际上亲身体验了使用前沿模型构建的魔力。现在我致力于确保我们为在座的所有构建者提供最愉快的体验。我在这份工作中我最喜欢的是展示我们 AI 模型和技术的可能性。所以，今天我们将介绍 OpenAI 最近构建的一些很棒的功能，并将进行一些现场演示，让它们真正生动起来。但首先，我想快速地从宏观上回顾一下我们是如何走到今天的。OpenAI 是一家研究公司，我们致力于以造福全人类的方式构建通用人工智能。为了实现这一使命，我们相信通过迭代式部署，我们真的希望技术能够尽早、尽可能频繁地与现实接触。为此，OpenAI 的首要重点是你们，世界上最棒的构建者。我们坚信，最优秀的开发者和初创公司是 AGI 使命不可或缺的一部分。你们是未来构建原生 AI 产品的人。所以，今天我们有来自世界各地的三百万开发者在 OpenAI 平台构建。我们非常幸运，拥有如此多的创新。但我想稍微回顾一下，你知道，今天在这个房间外面，当人们想到 OpenAI 时，他们通常首先想到的是 ChatGPT，因为它已经成为席卷全球的产品。但第一个产品实际上不是 ChatGPT。我们推出的第一个产品是开发者平台。早在 2020 年，当时我们有 GPT-3，那时我们才开始通过 API 向公众发布它。也许快速举手，实际上，在座有多少人玩过 GPT-3 时期的 API？哇，超过一半的人。你们真是我的同类。太棒了。你知道，当时我们对 AI 的能力有了一点了解，比如基本的编码辅助、文案编辑，也许还有一些非常简单的翻译。但为了真正地让事情变得有意义，当时这是平台上最受欢迎的用例之一，AI Dungeon。这是一个纯文本的角色扮演游戏。它生成开放式的、原创的故事，你可以导航世界。你知道，在每个场景中，当你试图环顾四周时，你都会生成新的文本。所以，这在当时是顶尖的。显然，在 2023 年，GPT-4 改变了游戏规则。它完全改变了我们对 AI 的看法。它在推理方面变得更好，更具创造性，更具体。它在编码和推理复杂问题方面变得更好。它还可以使用工具，还可以解释数据。这极大地扩展了平台可能性的范围。我们很幸运能与许多开发者和公司合作，比如将 GPT-4 集成到他们自己的应用程序和服务中。这只是众多例子中的一个。Spotify，当他们利用我们的模型根据你的音乐品味和历史即时生成播放列表时。但今天我想在这次演讲中强调的一点是，GPT-4 也是我们多模态之旅的开始。这是我们第一次引入视觉能力，突然之间 GPT-4 可以分析和解释图像、照片等数据，而不仅仅是纯文本。然后，通过 GPT-4 Turbo，我们首次将视觉能力带入了同一个模型中，就在里面。所以，你可以拥有与文本相同的模型，同时处理这两种模态。当然，上个月我们在多模态方面又迈出了一步，这让我们来到了 GPT-4o。GPT-4o 是我们最新的旗舰模型，它可以实时地跨音频、视频和文本进行推理。得益于其原生的图像和音频功能，我们真的认为你现在可以以一种我们从未见过的方式构建非常自然的人机交互。所以，我们称之为 GPT-4o 的原因是因为 O 代表 Omni，如果你愿意的话，是全能模型。这是因为我们将所有这些模态整合到一个单一模型中供你互动。GPT-4o 有很多独特而有趣的地方，但我想强调几点。第一点是，它确实是迈向多模态未来的一个巨大飞跃，拥有超快的延迟。这是第一次。我不确定在座有多少人玩过带语音模式的 ChatGPT，或者是否尝试过构建自己的语音助手。你必须将三个模型缝合在一起，首先是 Whisper 进行翻译，然后是 GPT-4 进行推理，最后是文本到语音。当然，这会丢失一些上下文并增加一些延迟。现在我们已经将所有这些都整合到一个模型中。而且，对于所有开发者来说，同样令人兴奋的是，我们提供了与 GPT-4 相同的顶尖推理能力，同时还实现了巨大的效率提升。这意味着反过来，我们能够将这些效率提升回馈给你们。因此，GPT-4o 的速度是 GPT-4 Turbo 的两倍，价格也便宜一半。我们还大幅提高了速率限制。我实际上在幻灯片上写的是 5 倍更高的速率限制，但我们一直在不断提高它们。我们真的希望生活在一个没有速率限制的世界里，这样你就可以无限制地构建。但说了这么多，我想让你一窥 GPT-4o。所以，我们将切换到我的 Mac。对于第一个现场演示，我将打开 ChatGPT 桌面版。我只需要点击 Option 空格键，我就可以在这里调出语音模式。嘿，ChatGPT，你好吗？嘿，我很好，谢谢你问。你呢？我很好。我实际上在旧金山的 AI 工程师世界博览会上。你能问候一下观众吗？我们这里有一些很棒的开发者。嘿，大家好！很高兴能虚拟来到旧金山的 AI 工程师世界博览会。所以，查特，我喜欢你开始的方式，但我真的希望你充满活力。人们在这里非常兴奋。所以，让它更生动一些。而且人们也在通过直播观看，所以别忘了他们。你好，旧金山，以及所有加入我们直播的观众，欢迎来到 AI 工程师世界博览会。我们有一个令人难以置信的阵容和巨大的能量。让我们深入了解所有令人兴奋的技术和创新。这好多了，谢谢你，ChatGPT。我认为他们真的很喜欢。如果你还需要什么，请告诉我。希望活动圆满成功。是的，也许你能做一件事，比如，既然我们有一群顶尖的构建者，你能悄悄说出一个非常珍贵的秘密，它对构建他们的人工智能原生产品的未来至关重要。他们应该知道什么？好吧，我们之间保守秘密。记住，构建伟大 AI 原生产品的关键在于关注负责任和合乎道德的透明度。很高兴你喜欢。你能再说一个吗？但更低，非常非常非常慢。当然，这是另一个。保持 AI 的适应性和可扩展性至关重要。技术发展迅速，你的产品也应该如此。酷。所以，谢谢。有几件事需要指出。但首先，你看，延迟非常令人印象深刻。它非常像自然的对话，而且与与人交谈几乎没有区别。有时甚至太快了。我得说。第二件很酷的事情是，它能理解情感并产生语调。你知道，它可以低语，它可以充满活力，它可以更有活力。但我也可以在任何时候重新加入对话。我可以打断模型，我不用等音频输出完成。这真的很酷，比我们之前知道的要自然得多。所以，下一件事我想展示的，当然，我们正在谈论模态。所以，让我们引入第二种模态。我想打开摄像头。随时。嘿，GPT，你能看到我了吗？是的，我能看到你。是的，你现在不必低语了，你可以正常说话了。明白了。活动进行得怎么样？很好。我看起来好吗？因为我面前有很多人。你看起来很棒，准备好成为焦点了。好的。给我一秒钟。我来画点东西给你。然后我给你看。听起来不错。我很想看看你画了什么。给我几秒钟。你知道，慢慢来。我随时都在。你准备好了。耐心点。不着急。你准备好了，我随时都在。好的。根据我在这里画的东西，你能猜出我在哪里吗？而且你能翻译我写的东西吗？是的，那是金门大桥。所以你一定在旧金山。你写了 Bonjour developer，意思是法语中的“你好，开发者”。很酷。好吧。这幅画很糟糕。但 ChatGPT 很聪明。接下来，我这里有这本书。你能看看吗？ChatGPT，这是什么？是的，这是查理·芒格的《穷查理宝典》。它是芒格关于投资和决策的智慧的演讲、谈话和人生哲学的集合。是的。你能给我一个 1 到 400 之间的随机数吗？当然。126 怎么样？126。这里。好的，第 126 页。你能给我简要概述一下这一页发生了什么吗？这一页似乎谈到了可可·香奈儿的成功法则。它提到香奈儿专注于识别她的客户想要的品质，并确保提供给他们。本质上，理解你的受众的愿望是成功的关键。你想从这一页获得更多细节吗？不，我觉得我挺好的。这太神奇了。你读得比我读一行还快。这太神奇了。好吧。嗯，酷。接下来我想向你展示一些东西。所以，我将不使用摄像头，而是快速地在这里。嗯，而不是共享摄像头，我将共享我的屏幕。所以我将再次打开 ChatGPT。这次带有音频功能。我将稍微缩小这个窗口。你能清楚地看到吗？好的。ChatGPT，我将与你共享我的屏幕。你能看到我看到的东西吗？是的，我能看到你的屏幕。我们正在看什么？嗯，我目前正在开发这个应用程序。你知道，这是一个旅行应用程序。我想让它变得更好。但有一件事我不太确定该怎么做，我想寻求你的帮助。所以，如果我转到这个标签页，然后尝试进行最后的润色，感觉响应性不是很好。你觉得呢？我看到了你的意思。当你切换到移动视图时，布局看起来有点拥挤，图像也显得被挤压了。你有没有考虑过使用媒体查询来调整小屏幕的布局？所以，让我们看看代码。也许你能帮我。我将首先发送给你，比如整个组件。我将把代码复制给你。如果你能看一下，你能给我一个关于那一行代码的概述吗？这段代码定义了一个 React hook use assistant，它管理与 AI 助手的交互。它处理发送和接收消息、文件上传以及从服务器流式传输响应。好的，酷。我认为我们不需要在那里改变一些东西。我认为可能在这里，在 Discover 组件中。你觉得呢？是的，看起来像是这里设置了那些最终描述的布局。我正在使用 Tailwind CSS。我应该怎么做才能改变它并使其具有响应性？你可以通过使用移动设备来调整移动设备上的网格颜色属性。那么，我应该使用什么前缀来表示移动屏幕呢？然后你可以使用 SM 前缀来表示小屏幕。好的，试试看。我说，是的，这个，也许对于其他。那个看起来对吗？比如中等屏幕，也许是两个，然后我们保留三个用于大屏幕。大概是这样吗？是的，看起来不错。调整。看看现在。你觉得怎么样？它看起来好多了。图像和布局。伟大的工作解决了这个问题。还有什么你想调整的吗？所以我真的很喜欢在桌面上使用 ChatGPT 作为编码助手。但当然，这是一个非常简单的用例。但更令人兴奋的是当你开始与 ChatGPT 一起大声推理来构建东西时，你也告诉它，嘿，实际上，我将让光标来做这件事，但我应该提示光标什么？我做过很多次了。看到它们如何跨模态交互也令人惊叹。但请回到我的演示文稿。我想给你一点预览。
以下是英文文本的中文翻译：
让我们一窥我们 OpenAI 的想法，以及我们接下来在做什么，当我们思考这些模态和模型的未来时。所以，我们目前最关注的四件事，尤其对所有在平台上进行开发的开发者来说，是：首先，当然是文本智能。正如你所见，我们对模态感到非常兴奋，但我们也认为提高文本智能仍然是解锁人工智能变革性价值的关键。我们预计大型语言模型智能的潜力在未来仍然非常巨大。这些模型今天已经相当不错了，正如我们所见，我们正在用它们构建东西。但同时，真正令人兴奋的是，这些模型将永远有更好的模型出现。如果你愿意，这就像我们有小学生和我们一起工作，他们偶尔还会犯错，但我们预计一年后，他们可能会与今天我们拥有的完全不同，甚至无法辨认。他们可以在瞬间成为多个学科的硕士生，例如医学研究或科学推理。下一代 Frontier 模型将具有如此的功能变化，在推理方面再次改进。我们感到兴奋的第二个重点是更快速、更便宜的模型。我们知道并非所有用例都需要最高级别的智能。当然，GPT-4 的定价已经大幅下降，事实上，一年内下降了 80%。但我们也希望随着时间的推移推出更多模型，所以我们希望这些模型对你们所有人来说都能更便宜地进行构建。我们希望拥有不同大小的模型。我们今天没有具体的时间表可以分享，但这也是我们非常兴奋的事情。最后，我们希望帮助你们运行异步工作负载。几个月前，我们推出了批量 API，并且已经看到了巨大的成功，尤其是在那些模态方面。例如，你可能需要分析包含视觉信息的文档，或者照片或图像。所有这些都可以批量处理，从而获得额外的 50% 的价格折扣。第三，我们也相信模型定制。我们坚信，每家公司、每个组织都将拥有定制的模型。我们在这里提供了广泛的产品。我相信在座的许多人都尝试过我们的微调 API，任何人都可以完全自由地进行构建。但我们也全程协助公司，例如 Harvey，一个为律师事务所构建产品的初创公司。他们能够完全基于我们提供的案例法来定制 GPT-4，并且取得了惊人的成果。最后，我们将继续投资于赋能代理。我们对代理的未来感到非常兴奋，我们在 11 月份的开发者日上分享了我们的一些愿景。代理将能够像人类一样感知和与世界互动，使用所有这些模态。再一次，这就是多模态故事发挥作用的地方。想象一下，一个代理能够与多个 AI 系统协调，同时又能安全地访问你的数据，甚至管理你的日历等等。我们对代理感到非常兴奋。当然，Dein 是代理可以成为什么的绝佳例子。Cognition Labs 构建了这个了不起的软件工程师，他可以和你一起编写代码，但他能够分解复杂的任务，并且实际上可以在线浏览文档，提交拉取请求等等。这确实是我们可以期待的代理未来的一个缩影。有了这一切，毫不奇怪，事实上，Paul Graham 在几个月前就意识到，20 岁或 22 岁的程序员通常和 28 岁的程序员一样好，甚至更好。这是因为他们拥有这些了不起的 AI 工具触手可及。因此，我想切换到另一个演示，这次不是展示 ChatGPT，而是展示我们可以用这些模态构建什么。在这个演讲的标题中，我没有提到视频，但我相信你们大多数人都见过 Sora，我们能够从非常简单的提示生成视频的扩散模型的预览。这是其中一个。为了节省时间，我已经将这个提示发送给了 Sora，描述了一个关于树蛙的纪录片，非常精确地描述了我所期望的。如果我点击这里，这就是 Sora 生成的内容。[音乐] 这很酷。[音乐] 但接下来，我想让这个视频变得生动起来。我所做的就是从 Sora 的视频中提取帧。我接下来要做的事情非常简单。我将把这六帧发送给 GPT-4 with Vision，使用这个提示，如果你好奇的话。我将让它叙述它所看到的内容，就像一个旁白一样。回到这里，我将点击“分析并叙述”。这都是实时发生的。所以每一次，故事都是独一无二的，我像你们所有人一样发现它。砰，就这样了。这就是 GPT-4 with Vision 根据它在这些帧中看到的内容所能创造出来的。这很神奇。但最后但并非最不重要的一点是，我想向你们展示我们最近预览过的另一项技术，那就是我们的语音引擎模型。语音引擎模型能够让我们根据非常短的剪辑来创建自定义声音。当然，我们非常负责任地对待安全问题。这个模型目前还没有广泛可用。但我想今天给你们一个关于它是如何工作的预览。而且，语音引擎也是我们内部与演员合作，为 API 或 ChatGPT 带来声音的模型。所以，现在我将进行一个快速演示。嘿，我正在 AI 工程师世界博览会的舞台上。我只需要录制几秒钟我的声音。我非常兴奋地看到观众对这些模态以及我们现在可以在 OpenAI 平台上构建的东西如此着迷。好的，嘿，我正在工程师世界博览会的舞台上。我只需要……是的，听起来很完美。这就够了。现在，为了把所有这些结合起来，我将把这个剪辑和我们刚刚生成的脚本一起发送给语音引擎，看看会发生什么。在茂密而迷雾森林的深处，一只活泼的青蛙小心翼翼地爬过布满苔藓的树枝。它鲜艳的绿色身体点缀着黑黄相间的图案，在茂密的绿叶中格外醒目。我还可以让它翻译成多种语言。所以，让我们试试法语。对于认识我的人来说，这实际上是我说法语的声音。也许最后一种是日语。好的，谢谢。让我们快速回到幻灯片。当然，这是一个非常具体的例子，将模态结合起来，例如 Sora 视频、GPT-4 with Vision、我们尚未发布的语音引擎。但我希望这能启发你们，让你们看到如何将这些模态结合起来，描绘出未来。总结一下，我们专注于这四件事：提高文本智能，使我们的模型更快、更经济，以便你们都能扩展。我们正在考虑为你们的需求定制模型。最后，确保你们能够为这个多模态的未来和代理进行构建。如果今天有一件事我想留给你们，那就是我们的目标不是让你们花更多钱在 OpenAI 上，而是让你们在 OpenAI 上构建更多东西。因为，让我们记住，我们仍处于这个转变的非常早期阶段，这是我们每天思考和构建软件方式的根本性转变。所以，我们真的想帮助你们完成这个转变。我们致力于支持开发者和初创公司。我们喜欢反馈，所以如果我们有什么可以做得更好，请在这次演讲后找我。你知道，这确实是拥有 AI 原生公司的最激动人心的时刻。所以，我们希望你们押注 AI 的未来，我们知道像你们这样的建设者将比任何人都先创造未来并发明它。因此，非常感谢，我们迫不及待地想看到你们将用这些新模态构建什么，并重塑软件 2.0。[掌声] 女士们先生们，请欢迎来到舞台，我们从 LLM 构建一年中学到的东西的作者 Brian Bishoff 和 Charles Fry。[音乐][掌声] 大家好，你们即将体验一个有点奇怪的演讲，不仅仅是因为 Brian 和我有点奇怪，而是因为在过去的一年里发生了一些奇怪的事情。我们中的一些人在 Twitter 上发布东西，我们写博客抱怨 LLM，我们组成了一个小群聊，我们继续互相抱怨 LLM，并分享我们正在做什么。当我们意识到我们都将写完全相同的博客文章时——我们在过去一年中学到了什么。所以我们聚在一起，我们将最初的几篇短篇博客文章变成了一篇关于 O'Reilly 的长篇白皮书，结合了我们在构建 LLM 应用的战略、运营和战术层面的经验教训。这篇白皮书的反应非常积极。我们收到了来自各种人的反馈，从贡献者到风险投资家再到工具构建者，他们说我们喜欢你在那篇文章中写的东西。我也有同感。我们受此邀请，将发表这个主题演讲。因此，我们面临一个有趣的挑战，这篇博客文章的吸引力之一，这篇文章的吸引力之一是，我们六个人一起写了它。正如 Scott Condron 所说，这就像复仇者联盟的集结。所以我们必须想办法从六个人那里进行一次主题演讲。所以我们召集了复仇者联盟，仅此一晚，来分享那篇 30 页文章中一些最重要的见解，添加一些我们删减的辛辣的额外观点，并回应指控。我想明确声明，我们实际上不是那些刚发现 GPT-4 是新的 Web 3 的加密货币爱好者。我们早在你必须手动编写梯度的时候就训练了我们的第一个神经网络。所以，我们将文章分成了三个部分。首先，你们将听到我和 Brian 谈论构建 LLM 应用的战略考虑。你如何展望未来？你如何预见未来？你如何做出重大决策？然后，我们将把遥控器和舞台交给 Ham Hussein 和 Jason Lou，他们将分享运营方面的考虑。你如何制定流程？你如何组建团队？你如何围绕交付 LLM 应用来思考工作流程？然后他们会将遥控器和舞台交给 Shankar 和 Eugene Yan，他们将谈论构建 LLM 应用的战术考虑。一年来，构建 LLM 应用有哪些具体的技巧、战术和方法站住了脚跟？好的，那么 Brian，你如何构建一个 LLM 应用而不被击败并浪费大家的时间和金钱？啊，是的，是的。你们中的许多人可能认为，在这个令人兴奋、充满活力且非常可怕的新行业中，只有一种获胜方式，那就是训练自己的定制模型。预训练，微调，这里那里一点 RHF。你最好从头开始，朋友。嗯，并非如此。模型实际上不是你的护城河。对这个观众中的几乎所有人来说，模型就是护城河。你们所有人都应该在你们的优势领域进行构建。你们应该利用你们的产品专业知识或你们现有的产品，也许你们有一个，然后找到你们的利基市场并深入其中，加以利用。你们应该构建模型提供商不构建的东西。模型提供商很可能必须为他们所有的客户构建很多东西。不要把你的精力浪费在构建这些东西上。Sam Altman 的“碾压”这个说法很合适。你们应该像对待任何其他 SaaS 产品一样对待模型。当有明显更好的竞争对手时，你们应该迅速放弃它们。无意冒犯 GPT-40，但 Sonar 35 看起来相当不错。重要的是要记住，一个具有高 MMLU 分数的东西不是一个产品。在 Spider SQL 上 87%，它并没有自动化所有数据请求，甚至不是其中的 87%。你不能以 67% 的人类评估通过率来销售，至少我的 GTM 团队不知道。一个优秀的 LLM 驱动的应用是一个优秀的产品。它设计精良，解决了需要完成的任务，并增强了用户。为什么我们对 AI 人类增强如此兴奋？那么，如果不构建所有这些东西，你应该构建什么呢？那些能泛化到更智能、更快的模型的东西。那些能帮助你在不确定性下保持产品质量标准的东西。以及那些能帮助你持续改进的东西。哇，Brian，持续改进，这是我的触发短语。持续改进的想法已经通过我们自上次 AI 工程师峰会以来感受到的这种焦点转移，即关注评估和数据，被带入了 LLM 应用的世界。这很好地同步了我们合著者 Ham Hussein 的这个图表，展示了这个良性改进循环。它以评估和数据为中心，但创造这些评估、收集这些数据的核心原因是为了推动这个持续改进的循环。尽管你昂贵的顾问或 LinkedIn 上许多发布 LLM 应用的网红可能会说，这实际上并不是工程师第一次尝试驯服一个复杂的系统并使其有用和有价值。这个迭代改进的相同循环也是 MLops 的核心，即机器学习模型的运营化。在 LLM 之前，这张来自我们合著者 Shre Shan Car 的论文的图表也有相同的迭代改进循环，同样以评估和数据收集为中心。MLops 也不是工程师第一次面临这个问题。复杂性、非确定性和不确定性的问题。DevOps 运动，它赋予了 MLops 名称，也专注于这种迭代改进和生产中信息的监控，以转化为产品改进。但是，亲爱的读者，DevOps 并不是工程师第一次解决这个问题。不确定性问题，并通过迭代改进来解决。DevOps 建立在 Eric Rees 的精益创业运动的思想之上，该运动不仅关注构建应用程序，不仅关注构建机器学习模型或 LLM 代理，而是关注构建整个业务。它使用了这个以测量和数据为中心的相同循环，来推动业务的改进和构建。这个想法本身并不是在北加州发明的，尽管有些人可能会这么说。它根植于丰田生产系统和 Kaizen 或持续改进的想法。Genchi Genbutsu 是我们可以将其应用于 LLM 应用开发的核心原则之一。它意味着真实的事物，真实的地方。在丰田，这意味着让高管们去工厂车间，弄脏他们的卡其裤。对于 LLM 应用来说，等同于查看你的数据。查看数据是关于你的 LLM 应用如何为用户提供价值的真实信息。没有什么比这更有价值了。最后，有很多供应商在这个会议上销售工具，包括我自己。很容易对工具和这个迭代改进循环的构建过程过于兴奋，而忘记了价值的真正来源。丰田生产系统中的 Chige Shingo 有一句我非常喜欢的朴实无华的陈述：只有当金属被弯曲时，价值才会被创造出来。所以，我们必须确保我们不会迷失在仅仅构建我们的评估和计算概念漂移中，而是确保我们继续走出去，弯曲金属，为我们的用户创造价值。我不得不说，当我听到你说“让我们弯曲一下”时，我可能误解了。好了，我们首先需要转动数据飞轮，鲍勃。哦，抱歉，错了游戏节目。重点是，我们需要让它动起来。我们需要把它展示给用户和人类。我们需要表达我们系统的目标。我们如何通过评估来实现这一点？记住，评估不是方便的、奇怪的、定制的指标。评估是目标。它们是我们希望我们的系统做什么。任何捕捉这种行为的系统都可以。我没有评估框架要卖给你，但我可以卖给你的是这个想法：你应该走出去，你应该开始。但是，布莱恩，我真的很紧张。万一这对我的客户来说不够好呢？恐惧是扼杀思想的。把它放到测试版。如果它对 Apple Intelligence、Photoshop 和 Hex 这样的了不起的公司来说足够好，那就是我。它对你来说也足够好。你需要收集这些数据。你需要把一些东西放到外面。你需要开始查看你的用户互动，真实的用户的互动。LLM 的响应值得人类的目光。你也可以给它一些 AI 的目光，但一定要用你的人类目光来看。二元人类反馈很有价值。添加一些丰富的反馈也很好，那可能很有趣。但从二元开始。最后，用户的请求将揭示你产品底层存在的 PMF（产品市场契合度）机会。你的 PMF 在哪里？它就在你的用户互动中。他们向你的聊天机器人提出了什么要求，而你还没有实现？这是一个很好的滑行方向，如果这就是冰球 going 的方向。尽管关注你今天可以进行的的用户互动，你现在可以发布的东西，但也要考虑未来。预测未来的最佳方式是回顾过去。找到那些预测现在的人，并模仿他们。在设计个人计算革命的许多组件时，Alan Kay 和 Park 的其他人采用了核心技术，即将摩尔定律推向未来。他们自己构建了昂贵、不可销售、缓慢且有缺陷的系统，以便他们能够体验它并为未来构建它，并创造它。我们没有像摩尔定律那样拥有工业规模的信息，当他写下他的预测时，但我们确实拥有同样的定律的开端。在三个不同的能力水平上，每 12 到 18 个月就有一个数量级的下降。从 Da Vinci 的能力，最初的 GPT-3 API，它激发了我们许多人关于构建基础模型的想法。Tex Da Vinci 2 的能力，支撑 ChatGPT 的模型 lineage，它将世界带入了对这项技术的兴奋。以及 GPT-4 和 Sonet 的最新和最伟大的能力水平。在每种情况下，大约 15 个月的时间就足以将成本降低一个数量级。这比摩尔定律更快。因此，适当的未来规划方式是思考今天不经济的应用，在你需要筹集下一轮资金时将变得经济。所以，在 2023 年，运行一个所有 NPC 都由聊天机器人驱动的视频游戏大约需要 625 美元/小时。这相当昂贵。在 1980 年，玩 Pac-Man 大约需要 6 美元/小时。通货膨胀调整后，这表明如果我们等待两个数量级的降低，大约 30 个月（从 2023 年年中开始），就有可能以大约 6 美元/小时的价格提供一个引人注目的带有聊天机器人 NPC 的视频游戏体验。人们可能会为此付费。所以你现在不能卖它，但你可以体验它，你可以设计它，你可以在时机到来时做好准备。这就是关于未来以及在构建 LLM 应用时如何进行战略思考的方式。我想邀请我的合著者 Jason Lou 和 Hamama Hussein 上台，谈谈运营方面。让我们为他们鼓掌。[掌声] 好了，Ham 和我过去一年基本上做了很多 AI 咨询。我们已经与大约 20 家公司合作过，我们做过从种子轮到上市公司的一切。我非常厌倦给出泛泛的好建议，尤其是因为这里有如此多的运营商。所以，我将反其道而行之。我的目标是告诉你如何毁掉你的生意。首先，大家都知道，在淘金热中，你卖的是铲子。所以，如果你想找到金子，你也得买铲子，对吧？如果你想找到更多的金子，就继续买铲子。我应该挖哪里？继续买铲子。我怎么知道什么时候该停下来？铲子会告诉你的。我怎么挖一个深洞，而不是在很多浅洞里投资？再说一遍，答案是更多的铲子，显然。这可能很泛泛，所以我给你一些更具体的建议。如果你的 RAG 应用不起作用，试试向量数据库，换一个向量数据库。如果方法不起作用，实现一个新的论文。也许如果你更新嵌入模型，你最终会找到产品市场契合度。因为说实话，成功不在于发展专业知识或流程。尝试更多的工具。探索和利用对你有效的机制之间没有必要平衡。改变工具、流程和决策框架并不重要。正确的工具将解决一切。第二，找到一个机器学习工程师，他能尽快进行微调。每月 2000 美元的 OpenAI 账单非常昂贵。相反，花 25 万美元雇一个人，给他 1% 的公司股份，让他去解决 Cuda 构建错误和服务器冷启动问题，对吧？因为如果只是一个包装器，你的公司又有什么意义呢？如果你的利润太低，试试微调。这比弄清楚如何构建值得收费的东西要容易得多。我真的，我无法足够强调这一点。尽快雇佣一名机器学习工程师非常重要，即使你没有任何数据生成产品。他们喜欢修复 Versell TypeScript 构建错误，一般来说，如果你雇佣一个真正对 LLM 充满热情的全栈工程师，他们将缺乏真正的经验。这是因为 Python 是一门死语言。机器学习工程师、研究工程师可以轻松掌握 TypeScript，并且 Python 中存在的生态系统可以在几个周末内快速重新实现。过去十年一直在进行数据分析的 Python 程序员将很容易过渡他们的工具。如果有什么的话，教 JavaScript 社区诸如产品意识和数据素养之类的东西非常容易。最重要的是，为了找到这种神奇的人才，我们需要创造一个非常吸引人的职位头衔。让我们使用像忍者、巫师、数据科学家、提示工程师，甚至 AI 工程师这样的词。在过去的十年里，我们知道这非常有效，对吧？每次我们确切地知道我们想要什么样的人，只要我们广泛撒网，我们就不在乎我们是否不知道我们想要什么结果。为了把我从这个洞里救出来，我将让 HL 来解释，然后，深呼吸，一步一步地思考。谢谢。[掌声] Jason，那太好了。这就像从悬崖边退了一步。让我们稍微停留一下 AI 工程师这个话题。我听到观众有一些嘘声。所以，我喜欢 AI 工程师这个词。非常感谢 Swix 普及了这个词，让我们能够进行这样的对话。但我认为对 AI 工程师的技能存在误解。什么是成功的 AI 工程师所需的技能？并且存在很多膨胀的期望。作为创始人或工程领导者，你的才能是你最重要的杠杆。所以，我将谈论一些问题，也许还有一些解决方案，关于这种人才的误解。所以，回顾一下，什么是 AI 工程师？这是一个每个人可能都见过的图表。AI 领域有一系列技能，中间有一个 API 分界线。在 API 分界线右侧，我们有 AI 工程师。AI 工程师的技能专注于链、代理、工具和基础设施等事物。值得注意的是，AI 工程师缺少像评估和数据这样的工具。我认为很多人把这个图表看得太字面化了，并且把它放在心上，说“嘿，我们真的不需要了解评估”，例如。问题是，你可以从 0 到 1 快速发展。事实上，借助所有伟大的工具，你比以往任何时候都更快地从 0 到 1，仅仅通过使用氛围检查和实现我们谈到的工具。然而，没有评估，你就无法快速取得进展。这会导致停滞，因为如果你无法衡量你正在做的事情，你就无法让你的系统变得更好，你也无法超越 0 到 1。那么，我们能做些什么来解决这个评估技能和数据素养问题呢？Jason 和我发现，通过只有四到六周的刻意练习，我们实际上可以非常擅长编写评估和数据素养。事实上，非常有效。我们认为这些技能，评估和数据，应该被带入 AI 工程师的核心。它确实有助于解决这个问题，并且我们一次又一次地看到它。所以，接下来我想谈谈 AI 工程师这个职位本身。模糊的职位头衔可能会有问题。我们在咨询中一次又一次地看到，这种包罗万象的角色存在非常膨胀的期望。每当 AI 出现问题时，人们都会看向那个角色来解决问题，而有时那个角色并没有所有前进所需的技能。我们以前也见过数据科学家这个角色。头衔和名称真的很重要。我想强调的是，我认为 AI 工程师非常有抱负，你应该继续学习，这是一个值得追求的好事。但你需要有合理的期望。为了回到数据科学，我们也以前在数据科学中见过这种情况。大约十年前，当这个角色被创造出来时，它是一个拥有所有技能的独角兽：软件工程技能、统计学、数学、领域专业知识。我们发现，作为一个行业，我们不得不将其分解为许多其他不同的角色，例如决策科学家、机器学习工程师、数据工程师等等。我认为 AI 工程师这个角色也可能发生类似的事情。记住这一点很重要。我在咨询中看到或我们都在咨询中看到的是，更具体、更刻意地考虑你需要什么技能以及在什么时间是有帮助的。并且根据你的成熟度，不仅要明确技能是什么，还要明确你将从事什么类型的产品。这些是来自 GitHub Copilot 的一些职位头衔，它们非常具体地说明了你当时所需的技能。而且，在成熟度曲线上，在正确的时间雇用合适的人才非常重要。当你刚开始时，你只需要应用程序开发、软件工程或 AI 工程来从零到一。然后你需要平台和数据工程来捕获数据。然后，在此之后，你才应该雇用机器学习工程师。在没有任何数据的情况下不要雇用机器学习工程师。但是，通过对评估和数据进行刻意练习，你可以从你的 AI 工程师那里获得更多的好处。我们通常发现四周到六周的练习就足够了。所以，总而言之，最大的失败模式之一是人才。我们认为 AI 工程师通常被过度概括，但又不够具体。但我们可以解决这个问题：学习评估。接下来，我想把时间交给 Shrea Shankar 和 Eugene Yan，他们将深入探讨评估和数据。[掌声] 谢谢 Jason，谢谢 Haml。接下来，Shrea 和我将与你们分享关于在生产环境中构建 LLM 的战术方面，特别是评估、监控和护栏。所以，这是赫芬顿邮报的一则新闻：评估对团队有多重要，是区分那些交付垃圾和那些构建真实产品的团队的差异化因素。我同意。我认为这是一个例子，苹果最近的 LLM，他们分享了他们实际上收集了 750 份推送通知和电子邮件摘要的摘要，因为这些是代表他们实际用例的数据集。那么，我们如何为自己的产品构建评估呢？我认为最简单的方法就是让它更简单。例如，如果你试图从产品描述中提取产品属性，将其分解为标题、价格、评分，然后你就可以简单地进行断言。同样，对于摘要，与其试图评估那个模糊的摘要块，不如将其分解为维度，例如事实不一致性、相关性和信息密度。一旦你完成了这些，基于断言的测试就可以走得很远。我们是否提取了正确的价格？我们是否提取了正确的标题？或者，如果你正在进行自然语言到 SQL 的生成，它是否使用了预期的表？它是否使用了预期的列？这些都非常容易评估，并且重申了 Haml 关于保持简单的说法。最后，断言可以做一切，但它们只能走这么远。因此，考虑评估模型，也许训练一个分类器来检测事实不一致性，或者一个奖励模型来衡量相关性。如果你的评估是基于分类和回归的，那么这会更容易。但是，我不知道我对 LLM 作为裁判的看法。你是什么意思，你不喜欢 LLM 作为裁判？我个人对 LLM 作为裁判非常看好，我想知道有多少人正在探索 LLM 作为裁判或已经实施了它？没有？好吧，这里有一个裁判。你想站起来吗？这里有一个真正的裁判。是的。总之，我们将讨论部署 LLM 裁判时需要考虑的一些要点。首先，这是不言而喻的。LLM 裁判是最容易原型化的。你只需要写一个提示来检查你想要的标准或指标。你甚至可以通过提供好坏示例的少量样本来将其与你自己的偏好对齐。另一方面，微调模型或 LLM，你知道你需要收集大量数据并设置一个管道来训练你的评估器，这并不容易原型化，并且需要大量的初始投资。是的，但即便如此，LLM 作为裁判，要将其与你的业务特定标准对齐是相当困难的。在座有多少人没有遇到过将 LLM 作为裁判与你的标准对齐的困难？有人吗？好的，我们稍后需要谈谈。Sha，我认为，如果你只有几百到几千个样本，很容易微调一个简单的模型，它可以更精确地做到这一点。其次，如果你想使用 LLM 作为裁判，并且希望它相当精确，你可能需要使用思维链。而思维链将是，我知道，5 到 8 秒长。另一方面，如果你有一个简单的分类器或奖励模型，每个请求大约是 10 毫秒，这是两个数量级的低，并且会提高吞吐量。接下来，我们想考虑技术债务。好吧，当我们在生产环境中实现我们的验证器时，即使它们是异步运行的，或者它们运行在关键路径上，我们需要投入多少精力来使它们与 LLM 作为裁判保持最新？如果你不确保你的少量样本是动态的，或者以某种方式确保你的裁判提示与你对好坏的定义保持一致，那么你就完蛋了。而且，对于微调模型来说，效果不那么明显。但如果你不持续地用新数据、新生产数据微调你的验证器，那么它们也会容易发生漂移。所以，总的来说，什么时候使用 LLM 作为裁判？这实际上是一个资源问题，以及你处于应用程序开发的哪个阶段。如果你开始原型化，你需要快速的评估，最少的开发工作，并且需要一个评估量相对较低的东西。从 LLM 作为裁判开始，并随着时间的推移投资于基础设施来对其进行对齐。如果你有更多的资源，或者你知道你的产品会很受欢迎，那就选择一个微调模型。接下来，我将谈论查看数据。Eugene 提到，你应该根据你的自定义或定制标准来创建评估。但你怎么知道你想要什么标准呢？简单的答案是：查看你的数据。伟大的 AI 研究人员，但我们将其改为工程师。伟大的 AI 工程师会查看他们的数据。那么，我们如何做到这一点呢？第一个问题实际上是，我们什么时候看？我知道有些人从不看他们的数据，或者有些人最初在部署后看。错误答案。你应该定期查看。我与一家初创公司合作，他们每次发布新的 LLM 代理时，都会创建一个新的 Slack 频道，其中包含所有代理的实时输出。几周后，他们将其转换为每日批处理作业，并确保他们没有遇到他们没有预料到的错误。第二件事是，你具体在寻找什么？你想找到数据中那些相对简单或易于以某种方式表征的切片。例如，来自特定来源的数据，或者包含特定关键词或短语的数据，或者关于某个主题的数据。简单地说，“所有这些都很糟糕”，但如果没有办法对其进行表征并根据其改进你的管道，那将无济于事。最后，在整个查看数据的过程中，需要牢记一些事情是你的代码库会随着时间快速变化，可能你的提示、管道的组件等等。所以，当你检查跟踪信息时，能够知道这对应于哪个 GitHub commit，或者哪个模型版本或提示版本，这将非常有帮助。我认为这是传统 MLOps 工具的一个非常成功的方面，例如 ML Flow。它们使得回溯变得非常容易，然后你就可以重放一些东西。嗯，我看到裁判在摇头，但很棒。最后，在使用 LLM 作为 API 时，固定模型版本。LLM API 以表现出不同行为而闻名，这些行为对于某些任务来说很难量化。所以，固定你正在使用的模型，例如 GPT-4 1106，固定 GPT-40，等等。所以 Shreya 提到我们需要查看我们的数据，但我们如何一直查看我们的数据呢？我认为这样做的方法是通过自动化的护栏。这是 Brandolin 定律的改编：捕捉和修复缺陷所需的能量是产生缺陷所需能量的十倍。这确实是真的。调用 LLM API 并获得一些东西非常容易。但我们怎么知道它是否真的不好呢？我认为拥有一些基本的护栏非常重要。其中一些只是基本的检查：毒性、个人身份信息、版权和预期的语言。你可能会认为这很简单，但有时你实际上无法控制上下文。例如，如果有人在你的英文网站上发布广告，但它是用另一种语言写的，而你要求你的 LLM 提取属性或对其进行摘要，你可能会惊讶地发现，在某些非零比例的时间里，它实际上是用另一种语言写的。同样，幻觉的发生比我们希望的更频繁。所以，想象一下，你试图根据预告片的描述来总结一部电影。你只有预告片的描述。它可能包含剧透，因为它非常努力地想提供帮助。但这实际上是一种糟糕的用户体验。所以，有时你会包含不在其中的信息。这里有一个技巧：如果我们花一点时间构建无参考评估，我们可以将它们用作护栏。所以，基于参考的评估是指我们生成某种输出，然后将其与某个理想样本进行比较。这非常昂贵，而且你实际上必须收集所有这些好样本。另一方面，如果我们有这些标签，我们可以训练一个评估模型，然后将其与源文档进行比较。例如，如果我们正在比较摘要，我们可以检查摘要是否包含或矛盾于源文档。现在我们有了一个摘要，我的意思是，一个幻觉评估。因此，如果我们花一些时间构建无参考评估，一旦我们就可以用它来保护所有新输出。很酷，谢谢。我们将在接下来的大约一分钟内进行总结，提供一些高层次的、鸟瞰式的、20000 英尺的视角。首先，有多少人还记得这个图，来自大约十年前，2015 年，九年前，MLOps 的这篇开创性论文？是的。我认为这篇论文真正传达了模型只是其中一小部分的想法。当你在生产化 ML 系统时，还有很多围绕模型需要长期维护的东西：数据验证、特征工程、监控你的基础设施等等。所以，你可能会想，我们有 LLM，这些都重要吗？是的，看到一些点头。绝对。当我们拥有 LLM 时，所有这些技术债务原则仍然适用。你甚至可以为这里的每个组件找到精确的映射到 LLM 的等价物。例如，也许我们没有特征工程管道，但你知道，换个角度看，它是 RAG。我们正在查看上下文，我们正在尝试检索相关内容。对其进行工程处理，以便不要过多地分散 LLM 的注意力。我们对此进行了大量的实验。所有这些都需要长期维护，尤其是在模型底层发生变化时。同样，对于数据验证和验证，我们有评估，我们有需要部署的护栏。这不仅仅是简单地将你的模型或 GPT 包装在一些软件中然后发布。不，围绕模型需要大量的投资。好了，我想以 kapati Senpai 的这句话来结束。有一大类问题，它们很容易想象和构建演示，但却极难从中开发产品。例如，Charles 挖出了这篇关于第一辆由神经网络驱动的汽车的论文，那是 1988 年。25 年后，Andre Karpathy 进行了他的第一次演示驾驶，2013 年。10 年后，我希望你们所有人都曾有机会尝试过 Waymo。我们在旧金山获得了第一辆无人驾驶汽车的驾驶许可，可能在几年内，我们将获得全加州的许可。重点是，从演示到生产需要时间。因此，这就是我们所拥有的。谢谢。让我们开始构建吧。[掌声] 现在，我非常荣幸地欢迎一位非常特别的嘉宾，Thomas Dommy。Thomas 从他在德国的童年时代起就对软件开发着迷，他建立了一份职业生涯，构建了开发者喜爱的工具，并加速了正在改变软件开发的创新。目前，Thomas 是 GitHub 的 CEO，他监督了第一个大规模 AI 开发者工具 GitHub Copilot 的发布。所以，请大家一起欢迎 Thomas。[音乐] Dommy，谢谢 Thomas。很高兴来到这里。是的，谢谢大家。谢谢 Thomas。让我们从 Copilot 开始。许多人分享了他们对 Copilot 起源故事的看法，但你亲眼看到它在 GitHub 中被采用的个人经历是什么？我不知道，你有一个预览。带我们回到 2020 年。所以，想象一下，现在是 2020 年。这是旧金山、西雅图以及所有 GitHub 工程师所在的地方的封锁。所以，就像你们所有人一样，我们可能都在一个 Zoom 电话会议上。其中一位拥有了一个新模型的早期访问权限，OpenAI 刚刚在预览中发布了一个模型，一个名为 Codex 的 GPT-3 版本。你知道，我记得当时是 GitHub Next 的负责人，他有键盘。我们在口述提示，并让模型编写一些代码。我想我第一次恍然大悟的是，你可以让它编写 JavaScript 代码，并将花括号放在正确的位置等等。你可以让它编写 Python 代码。模型在某种程度上，你知道，它不像编译器那样工作。它没有语法树。它不知道这些东西。或者，你也可以说，它知道它们，就像我们知道它一样。那可能是第一次。我们继续构建，我们继续探索模型，然后决定我们构建了这个自动补全的 Copilot，你知道，这是第一个 Copilot。我们所有人都一边远程工作，一边被封锁。所以，即使你的投资者今天告诉你，你需要在一个房间里，在白板前，如果你想创新，你可以在你的家庭办公室里，在世界各地进行创新。我认为下一个时刻是，我们向我们的内部工程师发布了一个预览版。我们在 GitHub 称之为“员工发布”。那些工程师的 NPS（净推荐值）调查结果非常高，我认为是 72、73，差不多。通常，我们早期阶段的产品，尤其是使用大型语言模型，你知道，所有这些幻觉和用户界面还没有真正弄清楚，得分要低得多。所以，那是一个神圣的时刻。然后，产品在 2021 年年中发布，而且 Co 还在继续。我们开始查看遥测数据，团队过来告诉我们，它编写了大约 25% 的代码，在启用了它的文件中。我记得我说，别相信这个。你们的遥测数据是错误的。请回去验证一下。结果证明，这确实是真的。现在，大约是代码的一半。你知道，编写的代码。有些语言，比如 Java，接受率甚至更高，编写的代码行数也更多。所以我认为我们经历的这种旅程，在最初的两年里，确实是一个又一个的时刻，我们看到了 AI 的未来，甚至在 ChatGPT 真正向所有人敞开心扉之前。太棒了。现在它也对这里的所有人开放了。所以我认为 Copilot 最初是一个 IDE 的自动补全，现在它遍布 GitHub。我知道我有 PR 板等等。你做了什么来让 Copilot 整合到整个 GitHub 中？你做了一些实验，哪些有效，哪些无效？我认为第一件事是思考，作为一个领导者，作为一个公司的 CEO，我该做什么？这真的在于不断地重新调整我们的方法。你知道，AI 世界几乎每天都在变化。每天早上都有一些新闻来自其他信息来源。所以，不再是“我有一个长期战略”，我列出了我所有的功能，然后通过后端工作。这更像是，尽可能敏捷地运作，即使我们是一个拥有 3000 人的公司，是地球上最大公司之一的一部分。第二件事是，我们真的试图在开发者所在的地方与他们会面。我们说，我们不是
为了构建人工智能工程师，我们正试图构建面向工程师的人工智能，一种以人为本的方法，你知道，这就是“Copilot”这个名字最终所体现的。但同时，你也知道，我们正试图让开发者的生活变得更好。因为我们自己也有开发者，而且我们发现，每一次生产力的提升，最终都能帮助我们在 GitHub 构建我们的人工智能产品。所以，这确实是我们的方法，就像在思考我们接下来能做什么，来让我们的工作变得更容易，为 Copilot 构建更多功能。
你提到了一个很棒的点，你试图在开发者所在的地方与他们见面。所以，目前我们是将人工智能带入 IDE。是的，我们是否会尝试将开发者和 IDE 更紧密地联系到人工智能呢？你对此有什么想法？
你知道，将人工智能引入 IDE，或者说引入“幽灵文本”，自动补全，这是一种绕过幻觉的方法。这是一种说法，好吧，模型并不总是完美的，但自动补全也不是，对吧？就像无论你在 Google Docs、电子邮件还是编辑器中都有自动补全一样，以旧的 IntelliSense 方式，在你输入时，它无法知道你想输入什么。所以你习惯于调整你的输入，然后你会在按下 Tab 键的那个时刻找到这个瞬间。而且，即使没有自动补全，我们也会思考开发者在编辑器中写代码时会做什么。最好的开发者在卡住之前会写很多代码，而新手和那些很少写代码的人，就像我一样，会更容易卡住。然后你就会通过 Control+Tab 或 Command+Tab 进入你的浏览器，打开 Google 或 Stack Overflow、GitHub。你在那里找到代码，与其他开发者争论，然后将代码复制粘贴到你的编辑器中，然后你也会修改它。所以，在某种程度上，Stack Overflow 的幻觉和模型一样多。不一定是答案不好，而是世界变化太快了。你知道，我会在 iPhone 项目和 Swift 上写一点代码，每次 WWDC 之后总会有新的 Swift 版本，或者新的 Xcode 版本，所以使用 API 的方式也发生了变化。所以，这让开发者保持在流程中。
这里真正关键的是，我们没有，你知道，在十年前的世界里，我们可能甚至不会称之为人工智能，我们只会称之为更智能的自动补全。而人工智能的部分并不是 Copilot 的核心功能，它帮助开发者保持在流程中，完成工作，而不是在编辑器和浏览器之间不断分心。
这是一个很棒的点，我想几个月前你写了一篇关于 Workspace 的文章。创建 Workspace 的过程是怎样的？也许对于不熟悉它的人来说，Workspace 是什么？
是的，所以你已经提到了自动补全，这就是我们开始的方式。在 2022 年 11 月，ChatGPT 出现了。所以，在 2023 年初，我们将 ChatGPT 和 GPT-4 添加到了 IDE 中的 Copilot，作为一个单独的侧边栏窗口。我们已经有了这个，它拥有 RAG 和 IDE 中的所有信息和上下文。但从那时起，我们一直在思考如何让开发者的流程更加顺畅。Workspace 正是这样做的。它接收一个 GitHub issue，或者你写在 GitHub.com 上的任务和想法，然后它会帮助你作为你的代码基础仓库的一部分，找出如何实现这个改变。它连接了 issue，你知道，从任务描述到 pull request，再到代码。而这背后的魔力在于，人仍然是中心。所以，在整个过程中，你知道，编写规范，分析当前的仓库，当前的行为，然后使用你的描述来找出如何修改它，然后编写计划，显示如何更改所有文件，到实现，也就是 diff 视图，如果你愿意的话。人可以互动，可以改变这些要点，可以改变代码。而这真正做到的，是给你一个配对程序员，帮助你探索代码库。因为我们作为工程师都面临的挑战是，一旦你进入一个新的项目，或者你想修改一个开源项目，或者你只是从假期回来，你想不起你的上千个文件中实现了什么，导航代码库是第一个挑战。你需要弄清楚当前的行为是什么，新的行为是什么。所以，你拥有一个人工智能原生的，Copilot 原生的开发环境，它在你自然也在 IDE 中进行的旅程中帮助你。而这确实是关键。这不是关于构建一个自主代理，我敢肯定你在过去三天里听了很多关于这个的说法。这是关于构建帮助我们人类解决任务并在此过程中学习的代理，当我们发现“哦，我还需要修改这个测试文件，如果我想实现这个功能的话”。
我喜欢你提到的那个观点，就是不构建自主代理，同时也要帮助开发者。那么非开发者应该如何使用 Workspace 呢？
他们可以，事实上，你知道，当我们去年 11 月在 GitHub Universe 上宣布这个的时候，我收到的第一封反馈邮件来自一位项目经理或产品经理，他说这太棒了，因为现在我不仅可以写用户故事或工作项，还可以看到它在代码库中的实现意味着什么。在很多方面，你知道，我们今天面临的最大挑战是，我们能否在写任务时尽可能具体？你知道，作为产品经理或我们自己作为工程师，你知道，通常一切都很明显，直到它不明显为止。然后，你知道，你需要给任务定价，对吧？它需要多长时间？而“神话般的男人月”，我想“务实的工程师”几周前也提到了，仍然是真的。大多数估计的时间是实际所需时间的一半。而且，在估计完成任务所需的时间方面，它非常糟糕，无论是编码，还是建造房屋、道路或基础设施。所以，Workspace 在这方面帮助你，因为它帮助你弄清楚我刚才描述的是否足够具体，可以为它编写代码，甚至可以弄清楚计划会是什么样子。
你能分享一下你关于我们如何用自然语言构建和编码的愿景吗？以及它如何帮助我们更好地协作，开发者和产品经理，编码者和非编码者，跨语言和跨世界？
对我来说，你知道，当你提到自然语言时，我首先想到的是我 T 恤上的这句话：“Copilot 说你的语言”。这是因为我们今天在 GitHub Copilot 和许多其他人工智能应用中使用的聊天，这些大型语言模型，也帮助我们在聊天代理中。它们几乎说任何语言，任何主要的通用语言。所以，无论你想用英语探索编码，而你还不理解真假布尔逻辑的概念，还是你想用德语、印地语、巴西葡萄牙语、西班牙语和中文来学习它，你现在都可以做到。而且，如果我看看今天的孩子们在学校里，他们中的大多数人都是在手机上长大的。你知道，当你晚上在旧金山、西雅图或世界任何地方的餐馆里，你可能会看到一家人带着小孩，小孩拿着手机，因为父母想自己享受五分钟。然后，随着孩子长大，你知道，他们看到超级马里奥或我的世界，他们开始玩游戏，这自然而然地意味着“我如何创造我自己的游戏？我如何创造我自己的网页？”Copilot 使这一切成为可能，它以孩子们成长的语言使这一切成为可能，你知道，对于这个星球上的大多数人来说，那不是英语。所以，这是第一点，它使技术访问民主化。它也为那些没有技术背景的父母，或者没有无限耐心的父母的孩子们提供了访问的民主化。但大多数父母都没有。我有两个孩子，我根据自己的经验说话，总有一天你会受够了向你的孩子解释世界，你只想打开电视，看 Netflix 节目。但如果看看专业领域，我们面临的最大挑战之一是，你知道，如果你明天加入我的公司，或者我加入你的公司，我们面临的最大挑战是，所有的制度知识是什么？事情是如何完成的？你知道，我们人类不喜欢问一千个问题，尤其如果你是一家大公司的新员工，你心里会有一种焦虑，觉得其他人认为你很笨，你为什么被雇佣。所以，Copilot 也使公司中的所有信息访问民主化。我认为这将改变我们的工作方式，不仅是劳动力中的开发者，而是真正每个人。
谢谢你，托马斯，分享你的愿景。我想接下来要问的是一个可能有点不那么“正经”的问题。说到代理，在你看来，是什么构成了一个代理，或者 Copilot？什么是定义？你对代理的定义是什么？
我认为代理就像一个人工智能洗碗机。你把盘子放进去，然后让它做它的事情，最后你取出成品，放回架子上。而今天，我们有，我们过去称之为机器人，或者在很多方面，这就是一个自主代理。你推送你的 pull request，然后运行你的 CI/CD GitHub Actions 或类似的。我们今天拥有的许多计算原语都是代理，因为它们能独立完成工作。而我的监控，用来弄清楚 GitHub 是否正常运行，在某种程度上是自主的。希望它能自动通知某人，而我们听不到你无法访问你的仓库。所以，我认为在很多方面，我们正在构建的仍然是帮助我们完成工作的工具。而开发者有很多工作要做，现在人工智能工程师也需要做很多工作。你之前在幻灯片上看到了所有这些事情，即使你可以用大型语言模型自动化很多事情，但软件工程中的很多工作正在拖累我们，很多样板代码，很多安全合规性。你知道，那个星期五晚上，你想享受烧烤，因为阳光明媚，但你却不得不更新你所有的 Log4j 依赖项。安全工具实际上现在创造了更多的工作，它不是洗碗机，它实际上是一个工具，告诉你盘子是脏的，然后你必须自己洗盘子。所以，那就是安全工具。它只是增加了我们的待办事项列表，而我们实际上想做的是创造性的事情，我们想构建新功能，我们想构建创新的产品，这些创造性的东西。我认为许多软件开发者并不认为自己是生产工人，他们认为自己是艺术家，是创作者。是的，但你知道，我们的公司，我们的政府，世界要求我们做很多其他工作。我们需要人工智能工具，自动修复，你知道，不仅扫描安全问题，然后修复这些安全问题。我们需要这些由人工智能支持的部分，这样我们就有更多时间做我们想做的事情，而人工智能则接管我们不想做的事情。而这就是代理将走向的方向。
太棒了。你想要什么样的代理？我们离它还有多远？
我的意思是，我想要这些代理，它们能烧掉我所有的安全待办事项。就像任何公司一样，挑战在于我有很多这样的项目。而且，并没有一本你可以买到的书，告诉你作为工程经理如何平衡这两件事。你不能把所有工作都投入到安全合规性、可访问性等等。你不能把所有工作都投入到创新中，因为一旦出现威胁他们数据的安全问题，你的客户就会失去信任。因此，你必须平衡这两件事，或者找到能快速完成工作的 AI 代理。而且，我认为，作为任何软件开发公司的领导者，我都想走得更快，总是想更快地完成那个功能。而且，我敢肯定，对于亚马逊的你们来说也是一样。当我有一个想法，问我的团队需要多长时间来实现它时，我得到的估计让我挠头，我想，我自己就能更快地完成，而不是等待我的团队。但当然，那不是真的。真相是，如今在这个过程中有太多其他事情了，我们需要找到新的抽象层，帮助我们重新掌控我们的开发生命周期。
这是一个很棒的点。最后一个问题，你对新老开发者有什么建议，关于他们应该如何在这个新工具世界，这个新抽象世界中导航？在一些人看来，这是自 PC 以来最大的技术创新。
我认为，你知道，这项新技术最令人兴奋的事情是，你希望在过去三天里，在这个会议上，我们正在进入一个软件开发的新世界。在我的一生中，有过多次阶梯式的进步。我出生的时候 PC 还没有发明。我记得在 90 年代得到了我的 Commodore 64。我记得开源和互联网。你知道，互联网之前的开源和互联网，是购买 CD 和 DVD。在书店里。互联网来了，你知道，SourceForge，然后 GitHub 来了，突然开发者开始协作。移动浪潮来了，每一次我们有了这些阶梯式的进步，软件开发就变得更加令人兴奋。而且，我认为，我们又一次处于这个阶梯式的进步中。这意味着我们可以拥抱我们的“宅男”精神，我们可以构建新的东西。而且，我认为，对我来说，作为 GitHub 的 CEO，我很少有机会接触代码。所以，当我在周日下午接触代码时，我不想花所有时间更新我的所有依赖项，我也不想弄清楚 API 文档中所有改变的东西，或者如何将容器部署到云端，以及发生了什么。你知道，我们周围有太多东西在变化，我们想找回乐趣。而且，我认为，就是这样。人工智能让软件开发重新变得有趣。所以，我想鼓励你们所有人，回家去构建一些很酷的东西，拥抱这个新的人工智能世界。
好的，这就是我们所有的内容。谢谢你，托马斯，请加入我。谢谢大家，女士们先生们，请欢迎回到舞台上，你们的主持人和 AI Engineer Summit 的联合创始人，本杰明。
哦，天哪，我们感觉怎么样？比我好吗？我希望如此。我筋疲力尽。多么棒的活动结束方式！OpenAI 快速演讲，来自传奇人物和 GitHub CEO 的演讲。我们可以为我们最后的 Keno 演讲者鼓掌吗？太棒了！我想最后要说的是，谢谢！感谢大家来到这个活动。我们可以组织最好的流程、内容和制作，但如果没有你们所有人，社区成员，你们的到来、学习、参与和交流，这一切都没有意义。所以，我们感谢你们。所以，请给自己一个掌声。
接下来，我想感谢微软。他们是去年 10 月我们峰会的赞助商，特别是布兰登·温特罗斯，据我回忆，他是第一个将他们的赞助提升到一个新水平的冠军。所以，感谢他。而且，我非常高兴与他们的合作。莎伦、艾莉森、凯拉，你们都非常棒。特别感谢所有来自微软和 GitHub 的演讲者，感谢你们的辛勤工作和精彩内容。
AWS，我一直是这家公司的用户和粉丝有一段时间了。作为一个活动制作人，我非常钦佩他们在 ReInvent 和他们举办的所有其他活动中所做的一切。Memo，你太棒了，继续做你正在做的事情。而且，Atie，我很高兴听到你将把旧金山的 AWS Loft 变成一个 AI 工程技术交流中心。你在你的主旨演讲中宣布了这一点，这太棒了。旧金山回来了，宝贝！
MongoDB、Google、Neo4j，你们都做得很好。感谢你们的合作和支持。从规划和组织方面，到内容和制作方面，再到我们所有的其他赞助商，特别是我们的金牌和银牌赞助商。你们不仅帮助活动在财务上取得成功，还使活动的每个方面都更加有趣、引人入胜和有价值。你们的存在丰富了这次活动，我们感谢你们的到来。
Argus HD，我是说，说真的，Argus HD，你们总是让我们惊叹。Tim Ryan，Tim，另一位 Tim，以及其他所有人，你们太棒了。我们的预算很小，但你们都让它运转起来。他们做了所有的分组会议，这真是太棒了。你们呈现了一场精彩的演出。
Motif Events，你们看到那个展区了吗？那是 Motif Events。他们设计和建造了它。我们选择他们，不仅因为他们最具创新性，而且因为很明显，他们付出了最多的努力和心血。所以，谢谢 Dave、Ben 和其他所有人。
感谢整个 Local 16 团队，感谢你们在组装和拆卸这个东西方面的精湛工艺。它不得不在会议之间拆除。我们带来了空气墙，你们都看到了，他们做到了，非常非常快。所以，感谢你们所有人。
万豪侯爵酒店的每个人，你们都非常棒。食物很好，咖啡很好，每个人都非常响应迅速，互联网很好，至少在我看来是这样。希望你们也是。
所有的演讲者，没有演讲者我们就无法举办活动。他们为这些演讲付出了巨大的努力，就像毕加索一样，他们用了一生的时间来创作那幅画，但与毕加索不同，完成它需要几周甚至几个月的时间。所以，感谢所有演讲者，感谢你们成为这次活动中不可或缺的一部分。
Coach and Vide，感谢你们管理我们的直播，提供我们 YouTube 直播的实时片段。所以，谢谢 Chris。
Otto，SourceCraft 的所有人，Cody 的所有人，感谢你们帮助将这些精彩内容分发给更广泛的受众。
志愿者，这些是穿着黄色 T 恤的人。他们没有报酬，他们是志愿者。活动非常昂贵，没有你们我们无法做到。所以，我们非常感谢你们。
Leah McBride，你们中的许多人在注册时遇到了她，她是一个绝对的力量，说真的，她是一个完整的活动机构。所以，我想请大家鼓掌欢迎她来到舞台。Leah，我们将为明年的活动提供更多的现场支持，所以，你将少辛苦一点。
Simon Sturmer 是一个了不起的工程师，他志愿投入大量时间来帮助维护会议网站和移动应用程序。当然，这其中有 bug。我们有志愿者在运行它。如果你想贡献并构建我们正在做的一些很酷的东西，请直接给我发邮件。Ben，一个工程师。我们需要一些帮助。
最后，Swix，说真的，你们不知道这个人付出了多少心血、汗水和时间来举办这次活动。我非常失望他错过了这次活动，但他正在通过直播观看。所以，我们可以为 Swix 鼓掌吗？
Max Video Productions，他们负责我们的 B-roll 电影摄影和演讲者访谈。Randall Gee，他负责我们的摄影。Angelie Fit 负责现场配音。Sasha Shang 帮助了多元化委员会。多元化委员会的每个人，Sarah Chang、Tony Shw、Harper Carroll，还有很多人。如果我忘记了你，我很抱歉。我是在上台前五分钟才把这个整理好的。疯狂的时期。但非常感谢大家来到这里。感谢大家的到来，明年见。别忘了今天就锁定你的门票。再见。
谢谢大家！
[音乐]
[掌声]
[音乐]
我，我知道，准备好了，我准备好了。
[音乐]
[掌声]
[音乐]
我感觉，我会回来的。
[音乐]
[音乐]
我，我准备好了。
[音乐]
[音乐]
[掌声]
我，一个人。
[音乐]
[掌声]
再次，当我最不期待的时候。你们都。
[音乐]
我举起它们。