Transcription
文本 我是保罗·G·艾伦计算机科学与工程学院的 CSE 学生，cs.w washington.edu。你好，我是 Melanisclar。我是一名三年级博士生，在自然语言处理领域与 Yen Joy 和 Julius Vetkco 一起工作。我叫 Kyle Johnson。我是艾伦学院计算机科学与工程专业的博士生，我的导师是 Vicer Meer。我是 Jafet Dwan，艾伦学院的一年级博士生。我属于机器人状态估计实验室和 Ranj Krishnan 的实验室。你好，我叫 Chu。我是艾伦学院三年级博士生。我属于 Makeability Lab。我的导师是 John Freric 教授。Chu 坐在一张桌子旁，桌上放着一台笔记本电脑和第二个显示器。她正在查看一张地图。现在是进行自然语言处理研究的绝佳时机。事物正在迅速变化。我专注于大型语言模型的推理。当前大型语言模型不太擅长的一种推理是心智理论推理。人们通常用来测试心智理论能力的一个短故事叫做“凸显测试”。Melanie 在她的办公桌前工作，她的笔记本电脑和连接的显示器。她的笔记本电脑显示一个男人图标，一个女人图标，上面覆盖着一个红苹果，一个篮子图标，以及一个蓝色的盒子，还有一个计时器。显示器显示相同的图标，文本为 salant test whimmer and printer 1963。Baron Cohen at Al 1985。说 Alice 和 Bob 在一个房间里，里面有一个篮子和一个盒子。Melanie 站在白板前，手里拿着红色的记号笔。她画了一个火柴人，并将其标记为 Bob，旁边画了一个火柴人，并将其标记为 Alice。她在 Bob 下面画了一个篮子，在 Alice 下面画了一个盒子。Alice 在这里有一个苹果。她把它放进篮子里，然后离开了房间。现在 Bob 会过来，把苹果从篮子里移到盒子里。她在 Alice 旁边画了一个苹果。她擦掉了苹果，在篮子里重新画了它，然后擦掉了 Alice。她从篮子里擦掉了苹果，并在盒子里重新画了它。所以接下来要问一个人或一个模型以探究他们对心智理论推理的理解的问题如下。Alice 认为苹果在哪里？她回来时，Bob 认为 Alice 会在哪里找苹果？Bob 认为苹果在哪里？这些问题并不都有相同的答案。但语言模型总是会回答“盒子”。缺失的推理是理解你所知道的可能与我所知道的不符。Melany 办公室显示器上的文本是 Salian test whimmer and printer 1983。Baron Cohen at all 1985。Anne 和 Bob 在一个房间里，里面有一个篮子和一个盒子。Anne 把一个苹果放进篮子里，然后离开了房间。Bob 然后把苹果移到盒子里。一、Bob 会在哪里找苹果？答案：盒子。二、她回来时，Bob 认为 Anne 会在哪里找苹果？答案：篮子。一个指向问题一的箭头带有文本“一阶真信念问题”。一个指向问题二的箭头带有文本“二阶假信念问题”。所以我们将有几个图表，Melanie 坐在显示器前，显示器现在显示文本“图形化全局状态跟踪”。显示器还在屏幕左侧显示提示和问题二。屏幕右侧，单词“苹果”出现在一个带有标记为“在”的线的框中。这条线通向单词“盒子”。一条标记为“在”的线从单词“盒子”引出，通向单词“房间”。单词“篮子”和“Bob”也出现，并带有标记为“在”的线，通向单词“房间”。一个带有单词“和”的框独立存在。图表下方，用红色写着文本“全局上下文 G”。示例一图表显示“Bob 会在哪里找苹果？”所以 Bob 所拥有的信念是另一个图表，关于 Bob 对 Anne 的信念的图表。这就是你输入语言模型的内容，我们发现通过执行这个过程，你可以提高在心智理论数据集上的表现。显示器现在显示一个标题为“符号化心智理论概述”的屏幕。左侧的文本框写着“Anne 认为 Bob 会在哪里找苹果？”两个箭头从框中引出。上面的箭头指向文本“苹果在哪里”，指向一个带有对话气泡的机器人图标，对话气泡中包含文本“篮子”。下面的箭头指向一个包含图表的框。图表显示单词“苹果”，并有一条标记为“在”的线从中引出。这条线通向单词“盒子”。一条标记为“在”的线从单词“盒子”引出，通向单词“房间”。单词“篮子”和“Bob”也出现，并带有标记为“在”的线，通向单词“房间”。一个带有单词“和”的框独立存在。从图表中引出的一个箭头指向文本“Bob 在一个有篮子和盒子的房间里。苹果在篮子里。”一个从文本中移开的箭头指向机器人图标。显示器底部的文本是“一、检测问题中的实体。检索信念图并执行。二、检索图捕获的句子。三、输入语言模型。”吸引我进入机器人领域的原因在于能够制造出可以自主移动的东西是多么有趣。Kyle 坐在一台显微镜前，操作着一个微小的组件。使用两个有线的探针在一个培养皿中的电路板上工作。而微型折纸机器人的想法是利用这些，你知道的，我们在实验室里能够制造的小型电子设备，以便控制它在下降过程中的分散方式。所以，我们的折纸微型机器人受到了像枫叶这样的叶子的启发，它们有类似的坠落行为。他走到一个展示台前，展示台上有一张海报，上面布满了图表，还有一套小型塑料容器和一个玻璃柜。一个减慢到 0.1 倍的视频显示了落叶。所以，在一个状态下，它是平坦的，并且会从原始的坠落地点远远地翻滚开，但我们可以在它在空中时控制过渡，而无需电池。在这个状态下，它是稳定状态或过渡状态。它实际上是直线向下坠落。一个减慢的视频显示机器人处于翻滚状态向下坠落。一个风扇从侧面吹来，导致机器人远远地偏离了坠落地点。按下中心以改变形状。角落向上。另一个减慢的视频显示机器人处于受控的直线下降状态。稳定状态。一个风扇从侧面吹来，但机器人从坠落地点直线向下坠落。控制这两种状态使我们能够控制这些设备在风中从坠落地点漂浮多远。一个比较视频显示了在 1.83 米/秒的风速下，在容器管内的稳定状态和翻滚状态。在稳定状态下，它漂浮在顶部附近，而在翻滚状态下，它在管中从一侧弹到另一侧。这些东西可以用于环境监测，从气候变化到监测不同的昆虫。他在电脑上工作。一个视频显示他在操作一个微型电路板，他通过显微镜观察。我真的很喜欢拥有我们自己的个性化机器人管家的想法，它能够为我们执行日常家务。Jaw Fay 坐在一张桌子旁，在笔记本电脑和多屏幕电脑上打字。当他编码时，一个机器人手臂的三维模型在一个显示器上播放。所以，在我的研究中，我研究开发可扩展和直观的方法来收集大规模机器人数据，以便在家中训练这样的机器人。Alzi 不在我的研究计划之内。她指着一张描绘公交车站标记工具图像的海报，穿着一件 Makeability Lab T 恤，并与两个人交谈。然后她在一台笔记本电脑上浏览一张街景图像。我正在为人行道无障碍性开发一个可视化工具。在一张公交车站的图片中，彩色虚线勾勒出垃圾桶、座位、遮阳棚和标牌。然后我意识到这个可视化工具对屏幕阅读器用户来说是无法访问的。我想我只是可以将别人的研究框架改编到我的可视化工具中。她通过笔记本电脑键盘与屏幕地图进行交互。结果发现当时没有这样的研究项目。所以我决定提出自己的美国人口密度文本地图。所以 all viz 是一个为屏幕阅读器用户自动生成地理可视化替代文本的系统。这是一张显示美国各州不同人口密度的地图。这里是对当前地图可视化的简要总结。它有一个简单的空间模式总结以及描述性统计数据。在当前视图中，人口密度在右侧很高。没有人口密度特别低的地区。平均人口密度为每平方英里 286.2 人。人口密度最高的州是哥伦比亚特区，每平方英里 10,970.5 人。人口密度最低的州是怀俄明州，每平方英里 6.0 人。按 I 键收听当前视图的边界。按 M 键与地图交互。我将开始与地图交互。我将放大，然后沿着东海岸移动。然后在这里我可以调出更多信息。在当前视图中，人口密度在右下角很高。人口密度在左上角很低。平均人口密度为每平方英里 523.3 人。归根结底，alt text 仍然是单向通信。所以我想创造一些新的东西。Vis 2 是一个具有问答功能的系统。在此处键入您的问题。文本“欢迎来到地图绘制。这是一张显示人口密度的美国交互式分级统计地图。在我们的用户研究中，我们发现盲人和低视力人群提出的许多问题，对于视觉用户来说是显而易见的。例如，俄勒冈州的邻国有哪些？俄勒冈州北接华盛顿州，东接爱达荷州，东南接内华达州，南接加利福尼亚州，西临太平洋海岸。所以，艾伦学院的 NLP 就像圣杯。有很多人在做伟大的工作，而且工作非常多样化。不仅如此，我们还经常与其他机构合作。Melanie 在她的笔记本电脑上打字，显示着代码。所以这是一个从事人工智能的好地方。我还是 ALA 的联合创始人，一个工程素养和可及性的愿景。他的衬衫上用多种颜色的字母写着 aa a vision for engineering literacy and access，以及火箭飞船、齿轮、原子图、算术符号和一群握紧拳头的手在星星中的插图。目标是西雅图地区服务不足的青少年，主要是黑人、西班牙裔和拉丁裔青少年。艾伦学院实际上已经资助了 Africa Town Community Land Trust。他们有 William Gross 社区中心，这是一个位于中央区附近的当地创客空间，我们每个学期都在那里授课。希望我们能共同影响下一代 K-14 学生。他在教室里向孩子们展示科学图表。后来和孩子们一起做手工项目。我决定加入艾伦学院机器人实验室的原因是我听说这里的研究成果很多。不仅如此，我们还得到了教师和行业合作伙伴的大量支持。Jaw Fay 举起一个带有机器人手臂模型的平板电脑，并将其对准厨房柜台。他将自己的手伸入平板电脑摄像机前方的视频区域，并四处移动。我来美国攻读城市设计和建筑学硕士学位。然后我在芝加哥担任了两年城市设计师。然后我决定这可能不是我想做一辈子的事情。我想在人机交互或城市科学的交叉领域进行研究。我们越能与他人交流，我们就能越能从彼此的知识和技能中受益，我们就能创造出更好的研究。我叫 Melanie Clar。我叫 Kyle Johnson。我叫 Jafetan。我叫 Chu，我是 CSE。我是 CSE。我是 CSE。我是 CSE。标志保罗·G·艾伦计算机科学与工程学院。文本 cs.w washington.edu。