Andy Matuschak — The reason most learning tools fail

我们低估了记忆在我们生活中的作用。如果你试图理解某件相当困难的事情，你理解它的能力仍然完全取决于你对构成材料的记忆。对于普通学生来说，教育系统主要希望学生做他们不想做的事情。这并不是为了帮助他们更轻松或更有效地实现目标。在大多数情况下，这是为了实现并非属于他们的目标！我在教育心理学中最为认同的历史流派，是最具机器人化、最专制的历史流派，也是最接近“非学校化”和蒙台梭利风格的流派。大型语言模型（LLM）会使记忆变得更有价值还是更有价值？LLM 依赖于我们外化事物并使其可读的能力。基本上，教育领域的每个人都专注于真正，比如，底部的四分之一，甚至不是中间。今天我很荣幸能与 Andy Matuschak 交谈，他是一位研究人员、工程师和设计师，致力于研究“思想工具”。除了这个播客，我们还在 Andy 的 YouTube 频道上进行了一次有趣的合作，我鼓励你们都去看看，在那里我只是看着 Andy 学习一些新材料。那只是量子力学的一个入门章节。老实说，我本以为会看到一些很酷的技术或被留下深刻印象，但我比预期的要惊讶得多，因为他的练习是如此深思熟虑和费力。这本书每页需要 15 分钟。对于 Andy 思考的每一个小问题，“我不太理解这个，作者在这里想说什么，他试图画一个类比或关系，我不确定我完全理解经典力学方程和量子力学方程之间的关系，作者认为这是类比的，”他真的深入研究了这一点。我认为以这种方式来处理新材料非常有趣。因此，在这次谈话中，我期待与 Andy 讨论的不仅是这次经历，还有他其他的许多研究和构建的其他工具。让我问你这个问题。那次经历让我觉得这是一个真正关心理解材料的人。你认为人们普遍关心真正地整合和理解他们在书籍和教科书中消费的内容吗？如果你关心，难道你不认为他们会付出更多努力来真正吸收这些信息吗？我认为这个说法过于笼统，无法评论。我认为，大多数学生确实不想这样做，因为他们学习的是他们并不真正关心的东西，或者即使他们关心学习，通常他们正在进行的阅读或活动与最初激发他们对该主题的兴趣以及他们真正想做的事情之间也没有明确的联系。所以总有一些不确定的事情在发生。另一方面，看看 Reddit 社区，看看人们对园艺设备或绳结等事物表现出的那种极客精神和迷恋程度，真是太棒了。人们正在竞争打出一些非常晦涩的 18 世纪绳结，或者别的什么，他们翻阅那个时期的年鉴。所以当人们感兴趣并且它与对他们真正有意义的事物联系起来时，他们确实想要吸收，我们在他们的行为中看到了这一点。我认为还有第二件事也很重要。为了解释这一点，我将引用 Mortimer Adler 和 Van Doren 的《如何阅读一本书》，这是一本关于严肃阅读的绝佳指南。他们考虑了人们的床头柜上经常放着困难或要求高的书的情况。这些是某种程度上的抱负，比如，“哦，我真希望我能读《李尔王》。我想成为一个读《李尔王》的人。”你把它放在床头柜上，人们会在睡前阅读。他们会发现自己在阅读时睡着了，他们并没有真正吸收或理解这本书。这不仅仅是记忆问题，他们根本就没有理解书页上的文字。 《如何阅读一本书》的作者认为，那些在读《李尔王》时睡着的人的问题不在于他们不想保持清醒并真正处理文本，在很多情况下，问题在于他们实际上不知道如何做。他们会撞上一堵非常困难的材料之墙。这几乎就像一个经验不足的攀岩者面对一堵只有非常微妙的刻痕的墙。对于一个有经验的攀岩者来说，那些微妙的刻痕就像一个梯子，他们可以钻进去开始取得进展，看到墙壁的情况。但如果你是一个没有经验的攀岩者，它看起来就像一面实心墙。这个说法，也许这是一个乐观的说法，你可以批评我，就是存在更熟练的读者，并且更熟练的读者实际上，在实践中，在许多情况下，当阅读与你的实际兴趣相符时，会产生更严肃、更理解、更前进的阅读。对。所以，人们可能无法保留他们正在消费的材料，原因有两种。一种是他们曾经理解过，但忘记了。另一种是他们一开始就从未理解过，而且他们从未注意到自己从未理解过。我发现非常有趣的是你逐段、逐句地进行，并问“我理解了吗？”这是我上周尝试过的材料。当我深入研究某件事时，我发现，“实际上，我也不理解。”而我却没有注意到我没理解。你是如何在进行过程中注意到你的困惑的？这是一种习惯。这是一种可以培养的技能。Adler 和 Van Doren 认为，熟练阅读、主动阅读的第一条也是最重要的一条规则是提问并尝试回答。如果你只关注这一点，我应该问什么样的问题，我应该如何问？当作者不在场时，我应该如何回答？等等。他们还说相反，这是一种批评，一个不求甚解的读者不提问也不得到答案。我当然读过很多很多这样的书，尤其是在我养成这个习惯之前，我发现自己常常属于第二类。问题不在于我记不住东西，而在于我的眼睛只是扫过段落，甚至没有意识到。你读完了一章的一半，你还在想，这一章是关于什么的？好的，更广泛的问题是——既然我们有了所有这些在线资源，其中一些是你帮助开发的，比如可汗学院，似乎勤奋作为一种特质的价值已经大大增加。如果你能激励自己学习这些东西，世界就在那里等着你去吸收。有什么样的设计或用户界面，甚至内容修改可以用来提升你的勤奋度？过去，你有一位教授，有同学，有当面的截止日期来激励你。有什么东西可以与纸笔相提并论，以及它如何提升你的数学智商以提高勤奋度吗？对。教育心理学中一个持久的结果是，当你进行大量认知活动时，元认知是困难的。我的意思是，当你非常努力地思考书页上的内容时，你很难计划、自我调节、弄清楚下一步的最佳行动是什么、反思和评估你是否理解了这些内容。所有这些都会随着材料的难度增加和熟悉度的降低而变得更加困难。因此，一个常见的线索，至少在学习科学方面，是外包元认知。我们外包的一些方式其实非常熟悉，比如有人给你一份教学大纲，告诉你什么时候读什么，你参考一下。这是一个用户界面，这是一个设计实践。如果你是一个自我激励的学生，你可以做的一件事，也是我做过的一件事，就是从一些研究生课程中借用一份教学大纲，该课程对应于你正在阅读的文本，因为这可能是关于什么最重要以及如何处理它的一个好指南。人们也可以在界面中直接构建许多东西。例如，在 Quantum Country 中，这是 Michael Nielsen 和我开发的一本教科书，用于探索增强阅读体验的一些想法，我们在量子计算的文本中每 1500 字左右嵌入了一系列复习题。我们的主要目的是帮助人们记住他们读过的内容。我们有一个理论，学习复杂科目之所以困难，部分原因在于有所有新的定义、符号、术语和事物同时涌向你，而你却被要求将这些仍然不熟悉的事物结合起来。因此，你不断地需要检索这些元素并努力做到这一点，要么需要很长时间，要么成功率很低。这就是我们的动机，但它带来了另一个非常重要的元认知效益。当你阅读了 1500 字后被问到这些问题时，你就有机会注意到你实际上并没有吸收其中的内容。不是你不记得，而是问题中的某个词显然很重要，而你根本没有注意到。因此，这不仅能给你反馈，告诉你可能需要重读那部分内容，而且还可能改变你对未来部分的态度。在访谈中，读者告诉我们，在他们完成第一组问题或一组特别困难的问题后，他们发现自己放慢了速度，阅读得更仔细，或者实际上意识到他们的阅读习惯总体上是无效的。就像你在谈话开始时提到的那样。关于辅助问题，即与文本一起提出的问题，已经有很多研究。辅助问题对前面提到的材料有各种影响。它们还使你反思你刚刚学到的东西。除了提出的问题之外，你可能会发现自己思考，“嗯，我被问到这个问题。但为什么这很重要？”是的，关于采用别人的教学大纲。作为一名自学者，你可能会遇到的一个问题是，你有一个目标，一个学习的原因，然后你开始想，“嗯，我真的需要这一章吗？我真的需要这些内容吗？”这时，你正在进行元认知，而你试图通过教学大纲来避免。是的。如果你想自学，并且有一个资源接近你想要的教学大纲。你应该只是想，“嘿，我不知道我为什么需要这一章。我只是要读完它。”还是你应该自己判断？这是学习中一个相当经典的问题。你有一个问题，要在某个领域启动自己，你必须外包“什么才是必要知道”的问题。例如，你可能知道你真的想构建一个可以根据描述生成图像的模型，比如 Midjourney，但你甚至不知道你需要学习什么才能做到这一点。所以你拿起一些机器学习的教科书。你将这个问题的答案外包给了作者。要构建东西需要知道什么？也许你可以找到一本标有“构建图像生成模型需要知道什么”的书。但即使那样，你也是将答案外包给了作者。你可以把这个答案作为起点，并将其视为暂时的，并进行迭代修改。随着你变得越来越熟练，你可以减少对它的依赖。而且你可能应该这样做。我认为人们常犯的一个错误是觉得他们必须以正确的方式做事，而且那是详尽无遗的、追求完美的。如果他们因为觉得无聊或没有动力而失败，因为材料似乎与他们想知道的无关，但他们只是凭着信念，“好吧，如果我遵循作者说的，一切都会好起来的。”总之，他们因此发现自己遇到了麻烦，然后就停止了。这是不好的。他们最好还是根据自己的兴趣跳来跳去，继续下去。我还要说一点，这些教学大纲的作用是作为脚手架。这是学习科学中的一个术语，但它与我们熟悉的事物有关。如果你想爬到建筑物的更高处，你可能无法自己爬上去，但你可以在周围搭建一些脚手架，然后突然你就可以够到顶架或建筑物的顶部。脚手架在教育中无处不在。我们先给你更简单的版本的问题，这是一种脚手架。我们先部分地解决答案，这是一种脚手架。我们先给你一些已解决的例子，我们可能会让你预测已解决例子的下一步。这也是一种脚手架。比喻失效的地方在于，一旦你变得更有能力，我们就会试图移除脚手架。这叫做褪色。想法是，一旦你解决了许多微积分问题，你就不需要一半的解题过程了，你只需要填空。事实上，这样做不会有那么有效的学习体验。如果我在计算机科学领域学习，这是一个我非常了解的领域，我不需要那些教学大纲，不像大多数科目那样，而且我认为这主要是因为该科目对我的认知要求比其他科目低得多。所以很多东西已经很熟悉了，我可以更有效地部署自己的计划。但事实是，因为我对这个主题了解很多，所以我可以从一开始就更好地制定计划。因为制定计划需要模拟一条路径或预测一条路径，或者说，“好吧，我猜我需要看看这个如何与那个联系起来，或者类似的东西。”如果你的目的地和起点很远，那么你可能无法看到中间的所有事物以及如何画出这些线条。但如果这些东西只有几个跳跃的距离，你也许可以相当准确地推断出来。对。我猜这可能意味着，如果你想学习一个主题，那么参加一个“X学科入门”课程或教科书可能会有帮助，不一定是因为它对你感兴趣的任何问题都有工具价值，而是因为它将为你提供继续学习的背景。这是真的。事实是，你甚至不知道所有存在的东西。这是另一个关键问题，这也是我们外包事物的原因之一。例如，在非学校化教育中存在一个根本性的矛盾。让孩子们追求他们感兴趣的东西。这很酷。这有很多好处。但假设一个孩子真正的热情是海洋地质学之类的，而他们身处一个内陆国家，周围没有人谈论海洋地质学，那么他们就会错过一些绝佳的机会。但如果学校有一个项目，他们会邀请嘉宾演讲者，然后有关于海洋地质学的特别讲座，这会点亮孩子们的世界，即使他们没有选择那个讲座，这也是一件好事。是的。非学校化教育实际上是一个有趣的话题，可以和你谈谈。但在此之前，我想问你关于保罗·格雷厄姆一篇题为《你如何知道》的博客文章的摘录，其中写道：“阅读和经验训练你的世界模型。即使你忘记了经验或你读过的东西，它对你世界模型的影响仍然存在。你的思想就像一个你丢失了源代码的编译程序。它能工作，但你不知道为什么。”所以它是一个编译好的程序，你不需要源代码。我们忘记了我们读过的那么多东西，这可以吗？他的意思是，在某种程度上，他的说法是真的，而这种程度是否足够，很大程度上取决于情况和你需要什么。如果你的抱负实际上取决于对材料的深入、详细的理解，那么这本书对你的世界观或你的自动反应所留下的印记可能是不够的。另一方面，如果你想吸收许多不同的看待世界的方式，了解这些细节并不一定重要。也许你只想知道孔子强调社区和社会是道德主体，这与许多人文主义哲学家的个人主义形成对比。如果这就是你觉得你需要做决定的水平，那么我认为这是可以的。非常实际地说，他使用“编译”这个词很有趣，因为认知学的一个主要理论，即我们如何认识和学习事物，是约翰·安德森的 ACT-R 理论。它的一个关键部分是他称之为知识编译的过程。这是我们将单个事实转化为更高级的模式，然后我们可以将其泛化并应用于更多上下文的过程。我认为这就是保罗所指的。通过阅读一本包含故事或案例研究的书，你在一定程度上学会了泛化，并在似乎相关的其他上下文中应用它。我提到安德森理论的原因是，他有一些关于知识编译发生所必需的特定说法，以及你将能够做什么，作为一定程度知识编译的结果。我认为他可能会对此回应说——实际上，为了有效地将你学到的东西编译成能够有效匹配场景的模式，你需要反复接触这些东西，你需要使用它们，你需要做各种事情，基本上向你的大脑表明将这些东西结合起来应用是相关的。仅仅阅读可能做不到这一点。但如果你阅读并进行大量对话，并且处于一个要求很高并且利用你所读内容的环境中，那么你可能会自然地完成这种编译步骤。事实上，我一直在为和你谈话做准备。我曾有幸与许多不同领域的有趣人士交谈过。当我回顾我的一些旧谈话时，我注意到当时我采访他们时，我比现在记得的拥有更多的背景知识，并且已经做了所有的准备。有时我会回听一段谈话，甚至不记得谈话中的内容。我记得谈话后，我想，我对这个领域的了解比这一个小时的采访所包含的要多得多，对吧？我必须准备其他可能出现的事情。事后我想，“我甚至不记得这一个小时里的东西了。”但另一方面，我觉得，“嗯，我正在成为一个更好的播客主持人”，这可能意味着我学到了一些东西。但遗憾的是，我没有一个严格的实践过程来保留我一直在学习的材料。嗯，是的，我预计你进步的主要原因，实际上与这些材料的任何细节都无关。我认为这更多地与你作为采访者的实践有关，你生成问题的方式，你可能有很多模式，无论你是否知道。你阅读一个人写的东西，希望就此产生好的问题。即使你还没有像对待教科书那样不断地要求教科书，你已经开始为你采访的有趣人物写的文章或博客文章发展出这种能力。并且根据安德森的理论，在反复做这件事的过程中，你已经将其中一些部分自动化了，所以你不需要有意识地去做，你可以更专注于材料，你可以承担更难的材料，或者实际上比以前更高水平地理解材料，因为你投入到“我如何从材料中生成问题？”这个问题的精力更少了。是的，我当然希望如此。否则，我这些年所做的事情就值得商榷了。我采访过一些信息狂，他们大量阅读并持续不断地阅读内容，但他们没有做笔记的习惯。这也是你注意到并指出的。例如，泰勒·考恩（Tyler Cowen）似乎没有做笔记的习惯。他只是吞噬信息。你对这些人如何整合他们阅读的内容有什么理论？泰勒是个很好的例子。我认为他比我们可能讨论的其他一些人更容易。所以，让我们稍微谈谈泰勒。关于泰勒的另一个非常有趣的事情是他的写作义务。这个人从 2007 年左右开始每天写博客，并且每周都有一个彭博专栏，大约 1500 字，而且十多年来每年出版一本书，偶尔还会发表一些学术文章，再加上一些其他的东西。那就是笔记。而且我认为，重要的是要注意，泰勒写博客文章的方式，以及他写专栏文章甚至书籍的方式，与许多其他书籍作者的工作方式非常不同。泰勒的博客文章通常有一种真正的初稿心态。他只是在思考，而且他有几十年的思考经验，并且第一次就能写出不错的观点。所以他大部分时间都能第一次就写出相当不错的东西。这对他是有效的。所以，那是一张笔记，对吧？你对这个主题的初步想法就是你会在笔记中写下的内容。是的，我以前的一位嘉宾斯科特·杨（Scott Young）曾将布莱恩·卡普兰（Bryan Kaplan）的书和泰勒·考恩（Tyler Cowen）的书进行比较，他说，当你读布莱恩·卡普兰的书时，就像一盘象棋。如果你试图在这个教育案例中向前推进一个兵，我这里有一个车可以移动。而泰勒的书更像是他在一个主题上闲聊。孟加拉国的火车站。是的，对，对。关于一个单独的问题，大型语言模型（LLM）会使记忆变得更有价值还是更有价值？两者都有道理。但总的来说，现在 GPT-4 已经问世，在你的牌组中拥有更多的 Anki 卡是否更重要？也许现在是时候谈谈记忆是什么或它的作用了。我们可以用这个词来指代学习更多琐事。例如，我和我认识的一些人做过一件事，我们读了一本名为《数字细胞生物学》的书，书中说了很多关于核苷酸到底有多大的问题，比如它占据多少体积？偶尔知道它大约是纳升会很有帮助。这可以帮助你建模。所以你可以把所有这些东西都记下来，对吧？这是一种记忆。我们可以谈谈 LLM 如何影响这一点。但我只想说，你日常所做和经历的很多事情都与记忆有关，或者以重要的方式受到记忆的影响。例如，你理解一个困难论证的能力，即使是在文本中，也与记忆有关。其中一些是工作记忆。但你理解一个有多步的论证的能力，比你工作记忆所能容纳的步数要多，取决于你将其中一些步骤用你已经知道的东西来思考的能力，这样你就可以在某种程度上简化或抽象它。同样在创意工作中，有大量的研究试图编目人们获得顿悟的案例。这有点难谈，但人们获得洞察力的一个相当一致的来源是注意到一个令人惊讶的联系或一个令人惊讶的矛盾。这可能感觉很熟悉，对吧？你正在读报纸，看到人们终于弄清楚了如何做 X，然后你说，“等等，这意味着如果我把它和其他东西结合起来，比如我们就能做 Y！”或者类似的东西。现在只有当其他东西存在于你的记忆中时才可能。如果你必须去查找其他东西，报纸对你来说就不会那么显眼了。在我早期在可汗学院工作的时候，我通过记忆系统非常彻底地学习了大量关于教育市场的细节。这让我能够参加高级别的执行对话，在那里我们试图制定战略，有人会提出一个特定的方向，我可以这样说：“嗯，教学材料的总预算支出是这个，而那个市场每年增长这个百分比，美国有 10% 的学生在这个地方”等等。基本上，我可以即时评估想法，而其他人不能。总之，这和其他事情只是我关于人们普遍低估记忆在我们生活中的作用的咆哮的一部分。所以，回到这个问题，明确的记忆或明确确保你能可靠地回忆起某事。我们可以用这些东西来检验。例如，在创意本能的情况下，注意到矛盾，注意到联系，我敢想象我们会有未来的笔记本电脑为我们做一些这样的事情，这将减少我们依赖自己对显眼事物的感知或类似东西的需要。但我想我不知道有多少。我自己的经历是想出一些感觉非常新颖的奇怪想法，感觉非常个人化，感觉非常[不清楚]。我通常无法用文字清楚地描述事物的构成。只是有一种感觉，这个大方向的某样东西与那个大方向的某样东西有关，或者存在一种张力。这让我有点犹豫。LLM 依赖于我们外化事物并使其可读的能力。回到关于记忆作用的学习点。如果你试图理解某件相当困难的事情，你理解它的能力仍然完全取决于你对构成材料的记忆。你认为遗忘有教学价值吗？一些轶事或不相关的证据来自神经网络，有时通过修剪一些权重可以提高性能。显然，我们会忘记事情，我们不会记住一切。当我们睡觉时，我们会失去很多记忆。通过只获得要点而不是细节，是否真的能帮助我们更好地泛化从文本中获得的见解等等？你怎么看？是的，可能是的。记忆与注意力密切相关。而我们无法关注所有事情。所以记忆的一个作用是帮助我们找到重要的事情。也许我碰巧知道电子伏特的大小和能量，这是我可以利用的，因为有记忆系统，但我也不想让它一直占据我的脑海。我不想让它像我希望某些非常重要的设计原则那样显眼。所以是的，那里有一些作用。还有一些理论认为我们遗忘的原因是我们的环境或祖先环境非常创伤。所以我们可能希望我们的情景记忆，特别是，不那么忠实。我实际上不知道这些理论的现状。也许你也会忘记梦，对吧？梦很创伤。如果你认为它们与真实生活经历相同。是的。关于记忆的另一个奇怪之处是，据我们所知，记忆实际上并没有丢失，至少不是完全丢失。人们进行了一系列有趣的实验来证明几十年后，事物仍然存在。如果你能正确地提示它们，人们就能回忆起事物，即使是他们认为已经丢失的事物。当然，你也可以用产生幻觉的方式来提示人们，所以你需要小心。我想我之所以提到这一点，是因为它与“存在限制”的观点相悖。我认为关于记忆系统或记忆冠军之类的事情有点奇怪的是，“哦，如果你做了这些事情，你会开始忘记其他正常的人类事物吗？”奇怪的是，不会。我做这些记忆系统的事情已经很多年了，我现在只是知道得更多了。这与实验文献一致，该文献似乎表明，可能存在上限，但我们离它们还很远。一些记忆冠军已经记住了比我练习的东西多两个数量级的东西。当然，多语种的人拥有数量惊人的记忆。所以没有资源管理的问题。如果没有，为什么我们忘记了这么多东西？大脑是否因为某些原因而忘记了我们遇到的某些事情？也许我们是在训练祖先环境去寻找某些不只是映射到书籍上的显眼事物？这是一个好问题。我们正在进入认知科学领域中我不太熟悉的部分，而且我也怀疑我们知道得更少。但让我随便说几句。我们知道的一件事是“扩散激活”的概念。当你试图查找某事或处理特定情况时，有点像 DNS 交换或网络路由，我们从某个点开始，就像一个刺激，非常非正式地说，我们从那里向外扩展，并且这些连接上有效地存在权重。通过有效地调整这些权重，我们可以有效地路由网络上的数据包。记忆至少部分地编码在这些权重中。所以如果你不忘记事情，那么你可能会在网络上产生一种奇怪的混乱，特别是，什么才是显眼的？接下来该做什么？哪个反应似乎最适合这个问题？你可能会非常有效地回答这些问题，因为所有这些东西都会浮现出来，而这些东西的相关性要小得多。关于我们在何种情况下能记住东西的理论之一实际上被称为预测效用理论。它表明，在给定情况下检索特定项目的概率实际上对应于大脑预测其有用程度的模型。对。然后是预测，但不一定对应于……不一定，确切地说。所以当你反复访问某样东西时，当你练习检索它时，该物品的效用预测就会增加。当你把它用在各种情况中时，它在更广泛的分布中都会增加。好的，这很有趣。你是什么时候开始你的记忆练习的？大概是在苹果之后吧？是的。好的。让我问你这个问题。在苹果公司，你负责 iOS 和其他一些重要旗舰功能。我猜你当时没有某种练习，但由于你每天都在接触这些东西，问题出现的自然频率和方式，你对这些问题的理解是否比现在更差，你知道的和你现在做的练习，你现在能理解吗？我不知道这个问题是否有意义。不，这是一个很棒的问题。这里有一件有趣的事。我当时比现在做得更好。这很有趣。完全不同。让我们稍微谈谈这个。这对我来说非常非常重要。我当时做的大部分工作是工程。有些是非常困难的工程，但主要是工程，而且大部分是关于相当成熟的事情。我没有试图决定应该做什么，有时是从技术角度，但肯定很少从产品角度。这对我来说很少是一个相关的问题。我是一个有些设计思维的工程师，我为我被分配的任务做了一些工程和设计方面的工作。当我加入苹果公司时，我已经编程很长时间了，可能 13 年了，而且在这段时间里，有三分之二的时间是在苹果的生态系统中编程。所以一切都非常熟悉。基本上每天都是顺畅的。我当时就在其中。我知道我需要知道的东西。我非常熟练。而且这个领域变化不大。苹果公司的大多数工程师大部分时间都不是在探索已知的前沿，比如试图发现。他们做非常困难的技术工作，主要是将他们已经知道和理解得很好的东西应用于通常并不总是相当成熟的问题。记忆对我做好这份工作至关重要，但我在去那里之前就已经建立了大部分。我已经为苹果的平台构建了大量的东西。我不得不学习很多东西。我学到了很多关于这些系统内部的知识。但因为我对苹果的平台以及计算机科学和工程学都有了非常丰富的理解，所以我有一个非常丰富的网络来整合信息。当有其他东西可以联系时，学习东西会更容易。这是一个很好的原则。我的元认知负荷更轻，因为其他人正在决定我们应该做什么。就像相比之下，我现在正在做研究，我试图发现未知的东西。我试图创造不存在的东西。我回答的难题主要是“应该做什么”或“我应该做什么？”这个问题不仅仅是一个技术问题，即我应该如何实现需要构建的功能，而是应该对读者采取什么干预措施？这需要综合大量的不同不熟悉的文献。有两个不同的线索我想继续。也许我只会提到另一个。这与我们几分钟前谈到的关于 LLM 的事情有关。Swanson-Linking。Swanson 只是一个阅读医学文献的人，他熟悉很多晦涩的结果。不同的事情会出现，他就能弄清楚它们之间的联系。例如，他注意到在一种情况下，头痛与某些其他症状有关，而其他症状与镁缺乏有关。显然，一旦人们服用了镁补充剂，很多人的头痛就解决了，而他注意到了这种联系。同样，这是那种你否则就注意不到的组合式的东西。但就这个主题本身而言，你能够快速掌握苹果公司发生的所有事情，这是一种自然的方式。在其他领域做类似的事情是否可能，甚至有利？例如，当你试图从书中吸收材料时，与其进行明确的间隔重复系统，不如阅读一系列书籍，希望相关的内容会自然出现。或者，设置卡片等是否有明确的练习价值？是的，答案又会是“视情况而定”。也许你所说的最熟悉的例子是沉浸式学习一门新语言。沉浸式学习是一件很棒的事情，它会比间隔重复练习更有趣、更有效。它将是整合的。它将是基于社会的。所以有很多关于社会学习的东西也很重要。但问题是，比如说，你决定今天想学斯瓦希里语，然后你去了当地的斯瓦希里社区中心，你说，“太好了，我要沉浸其中。”祝你好运。你甚至无法开始。所以从这个角度来看，明确的练习是你启动自己的方式。我认识的所有大学里最好的视奏钢琴家都在教堂演奏。他们非常擅长视奏，因为他们每周日都必须出现，而且他们演奏不同的乐曲。每周日都有新的圣歌。这也是沉浸。随着时间的推移，他们会学习所有这些常见的乐句和东西。但如果你已经有了一个不错的基础，你就无法在第一次就成为教堂钢琴师。这是一个启动论证。这种明确练习的一个作用是让你处于一个可以更自然地得到强化的位置。但仍然会有自然强化不起作用的情况。例如，你提到的联系，医生面临的一个问题是罕见的诊断。所以，如果你每隔几年才会看到一个出现这些症状的病人，那么这就不够频繁，无法自然地强化你对该疾病的记忆。你需要某种带外机制。不幸的是，我认为对于许多创造性的飞跃和创造性的见解，这可能更接近我们所处的领域。是的，这很有道理。在许多领域，你经常做的事情是你需要加强的事情。如果你是一名研究员，那么可能每隔几个月才会发生一次的事件的长尾效应，其规律性并不重要，这是有道理的，对吧？这取决于你的工作。我有一个问题。当我们学习量子力学教科书时，花了三个小时，之后我筋疲力尽了。我真的很惊讶你坚持了三个小时而没有中断。之后，我正在收拾东西，你说，“嘿，我马上要去上钢琴课了。”我非常困惑，你怎么会有毅力继续下去？这种毅力是与生俱来的吗？还是你后天培养的？关于毅力，我认为有趣的一件事是，首先，有一种奇怪的“草总是更绿”的情况，我经常被别人的毅力所打动，觉得自己几乎没有。我与精力斗争。我实际上已经广泛地写过我与精力斗争的所有问题以及管理精力的方法。我花了大量时间思考它，管理精力水平并围绕它安排我的日程。所以我认为有一种情况是，一个人经常感觉自己的精力不如实际的，因为一个人误解了别人的精力。好的，在这种特定情况下，我如何解释为什么三个小时的学习等等？首先，社交。所以如果我一个人学习那本书三个小时，而且我没有有效地为你德瓦克什表演，那对我来说就不会那么有活力了。我肯定会休息一下。我认为我仍然能够坚持三个小时。其中一部分原因是这比我通常做的事情要容易得多。在某种意义上，学习量子力学应该更难，而且在很多方面它在认知上确实更具挑战性。它在直接意义上比我日常做的事情更具认知挑战性。但它对威廉·詹姆斯所说的“人的精力”的挑战性要小得多，这是一种生命力，它允许你按照自己的意愿行事，或者类似的东西。也许是勇气，也许是意志力，也许有些人称之为[不清楚]，这些并不完全相同。但坐着盯着一页纸，决定下一步在研究项目上做什么，这会极大地消耗这种资源。坐着不知道是我工作中做过的最难的事情。这是一个美妙的假期，有人告诉我，“哦，太好了，别人会告诉我该做什么。这太棒了。”所以，虽然它可能比我们通常的工作要求低，但它肯定比我或大多数人处理教科书或其他材料的方式要求更高，因为我会直接阅读，然后一旦我到了练习部分，我就会想，“让我们看看我没理解什么。”而逐字逐句地阅读并不断地保持注意力似乎要累得多。是的，我的意思是，这在某种程度上是真的。我偶尔会在睡前阅读一些东西，我想，“哦，让我再多做一点。”而这基本上是没用的。但我想说的是，有一种你可以陷入的“口袋”。也许你称之为心流，你所承受的挑战与你的能力相匹配，这本书不会让你不知所措，你觉得你可以完成它，而这实际上更具吸引力。我偶尔会发现自己像一个不求甚解的读者，注意力开始溜走，因为我对文本的情感联系不那么深，我有点尽职地阅读，我想完成它。这有时会产生一种对抗性，文本挡在我面前，或者它是一种需要完成的事情。而且我经常发现我需要付出更多的勇气来克服并强迫自己坐在那里继续翻页，而不是当我真正打开我的好奇心和注意力并真正开始投入阅读时。人们已经想出了各种教学工具的创意，这些工具是能与读者建立更紧密联系的媒介。一种是，你有一些虚构的故事，其中引入和强化了一个概念，或者你有一个你有感情的角色扮演游戏。据我所知，还没有什么真正流行起来。你认为这是为什么？是因为文本和讲座之外的所有东西都有固有的局限性，还是人们还没有给出正确的内容和设计？是的，我对这个问题很着迷。让我说几件事。一种是，我认为一种媒介已经以一种极其巨大的方式流行起来，那就是视频。人们喜欢视频。人们会看格兰特·桑德森花一个小时解释一个晦涩的数学问题，而这些人可能永远不会翻开一本斯普林格的数学研究生教科书之类的。问题是，他们不会从这次互动中获得太多理解，但他们会更加投入。所以这很酷。这很有启发性，它提出了一个问题，是否存在一种版本能够真正产生详细的理解？也许一种产生这种理解的方法就是游戏。我最喜欢的例子是乔纳森·布洛的《见证者》。你玩过《见证者》吗？没有。我认为《见证者》是一件非凡的艺术品。这是一款没有文字的游戏，至少没有与游戏元素相关的文字。就像经典的《神秘岛》风格一样，你醒来在一个岛上，弄清楚发生了什么。游戏通过塑造你的环境，向你解释一系列极其复杂的机制，这些机制存在于这个世界中。你学到了很多东西，以至于你感觉自己在与游戏设计师对话。就像，“啊，他在这里让我做这个。”没有人问你，对吧？没有文字，但你能感觉到你在被问。你在环境中进行一些互动，你觉得你已经回应了游戏的反应。这非常非常有趣。这是一种行动媒介。有些人试图制作教育游戏，明确关于算术或类似东西的游戏，乔纳森·布洛的游戏不是关于这个的。你学到的机制是关于环境的。我认为还没有人真正成功地将它用于明确的主题。例如，有像《坎巴拉太空计划》这样的游戏。也许人们从中可以学到一些关于项目管理或轨道力学的东西。Zachtronics 有很多游戏，大致是关于汇编语言的。也许你可以从中学习一些东西。问题似乎是，游戏最终是审美形式。游戏的目的是获得一种感觉良好的体验。所以它们的服务目的与格兰特的视频或文本不同。格兰特的视频也服务于与文本不同的目的。你可能会因为“我想成为”而拿起文本。

要建造一个机器人。” 所以你拿起一本关于机器人学的教科书之类的东西。那么，有没有什么东西可以让你拿起，它在某种程度上像一个游戏，因为它是一个活跃的环境，你在类似“我想学习建造一个机器人？”的情况下使用它？也许有点？我们还没有完全做到这一点。我们有一些类似的东西。我不知道你是否看过《从Nand到Tetris》。这是一个非常有趣的项目，有点沿着这个方向。而它像游戏一样，其特点是行动。它是活跃的。所以，当我向书本提出所有这些问题时，那是主动学习，主动阅读，《Nand到Tetris》自然是主动的。所以这是一门课程，你基本上从零开始。你从内存开始，然后建造一个虚拟计算机，建造Tetris。你建造一个处理器之类的东西。整个过程都是主动的。你一直在让计算机成长。这与我之前提出的问题询问做着类似的工作，只是你不需要自己调节所有这些。调节，选择做什么活动，都在课程中，都在材料的结构中。我认为某种类似的大众媒体正在等待被创造出来，但它可以应用于许多，许多情况。我们已经有了它的非大众媒体版本，那就是学徒制。如果你想成为一名优秀的瑜伽老师，你就去瑜伽馆。如果你想成为一名优秀的冲浪者，你就去海滩，和其他冲浪者在一起，你参与其中，你和他们交谈，你了解他们的战术。他们最终可能会给你一些反馈，随着时间的推移，你参与的边缘性会越来越小，最终你会成为社区的一员。这不是大众媒体。我们不能像书籍那样印刷十亿份副本。观看George Hotz在直播中编写TinyGrad的体验是什么？与仅仅和他待在同一个办公室相比，这有什么区别？因为即使你和他待在同一个办公室，他的时间也会受到限制，参与度也会受到限制。为什么视频不是扩大学徒制的规模化方式？我实际上对流媒体作为这种媒介感到非常兴奋。我们正在指向一种需要发生的特定类型的学习。它通常被称为默会知识。作为一名工程师，你必须学会做的一件事就是学会处理十万种不同的奇怪情况，在这些情况下，有些东西没有以正确的方式运行。最终，你学会了模式识别，你学会了处理这些问题的方法。其中很多都没有在任何书中描述过。它没有被明确教授。你只是在很长一段时间内通过实践来学习它。通过观看George这样做，我认为人们确实吸收了东西。他们可以吸收一些知识。这是学徒吸收知识的一部分。还有一些东西缺失了。你没有得到反馈。那里有很多杂乱无章的东西。有很多东西可能并不那么有意义。学徒也是如此。我对流媒体视频感到非常兴奋。我曾大声抱怨过，为什么没有更多的设计师主播。我认为非常有趣的一点是，我们有一些学科，比如编程，有数百万本书和课程是关于如何学习编程的。它们并没有给你你所需的一切。还有那些你需要发展的默会知识。如果你完成了这些课程，如果你完成了麻省理工学院的计算机科学公开课，你就能建造一些东西，你就能提升自己。这在所有领域都不适用。特别是设计，以及许多其他类似的领域，比如音乐创作、建筑，诸如此类。不行。通常是在工作室课程中完成的。大量的实践反馈。反馈是高度偶然的。它是高度情境化的。我们还没有弄清楚如何沟通这一点。看到很多程序员主播是好事，但我真的想看到其他领域的主播。关于更多的编程书籍。讽刺的是，之所以有更多的编程资源，是因为它本身就非常易读，而且它一开始就使理解更容易。你只是得到了这种强化。《Nand到Tetris》就像学习的电子游戏类比，可能不仅仅是编程，而是计算机内部工作原理，但编程本身就有一种感觉，就像电子游戏一样。我有一个朋友，他有一种非常强烈的、有点狂热的精力，他年轻时曾沉迷于电子游戏，现在他整晚都在疯狂地编码。这只是大脑的同一部分。你对电子游戏和小说能够起作用，并且感觉它们不像编程那样已经有点像电子游戏了吗？我认为让编程感觉像电子游戏的是那种即时感，那种与环境的直接接触感。你正在学习一个概念世界，但那个世界就在你的手边，当你操纵它时，你不断地得到反馈，那些红色的波浪线，你经常按Command R，你看到它失败了，感觉很棒。程序员经常有一种感觉，这种感觉充满了绝望。感觉是晚上9点了，你一整天都在做一个项目，它快要完成了。它快要完成了。你知道，如果你只是调试了这一件事，你的项目就会完成，你就可以走了，所以你想，“好吧，我再熬夜把这件事最后调试完。”然后你开始调试它，你明白了，你解决了它，感觉很棒，然后你立刻遇到了另一件事，比如，“哦，它快要完全运行了，它快要端到端了，”你想，“好吧，我再熬夜一会儿。”不知不觉，就到了凌晨2点。你继续下去，因为它感觉太好了。你感觉到了进步。你不是在盯着一堵墙。对于那些让你卡住的编程问题，感觉不是这样的。感觉很糟糕。每个领域都能被转化为一种能让你感受到进步的感觉吗？你能获得这种快速的反馈循环吗？我认为这非常困难。我并不清楚有些领域能否以这种方式转化。我认为在大多数情况下，我们可以比现在更接近。设计用户界面之所以困难，是因为经常有一种探索组合搜索空间的感觉。编程也常常感觉像一个搜索问题。你有一种感觉，有一个正确的方法来解决问题。可能有一套正确的方法来解决问题，而你正在寻找它。你有一些启发式方法来指导你，比如，“哦，这可能是一个动态规划问题！”或者这可能是一个通过分离关注点来解决的问题，或者诸如此类。设计常常感觉不像这样。你也有那些启发式方法。你也有那些模式。但常常感觉就像，“不行，我只需要尝试300件事。”Figma的核心操作是复制。你有一个画板，你尝试了一些东西，但它不起作用，所以你选中它，然后按Command D。你最终得到的是，当你查看Design Twitter时，到处都是人们的Figma截图，有数百万个画板。他们只是在尝试。而你没有这种感觉，或者至少我没有，我认为很多设计师都没有这种进步的感觉。你只是在探索搜索空间的某些部分，你了解到搜索空间的某些部分不起作用。最终你会偶然发现一个有效的，但你并没有经常感觉到越来越近。通常会有几周过去，感觉自己没有更近，因为你所做的只是在缩小搜索空间。有趣。尽管有些人痴迷于设计。是什么让她们对一个感觉不像是内在进步的过程如此着迷？所以，在某种程度上，我认为她们很熟练。我认识的那些人，她们的技能是她们通常很熟练，而且她们解决的问题性质非常容易解决。设计师经常会陷入的设计的一个例子是设计海报。在Facebook，办公室墙上贴满了海报，这曾经是一种陈词滥调。为某人即将在Facebook发表的演讲设计了非常非常精致、设计精美的海报。为什么有人会为此付出如此大的努力？嗯，感觉真的很好，因为海报受到严格的限制，它是有限的，它是短暂的。你可以开始它，是的，有一个搜索空间，但你可以很快找到搜索空间的一个不错的部分。一旦你到了那里，就有这种美丽而诱人的感觉，转动曲柄，让它变得更好，打磨它，尝试这个或那个。但当你尝试这个或那个时，所有的选择都差不多。你只是出于好奇而尝试它们，或者也许它可以做得更好。这与那种“我就是不知道怎么做”的设计非常不同。我认为这也是那些设计师喜欢制作海报的原因之一。它是一种零食。它是一种享受。它也是他们可以控制的东西，而通常情况下，他们不能。是的，别告诉经理Facebook的海报设计耗费了多少软件工程时间。嗯，没有软件工程。只有设计师。但对于软件工程师来说，代码高尔夫是等价的，对吧？什么是代码高尔夫？你知道，在高尔夫中，你试图获得最低分数。所以代码高尔夫，你试图尽可能简洁地解决问题。比如，“啊。我不需要这个。我可以合并这个。我可以用三行完成。如果我用Haskell，我可以用一行完成。”这是程序员会做的一种类似的事情。但无休止的重构是另一种类似的事情。你已经让事情正常工作了，但它可以更美观。对。所以，看起来你正在开发的工具和想法特别针对非常聪明和非常有动力的学生。如果它们不同，你会为教育系统的普通学生开发什么样的工具？在动机和其他特质方面？是的，它们会非常不同。我之所以部分地离开了教育领域，是因为我不喜欢这个问题的框架。对于普通学生来说，教育系统主要想让他们做他们不想做的事情。它不是帮助他们更容易或更有效地实现他们的目标。在大多数情况下，它是为了实现不是他们的目标。当然，这并不总是如此。但对于普通学生来说，情况确实如此。我在可汗学院工作时，一直在思考这个问题。在可汗学院，我们主要考虑的不仅仅是普通学习者，而是可能是25%的学习者。从效率的角度来看，也许不是，但对我来说，从摆脱困境、让他们追求不是自己的目标的角度来看，最相关的一个角度是专注于探究式学习，并将学习体验转化为与他们的目标相关的体验。也就是说，我们提出的问题是真实有趣的，他们真正想回答的，并且他们能够以一种自然的方式参与其中。我们对动态媒体、事物表征进行了大量实验。其理念是，你可能见过那些孩子们可以玩的塑料积木或东西，以了解数字和数字系统。孩子们会主动玩这些东西，因为它们很有趣。只是把它们拿在手里就很有乐趣。操纵它们也很有乐趣。当你手里拿着它们时，很自然地会建议，“啊，你能像这样制作一个图案吗？为什么你似乎做不出那样的图案？为什么会这样？”Cuisenaire rods是一套10根不同颜色的木条，长度从1到10不等。你可以做一些事情，比如拿起代表8的木条，然后把两根代表4的木条放在它旁边，表明这根木条可以有效地分成两根木条。但是，如果你拿7，就没有另一对相同颜色的木条可以放在它旁边。所以，你会得到这些不同的图案，通过实验这些材料和与周围的人交谈，这些东西自然而然地就会浮现出来。我们感兴趣的一件事是，是否有类似的东西适用于更高级的主题？我们能否创造出类似那些木条的东西，但它是关于数学中的更高级主题，或者关于历史辩论之类的事情？我们的一个策略是大力依靠社交互动。人们喜欢和别人谈论事情，如果那是一次真正的对话。出于同样的原因，我必须少用意志力来学习那本量子力学课本，因为你和我在一起，一个学生和同伴进行真正的活动，也需要更少的意志力。如果结构得当，他们也会从同伴那里学习。社会学习变得有趣。但我想，总的来说，我主要把这个问题留给了别人。基本上，教育领域的每个人，这并不完全真实，但教育领域的90%以上的人都关注底层的四分之一，甚至不是中位数。这有一个很好的理由。许多从事教育的人受到公平和机会的论点的驱动。他们希望每个人都能拥有他们所拥有的机会。他们非常关注他们看到的在不同人之间的获取和支持方面的差异。他们非常关注那些在底层四分之一表现的学生身上出现的非常真实的劣势。而且，你对那个学生生活产生的边际影响，可能比对80%的学生产生的边际影响要大得多，或者说，那个学生会过得很好，这可能是真的。但是，从好到超常之间存在巨大的边际差异。是的，这是真的。总之，我之所以说这些，是为了表明我理解为什么绝大多数从事教育的人都专注于他们所关注的事情。我认为这很好。我很高兴他们这样做。我基本上决定让他们去做。我将专注于别处。是的。不，我看到了专注于正在出现的酷新事物、它从哪里来？以及如何增加它的价值。知道同样的工具可能不会在整个范围内都适用，这很有趣。是的。这里的部分麻烦在于，酷的东西很可能来自那些在学校表现处于20%的学生，因为他们感到疏远、无聊，而且这些东西对他们来说都不重要，对吧？这里的部分麻烦在于，通过选择不帮助这些人学习，可能会出现各种有趣的创新，但却没有发生。所以我不太确定如何应对。我想我基本上是在试图解决一个感觉可能更容易解决的问题。一旦所有的工具都建好了，当你职业生涯结束时，学习过程应该感觉很有趣吗？还是必须有趣？即使所有的工具都存在，是否也存在一个像David Goggins那样的元素，那就是“这将是痛苦的，但我决定以这种方式学习，我必须经历它。”痛苦从何而来？我诚实地问这个问题，而不是修辞。让我尝试回答我自己的问题。首先，我总体上非常反对我所理解的David Goggins式的态度，无论是在任何事情上。在这个特定的例子中，我认为我的想法是，如果我问为什么学习某个科目是痛苦的？我想到的答案是，首先，我不在乎这个科目。我认为我们谈论的不是这个。你问的是一个存在着伟大工具的世界，有人正在使用这些工具来做他们真正关心的事情。所以，另一个可能很痛苦的原因，我认为这很普遍，就是你认为自己进展不够快，或者你在失败，或者你在挣扎，而痛苦来自于抵抗它。它来自于感觉自己做得不好，而你不应该做得不好，你做得不好是很糟糕的。也许你害怕别人会评判你，或者你没有足够的时间，或者诸如此类。我认为这基本上是一个需要治愈的情感问题，而不是学习中的实际问题。以有机化学为例，你确实需要学习200个名字之类的东西。一个答案是，使用现代记忆系统可以非常廉价地完成。有机化学专业的学生忍受着这一切，但他们不必如此。但即使有现代记忆系统，你可能也只需要在几周内花费大约100分钟来学习所有这些公式。这仍然不愉快，那么能否解决？我认为答案是肯定的。我在思考我之前告诉你的《细胞生物学数字版》这本书的背景，其中有所有这些东西，比如核苷酸的体积是纳升。学习闪卡“核苷酸的体积是多少？”并不特别令人愉快。我不确定这是否算得上痛苦。还好。我可以在排队时做。但我认为有一个更好的版本，那就是解决一个有趣的费米问题，其中涉及到那个术语。比如，如果我有一瓶COVID疫苗，如果这瓶疫苗是1毫升，那么里面可能有多少份COVID RNA？这是一个有趣的小问题，我可以坐下来慢慢思考它。在这样做的时候，我需要检索核苷酸的体积来帮助我进行近似。所以，我认为你可以用这些方法来弥补任何仍然感觉必然令人不快或死记硬背的东西。我听到你这么说，我实际上很惊讶，因为我读你的一些东西，这实际上是一种赞同传统的教育思维方式，但使用新工具来获得传统的东西。举个例子，你回到1900年代的一位校长那里，你说，记住一个学科的分类法重要吗？你说，当然重要，这就是为什么你要花一年时间来记住分类法。然后你会说，记忆本身很重要，这样你就有了一个词典来继续学习这个学科。所以，在这些方面，你有了新的系统来做同样的事情。而在这个特定的例子中，我曾期望你说，不，如果你决定学习某样东西，你必须有纪律。我曾期望在三个小时的密集学习之后，紧接着是密集的钢琴练习，你最后真的很累，然后你说，“但是不，今晚我必须做这件事。”所以，是的，我实际上对你这么说感到惊讶。是的，不，我真的很喜欢这种张力。我可能对Goggins的引用反应过度了，或者别的什么，但这确实是我的感受。我一直感受到这种张力。我在教育心理学史上最认同的是最僵化、最专制的历史，以及最像“不学校教育”和蒙特梭利式的历史。我真的对这两个方向的元素有很大的同情，而且在我脑海中有一种奇怪的综合，我无法完全外化。我想我所说的一部分是抱负。在实践中，我确实会运用意志力来完成事情。举一个完全违背我刚才所说的一切的例子，我使用一个叫做Beeminder的工具，如果我不做某些事情，它就会向我收费。这听起来有点军事化，但肯定比我刚才所说的这种自由奔放的蝴蝶姿态更专制。我用它来确保我进行记忆练习。我的记忆练习不应该那么快乐吗？它是我研究的核心，对吧？它应该是我一天中最有趣、最激动人心的部分，但通常不是。所以，我用它来完成它。所以这里存在一些张力。我认为我确实想说，我之所以愿意赞同这位校长关于分类法的观点，是因为它的代价。我在高中时做了大量的记忆练习，但效率很低，而且很不确定。情感上很困难，因为我甚至不确定自己是否学到了东西。我不知道如何可靠地学习某样东西，不知道自己能否回忆起来。而且非常耗时，因为我没有技巧或工具。而现在，我之所以如此积极地回应学习分类法，是因为对我来说，这很简单。比如，是的，当然，随便吧，把它放进牌组里。在接下来的几周里，它总共会消耗15分钟，然后我就会知道它。它根本不花钱。学习中的其他事情仍然有真正的成本，而这些成本可能更难协商。实际上，这也许是一个问你关于不学校教育和你对它的态度的好地方。有人在Twitter上问了一个问题，你在抚养孩子时是如何安排他们的教育的？嗯，好吧，说清楚点，我没有孩子。对。假设的孩子。所以，是的，你将听到一个不善于此的人关于一个人会怎么做的愚蠢回答。这非常困难。学校当然有许多教学以外的目的，对吧？它有社会目的，有社会目的，有行为目的，还有一种务实的目的是基本上看管孩子。这些东西可以被解绑。我认为考虑这一点很有趣。如果我真的有孩子，我可能会仔细考虑这个项目。我认为很可能某种形式的家庭学校教育会发生。它可能不是[不清楚]老师，但很可能是我会雇佣的人。我有一些资源。我不富有，但我有一些资源，这也许是一个区别。在大流行期间，我被一家名为Schoolhouse的公司所吸引，该公司现已倒闭，由Brian Toball创立。他的想法是，他注意到人们会聚在一起形成小组，对吧？这是我们在大流行期间做的事情。特别是，他们与学校的同学聚在一起，可能有五六个孩子。其中一些小组开始雇佣因为大流行而失业的小学教师。小学教师会去其中一个人的家里的后院，然后这五个或六个孩子会和小学教师聚在一起，他们会整天做事情。把这位老师的时间分成五六份，实际上非常容易处理。比如你想付给这个人每小时50美元，也许这对老师来说是合理的，这并不难做到，而且实际上比私立学校便宜得多。我认为Schoolhouse的成本大约是小学成本的五分之一。一旦你进入更高的年级，你可能需要专家。实际上并不清楚你是否需要。我的朋友Alec Resnick正在马萨诸塞州萨默维尔市经营一所非常有趣的学校，名为Powder House，它遵循我刚才描述的模型，即有成年人扮演更多教练的角色，他们不一定是领域专家，但他们会将人们与领域专家联系起来。总之，我会探索类似的模型。抱歉，这有点含糊。如果你想问一些具体的问题……当然，让我问你一个更具体的问题。这个孩子长大了，现在12岁了。这时，你已经教了算术、阅读和所有东西。你继续说，你必须学习生物学，你必须学习化学，还是你只是说，你对什么感兴趣？你对罗马历史感兴趣吗？哦，让我们来了解一下输水管道。或者有一个实际的课程，一直持续到他们上大学？是的，这真的很有挑战性。改革学校运动的英雄之一是哲学家约翰·杜威（John Dewey），他有一本可爱的书《经验与教育》（Experience and Education），在他晚年写的，回顾了他所有改革学校的努力，朝着一种“不学校教育”的方向。他从来没有像那样极端，但总体上寻求孩子的自由。他提出了一个绝妙的论点，因为这些孩子没有完全发育的大脑前叶，当然也没有完全发育的自我意识，让他们做任何他们当下冲动想做的事情，实际上并不是自由，而是将他们束缚在任何冲动之下。这让他们成为这些冲动潮汐的主体。我认为这是一个非常有说服力的论点。它并不授权暴政，但它也表明，你知道，你对12岁孩子的计划或计划要持一点怀疑态度。应该有多怀疑？我不知道。我想如果我有一个12岁的孩子，我可能会有更强烈的看法。但作为一名愚蠢的非父母，我的本能可能会有所混合。我会对向12岁的孩子展示各种主题和可能性感兴趣。我会滔滔不绝地表达任何特定行为的后果。比如，如果他们整天只想作曲，我们可以谈谈，嗯，这意味着什么？那样的生活是什么样的？我会尽量不强迫他们。我认为在某种程度上，孩子应该被允许感受他们选择的后果。这因为这样一个事实而变得复杂，我不是富有的，但我的任何一个孩子都会有机会。如果他们在13岁时做出了一些关于职业道路的奇怪选择，所以他们没有进入哈佛之类的学校，那也没关系。他们可能24岁时才弄清楚，或者32岁时才弄清楚。这可能最终会没事的。这似乎不是可靠的指导。你应该注意到我感到非常困惑。是的，没关系。所以，我有一个问题是，历史上，甚至到现在，教育的改进似乎是一个非常棘手的问题。你之前在谈论针对普通学生还是你正在关注的百分比时也提到了这一点。但我不确定。你觉得在你关注的百分比方面有进步吗？如果没有，是什么解释了相对的停滞？我的意思是，你谈论过这个问题。我们有了这么多IT新工具。是什么解释了更广泛的停滞？你问题的有趣答案是，实际上已经取得了巨大的进步。实际上，事情相当好。我认为统计数据是，1900年，美国有6%的青少年高中毕业。现在，这并不意味着94%的人没有我们认为的高中教育，但这大致意味着。现在，这些人是家庭学校教育。高中教育在当时意味着的东西也比较少。现在，相当一部分高中生学习AP课程并在高中完成。这是高端。在低端，100年前在美国，文盲是一个非常现实的情况，而现在绝不是。现在，大约10%到15%的成年人，取决于你使用哪个民意调查，可能难以执行简单的数字操作或读写任务，但我们的标准已经提高了。以前是：你能读吗？这些任务可能有点人为。它们可能与他们的日常生活无关，而这实际上是他们经历这些的原因。17岁左右毕业并知道一定量知识的人数，基本上一直在稳步增长。这主要是关于人口的底层部分。过去，大多数人在10岁以后基本上没有受过教育，除了非正式的教育和他们在行业中的学习。20世纪的故事在一定程度上就是大众教育的故事。我们之所以拥有服务经济、IT经济，部分原因是我们几乎所有人口都接受了特定水平的教育。如果你看全国四年级、八年级和十二年级的数学和语言熟练度测试，你会看到75%百分位数的进步非常缓慢，而且近几十年来几乎没有进步。但你会看到底层四分之一的巨大进步。所以，在某种意义上，尤其是过去20、30年的故事，一直是弥合所谓的绩效差距，即某些群体，部分原因是资金不足的学校，或者家庭不支持、困难，根本无法与同龄人相比教育成就。而这个故事已经改变了。我好奇的一件事是，分布的其他部分都在向上移动。天花板是否显著提高了？这取决于我们对天花板的定义。因为你可以追溯到几百年前，那里有最博学的人。看看托马斯·杰斐逊读了多少书，真是令人难以置信。有一个故事说，1963年左右，肯尼迪在白宫接待了一群诺贝尔奖得主。他说，这是自托马斯·杰斐逊独自用餐以来，聚集在这个房间里最伟大的天才、洞察力和智慧的集合。我认为提高天花板非常困难。天花板有贵族导师。天花板有产生巨大智力天赋的家庭动态和遗传倾向。20世纪初的学校培养了冯·诺依曼。对。而且，当然，我们并不清楚他们现在是否培养出更多的冯·诺依曼之类的人。事实上，冯·诺依曼的产出似乎与我们所认识的任何一种大众教育几乎没有关系。至于最顶尖的，我认为这很难。我们谈论的是一个为大众创造的机构。我想一直都有人利用这些系统以外的资源。所以，大众系统似乎对这些人没有帮助，我想。这似乎并不奇怪。顺便说一句，关于冯·诺依曼的事。好吧，大众系统对他们没有帮助。冯·诺依曼的生产函数是什么？是的，很多人研究过这个问题。我实际上不是冯·诺依曼历史的研究者。我知道他的许多同代人，20世纪的伟大人物，接受过某种贵族辅导，或者来自东欧一些令人难以置信的小学校，有关于这些事情的故事。我实际上不知道。抱歉。我的意思是，你肯定听说过那所高中。是的。是的。好吧，有趣。我们是在生产冯·诺依曼方面变得更糟了吗，还是只是停滞不前？嗯，也许吧。我不知道。让我们看看。这个理论似乎有点合理。如果在19世纪末有人接受贵族辅导，他们现在会去一所昂贵的私立学校吗？而且现在的经历对他们来说实际上会更差吗？我不知道。我认为他们更有可能去昂贵的私立学校，并且仍然有昂贵的导师，然后去一所非常排他的大学，在那里他们会与教授进行大量的实践互动。尽管如此，这可能不是因为潜在的教师或贵族导师的机会成本现在高得多，而那种人现在可以直接在硅谷或华尔街赚大钱。这很有趣。好吧，那么这可能是一个论点，说明我们不是在20世纪变得更糟，而是更多地在历史的进程中。也许亚里士多德曾是亚历山大大帝的导师，而现在亚里士多德将是一名全职教授，而不需要接受那份工作。可能是这样。也许一些导师被市场淘汰了，但我不清楚最昂贵的导师是否真的最好。有很多关于辅导的实证研究，他们问的一个问题是，导师需要有多少经验水平。有趣的是，当导师不一定知道任何东西时，辅导的有效性能达到多远。仅仅是有一个人存在就能产生很大的影响。我的意思是，随着你获得专家，事情会变得更好。而且，我对这些研究也有一种健康的怀疑态度。我认为亚里士多德作为导师的部分作用是传达一种世界观。它不会出现在考试中，也不是这些研究会衡量的东西。因此，拥有一个极具启发性的人可能才是重要的组成部分，而我认为有启发性的人与昂贵的人高度相关。不一定，我不知道。这感觉很复杂。我的意思是，尤其是在今天，材料是可用的。导师带来的就是灵感和动力。不完全是，但其中很大一部分。没错。他们并不真正负责教学。我还要说，我认识很多人现在有博士后导师。这些人，作为研究生，他们经常乐于接受每小时60美元的辅导佣金。这有点可悲。但是，你知道，与100年前相比，现在可以雇佣的博士后导师的队伍非常庞大。队伍变大了，并不意味着顶尖的1%的人得到了更多。所以，我认为这还没有定论。有一个问题是，过去50年来，教师的技能是否有所提高？在某些方面，他们可能有所提高。有很多项目试图传播某些研究成果，更有效的教学方法。例如，交错学习比分块单元更好，比如，“好吧，比如，我们要谈论内战，然后我们要谈论妇女选举权。”它们有点分开，但将它们编织在一起更好，不仅在历史中，而且在一般情况下。因此，这种传播在过去几十年里一直更系统地发生。我不知道有任何研究或结果试图确定现在的教师与很久以前的教师的功效。嗯，我敢肯定你见过这个说法，即20世纪中叶非常出乎意料的情况之一是，一个有智慧的女性可以从事的职业之一就是教学。而现在，有了其他选择，这显然是极好的，你知道，对于同一个有智慧的女性来说，存在着其他的竞争。哦，这很有趣。我没听过这个说法。是的，我得想想。我想，我并不清楚智力有多重要。如果你想把它看作某种可分离的数量。或者任何与此相关的行业。你只是有一个人口，她们要么被家庭劳动，要么被教学所困。我想说的是，如果这是真的，而且现在有很多女性是天体物理学家之类的，我其实并不清楚她们会成为好老师。成为一名好老师通常是关于同理心、有效的沟通和关怀。这是非常个人的。这是非常亲密的。你需要了解这门学科，但要教一个15岁的孩子之类的，你并不一定需要达到研究生水平。看到有大量的研究关于领域知识对教学效果的影响，这很有趣。我读过一些关于数学的研究，我相信在所有领域都存在。其中一个问题是，如果你对数学不太熟悉或不舒服，那么你在进行探究式课程，那些更侧重于创造性思维或开放式问题的课程时，就会遇到困难，而不是“这是如何做这个算法”。因为要进行这类课程，你必须能够随机应变。你提出了一个可能不止一个正确答案的难题，你的学生会向你扔各种东西。你必须能够吸收这些东西，并将它们整合起来，展示一个学生的答案如何与另一个学生的答案相关联，并展示如何在此基础上进行构建，以产生你心中有用的理解。总之，这种即兴表演需要数学的熟悉度和能力。但我认为它不需要非凡的能力。是的，但更多非凡的人因此离开了教学。是的，我只是想知道相关性。如果有效的教学主要是关于同理心，那么也许它是负相关的。比如，那些会成为优秀粒子物理学家的人实际上可能不会成为好老师。也许吧。有趣。为什么超文本没有更多地改变人们的写作方式？我经常写博客文章，我确实想知道，考虑到我可以添加脚注和链接，它与我以前的写作方式有多大不同。我实际上是维基百科组织内容方式的粉丝。令人惊讶的是，对一个主题最好的解释常常就是这个试图解释所有主题的资源。因为有一种做法是，你不需要在每一篇主题中都进行阐述。你可以把它隐藏在链接后面。总之，为什么超文本没有更多地改变在线写作？这是一个很好的问题。维基百科之所以如此有效，是因为百科全书条目本身就必须独立存在。在超文本出现之前就是如此。事实上，在有超文本之前，百科全书就已经有点像超文本了。在计算机出现之前，还有一些其他有趣的超文本形式。有一本非常有趣的名为《智者录》（The Syntopicon）的书，作者是Adler。如果你想了解古典作家对父女责任等话题的看法，你可以在《智者录》中查找，你会得到关于卢梭、圣经等方面的引用。那些就像超链接。它们印在死树上，但你被期望把书拿下来，查找相应的页面。《智者录》并不那么成功。我认为部分原因是，与维基百科条目不同，这些概念并不那么干净地独立存在。你需要肌腱，你需要联系。事实上，我想说，虽然维基百科是一个惊人的资源，但我发现它很少是某个主题的最佳入门或解释。我发现它通常是一个很好的起点。它会帮助我知道该问什么。它作为参考很好。超文本是一种非常有效的导航辅助工具。它可以帮助你非常快速地找到你想要的地方，因为它是在自动化翻阅页面。所以，作为参考，它非常有效。如果你有一本化学化合物及其性质的书，超文本将能让你非常有效地导航这本书。同样，字典也因超文本而彻底改变。通过点击链接来导航来源，比如，“哦，把它弄得更像那样一点。”它就像一个更好的同义词词典。我想说的是，有些文本比其他文本更适合超文本，因为它们更容易让读者在中间进入。百科全书就是这样，字典也是这样。大多数文本都不是这样，大多数概念也不是这样。我想大多数想法都嵌入在某种整体或更丰富的东西中。它们需要一个叙事弧。它们很难被摘录。并非所有内容，但那些不是如此原始和原子化信息的内容。例如，曾经有关于超文本小说的所有梦想，有些人也写了。超文本小说有一个问题，而且实际上可以在数字超文本出现之前的“选择你自己的冒险”书中看到，作者被迫写出一种最低公分贝的故事，超链接的目标页面必须作为所有引用的终点。因此，它无法建立任何连贯或一致的弧线，除非引用具有某种相同性。引用的相同性越多，超文本就越没用。所以很多人对这个结论感到失望。我，包括在内。我想说，我在自己的笔记中发现超文本非常有用，但实际上并不适合阅读。我其实不认为它能为他人提供很好的阅读体验。作为一名读者，你有一个单独的网页，上面有你的工作笔记。这是一个探索你想法的非常酷的UI。谢谢。它对我作为一个写作者做了一些有趣的事情。它让我随着时间的推移建立东西。今天，我读了一篇关于附加问题（adjunct questions）的非常古老的认知心理学论文，我们之前讨论过，即在阅读时提问的效果，不是对问题所涵盖信息的记忆，而是对未触及问题的整体效果。我有一些关于记忆媒介（mnemonic medium）的设计决策的笔记，就是我之前谈到的Quantum Country，将问题穿插在文本中。那些笔记有点不完整。它们会随着时间而演变。这样做有什么影响？我关于它的笔记，来自读者访谈。当我读到一篇与它们相关的论文时，它们会扩展。这意味着，当我设计下一个系统时，我正在考虑问题在文本中的作用，我将有一个地方可以查找。超文本的作用大致是导航辅助。没有超文本也可以做到这一点。你只会得到Neumann的东西，一个巨大的梳妆台式的装置，但由卡片文件而不是衣柜抽屉组成。这实际上很好地回到了我们最初关于为什么像Tyler这样的人能够整合如此多的信息而无需显式笔记系统的对话。另一个立刻想到的名字是Byrne Hobart。同样，你有一个例子，他是一个非常多产的人，每天都写非常详细和富有洞察力的金融通讯。这在某种意义上是一种日常笔记实践。至少对他们两人来说，没有什么能真正积累起来。他们每天都在重新做这件事。我发现Levine的通讯很有趣的一点是，当他反复谈论一个话题时，比如最近的银行倒闭之类的，他每天都要一遍又一遍地解释像利率风险这样的概念。他每天都要解释它，但每天他都会以新的方式解释它，而且每天的解释都会受到当天情况的一点影响。这是对我的笔记方式的一种反驳。这是对短暂性的一种论证，即每天重新创造事物，因为它会改变，并且会受到你正在思考的事情和你的经历的影响。这很有趣。我发现自己现在正在混合使用。我有一个关于今天的日记，我会写很多东西。我经常重述我以前写过的东西，还有其他一些东西试图更持久，成为一个有用的参考，可以超越时间。这种结合感觉很有用。我还没有一个更清晰的模型来判断何时一种比另一种更好。将你刚才所说的与超文本联系起来的一个有趣的方式是：Byrne的通讯并没有提供太多的背景信息。如果你不熟悉这个话题，你常常会发现自己对正在讨论的概念感到迷茫。我曾经问过他，你有没有考虑过朗读你的博客文章？Scott Alexander有一个播客，其中

他们讲述了他的博客文章。他说：“我认为我的文章不会那么好，因为我严重依赖旧博客圈关于超文本的规范，在那里你可以加入笑话和讽刺。”其中一个例子是他关于 SBF 及其垮台的文章。它有很多链接——如果你想了解更多关于追加保证金通知，请阅读这篇。然后他说，如果你想了解更多关于功利主义赌注的心理学，请阅读这篇，而这只是指向《罪与罚》亚马逊页面的链接。这类事情更难做到。是的，你说得对。他更多地依赖他过去的解释，这很有趣，因为他无法更新它们。那种写新闻通讯然后将其链接到过去新闻通讯的格式，或者正如你所说，以前博客圈的做法，你有一系列六个词，每个词都链接到之前关于该主题的帖子。我当然写过这样的东西。这有点好笑。它正在接近我一直在写的耐用笔记的东西，但没有随着时间的推移进行修改的能力。也许对于许多主题，你不需要这种能力。我现在想知道我的笔记中有多少比例处于我第一次对其进行重大修改时的状态。可能至少有三分之一，可能超过一半。你发布了多少比例的笔记？按字数算？按笔记算？我不知道。例如，我的日记笔记没有发布。每天都有一个，所以有很多。如果我们按笔记计算，我们就排除了所有这些。我还有一篇关于我生活中所有人的笔记，这些笔记不公开，除非他们是公众人物。有很多笔记不公开，但它们大多不是耐用的。它们对其他人来说意义不大。日记可能是有意义的，但它们也很私密。它们是以别人能理解的方式写的吗？这取决于。通常我的日记是完整的句子，完整的段落。有时是项目符号，有时会突然转向和改变到新的主题。它们往往充满了指向我正在谈论的事物的链接，部分原因是我试图在这些事物中积累背景。为什么它们不是简写呢？部分原因是过去的我是另一个人，这有点陈词滥调。我经常查看一年前的日记条目。你可以认为这是这个笔记写作系统的一个失败。在某种理想意义上，我不应该查看这些日记条目，因为如果某件事很重要，并且是我一年后会参考的，它应该在某种耐用的常青笔记中。我不知道。你并不总是想这样做。感觉像是在准备。也许有一些准备是好的。我们住在加利福尼亚，也许每个人都应该有一个地震应急包。也许那很好，但也许你不需要囤积 300 罐豆子。有一些准备感觉是合理的，有一些则感觉有点尽职尽责且令人不快。作为一名在硅谷圈子里工作的研究员，你对创业建议“快速行动。快速失败。立即通过 MVP 接触用户”有什么看法？作为一个正在制造产品的人，但又处于一种与典型创业公司不同的模式，你如何看待这样的建议？我对这个有复杂的感受。我每天都需要不同的建议。当然，不同的人每天都需要不同的建议。当我开始从事这类工作时，这些建议让我没有深入思考我正在探索的想法。一个想法出现，我会想，“哦，我可以试试。”我会试试，然后我会学到东西，然后我会重复。没有那种建立关于问题是什么以及解决它意味着什么的理论。相反，这只是一种行动理论。行动理论与变革理论相对，想象一下你处于当前位置，最终想达到某个目标状态，行动理论就是你环顾四周说，“好吧，我能做什么？我能建造什么？我看到什么可能？”变革理论是看向终点，然后试图倒推。这个比喻并不完美，因为在研究中，你并不确切知道终点是什么，而且你肯定不知道如何倒推。我想说的是，遵循这些建议在历史上导致我尝试了一些简单的事情。最有力的设计工作包含想法。是什么让非线性文本编辑器，我们都认识并喜爱的文本编辑器，如此强大？是这个观察：写作是一个非线性过程，但用笔写作却将其线性化了。许多许多其他类似的观察，以及关于拥有思考环境的本质的观察，是我们如何获得那个特定界面的。同样，我们获得强大编程环境的方式是人们认真思考如何指定一个系统，并提出表达这些想法的新原语。最有力的界面通常是新想法或捕捉新做事方式、新可操作对象的新原语的表达。例如，在 Photoshop 中，你可以通过一个称为“图层”的构造来操作照片。这是一个非常奇怪的想法。它在暗房中有些先例，在那里你可能拥有胶片。我不是指底片，而是指你可以放在灯光上以影响曝光的凝胶片——在这里增加曝光，在那里减少。但在 Photoshop 中，它们是非破坏性的，并且可以连续操作。图层就像一个引入照片编辑活动的新原语。它彻底改变了你在照片编辑中可以做的事情。我用一种非常冗长而混乱的方式说的是，通过快速构建 MVP 来产生想法是很困难的。现在，如果你有一个你认为有趣的想法，快速测试它是个好主意。我在这里回应的困惑部分在于，一旦你有了值得测试的东西，这便是好建议。对我来说，采用这种心态，我已经活了这么久，它已经根深蒂固，让我无法静止、困惑和沉思想法足够长的时间，让它们变得更好。我和迈克尔·尼尔森一起制作了《量子国家》，当我试图思考下一步该做什么时，最明显或最自然的想法是“如果我们尝试用其他很多事情来做呢？”这个想法出现了，而疫情刚刚爆发，所以我感到有点胆怯，在创造力或情感上。我想要一些感觉安全的东西，我知道我可以做到。我可以构建一个平台来推广我们为这本教科书所做的事情。所以我这样做了。而且我做得相对很快。我花了几个月时间完成的。那不是正确的事情。那不是真正要问的正确问题。这个想法并不那么强大。构建这个高度通用的版本并不是测试它的正确方法。我最好是构建更多一次性的东西，而不是一个任何人都可以使用的自助服务的东西。这涉及到目标差异。我此刻并不想为世界构建某种可扩展的东西。我想构建这个想法。原型是想法的表达。一旦它达到一个好的位置，也许会有一个可扩展的解决方案。但它不一定在那里。直到它到达那个地方，有很多思考和草图与构建和原型制作一起进行。我在这里的困惑部分在于，我仍然需要听到这个建议。我经常会陷入理论的困境。我真正需要做的是让一个朋友坐下来对我说，“你能不能把其中的一部分剥离出来，在下周建造？”所以你听到很多紧张。有趣。在 Orbit 感觉准备好扩展之前就将其发布了，后果是什么？我的意思是，我学到了一些东西。这很好。它让我对那种特定格式在其他场合的成功和失败有了很多了解。它并不是找出这些事情的非常有效的方法。它是一个 MVP，因为它功能很少，而且非常简单。但它具有高度的通用性。它是一个已部署的东西，拥有基础设施和账户，拥有你在构建真实事物时所拥有的一切。这与“让我与这位作者合作，看看我是否能用另一本与《量子国家》非常不同的书来形成一个具体的问题或具体的理论，它对这本书有效，那么下一个要测试的文本类型是什么？”非常不同。我当然可以做得更快。你为什么认为“思考工具”这个想法让硅谷的许多人着迷？它包含着对技术人员来说他们可能非常强大的信息。这总是诱人的。它也对人们来说非常可行，但却具有极大的误导性。我遇到过很多很多人告诉我他们对思考工具感兴趣，其中 95% 以上是工程师。问题在于，构建一个有趣的思考工具基本上是一个设计问题。他们的设计想法通常不太好，或者在各种方式上都存在问题。然而，他们可以制造出解决他们生活中某个问题的产品。这感觉非常诱人或令人鼓舞。感觉就像是他们可以着手处理的事情。我们硅谷非常非常关注思考。我们是思考的人。人们对任何可能扩展我们能力的东西都非常感兴趣和投入。这也很诱人。如果我能更好地思考呢？它也很诱人，因为它具有元性。有很多关于人们无休止地摆弄他们的点文件或摆弄他们只有两篇文章的博客网站的陈词滥调，但他们必须重写它，因为他们想做别的事情。新的一个在重写之前会有三篇文章。思考工具也抓住了这种痒痒。这是关于工作的工作。顺便说一句，这听起来很愤世嫉俗。我不是这个意思，我只是想认真回答这个问题。这里有一个更乐观和慷慨的回应。我们中的许多人之所以开始接触计算，是因为计算机展现了个人赋权和可能性的感觉。我们记得小时候，午夜时分被锁在卧室里，胡闹。我们拥有这个强大的工具，它为我们打开了这些世界。对这里的许多人来说，这是他们个人发展的一个重要组成部分。任何指出我们可以做更多类似事情的人都会很有说服力。这是马特·克兰西在推特上提出的一个有趣问题——一个好的众筹研究项目有哪些特征？我在众筹经验中学到的一件不幸的事情是，有些动态似乎很难改变。其中之一是客户流失率。任何订阅收入的商业模式——我的就是——你每个月都会失去订阅者。在我这里，大约是 2%。这并不算大，但确实意味着我需要一直有一定数量的新订阅者。我学到的一件事是，客户流失率对我的任何行为都出奇地不敏感。我尝试了各种各样的事情，但客户流失率并没有明显改变。改变事情的是让更多人进入漏斗顶部，换句话说，就是营销。有一些事情影响了漏斗顶部的人转化为客户的比例。我真的很讨厌这样思考。总而言之，我发现的令人难过的事情是，我最终不得不稍微思考一下这个问题。我意识到这个众筹项目之所以能稍微奏效，是因为它对他人来说是可理解和有趣的。它已经处于一个看起来有希望的结果的地方。很容易想象其他不具有广泛适用性的项目。如果我从事海洋地质学研究，我可能不会有一大群互联网用户，远没有那么大或那么兴奋。这是一个特性——这项工作非常普遍。它适用于许多许多人。它适用于有可支配收入的人。如果我正在研究弱势艺术家写作实践的项目，我的受众可能没有那么多可支配收入。我已经取得了一些进展。这很重要。不幸的是，在研究项目非常早期的时候，使用众筹可能非常困难。我已经选择了一个研究议程或方向，并且我可以表达它。众筹可能适用于研究的最初几个阶段之后。可能有一些标准的拨款建议，在某个时候，我将使用这个众筹来弄清楚下一步的事情，而且我无法向任何人解释它。当然有一些萌芽，但你必须有一些正在进行的事情。我需要能够定期说一些关于我的进展的事情。例如，我的妻子正在研究与谂妄和创伤性脑损伤相关的衰老生物标志物。为此，她正在招募因创伤性脑损伤而就医的患者。一旦他们同意参加研究，他们就同意进行各种血液样本采集等。招募足够的患者以获得她所需的显著性将需要两年左右的时间。她可以报告一些中间结果，但肯定不是每月更新。对吧？是的，那会是一篇奇怪的 Patreon 文章。是的，我也无法完全每月更新，但需要一定的节奏。为什么还要费心去做呢？我相信有很多富有的个人会乐意单独资助你的研究。有原因选择众筹吗？那些富有的个人非常欢迎联系并提出这样的要求。我不得不说，我曾有幸拥有许多高净值个人的赞助，但他们每个人每月只提供 100 美元的 Patreon 赞助。这就是我从这些人那里得到的。我肯定没有得到疯狂的更多提议。我认为你使用的工具不适合你的受众的财富分布。也许吧。你的问题可以有两种解释。一个问题是，为什么众筹而不是诉诸高净值个人？另一个版本是，为什么众筹，而不是筹集拨款或与慈善机构交谈？你主要关注前者吗？是的。如果我必须诚实地说，那是因为它奏效了。这个项目的众筹历史，就像我生活中的许多事情一样，是迈克尔·尼尔森的怂恿的结果。早期当我们一起做《量子国家》项目时，他建议我们建立这个，我犹豫不决地说，“是的，这会分心。我们现在真的不需要这个。等我们有什么东西可以展示的时候再处理。”他说，“不，不，不，让我们开始吧。需要很长时间才能获得足够的订阅者。”事实证明他是对的。建立订阅者基础和众筹项目需要几年时间，至少以我的经验来看。早点开始更好。如果那不起作用，或者如果我们没有早点开始，我可能会直接寻求个人帮助，如果它失败了，我可能会这样做。我还要说，当有一些我想要做的特定项目需要，比如说，雇佣人员时，我曾联系过高净值的朋友，他们提供了帮助，但金额在五位数低位，四位数范围内。这很棒，我非常感激。答案可能是一个混合体。众筹的一个大限制是它无法维持一个团队或机构。它几乎无法维持我。我介于研究生和初级教员之间。这没关系。对我来说，有很多原因可以接受，这些原因非常符合我的情况，但对每个人来说肯定不行。即使对我来说，它也无法让我支持他人。对。这更令人震惊，因为你非常有名，尤其是在乐意资助这类工作的受众中。如果独立公共研究的勒布朗·詹姆斯赚取的收入介于研究生和初级教员之间，那不是一个好迹象。值得考虑的是，我可能不擅长这个。首先，我作为一名研究员并不那么成功。我反对勒布朗·詹姆斯的比喻。确实，我可能是科技领域最成功的众筹研究员，这有点奇怪。在过去的几年里，我学到了一些东西，但我不会说我有什么惊人的热门出版物。有一件事是真的，当我有大型出版物时，我会获得很多新订阅者。存在某种市场力量，如果我的研究取得更辉煌的成功，这种力量可能会更高。还有一点是，我系统地避免营销它。这是一种自我保护。我非常担心受众和营销对诚实探究的腐蚀性影响。很容易扭曲我的工作。几乎是默认地试图使其成为人们更可能喜欢的东西，而不是我真正想调查的东西，或者做无聊的简单版本而不是有趣深入的版本，这样我就可以更频繁地发表更多东西。我选择不做的一件事，而这是一个肯定在经济上付出代价的选择，就是发表学术界所说的“最小可行论文单位”。他们有一个更简洁的说法。最小可行论文。将任何新的、高于特定标准的边际见解发表是很常见的。我只是没这样做。我写了非正式的信给我的赞助人，“嘿，我这个月弄清楚了这件事。”如果我是一名学者，我会把它作为一篇论文发表。如果我是一名以营销为导向的众筹研究员，我会做一个华丽的东西并推广它，“看看我弄清楚了什么。”但实际上，我只是觉得这没什么大不了的，我宁愿继续做下一件事。我有选择等待发表。我真正担心的是营销，伙计。营销。它使得对自己诚实变得如此困难，至少以我的经验来看。不仅要诚实地对待我认为有趣和重要的事情，甚至要诚实地对待结果。每一篇论文在某种意义上都是一个小小的营销作品，试图证明它的重要性，它的结果非常令人兴奋，非常重要。这对发现来说确实具有腐蚀性。确实，你需要与工作有非常强烈的情感联系才能做好工作。这种情感联系的一部分来自于可能接近某个真正的好东西的兴奋感。有一种诱惑，就是尽可能地美化你发现的东西，淡化它的局限性，占据空间并将其绝对化。所有这些都对发现是致命的。听到一个无意中、没有刻意去做的、却很好地传播了你的材料的人这么说，很有趣。我认识你很久了。我确实想知道，如果达到一定的质量水平，试图营销你的东西，不仅没有帮助，反而可能损害你。如果你能想到像 Gwern 这样的人发布他的博客文章的 YouTube 短片，那将是，“你在做什么，伙计？”它太好了，他不需要推广它。Gwern 是一个有趣的例子，因为有一个更简单的失败模式。我仍然经常遇到人们告诉我，“哦，我喜欢你的作品很久了。我不知道你有一个 Patreon。”这是我一部分营销的简单失败。Gwern 实际上有更糟糕的情况。我崇拜 Gwern。我从他那里学到了很多东西。你可以去他的 Patreon 页面，他实际上公开了他的收入。他在 Patreon 上的收入只有我的一小部分。我认为这是不恰当的。Gwern 是一个比我更有影响力的研究员，他的受众也比我大得多。他们没有转化为赞助人的事实，主要是因为他谈论它的方式以及他展示它的方式。不是他需要向他的网页营销更多人。我预计他的流量和受众都很多。比我的大得多。关于你如何谈论这个会员资格有很多变量。我们都不想去想它们。我最终在这个领域的一个稍微有效的部分，但我很确定有更有效的方法来做我正在做的事情。是的，这是一个非常有趣的问题，因为我有一个 Substack，如果人们选择，他们可以帮助为播客做出贡献。它的收入足够支付某些剧集和旅行费用。然而，与我现在要做广告相比，这只是一小部分。有些人可能会说“你不得不做广告真是遗憾”，也许听众会第一次发现 Substack 上有一个选项。但你不想处于每个剧集都向听众要钱的境地，对吧？是的，我讨厌向人们要钱。这是创意人士普遍存在的问题。我讨厌它。我真的很讨厌它。我可能需要克服这一点。不过，我想说一点。我的 Patreon 取得的成功要大得多，当我将其重塑为“哦，请订阅以支持我的工作”，就像你描述的那样，成为一个会员。“当你成为会员时，这些事情就会发生。”这些事情不一定非得非常实质性。在人们心中，小费罐和会员资格之间存在区别。成为会员意味着什么。如果你能提供一些小东西，感觉像会员资格，你可能会得到非常不同的结果。Gwern 有一种小费罐的感觉。如今，我有一种会员的感觉。我的直觉是，如果你转向“成为 Gwern 实验室的会员”，他会取得更好的结果。他在 Patreon 上有一个功能，如果你捐赠五美元或八美元，他会阅读整本书并评论它。是的，这太疯狂了。我不知道是否有人接受过。是的。这就像把他的时间价值定为一美元。是的，我不太明白。而且，如果你先拥有一个更大的受众，你可能会更容易地要求订阅。你可以免费建立受众，然后有一个付费墙后面的奖励产品。我对此感到非常矛盾，也许你可以帮我思考一下。我有很多赞助人文章。这是我目前大部分写作的地方，因为我正在等待收集足够的东西来写下一篇重要的公开文章。我有几篇重要的公开文章处于不同的进展阶段。我为赞助人写了很多东西，而且我可能的大部分受众或外面的人甚至不知道它的存在。会员专属内容的一个挑战是，即使是让别人清楚它的存在。人们通常会通过发推文或发送新闻通讯来宣传这种订阅者专属内容。我就是做不到。说“哦，这是一个链接，但你看不到它”感觉很糟糕。我不知道你怎么想，或者你是否考虑过 Lunar Society 的订阅者专属材料。我其实正要和你提起这件事。我是一名赞助人，我读了你所有的赞助人文章，它们都很棒。我读它们的时候在想，一个人可能不知道它们的存在真是太遗憾了。如果他们对你的作品不够熟悉，就无法注册，它就藏在 Patreon 后面。可耻的是，为公开作品提供资金的一种方式是让其中一些作品不那么公开。有更好的方法。有设计解决方案。例如，如果我的作品大部分都在一个地方而不是分开的地方，并且作品中公开的部分在视觉上和结构上都与私有部分相邻，那么就很清楚还有其他东西可用。也许你可以看到其中的一部分——Substack 有这个功能，可以让你对你将看到的东西有所了解。我在弄清楚如何恰当地展示这些东西上投入了零精力。对。另一个要考虑的因素是，你的写作作品影响力的很大一部分在于有多少人实际消费它。这的预期价值被它病毒式传播的概率所主导。例如，你有一篇非常有见地的帖子，基于你在苹果公司的行业经验，关于 Vision Pro 的可能性以及它在哪些方面达到了预期，哪些方面没有。我认为那会火爆。哦，谢谢。我确实公开了它。我把它发在了推特上，它还在 Hacker News 的首页上。我认为你是对的。通常我不想让这些东西病毒式传播。它对人们的主要价值是打开一扇窗户，让你看到一种非常不寻常的创意工作，而你通常无法看到幕后。而且大部分内容都与上下文相关。它不是真正独立的。我也不想写得好像它可以独立存在一样。我偶尔有过这样的经历，其中一个东西被广泛传播，然后收到了很多评论，人们对我在说什么感到愤怒地困惑。这有点令人沮丧。所有这些都是为了说，当我想要写一些东西供广大公众消费时，我就会写一些供广大公众消费的东西。好的，我有一些来自推特的提问。好的，把推特上的问题拿来吧。这是马特·克兰西的另一个问题。还有其他有益的知识工作实践的例子吗？也许它们之所以有效，主要是因为它们是过去的间隔重复练习，而参与者却意识不到？这嵌入在我们的工作世界中。对于研究人员来说，当你需要定期写论文，并且你在写背景部分时，你会反复解释一个特定研究方向的历史并引用适当的来源。这是一种间隔重复。当你指导学生时，在谈话中“哦，在这种情况下，你真的需要记住做 x”。这是一种间隔重复。所有这些都是偶然的。医生有查房——即使他们不经常看病人，他们仍然会接触到其他病人。这通常有一个结构，当病人被介绍时，你应该试图思考要问什么。“我的鉴别诊断会是什么？”在你听到它之前，正在进行隐蔽的检索。它无处不在于我们的世界。它是间隔的，也是重复的。区分我一直在探索的正式练习的是，它关注的是你通常不会重复的材料，要么是因为你做得太早而无法形成一致的练习，要么是因为它与你生活中的任何事物都没有牢固的联系。这是伊恩·瓦纳加斯的一个问题。“个人网站应该投入多少精力？”我想他可能注意到了 andymatuschak.org 上存在的 CSS 量，它非常漂亮。我不喜欢它。但这就是每个人对他们网站的说法，对吧？它有三年了，这意味着我想重新设计它，但我不会允许自己这样做，因为它感觉像是一种分心。正确的精力投入是多少？这个问题没有普遍的答案。当然，这将是我的答案，但我能说什么呢？网站的职责是什么？它试图做什么？许多人，尤其是工程师，通过不必要地为他们的网站烦恼，构建庞大的技术基础设施，而实际上他们想要的是一个可以发布 markdown 文件的地方，这会损害他们自己。他们最好是安装一个 Ghost。主要需要考虑的是，你想把什么东西放到世界上？那个东西的理想形式是什么？并试图找到一种组织和表达它的方法。我们有这些常见的模式，比如博客或作品集。人们经常被迫适应这些模式。人们最终会使用博客软件来制作一些耐用的东西。非常有趣的个人网站通常来自那些思考这个问题的人——他们想放到世界上的东西的形状，并制作出能体现它的东西。通常，一旦你理解了制作事物的形状，它就不会那么费力。我的网站对我来说不是一个巨大的项目，可能应该是一个稍大的项目，考虑到我的收入取决于人们通过它。工作笔记和……？那是周末。真的吗？是的，我对此感到抱歉，因为它已经进入了大量的商业项目。人们说，“啊，这是展示网络笔记的方式。”我认为它在很多方面都不太好。我花了几天时间。哇。因为我认为这就是问题所在——你一定花了几个月时间。不。这有点像那个关于技工敲一下就知道东西的说法。我有设计直觉，引导我走向一个特定的方向。但有很多我讨厌的地方。我只是不允许自己花更多时间，因为我真的不认为它足够重要。在我问最后一个推特问题之前，我有一个关于你在苹果公司工作的问题。每个人都有 iPhone，从外面看，设计这样一个东西肯定会有很多不同的权衡和限制。某些组件的供应量和成本是多少？不同的消费者想要什么？研发团队准备好提供哪些功能？在你还在苹果公司的时候，你负责了许多这些基石设计功能。所有这些信息是如何整合的——考虑到所有这些限制并决定这就是设计？它是如何发生的？它非常分散。你刚才说的任何事情都与我无关。一切都预先指定好了。在苹果公司，你有一个自己的小领域，而这个领域的边界是由其他人的小领域决定的。有一个人负责散热。实际上，有一个团队负责散热，他们会弄清楚“我们的散热预算是多少？在什么样的工作情况下，CPU 可以运行多久？”我无法反驳。那些只是我的限制。但这些限制不是由不同的问题决定的吗？它是迭代的。我们会遇到一些我们真正想做的事情，但我们无法实现，因为它消耗的电量太多。所以 Hey Siri 是一个有趣的例子。能够随时激活语音命令而不与设备交互是很棒的。人们会像有一个东西一直在后台监听并等待它一样进行原型设计。但这需要主 CPU 一直开启，处理音频缓冲区。你根本做不到——它会耗尽电池。这次尝试最终导致拥有一个低功耗的专用协处理器，它非常有限且受限，并且可以在主 CPU 未开启时开启，它可以监听那个声音。有没有一个人负责考虑所有事情？“我已决定，根据所有人的备忘录，散热，你们需要在这方面工作，你们在那方面工作？”不完全是。这更像是推拉。一个团队的优先事项部分由内部决定。散热团队有自己的爱好，并且知道他们认为什么重要。其中一些将由外部决定。有一个高管团队对下一年的设备的主要优先事项做出最终决定。“啊，明年，我们将推出这个面部 ID 功能来解锁手机，我们将没有主页按钮。”如果你不想有主页按钮，并且想让屏幕全屏显示，这会对设备产生从上到下的所有影响。这个决定为许多团队创造了大量必要的工作。有些事情是在更本地的层面处理的。例如，iOS 应用总监可能会决定，我们遇到了这个问题，因为应用程序与系统框架同时构建，我们最终使用一种奇怪的混合体来构建我们的应用程序，部分是内部框架，部分是我们的开发者使用的公共框架。内部框架总是有点不同，而且不总是可靠地维护。所以我们有很多关于两者之间差异的问题。我们的一个主要优先事项将是重写我们应用程序的所有部分，只使用公共部分，以便它们可以在 App Store 上分发。这是一个更本地化的决定，而不是由高层执行团队做出的。我觉得这很有趣的是，一家价值 2 万亿美元的公司能够整合所有这些信息，拥有一个统一的层级结构，其中做出如此多的不同产品和权衡。这是否让你认为，随着时间的推移，这些运作良好的科技公司会越来越大，它们实际上能够承担如此多的管理成本？首先，我先回应一下关于公司规模巨大的观察，然后我们再谈论其他公司。苹果公司之所以能够做到这一点，是因为他们进行授权的方式。虽然有一个非常强大的指挥和控制结构，并且重要决策由高层一小群人做出，但各个层级领导者在各个领域拥有巨大的自由度。这是所有这一切能够运作的唯一方式。个人在领域内被赋予非常非常强的责任和权威来做决定。这就是为什么你可以拥有所有这些不同的产品。克雷格·费德里吉是苹果的软件主管。那是什么意思？你如何成为软件主管？他们有多少个平台？iOS、iPadOS、WatchOS、VisionOS、MacOS。还有一个操作系统运行在许多小芯片中。所有这些都在克雷格的管辖之下。那是什么意思？实际上，这意味着有一系列他非常关心的软件问题，并且他每天都在思考。在我还在苹果公司的时候，克雷格·费德里吉曾到我的办公室和我谈论手势识别器启发式方法，因为那是他非常关注的事情。同时，他基本上完全忽略了 95% 的软件相关决策。他把这些事情完全委托给了别人。几年前，哈佛商业评论有一篇非常有趣的文章，讨论了苹果公司的管理结构以及领导者如何拥有不同的责任同心圆。我不记得具体细节了，但假设有 5% 的事情是你负责的——你随时都能掌控并直接操作、控制。外面有一个更大的同心圆。这些是你一直在关注的事情。它们对你来说很重要，你会收到关于它们的报告，你会检查它们，你会思考它们，你会产生想法并向下传递，但你并不直接控制它们。然后有很多事情是你已经学会了如何委托，并且你想知道是否有问题。他们谈论了这种结构是如何随着时间演变的。我现在离开苹果公司已经八年了，所以我敢肯定，对我来说它几乎是面目全非了。这是 Bazel Halperin 在推特上的一个问题。“间隔重复的缺乏采用是市场失灵吗？还是缺乏采用是有效的？”这可能主要是有效的。在间隔重复，就其本身而言，没有大量的、难以传播和隔离的新文化知识的地方，它是有价值的，我们看到很多间隔重复的使用。在那些高度积极、有充分理由学习的医学生中，材料的构成非常适合间隔重复的使用，有很多间隔重复的使用。事实上，医学生 Anki 的子版块比 Anki 的子版块还要大。同样，在语言学习者中，各种形式的间隔重复非常普遍。Duolingo 集成了间隔重复。间隔重复自然存在于沉浸式学习过程中。现代间隔重复工具，介于 Leitner 的盒子和 Wozniak 的 SuperMemo 之间，最初都是由语言学习驱动的。在语言学习中，有大量的间隔重复市场。它可以用于各种更具创造性的方式。例如，罗素·西蒙斯向我指出，通过闪卡学习单个词汇常常会错过整合机会。你真正想要的是学习大量的句子，或者可能在此基础上进行构建。Duolingo 就是这样做的。间隔重复的语言学习子版块中的大多数人则不是。有些人是，这很复杂。市场边缘需要早期采用者尝试有粗糙边缘的东西。早期采用者有时会受伤流血。这就是为什么人们不争相涌入的原因。至于为什么间隔重复没有被广泛使用，例如，学习量子物理学，它的定价基本上是正确的。我可以使用间隔重复来稍微快一点地学习量子物理学。它并不能使其成为板上钉钉的事情。它不像学习解剖学那样，基本上如果你学习了这套卡片，你就完成了。你需要一些额外的东西。我正在做一些这方面的工作。你还需要大量的非常不寻常的知识，这些知识目前在很大程度上是默会的，才能以这种方式使用它。这部分是我录制另一个视频的动机，以展示其中一些内容。市场没有对它无法真正起作用的事情做出反应，这似乎是相当合适的。这是一个很好的地方来结束这次合作和这个项目。这真的很有趣。非常感谢你。这花费了许多小时的见解和大量的思考素材。太棒了。谢谢。是的，感谢你的到来。