2025 年夏季 | 机器学习课 CS229 on 8_5_2025 | 强化学习篇

好的。下午好。我们开始吧。嗯？幻灯片上应该写的是星期四。我会把它改过来，以防有人对星期几感到困惑。我们今天的议程相当长。嗯，如果有什么我们没能完成的，我会在剩下的三节课中的一节课上再讲。我希望我们能完成所有内容。嗯，如果我们在这里完成了所有内容，那么这些材料就标志着你将直接负责考试的材料的结束。嗯，所以到目前为止的一切，包括 CA 讲座，都应该被视为不仅是公平竞争，而且还应该出现在考试中。好的。嗯，期末考试在下周，不是这个星期六，而是下下个星期六，太平洋时间晚上 7 点到 10 点。嗯，如果你不知道你的考试地点，因为你有某种冲突或例外情况，并且你还没有收到通知，请尽快给我发电子邮件。嗯，这应该已经处理好了。嗯，第三次作业将于本周六太平洋时间晚上 11:59 到期。希望大家都知道这是考试前的最后一次评估。嗯，在接下来的几天里，我们将发布第四次作业及解决方案。它将包含课程后期或课程后半部分的问题。嗯，我们还将发布一些关于 MDP 和强化学习的练习题。好的，这通常不会在非夏季学期的课程版本中进行测试。嗯，下一场 CA 讲座也将是考试复习，然后还有一个额外的 CA，称之为答疑时间，称之为问题解决环节，它将在下周一，也就是 8 月 11 日，太平洋时间上午 10:30 到中午，仅在 Zoom 上进行，当然也应该会被录制，所以如果你不能在那个时间参加，你可以在之后观看。嗯，最后一件事是，接下来的三节课将主要是由各种演讲者进行的客座讲座。嗯，例如下周二，我们将有两位我们核心 CA 的成员，他们将谈论他们正在做的一些令人兴奋的工作，你们都应该听听，这样你们就可以开始将今天学到的东西与更广泛的概念联系起来，这些概念超出了我们今天学到的内容，显然超出了我们在这门课程中有时间和能力介绍的内容。嗯，本周四，抱歉，今天是星期二，没有人纠正我，今天是星期二，不是星期四。所以，本周四我们将有三位客座演讲者。他们都来自同一家名为 Resolve AI 的公司，正在做一些非常有趣的工作。其中两位是斯坦福大学的校友。所以他们知道他们非常兴奋能回到这门课。我认为至少有一位也上过这门课。所以这会很好。他们将谈论构建代理，也就是 AI 代理，它们可以完成人类软件工程师的工作。其中一些部分你可能已经见过或用过，而另一些部分你可能会觉得很新。所以我鼓励你们都来参加并听听，你们可能会学到一些有趣的东西。虽然我不能说他们谈论的内容是否会出现在考试中，但你应该期望，如果他们是在你们在这门课程中已经接触过的概念的基础上进行讲解，那么就把他们谈论的内容看作是这些概念的应用，而在考试中，我们肯定会给出更新的应用，希望是你们知道如何解决的问题。所以不要只是走神，享受其中，但也要努力看看是否有什么可以联系起来的。可能什么都没有，但也可能有一些。而课程的最后一讲，也就是下周四，将是关于时间序列预测的，从传统的统计预测技术到更现代的基于 Transformer 的基础模型。这是我非常关心的一个话题。我很乐意在之后或之前与人们讨论。我将在斯坦福大学以外的工作单位的两位同事将来到这里进行讨论。其中一位，在我还是研究生的时候，我们就分享过研究兴趣。然后第二位实际上是去年这门课程的首席助教之一，他将在这里进行讨论。所以这将是一个很好的环节，让你们学习一些非常相关的东西。我们在这门课程中没有足够的时间来涵盖这些内容。好的。关于后勤有什么问题吗？好的。那么，让我们继续我们关于 MDP，马尔可夫决策过程的讨论。我们谈到了它们是以这种特定方式定义的。你有一组状态。记住，你有一组动作，但动作也映射到状态。它们与每个状态相关联，它们将帮助你从一个状态转换到另一个状态，你也可以回到同一个状态。有一个转移概率，它是你处于状态 s 并采取了动作 a 的情况下转移到某个状态 s' 的概率。这就是马尔可夫性质，因为之前的一切都不重要，对吧？这就是马尔可夫的由来。我们谈到了奖励函数，它是你所处的状态、你采取的动作以及你转移到的状态的函数。我们讨论过它可以以多种不同的方式表达，这取决于具体问题，有时你在某个状态时获得奖励，有时你在转移到某个状态时获得奖励，有时你在转移出某个状态时获得奖励。所以这取决于问题的结构，但这个函数在完全通用性上捕捉了它。然后还有一个起始状态的概念，也应该被指定。我们上次讨论了一个折扣因子，它通常是一个介于 0 和 1 之间的数字，讨论了你对未来奖励的重视程度。在大多数现实世界的情况下，你不想让折扣因子为 1，这意味着远处的动作不如你今天将要采取的动作重要。然后有时还有一个结束或终端状态。好的，所以我们将开始讨论策略评估。策略，我们上次学到的是，基本上是告诉你如何行动的东西。给定任何状态，策略会告诉你采取什么动作。它会为你指定。所以策略的价值，用 vπ 表示，也应该映射到每个状态，它被定义为从状态 s 开始遵循特定固定策略 π 所获得的预期效用。所以你处于状态 s，无论它在哪里，随着你在这个过程中演变，它也会改变。你可能会从一个状态转到另一个状态。所以你可以问这个问题：如果我从某个状态 s 开始，我能期望获得的价值或预期奖励是什么？你必须为每个状态回答这个问题。如果我从这个状态开始呢？如果我在另一个状态呢？如果我在另一个状态呢？你必须为每一个状态回答，并且你必须根据固定策略对其进行建模。策略告诉你如何行动。价值告诉你，如果你按照这个策略行动，并且你从状态 s 开始，你的预期奖励是什么？所以，作为一种常识性的检查，如果你有一个终端状态，奖励只是零，你没有任何奖励，游戏就结束了，在任何策略下，这个状态的价值会是什么？这不是一个棘手的问题。你处于一个终端状态，这意味着游戏在零之后就结束了，对吧？因为你处于那个状态的奖励是零。我告诉你，你永远无法逃离那个状态，你永远在那里，可能没有动作可以采取，或者你可以采取任何动作，它们都会导致什么都没有。所以你永远在那里。所以直观地说，在任何策略下，甚至选择一个固定策略，在那里行动的价值应该是零，对吧？这就是你的思考方式。然后我们还定义了 Q 值这个概念，你会经常看到它。Q 值写起来很相似，Qπ。π 表示你正在遵循一个固定策略。今天，无论你看到 π，都意味着它是一个固定策略。无论它是什么。它不一定好。它可以是随机的。它可以是优秀的。它可以是最优的。但现在，它只是某个策略。好的。所以，有人告诉你如何采取行动和行动方式。这就是你如何计算。希望我们今天能看到如何计算或关联一个价值。如果你一直玩这个游戏，一直玩下去，在这个策略下的价值会是什么？然后一个相关的属性是这个 Q 函数。策略的 Q 值，它非常相似。它非常直观，非常简单，注意到 Qi 比 V 值多一个参数，那就是动作 A。所以它不仅仅是问你处于状态 S 的价值是什么。它还说你可能从状态 S 采取了许多动作。如果你采取了某个动作 A，并且仍然处于状态 S，它的价值是多少？在你完成这次转移之后，你将遵循相同的策略 π，对吧？所以从图上看，它说的是，想象一下我们正在谈论价值，这是蓝色的东西。你处于状态 S。你遵循一个策略。该策略告诉你采取什么动作。这就是为什么它被称为 π(S)，对吧？这是一个固定动作。所以它将你转移到这个中间状态。这个中间状态，红色的表示 Q 中间函数，它只是说你处于状态 S 并采取了某个动作 A。那个 A 是什么？那是策略决定的。那是 π(S)。策略告诉你 A 是什么。然后你就可以根据转移函数转移到许多不同的状态，对吧？它不一定是确定的。然后 s' 之后会发生什么？我希望你们都会同意我的观点，那就是同一个问题继续重复和递归。所以我们可以通过说这是从新的状态 s' 开始的策略的价值来缩写所有这些。所以 Q 值与 V 值有何不同？Q 值只是说你已经采取了一个固定的动作。所以在图示中，动作是由策略决定的，但在那个情况下，Q(s, a) 将等于处于状态 S 的价值，对吧？但如果这个动作是某个其他动作，而不是必然从策略中采取的，但在你采取第一个动作之后，你遵循策略，这将给你 Q 值，好吧？所以这里有一个细微的区别。Q 值是关联的，它是一对。它的定义域是状态和动作对。现在，那个动作可能来自策略，在这种情况下，它应该等于价值，对吧？但它不一定。所以你实际上可以创建一个完整的 Q 函数表。想象一下一个维度是 S，另一个维度是所有可能的动作。所以它是一个二维结构，你基本上想计算每个 s, a 对的价值。其中一些将由策略决定，而另一些将由策略决定。我们今天将对此进行大量讨论。所以这一点很重要，要弄清楚。嗯，这只是一个递归，和上一张幻灯片相同的图示，相同的图。我们只是这样表达。那么价值是什么？它只是一个递归。如果你处于终端状态，按照惯例，我们说价值是零。我们刚才讨论过。之后，它只是 s, π(s) 的 Q 值，对吧？因为 π(s) 来自策略，所以它是在按照该策略行动。但 qπ(s) 是什么？那就是转移函数，也就是转移概率，因为你处于这个红色状态，你可以去任何地方，对吧？首先，你收到奖励，也就是 s, a, s'。然后发生的事情是折扣，你玩游戏，你又回到了某个状态 s' 的价值。而所有可能的 s' 状态是那些你可能转移到的状态，因为你可能从状态 s 转移到只有一个状态，这个求和将非常简单，它将只是一个，对吧？如果它可能转移到许多不同的状态，那么这将是一个关于所有这些状态的函数，因为你可能最终处于任何一个状态，对吧？所以基本上，你从某个状态开始。你根据策略采取一个动作。策略说要采取什么动作。现在转移函数会告诉你，采取这个动作后你可能会在哪里结束。那么从你转移到的地方的奖励期望是什么？那就是预期的奖励，也就是 vπ(s')，来自任何一个那些状态。所以我们基本上把它写成了一个递归。为什么它是递归？因为你可以一直走到终端状态，那就是零，所以你可以从那里开始计算它，对吧？这就是为什么它是递归的，而且正如你将看到的，你可以相当有效地计算它。好的。所以，让我们实际写出来。回到我们上次玩的我们最喜欢的游戏，那就是你处于 in 状态或 end 状态。这基本上只有两种可能性。你要么决定留下，然后你抛硬币，或者死。三分之二的几率你回到 in，三分之一的几率你结束游戏。然后如果你决定退出，你获得 10 美元的奖励，然后退出，你进入 end 状态，并永远留在那里。我们谈到了价值是什么，我们关联了各种各样的东西。如果你还记得上次，我们谈到了价值。这是一个简单的游戏。我们想说，如果我采取的动作是 stay，价值是多少？如果我采取的动作是 quit，价值是多少？我当时试图描述的是一个策略，对吧？这是一个简单的事情。你只能 stay 或 quit。所以一个策略是如果你在 in 状态，就 stay。另一个策略是如果你在 in 状态，就 quit，对吧？我当时就是这样描述的。现在，让我们用我们刚刚找到的语言来表达它。如果你想计算处于 in 状态的价值，如果你遵循一个策略，那会是什么？这里我遵循的是 stay 策略。我们已经得出了 quit 策略的价值。那是什么？如果策略是你采取 quit 动作，预期的奖励价值是多少？>> 零，>> 不是零。>> 如果你在 in 状态，那就是 10。当然，如果你已经在 end 状态，价值是零。所以这是第一件事。但现在我更感兴趣的是另一个更有趣的策略，那就是 stay 策略，对吧？这就是游戏继续进行，有时结束的地方。所以，让我们弄清楚如何写下来。所以我们知道在 end 状态下策略 π 的价值是零。所以，让我们写下处于 in 状态的价值是什么。那就是转移。所以，让我们回去用我们之前看到的东西来写。它是三分之一的几率，这是转移。转移是什么？你转移到什么？三分之一的几率你转移到 end 状态。三分之二的几率你回到你原来的状态 in。它们的价值是什么？嗯，我们只是用 vπ(end) 和 vπ(in) 来替换它们。而这个四和四是什么？那是你选择 stay 策略时获得的奖励，对吧？那就是那些红色的数字。你还有概率。注意，我们知道 vπ(end) 是什么。那是零。只有一个未知数和一个方程。你应该能够以闭式解出它。你得到答案 12。上次也把它留作练习，写成一个很长的无限求和，我让你回家验证它确实是 12。嗯，你可以用这个递归关系更快地解决它。对吧？那么我们计算了什么？我们计算了处于 in 状态的价值，在这个策略下，这个策略说如果你在 in 状态，要采取的动作是 stay。对吧？所以这非常重要。如果你告诉我策略是 quit，那么价值将大不相同。处于 in 状态的价值就是 10。当然，对于任何一个策略，处于 end 状态的价值都是零。好的，这只是递归。那么关键问题是，在此基础上，我们如何实际学习它？我们没有时间，我认为这有点超出了这门课程的范围。顺便说一句，你们中的一些人可能也注意到这里的 gamma 等于 1。如果不是 1，那么在递归中就会有折扣因子。这只是为了简单起见。所以，我们在这门课程中无法深入探讨，这有点超出了范围，但如果你想的话，这很有趣。我们想介绍这种迭代算法。我们从上一张幻灯片中看到的东西应该能让你想到，也许我们可以以闭式解的形式学习这些，也许我们有机会学习这些东西。我们喜欢这门课程中的迭代算法，你们已经看到了许多不同的形式。所以，这不应该让你感到惊讶，我们今天将介绍另外两种迭代算法，它被称为策略迭代。它所说的就是，我想能够学习我们在上一张幻灯片中学到的东西，但它非常简单，最终只有两个状态，我们能够将其简化。通常问题不像那样好。所以，我们如何学习所有可能状态下固定策略的价值？这基本上就是策略迭代算法。它非常非常简单和直观。它所说的是，在迭代 0 时初始化策略，也就是在你开始之前，所有状态都为零。根据我们刚才看到的，我们谈论的是递归。所以这应该会吸引你。当你谈论递归时，你将不断更新某物。从零开始是一个不错的起点。这是最不知情的状态。今天，在我开始玩之前，我把它们都估值为零。现在我们可以一次又一次地使用递归来更新这些东西的价值。如果你直观地思考一下，会发生什么？你最终会从接近终端状态的地方开始，如果存在终端状态的话，对吧？然后你会慢慢地随着时间的推移更新那些更接近终端状态的东西。再次更新终端状态下方一步的东西。然后迭代地更新东西。最终，你希望会收敛并渗透一切，因为这是一个递归，对吧？对吧？所以，更接近终端状态的递归会更容易。但当然，这里我们不只是假设，我们不假设存在终端状态。这只是在描述存在终端状态时的情况。事实证明，你只是字面上重写了前几张幻灯片中的内容，加上这个 gamma。在这种情况下，gamma 将很重要。它不能是 1，有折扣因子。我只是重复并陈述了前一张幻灯片上的内容。唯一不同的是你将要更新的值将成为 t 次迭代下，处于状态 s 的最新值。但我在所有转移状态中使用的前一个值是什么？它是前一次迭代中的那个。所以，唯一不同的是这一点。你知道奖励。奖励会改变吗？奖励不会改变，对吧？它将是相同的。转移概率会改变吗？它们也不会改变。它们也是固定的。所以唯一改变的基本上是这里的输出。它是你之前状态的函数的函数。而且，有非常非常好的证明表明，由于这种结构，我不会深入探讨，这些东西实际上会收敛，并且它们会收敛到精确的值。好的。它们在某些情况下会渐近收敛，但你基本上会得到最终的收敛。嗯，我也会给你一个快速的例子。但本质上，这里重要的是它是迭代的。所以你一直进行，直到达到最大迭代次数，或者什么时候可以停止？>> 我什么时候停止？>> 当值停止更新，或者变得非常小时。你正在做出非常非常微小的改变，以至于你觉得继续下去可能没什么意义。而且好处是，随着算法的进展，你只需要记住每个状态的前一个值，然后计算下一个值。你同时保留两者。但下一次迭代，你可以忘记上一次迭代之前的值。对吧？所以你只需要在任何给定时间维护两个时间步长，这很好。即使你运行了很长时间，你的内存占用也不会持续增加。对吧？这就是所谓的策略迭代。重要的是要记住，我再说一遍，主要是因为这很快就会在这节课中变得非常清楚，我们正在为固定的策略 π 计算它。所以所有这些，实际上正在实现的是，注意有一个奖励，它没有说 s, a, s'。它实际上说的是 s, π(s)。所以你没有采取任何动作。你采取的是策略推荐的动作。所以你又回到了同一个决策。你又回到了同一个状态。如果你要重新计算它，在下一次迭代中，你将再次采取相同的动作。所以策略告诉你采取什么动作。策略是固定的。它没有被更新。所以你一遍又一遍地重复这个过程。你知道策略，你知道奖励。你知道转移概率。你唯一更新的是这个从零开始并迭代更新的值。你会发现，你离得越远，迭代越早，收敛得越晚。但最终所有这些都会收敛，最终它们会达到一个点，那里没有任何变化发生。嗯，有很好的证明，我会留给那些可能好奇的人。是的。>> 我们怎么知道需要更新哪个状态的排列呢？>> 你更新，你在每次迭代中遍历每个状态。>> 就像 S 取决于。>> 是的。你已经初始化了它，然后之后你遍历所有内容。记住，价值必须为每个状态计算，对吧？所以你为每个状态 s 做这个。现在可能的转移是什么？这显然取决于策略告诉你什么。然后根据这个，转移 s' 是什么。好的。那么这里的计算复杂度是什么？这不应该让你感到惊讶，基本上是，你取这个外循环，这实际上是唯一的循环，也就是迭代次数，策略评估 P，然后乘以状态空间 S 的大小。当然，你可以说它是平方，因为对于每个状态，你也在弄清楚它转移到其他哪些状态。所以这是数量级的，如果每个状态都可以去到每个状态，那就是 S 平方，S 的平方，也就是状态数的平方。但这表明并非如此。如果很少有状态转移到很多状态，大多数状态转移到很少的状态，那么这将是主导因素。所以这应该是直观的。你基本上为每个状态计算这个。但对于每个状态，求和中的项目数是多少？它是你可以转移到的状态的数量。其他一切都是固定的。所以这相当有效。嗯，这就是我们之前的例子。现在，而不是像之前那样用一行解决那个非常简单的东西，让我们假设我们不能用一行解决它，因为可能有许多其他的东西，我们基本上通过这些迭代来运行，将所有东西的 vπ 初始化为零，然后一遍又一遍地重复这个递归。注意其他所有东西都是固定的。1/3 是固定的。四是固定的。2/3 是固定的。四是固定的。在这种情况下。再次，我们回到了 gamma=1，但暂时忽略它。我们实际上不应该这样做。嗯，但你知道，这是为了说明。最终，在也许 100 次或更少的迭代之后，你会收敛到相同的东西。所以，很高兴它们都没有揭示不同的价值。它们只是计算它的不同方式。你并不总能轻易地用手一步完成。>> 我们可以将策略和梯度下降进行类比吗？>> 我们可以吗？你会看到与梯度下降的类比。嗯，但它是迭代的，不是以我不知道我是否会说它与梯度下降相同的方式，因为梯度下降在做什么？梯度下降正在找出要往哪个方向走，并纠正你。这基本上是一个递归，它总是让你，实际上这是另一件事，梯度下降也会让你，完整的梯度下降会让你提高。这肯定会有证明表明你也会一直严格提高。所以这与完整的梯度下降有些相似，但它不是通过找出要往哪个方向走以及诸如此类的事情来完成的。但你今天会看到一些与其他事情相关的梯度下降的联系。好的。然后我想介绍的下一件事，今天将非常重要，就是所以这里的第一个方程是你之前看到的相同的递归。所以没有什么新的。你计算策略 π 的价值，为每个状态 s。这就是你如何做到，你一遍又一遍地迭代。嗯，然后也许在我去这里之前我应该问一下，一旦你有了所有策略 π 的价值，你已经完成了所有这些事情，实际上有一个引入新策略的概念。所以我可以计算一个新的策略，称之为我的新策略 ps，它可以按以下方式完成。这个求和和求和索引中的其他所有内容与上面相同。唯一新的是，我正在对所有可能的状态 s 的动作取 argmax。所以，让我们慢慢地过一遍，然后你告诉我你认为这意味着什么。我正在计算一个策略。这将是一个新的策略，它将对应于策略做什么？给我一个状态。我告诉你采取什么动作。这个策略采取什么动作？这个策略采取的动作是让我采取 argmax，也就是从这个状态采取的动作，它将最大化这个特定的东西。这个特定的东西是什么？这个求和是在那个固定策略，旧策略 π 下，处于某个状态 s 的价值。这告诉你，有一个新的策略，它告诉你，好吧，你运行了那个策略，但现在你能否选择一个动作，它说在最后，也就是在你完成所有事情之后，你已经计算了价值，你说运行这个递归，但请你能否推荐一个动作，它最大化处于状态 S 的价值？因为处于状态 S 的价值是你实际采取的动作的函数，对吧？而在这里你说，在所有可能的动作中，如果你能以某种方式计算出最好的一个，那么它将是一个新的策略。如果能计算出来，我们应该给这样的策略起什么名字？>> 最优策略>> 它是某种最优策略的概念，对吧？它是最好的策略。它是奖励，处于任何状态的预期价值。自然，我们想最大化它。如果我们能计算出所有这些，那么如果我能用它来告诉我从每个状态采取什么动作是最好的。我有点在谈论我能在这个环境中想出的最好的策略的概念，对吧？这就是我们接下来要谈论的，也就是 vop 或 vstar 的概念，它也是一个策略，对于状态 s，它是任何策略都可以达到的最大预期价值。所以这很重要。这是一个策略，没有其他策略可以严格做得更好。它说只有一个唯一的策略吗？它没有说明。你可能拥有多个策略，它们都可以最大化这个东西。多个策略也可以推荐不同的动作。这没有限制。但是确实存在一个最优策略，我们将用 vstar 或 v opt 来表示它。而且，就像任何其他策略一样，这个最优策略必须为每个状态 s 告诉我们采取什么动作，对吧？所以，让我们实际看看我们如何计算这个。最优策略会说，那么 Q opt 会发生什么？Q opt 将只是给定一个状态 s 和一个固定动作 a。所以这是关于需要动作的 Q。所以这个动作可能来自任何方式，它是某个固定动作 a。一旦你处于状态 S，你就采取一个固定动作 a，你将转移到一个状态 s'，然后这将根据转移函数进行。但是一旦你说“哦，我正在尝试发现这个最优策略”，你会做什么？你将假设之后发生的事情将根据某个最优策略进行。所以它只是暂时假设存在一个最优策略。我们还没有开始。我们说有一个动作，a。所以你可以尝试状态 S 中所有可能的动作。你可以计算它们的 Q opt。对吧？所以，假设状态 S 中只有两个可能的动作。我们将有两个值 QS, A1 和 QS, A2。它们中的每一个可能都不同，因为它们中的每一个可能导致不同的奖励。它们中的每一个可能导致不同的转移函数。但是你应该能够，那些是固定的东西。一旦你完成了第一次转移，会发生什么？这和以前一样。你说，“好吧，折扣，折扣乘以你最终到达的任何地方的价值。但根据那个假设的最优策略。”好的。现在，一旦你计算了 Q opt，你如何读出最优策略？嗯，在最末端的状态，它仍然是零。最优策略在终端时不能真正告诉你太多。但然后这里有一个小小的改变，那就是我计算了这些 Q opt 的东西，它们是如何定义的，对于所有可能的动作，你都可以从每个状态采取。你采取那个动作，你已经计算了它。但它们是关于什么的？它们是关于这个最优策略的函数，在你采取第一个动作之后。所以现在你有 Q opta 对于所有可能的动作，从每个状态。那么你如何读出处于状态 S 的最优价值？那就是为每个状态选择那个能给你最大 Q 值的动作。因为如果这个 Q(s) 是某个状态 s，有四个可能的动作，你将有四个可能的计算，Q(s, A1), Q(s, A2), Q(s, A3), Q(s, A4)。可能有很多。你已经完成了所有这些。那么最优奖励会是什么？嗯，选择那个动作，从这个你刚刚创建的表中选择那个最好的动作，那个能带来最好奖励的动作。对吧？所以我们现在有了一种计算 V opt 的方法。注意，递归也依赖于 V opt 的概念。那么，如果我们想实际计算这个 V opt，我们的方法是什么？V opt 是某个策略，对吧？策略是最优的，某个最优策略。我们还没有真正说明这个最优策略是什么。但你注意到我们已经做了什么？我们之前说根据一个固定策略来选择动作，有人在给你。但最终我们做了什么？我们回过头来，我们计算了递归作为函数。我们如何迭代它？我们初始化了所有这些为零。所以你也可以对计算最优策略做同样的事情，通过初始化这个假设的最优策略为零，然后做什么？一遍又一遍地重复这个过程，除了这里还有一个额外的步骤，那就是什么？为什么我们不能使用我们之前看到的东西？这是三张幻灯片之前的策略迭代。为什么我们不能直接使用这个？这里缺少什么？最优策略的什么东西没有在这里做？>> 策略。>> 所以这是一个固定策略，对吧？所以如果我说，好吧，假设那是最优策略。递归是相同的，但有一个关键的区别。最优动作。>> 最优动作。这里我们没有谈论采取那个最优动作。所以还有一个步骤没有完成，这将把它变成一个最优策略。所以，从图上看，这是你采取第一步，为所有可能的动作 s, a 计算这个，那是 Q opt。Q opt 意味着你已经采取了动作，可能是所有动作。你分别计算它们。但之后，你让转移概率发挥作用，当你到达任何下一个状态时，就遵循那里的最优策略。对吧？然后读出基本上是最优策略，基于哪个动作最大化了预期的奖励。对吧？所以我们应该能够通过做这个小小的改变来计算它。对吧？这张幻灯片的黑色部分基本上和你为固定策略 π 看到的完全一样。但不同的是，你已经初始化了这个新的最优策略为零。你甚至不知道它是什么，但你已经初始化了它。这是一个递归。你知道奖励。你知道转移函数。但你不知道的是，我如何选择动作，对吧？我如何选择这个第一个动作？所以你反而做什么？你为所有状态的所有动作计算它，因为你可以分别计算。嗯，因为以前策略是在每个状态选择其中一个。现在你说，只为所有动作计算，然后选择最大化这个东西的动作，你一遍又一遍地重复，最终你实际上在做的是最优策略应该做的事情，那就是选择最大化奖励的动作，并且你以递归的方式这样做，这意味着你实际上是在遵循最优策略，并最终在所有这些状态中收敛到它。所以，当然，这里的运行时间应该更高，因为我们现在，什么应该是主要的区别？主要的区别是，你仍然从 S 到 S'。那是 S 和 S'。你显然仍然是迭代次数的函数。但 A 是什么？A 是动作空间，因为你现在也为每个状态的每个动作计算这个，因为你计算了所有这些，然后选择最好的一个，对吧？好的。所以这被称为价值迭代。同样，有类似的证明说明为什么这实际上会收敛。但这里值得注意的是，我们实际上并不知道这个最优策略是什么，在我们开始之前。以前我们谈论的是一个策略。有人必须为你选择这些动作。这里我们再也没有谈论过固定策略。我们说，如果你知道奖励，如果你知道转移函数，你可以写下这个递归，将其初始化为零。假设这是最优策略。但一旦你将其初始化为零，你为每个状态的每个动作计算，然后选择最好的一个，并递归，然后它最终会收敛到最优价值，然后一旦你得到最优价值，你就可以读出最优策略是什么，因为它对应于从每个状态选择最好的动作。所以这是非常了不起的。它应该让你非常满意，也可能让你有点不安，那就是我们能够以某种方式达到我们想要达到的目标，而无需从某种策略开始。这是一种非常优雅的好东西。嗯，这就是我们的火山穿越例子。我不知道这些是否会说明什么，但最终它告诉你的是，它们不会立即收敛。它们需要一些时间，一些迭代才能收敛。所以这是我们开始的地方。这个黑色的方块，那个突出的，上面写着 1.9 的，是我们开始的地方。我想计算它的价值。目标是理想地尽可能多地获得 20。嗯，这里有一些非确定性，但不是很多。在第二次迭代时，它开始显示价值是这个。但箭头是什么？有人能告诉我箭头表示什么吗？策略。>> 策略。所以，在每次迭代之后，它应该能够读出它现在认为的最优策略。最初，这并不奇怪，它认为它没有看到足够的信息，认为去到 2 是正确的动作。这很有意义。1.8 在 2 旁边也认为去到 2 是正确的。几次迭代后，注意这个 1.8 8 在大约五次迭代后学会了，它也映射到 1, 2, 3, 4, 5。它有机会看到大奖励有多少步，因为这是递归的。它在五次迭代后看到，实际上不，不，不要去 2。把它转换到另一个方向，那里才是你想去的，那是最好的动作。然后，但另外两个没有，但注意它基本上已经收敛到 1.966 或接近 2，说有一些非确定性，我知道我想去这个 2，它就在下面。它变得更确定了，但那是因为它还没有看到那个递归会一直从 20 回到这个 2。然后最终，在这次迭代之后，在这种情况下，它显示 50 次，它会做得更快，它已经更新了它的价值，并且它已经远大于 2，并且它也改变了方向。它现在指向远离 2，它已经弄清楚最优决策是尝试去 20。问题。为什么不是 30？为什么不是 20？我们上次讨论过。我只是想确保每个人都在这里。价值不应该是 20 吗？如果 20 是它最终发现的东西。>> 最有可能，因为它可能采取其他策略，概率性。>> 甚至更基本的概率性。那么为什么它相关？为什么？你是对的。它与策略无关。它与这些是非确定性的事实有关。对吧？所以，如果它是完全确定的，那么所有这些都应该是 20，在几次迭代之后，因为你永远不会出错。你总是知道哪条路通往 20。但有时你会陷入 -50。有时你会陷入 2。所以你离 20 越远，价值也会越小。这就是非确定性部分。好的。所以，只是关于收敛的定理，这是一个你应该做的练习。我没有时间去讲它，我认为你们的课程笔记也没有。在这种情况下，你需要折扣小于 1 才能使证明成立，并且你需要这个条件，即它是一个无环图，价值迭代将收敛到正确的东西。这是一个非常强大的结果，对吧？因为我们从基本上什么都没有得到最优价值，最优策略。并非完全什么都没有。你确实知道世界是如何运作的，对吧？所以这是一个非常重要的成分。是的。>> 那么，为什么我们在最优策略与最优状态之间有 T 与 P 的符号表示呢？>> 有 P 和 T 吗？抓得好。它们是相同的。T 是转移函数。转移矩阵。P 是概率矩阵。它们是相同的。哦，我从来没注意到这个。是的。所以 T 和 P，这里的 T 转移函数与从 S 给定 S 和 A 转移到 S' 的概率相同。我应该更一致地使用 T 或 P。谢谢。好的。所以，基本上我们到目前为止所做的就是我们讨论了 MDP。我们谈到了完全确定性情况并不那么有趣。增加了动作的不确定性，其中转移并不总是将你带到预期的状态。它们增加了更多的不确定性，这更有趣，也更现实。解决方案总是策略。记住，任何时候我们谈论策略，它都是状态 s 的函数。每个状态 s，你都必须告诉我采取什么动作。然后有一个最优策略的概念，它也是计算出来的。在多次运行之后，我可以告诉你，这是从这个状态采取的最佳动作。这也是一个策略。输出总是必须是一个动作。然后策略评估基本上允许你计算策略的价值。

当策略固定时，最优策略自然会不同。然后，价值迭代会计算最优价值，以及最大期望效用和最优策略。我们有迭代的递归算法来发现这些，这非常好。其中一些结果以及为什么这是可能的，本身就是一套你应该阅读的美妙事物。

好的，现在我们来让这件事变得更有趣。正如我所说，这似乎是免费获得的。在相当温和的条件下，我们知道如何读出并计算最优策略。你知道，要确保 gamma 不等于 1，并且图是无环的，这也是我们到目前为止所看到的，对吧？我们可以计算这些东西。那么我们完成了吗？你想改变什么才能让你对我们正在做的事情感到更自在？或者换个说法。到目前为止我们一直在谈论的环境中有什么不现实的？

>> 知道所有可能的州和动作。

>> 你通常会知道所有可能的州和动作。但有些与之相关的东西是

>> 嗯，也许是奖励。

>> 那么奖励呢？我们总是知道奖励吗？你知道，也许有时是的，但很多时候不是。还有别的吗？

>> 概率

>> 转移概率，也就是我们希望这些东西能帮助我们做出良好决策的现实世界中的不确定性。在你开始与环境互动之前，你总是知道可能的奖励是什么样的，或者转移概率是什么样的吗？所以，这基本上就是我们现在要尝试从环境中移除并看看会发生什么。基本上，强化学习就是我们之前看到的所有东西。我们仍然会假设有一个有限的州集 S。我们仍然会假设有一个州集，其中包含映射到每个州的动作集，它们也将是有限的。起始状态，一个折扣因子，也许还有一个终止状态，但我们不知道转移概率，也不知道奖励。这就是强化学习的环境。这些图可能有助于你记住这一点，即在 MDP 中，我们对世界如何运作有一个心理模型。有时它确实非常有用，而且你想找到一个策略来收集最大奖励，我们对此有很好的解决方案。但在强化学习中，这有点像一个在线环境，你不知道世界是如何运作的。你必须与世界互动才能弄清楚，然后理想情况下，不仅仅是收集奖励。最终，你可能还想收敛到如何做出这些决定。但现在你面临一个更艰巨的任务，那就是首先发现你周围的世界。对吧？

那么，作为第一步，你会怎么做来将我们在这个强化学习在线世界中的情况映射到我们在 MDP 世界中使用的工具？我们应该做的第一件事是什么？

>> 不确定性。

>> 不确定性。好的。我们该怎么做呢？如果我坚持要使用我们到目前为止学到的工具，那么我们需要做什么？缺少了什么？所以我们不知道转移概率。我们也不知道奖励。那么我们能做什么呢？价值迭代和策略迭代可以在没有这两个量的情况下工作吗？不。对吧？那么我们该怎么做呢？别担心怎么做。我们该怎么做？我们需要收集关于这两者的信息，然后在统计学的世界里，我们会称之为什么？估计这些概率和这些奖励，以及我们如何在强化学习环境中做到这一点。我们如何估计？

>> 采取行动。

>> 采取行动。所以这是一个游乐场，它将允许你采取行动。那么你现在作为第一步要尝试做什么？与环境互动。尽可能多地探索。尝试发现空间，然后希望能产生之前已知的所有事物的估计。也许我们可以通过与环境互动来弄清楚这些是什么。你从某个状态 s0 开始，采取某个动作。你注意到奖励。你也注意到它将你转移到了哪里。然后你一遍又一遍地玩这个游戏。或者如果这是一个永无止境的游戏，那就更好了。玩很长很长的时间。最终，你会去，你会希望采样到足够多的信息，以便对这些事情中的许多事情有一个很好的估计，对吧？然后如果你有了这些，你又能做什么呢？你可以回去说，“好吧，我想我什么都知道了。我可以重玩世界的 MDP 版本，我可以告诉你一个好的策略是什么。我也可以告诉你一个特定策略的价值是什么。”对吧？希望我们都同意这一点。我认为这是第一件事。基本上，你必须做的是指定如何做出决定。我们还不知道，因为你缺少重要信息。你实际上与环境互动，接收奖励，记录它们，并最终产生我们之前用作固定值的数量的估计。

现在，我们通常在这个环境中做的一件事是，转移概率显然是随机的。在这个环境中，我们假设奖励是非随机的，这意味着对于任何 s'，奖励总是相同的。没有噪音，没有不确定性。所以，如果奖励是 10，你再次得到相同的结果，你仍然会看到 10，对吧？所以希望这能让你直观地认为我们可以非常好、非常轻松地采样这些东西。所以，想想那个火山穿越的例子，对吧？你不知道那个 20 是在哪里。你不知道那个 2 是在哪里。你不知道那个 -50 是在哪里。但如果你能玩这个游戏很多很多次，你就会弄清楚，对吧？你在哪里得到奖励 -50？你在哪里得到奖励 -50？你在哪里得到 20，又在哪里得到 2？然后最终你也可以学会弄清楚，哦，我试图采取一个行动，但我并不总是成功地得到期望的结果。转移概率不是确定性的，你可以创建这个重现那个世界的地图，然后你就可以最终应用我们之前学到的工具。

所以，这基本上将进入如何解决这些强化学习问题的世界。第一个是我们刚才讨论的称为基于模型的。基于模型的部分是什么？那是转移函数和奖励。那是世界的模型，对吧？然后你就可以学习它并估计它。奖励很容易，因为我们说它是非确定性的，而且是相同的。所以基本上你可以取所有奖励的平均值，或者你最后一次看到那个奖励是什么，你就说我已经发现了那个奖励。好吧。但转移函数呢？你必须玩几次游戏。对吧？因为你需要知道这是一个条件概率。所以它是处于状态 s 并采取动作 a 并转移到某个状态 s' 的概率。你如何估计它？嗯，计算你在状态 s 并采取动作 a 的次数。其中，你想计算转移到 s' 的次数，对吧？这就是条件概率的定义。所以，如果你有足够多的这些，你就可以对它们进行采样。你就可以很好地估计它。可能会发生什么问题？想象一下我遵循某个策略 pi，它告诉我如何采取许多行动。如果我遵循某个策略来估计这些东西，可能会出现什么问题？我的目标最终是弄清楚策略的价值，对吧？也就是每个状态的 v pi(s)，而我让策略告诉我一遍又一遍地玩游戏。我声称在某些情况下，或者很多时候，我们可能会遇到巨大的问题。

>> 你根本不会进入某些状态。

>> 你根本不会进入某些状态。如果你使用一个策略来告诉你该采取什么行动，它可能会完全错过某些状态。一个策略，一个固定的策略可能会错过很多那些状态，很多那些组合，S，A。但即使是其他类型的策略，当你试图发现空间时，取决于它的复杂程度，有多少动作和状态，你实际运行所有这些东西的预算有多少，你可能无法实际看到所有这些组合。在这种情况下，你可能会有很大的系统部分可能永远不会被探索。例如，如果你遵循一个策略 ps 留在这里会很好，但如果你从未见过退出，你如何确定退出的价值？所以这是这种方法的第一个问题，是的，你可以估计这些东西，但你必须保证或者希望你能足够多次地探索它。

探索这些的一个可能合理的策略是什么？

>> 有时你不遵循策略。

>> 有时你不遵循策略，或者从不遵循策略。总是只是随机采取行动。随机化将帮助你探索，对吧？因为它会说状态 S，随机选择一个动作。你回到状态 X，它会随机选择另一个动作。你回到 S，它可能会再次采取另一个动作，或者相同的动作，对吧？希望你玩得足够多次，你最终会看到所有 s, a, s' 的三元组，对吧？好的。所以，这又是问题所在。你不会看到某些 s, a，而这可能不是我们需要的。所以关键的想法是我们想探索。我们今天会回到这一点。探索。你们都听说过探索与利用。学习最佳策略是什么？执行或遵循它是利用。探索基本上是随机性，它将使你能够更好地探索，发现更多，因为请记住，现在我们处于一个你没有被告知转移概率的世界。你没有被告知奖励。所以通常你必须在它们之间进行权衡。我们将在今天的讲座结束时看到这一点。你如何实际拥有一个允许你采取行动来权衡它们之间的策略？因为你是否只想探索，是否总是想利用，可能两者都不是，你想在它们之间进行某种权衡，对吧？所以我们今天晚些时候会看到这一点。所以每当你谈论探索时，它基本上是一个随机策略。

那么，让我们做得更好。让我们尝试做得更多，不一定更好，让我们尝试做得更多，看看我们是否可以谈论一个我们可能不需要估计奖励和转移函数的世界。这里有人有什么直觉吗？我在说什么，或者我为什么会说这个？所以之前我们说我们有世界的模型，我们可以应用价值迭代和策略迭代。所以，让我们实际去看看，如果我们没有那些，让我们去估计它们。现在退一步想想，我们实际上在估计什么？最终目标是估计奖励和转移概率吗？不，不是。那是什么？计算在状态 s 下的价值，无论是最优的还是固定策略下的。所以，现在如果我允许你多想一点，说你有很多预算去玩游戏，看看是否想看转移、奖励，随便什么。但你能直观地想象一下，如果有人让你做这件事，你会如何设计学习那个价值？记住价值是什么？在状态 S 下的价值是什么？如果你在状态 S，你期望获得的预期奖励。忘记转移和忘记奖励，在学习个体奖励方面。你在玩游戏时看到了什么？你看到了很多奖励。你可以一遍又一遍地玩游戏。你可以回来，从阶段 S 开始，如果你愿意，可以采取行动 A。我们上次看到了，如果你还记得那个简单的骰子例子。有时它会持续两轮，有时会持续三轮，有时会持续很长时间，有时一轮就结束了。我们如何计算那个预期奖励？我们写出了那些长长的递归，无限的几何级数，我们最终没有展示它，但我告诉你价值将是 12，对吧？所以，那是什么在告诉你？如果你被允许一遍又一遍地玩游戏来估计在状态 S 下的预期奖励，你现在能做什么？我认为你们都知道。有人必须勇敢地开始告诉我怎么做，否则，我们将在这里待上整整 50 分钟。所以，这是在状态 S 下的预期奖励，如果你被允许一遍又一遍地玩这个游戏。所以，想象一下你被允许一遍又一遍地从状态 S 开始。你让游戏运行，在每个称为剧集的时候。你在观察什么？

>> 总奖励，

>> 对吧？某些策略可能一直在发生。关系不大。也许你正在计算策略的价值。所以它告诉你如何在游戏中继续。游戏结束了。假设剧集结束了，你用完了迭代次数，或者有一个结束状态。你观察到了总奖励是多少，对吧？那是预期奖励吗？不。因为有随机性在起作用。这只是一个迭代。那么你能做什么呢？你说，我能去看看状态吗？再玩一遍游戏。如果存在真正的随机性，会发生什么？你可能会看到另一个奖励。然后你就可以再玩一遍游戏。看到另一个奖励。那么现在预期奖励的最佳估计是什么？

>> 平均值。

>> 平均值，对吧？你实际上可以取所有样本。你取你假装每个剧集都是一个样本。因为你有大量的预算。你现在不必担心它。你可以一遍又一遍地玩游戏。你可以计算这个。一遍又一遍地玩这个游戏，看看预期奖励是多少。我想提醒你关于骰子游戏。因为当你玩骰子游戏并说我的策略是停留时，有时游戏以 4 的奖励结束，因为你立即结束了。有时它以 8 的奖励结束，因为你坚持了两步。有时是 12，16 等等，每个持续那么长时间的概率都越来越低。但那些是可能的。最终，如果你玩了无限次或者很多次，你就可以基本上只是计数然后求和取平均值，你会得到非常接近 12 的结果，对吧？所以，然后我们有没有谈论过转移概率？不，我们不需要估计它们。我们甚至需要记录所有个体奖励吗？你可以，但你不需要。你只需要有人在剧集结束时告诉你你收集了多少奖励，对吧？所以你基本上，这里的关键是所有这些红色的东西，转移和奖励。让我们不要担心它们，让我们直接一遍又一遍地玩游戏，收集奖励，然后问自己是否可以估计我们正在追求的直接数量。

所以，我们将表示，这也是我上次介绍的，这种效用的概念。效用只是说，如果你玩了游戏，一个剧集的总奖励是什么。它与你想要的状态 S 相关联，但它说的是，好吧，让我从我所在的地方开始，我现在得到一些奖励，然后是我看到的下一个奖励的折扣版本，因为我转移到了另一个状态，某个策略告诉我下一步去哪里，无论我怎么到达那里，我现在有了一个 gamma 平方，因为那是两步之后，我又收集了一个奖励，那是 RT+2，你一直玩到这个剧集结束，你就可以得到这个效用函数的值，也就是你在那个剧集中收集的总奖励，然后你可以将它与每个状态 S 相关联，对吧？然后你可以一遍又一遍地玩游戏，所以希望你同意我，你可以取所有这些的平均值来计算 Q pisa 或状态 S 的价值的估计值，因为一旦你计算了 Q，你也可以找到价值，对吧？所以，让我们谈谈 Q，也就是 S，A。我们该怎么做？它是那个剧集中效用的平均值。所以 UT 只是一个剧集的值，其中 ST-1 因为这个游戏可能已经进行了一段时间，是我试图计算这个的状态 S，而我被告知采取的动作是那个动作 A。所以，在我记录所有这些奖励并正确折扣它们之后发生的一切，然后最终我希望得到足够多的样本，我就可以取平均值，这将是我的 Q 值估计。我们不需要担心转移，因为系统环境已经处理了它们。它不像我们摆脱了不确定性或奖励结构。只是我们不再显式地记录它们了。我们让游戏自行进行，然后说，“好吧，我继续收集奖励。好的，我再玩一遍游戏。我再玩一遍游戏，另一个剧集。如果需要，从别的地方开始。”你基本上可以从这些长剧集中的每一个收集这些样本。当然，你可能需要很多剧集才能获得良好的估计。我们还没有真正说过我们有预算限制，但基本上这就是游戏的名称。

>> 是的。

>> UT 是为每个剧集计算的吗？UT 是的，它应该为每个剧集计算，其中有一些部分你可以注意到它说 ST-1，它没有说 S0 或 S-1，对吧？所以你基本上可以取其中的一部分，然后说，如果我从某个其他状态开始并继续下去，那么那个奖励是什么，等等，但通常你不会在同一个剧集中再次执行相同的状态动作对。而且，随着这个折扣因子，当你有一个更大的因子，比如 8 或 0.9 时，是否意味着未来的奖励更有可能发生？

>> 所以，所以问题是，如果奖励，折扣因子接近 1，是否意味着未来的奖励更有可能发生？它不是更有可能。它们仍然会发生。它们相关的价值要小得多，对吧？所以，你可能仍然玩得很久。你可能仍然看到一些奖励，但今天的价值是多少？这将大大折扣。

>> 即使你有一个相对较高的 gamma，最终它都会收敛到零。仍然假设你在每一步都有 RI。

>> 不，你观察到了 RI。所以游戏允许你说我采取了一个行动。我在状态 S。我现在完成了。告诉我我的奖励是什么。它可以是零，对吧？它也可以是负的，对吧？然后你进入下一个状态。你再次问同样的问题。所以环境会提供一步一步的反馈。

>> 是的。模型 3 是否对像今天早上股市不同于明天早上股市这样的动态问题更具弹性，而一个固定的世界模型将更好地适应？

>> 这是个好问题。模型免费是否比这个更具弹性？我的意思是，这种模型假设底层的动态不会改变，因为要么是这个，要么是两者都相当耗费数据，你无法在没有足够样本的情况下获得模型的良好估计。你无法在没有足够样本并能够一遍又一遍地运行的情况下直接获得这些 Q 函数的良好估计。所以我想你必须先假设世界没有改变，但这些东西可能会随着时间推移而适应，你实际上会看到接下来出现的那些可能更符合你所说的。

好的。所以这只是，而且请记住，重要的一点是，这仍然是 pi 的函数。所以你仍然通过某个策略与环境互动，该策略告诉你如何在环境中表现。所以最终你计算的是在策略 pi 下的价值，即预期奖励。好的。所以这只是说，模型免费蒙特卡洛做什么？我们有我刚才谈到的同一个例子。你运行它，你得到了奖励 4，也许是 8，也许是 12，也许是 16，等等，最终你可以取平均值。另一个当然是迭代的方法。为什么等很长时间才取平均值？你如何保持最新？每次看到这个，这基本上就是更新 Q 值，通过看到新的，新的数据是什么？新的奖励是 mu，对吧？然后你用某个东西加权，然后你把它加到原来的东西上，这让大家想起什么？

>> 抱歉，还没有，不是逻辑回归或其他什么，但你会看到一些损失之类的版本。但这个更新让大家想起什么？

>> 这就像是运行平均值，对吧？这就是你如何计算那些，某种凸组合。所以你基本上说，我想也许说，如果我有很多更新，对这个特定数量，相信它们，而你得到的新一个，也许不要相信它们，但你也可以有这个 ATA 是其他东西，可能是，如果我看到一些新的东西，我真的希望它影响我的估计。对吧？所以你也可以改变那些。所以这是我将要给你的关于这个特定数量的两个或三个视角。我们仍然在这个模型免费蒙特卡洛世界中。我们从经验中学习，一遍又一遍地玩游戏，并更新事物，因为这将更新。我们不想等到世界结束才更新。我们想保持一个我们所见事物的运行计数。所以你取当前的估计，用某个参数加权，然后加上你收到的最新信息，对吧？就是这样。第一个视角是，当然，也许我们想把它用作加权平均值，对吧？运行平均值。你如何做到这一点？这基本上是 1 除以你所做的更新次数加 1。加 1 是必要的，这样你就不会在任何时候除以零，等等。但最终这是运行平均值，对吧？这说得通。

另一种方式是重新排列这个方程。上面的一个是之前看到的同一个方程。现在只是重新排列了。这应该让你想起，我正在通过减去某个函数来更新我的 Q。这只是 ADA。当前估计值（如果必须称之为预测值，因为如果你没有收到其他例子，并被要求说 Q pi S，A 的当前值是什么，那就是这个红色东西，因为它是当前的）与新信息（mu，基本上是“好吧，我想相信那个是那个，如果我与它不同，也许我需要调整一些东西，调整多少，由这个参数 ATA 加权”）之间的差异。这非常像随机梯度下降或梯度下降。这更像是随机梯度下降，因为你一次更新所有东西，但你知道，你明白了。所以这是一个很好的类比，与你以前看到的东西。

哦，好的，我停下来。你有什么问题吗？好的。所以这基本上就是我想说的关于蒙特卡洛模型的世界，你基本上只是模拟事情。你让它们模拟。你等待每个剧集结束。当每个剧集结束时，你去更新你可以更新的东西。你再玩一遍游戏。你又经历了一个剧集，然后你去更新剧集之后的东西。但这里的关键是你什么时候？你在等待剧集结束，然后才去更新东西，对吧？这可能非常慢，特别是如果你没有终止状态，而且你可能实际上玩了一段时间，对吧？所以我们希望能够进行更快的更新。有权衡。有什么好处？如果进行更频繁的更新，它可能本质上更成问题，因为你可能没有看到更多相关信息，但你可能会更快地观察到并采取行动。所以我们将看到这种 TD 学习的概念，它看起来是这样的。它是一个模型免费的策略评估，所以它仍然是 pi u 的函数，它将再次用于估计固定策略的价值。这将更快地收敛，但基本上它所做的是，你看到的这种常见形式被称为 TD，括号里是 TD0，表示它实际上不会等待剧集结束，它会在剧集内开始进行更新，一旦它看到下一件事。那么它应该看到的所有东西中的下一件事是什么？如果我在某个状态 ST，在时间 t，我在某个状态 S。这里我期望环境向我揭示的唯一一件事是什么？是 gamma 吗？不。gamma 是我们设定的参数。是 v(ST+1) 吗？环境会向我揭示状态 ST+1 的价值吗？不。那是我正在计算和估计的东西。所以，我将使用之前的估计奖励。是的。对吧？这就是环境将向我揭示的。所以你在某个状态 ST。你对它有当前的信念。你对下一个状态也有当前的信念。无论你走到哪里，环境都会让你进行某种转移。那么你该怎么做？你采取奖励。这是你唯一获得的新信息。你不会等待整个剧集。你只是获取这些信息，然后你基本上说，嗯，这是估计。这是新的目标。那是旧的目标。减去它们。用某个参数 alpha 加权，这是你想要有多敏感？有点像步长。然后只是更新你的价值。这就是 TD0。零表示你基本上只看你现在收到的信息。好的。而且，我们将在稍后弄清楚这一点。所以，为了获得 V 的更准确估计，你想进行一次更新，使其更接近更准确的估计。那么这到底是什么意思呢？我的内在信念是，你正在做出的假设是，RT+1 加上 gamma 乘以在下一个状态的价值是你想要去的地方。所以它增加了更多的价值。这个 R 将为你提供关于去这个状态有多大价值的信息。如果我们已经在那里了，这个差异将为零。所以没有什么可以更新的，对吧？如果没有，那么我们就想更接近它。这就是它所说的，就像梯度下降，对吧？所以基本上它所说的是，这是目标。目标在每次你与环境互动时都会更新，因为你获得了一个奖励，并且你基本上知道你可以去更新哪个。你会在这里更新所有状态吗？你不能，你只看你刚刚互动的状态，采取了某个动作，进入了下一个状态，这就是你收到的所有奖励 RT，对吧？这不能改变所有事情，它会改变 VST 的一些东西，并且只与下一个你要去的地方有关，对吧？好的。所以，这里的算法非常简单。你初始化你的状态 u，你任意初始化。价值可以是零。然后你基本上为某个固定的 pi。所以这个 pi 策略是固定的。记住我们正在评估它的价值。你采取某个动作，它告诉你从每个状态采取什么动作。你采取一个动作，你观察到什么？两件事。奖励是什么？下一个状态是什么？然后你去更新，你迭代地更新这个递归，每次你可能做到的时候，无论你做什么。然后就是这样。然后你进入下一个状态，你玩同样的游戏，你继续玩，你知道最大迭代次数，或者你可以一遍又一遍地玩剧集。

>> 那么你怎么知道 V(S')，如果你刚进入它？它是从以前的？

>> 记住这是相同的更新递归。所以以前，它们最初都是零，然后你与环境互动，你实际上会看到一个今天的例子，其中所有东西都是零，然后它们都会开始更新，但它们都会同时更新吗？不，它们不会，因为你有点在非常短视地看，你说只是更新你现在可以更新的东西，对吧？好的。

所以，这里有一个区别我想强调一下，你会在强化学习中经常听到这个。存在策略内和策略外之分。我们已经谈论了足够多，我认为我甚至不需要看幻灯片。如果我让你说出来，你可能会得出同样的结论，那就是策略内是策略是固定的。你用来学习的是有人固定策略并告诉你如何做决定，然后你估计所有我们谈论过的东西。你将看到下一个例子，其中一个例子叫做 SARSA 算法，你将看到它为什么叫做 SARSA。我们之前看到过蒙特卡洛的东西，对吧？所以策略外可能是最终的目标是使用你将要与环境互动的任何策略，但最终你想计算另一个策略的价值，而我们实际上一直感兴趣的是什么不同的策略？是最优策略。你将看到 Q 学习算法将帮助我们实现这一点。这些现在是价值评估和策略迭代，价值迭代的类比，我们在世界完全定义时看到的。其中一个帮助你计算策略的价值，另一个是最佳策略的价值。这些将是直接的类比，但你现在在一个模型免费的世界里，对吧？

好的。所以 TD0，第一个典型的部分是 SARSA 算法。为什么叫 SARSA？有人猜猜吗？你可能知道。状态动作。

>> 状态动作奖励状态动作。

>> 好吧。所以，非常巧妙的命名，对吧？所以这告诉你它将要做什么。它基本上会说，你处于什么状态，你采取了什么动作，观察到奖励，看看你转移到的下一个状态，然后它还会谈论你将要采取的下一个动作。所以，这将是关键。我们在这里增加了一件事。它不是 S A R S，而是 S A R S A，这意味着你从一个状态动作对开始，你观察到一个奖励，然后你进入一个新的状态动作对组合。所以你转移到一个新的新状态 S'，策略告诉你为那个状态 S' 采取什么动作。所以你将把所有这些都考虑进去。是的。

直观地说，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，我们买入，

说，重要的事情是这个最大值。这个最大值将是什么？它将是所有零的表格上的一个最大值。为什么？因为它查看了之前的表格，当前表格的集合，并且你将以某种方式在这里打破平局。这真的无关紧要，但你知道，它会告诉你应该采取什么行动。如果它们是相等的值，你只会说，“好吧，随意选择一个。”请注意，唯一非零的是这个 alpha 和这个负的奖励，因为每一步都会让你得到一个减一。所以你确实得到一个减一，但它是在下一步。所以你以 0.5 加权。所以你在这个迭代之后更新表格，说 0 0，右，目前的值是 minus0.5，然后你再做同样的事情，你会看到这些东西的一些漂亮的对称性。下一个动作有人说的是再次尝试向右走。所以请记住你已经向右移动了，所以你从 0 0 到了 01，对，因为这里没有随机性，你可以从 0 到 0 到 01，因为这就是策略告诉你要做的，然后现在你问，好吧，0,1 的值是多少，这是状态，然后是动作，对，然后你把它插回去。请注意，它仍然是 0 0 0 的最大值，因为之后可能发生的所有事情，因为你将进入状态 02。所有这些都是什么？值都是零。所以它会随意地挑选那些东西，它会说，这真的无关紧要。这些都是零。它更新到 minus.5。它再次做同样的事情。但现在请记住它正在向下，它在 02。它正在向下。所以它将去 1 0，或者抱歉，1 2，因为 02 向下是 1 2。现在是最有趣的事情。第一次看到有趣的事情会在这里发生，因为它会说，“好吧，策略告诉它要采取的行动是再向下走一次。”所以当你从 1 2 走到 2 2 时，你会第一次观察到什么？一个大的正奖励 +10。这就是你在这里看到的，+10。然后其余的看起来相似。你会注意到，在状态 1, 2 和向下动作的值被更新为五。五，因为它是打折的，然后这将继续运行，之后它会更新表格的很多内容。所以这就是 Q 学习的这个迭代版本的工作方式。重复它，直到出现某种收敛，或者你用完了迭代次数。这是一个动画，有点展示了你如何初始化，如果你试图弄清楚。所以这有点展示了，它立即就暴露了，你看左上角是你开始的地方，机器人或者无论那个代理是什么，它并不知道有一个大的奖励隐藏在这个黄色的东西里，我们已经将所有策略初始化为随机的，或者这个策略只是告诉你一直向上移动，这就是这个策略所说的，无论你在哪个方格，都试着向上走。好吧，我们一遍又一遍地尝试玩这个游戏，而这个展示的是，经过几次迭代，它就有点弄清楚了，好吧，在某些情况下，它注意到它开始弄清楚有一个奖励，因为它已经看到了一些迭代。但请注意，右上角的所有其他地方仍然是暗的，因为它们认为，你知道，这要么是负奖励，因为每次行动都有负奖励。它们实际上并没有真正看到所有这些东西。所以，它后来才绽放。而且请注意，箭头一旦发现黄色，离它最近的箭头就开始指向它，因为那些邻居显然是最早意识到你应该去那里的人。然后更多迭代之后，它开始绽放。绽放是什么？绽放本质上是其他人意识到，哦，如果我真的朝这个方向行动，我也能获得一些奖励。它是打折的。所以所有人的奖励都不会相同。然后更远，这就是动画展示你更新的方式，最终箭头都开始指向那个大奖励所在的位置。有一个问题>>地图的较冷区域的向量为什么不断地大量移动，是因为不确定性，还是>>我认为这是因为它们只是随机的，这只是显示了最初它是一些策略，然后，这显示了它认为的最优策略，Q 函数，对，这意味着如果，如果所有地方的奖励都是零或相等奖励，它就随意打破平局。>>这会一直随机地认为哦，这是对的>>这是可以的，因为如果两个动作有相同的预期奖励，你必须选择一个，对吗？你可以随机选择它们，或者你可以一直说一致地选择，你可以有一个排序，对吗？嗯，这就是你在那些黑暗区域观察到的。但希望这能向你解释，这是一个迭代算法。它与环境互动，它弄清楚该怎么做。然后这些信息和知识也慢慢地开始渗透回来。嗯，所以这是一个关于策略与非策略的讨论。所以在这个火山的例子中，如果你不知道动力学，你被给了 epsilon 等于 1。我们稍后会展示。现在这只是一个随机策略。它随机选择动作。好的，如果你随机选择动作，你对所有这些状态的策略值有什么直观的预期？它在那里展示给你了。如果你没有方法来处理你的疯狂，即使你发现了整个世界，但你说不要最优地行动，只是不断地随机选择动作。对，很多这些状态的值，除非你正好在 20 和 2 附近，否则基本上都是负的，因为你是在随机选择动作，对吗？所以，那个策略的值会很糟糕。但是遵循这个随机策略，可能不会是真的，你已经发现了世界。Q 学习将帮助你发现最优策略，而这实际上可能看起来好得多，在这种情况下，它们都是 20，因为你有大量的迭代要经历，最终你会得到 20 之类的东西。它们有点指向，或者嗯，我猜它们并没有真正指向，它们会指向正确的方向。嗯，有趣的是，在某个特定数量之后，如果你只取平均生命周期效用，那是什么？这本质上是反复玩游戏并计算奖励。嗯，它应该让你觉得那在这里不会很好地起作用，因为那是 -6.7。为什么？因为你玩的是一个随机策略，而那个随机策略很可能经常会得到这些 minus50 的奖励。对，游戏就在那里结束，或者在 20 和 2 结束，而这些 minus50 比 plus 20 大得多，而且有两个 minus50。所以这希望你能预期平均奖励在很多很多次迭代中是负的。它相当负，但你已经惊人地发现了最优值。所以现在如果你说不要随机表现，而是去执行策略，你就能获得更好的奖励。所以，作为我们今天讨论内容的总结，你有基于模型的蒙特卡洛，我们在那里做什么？我们试图通过与环境互动来估计转移矩阵和奖励，然后一旦你做到了，你就可以运行你的值迭代策略迭代，因为你已经将问题重塑为 MDP 设置，并且你基于所有你收到的奖励序列，无模型蒙特卡洛很好，它试图在策略 pi 下直接进行 Q 估计，但它依赖于每个回合，整个事情的效用。然后我们转向了 TD 学习方法，SARSA 是第一个，它再次更新 QI，但它仍然是一个策略算法，它观察 R 并使用 Q 的先前值，然后它基本上学会了针对它们，并且它在 R 的每次更新时都会这样做，它可以去更新任何相关的 Q。Q 学习然后允许你通过策略来学习最优策略，即使它遵循某个策略，它最终也学会了奖励 R，但下一个动作它假设你正在采取的行动是基于在该状态下当前最好的行动是什么，这就是 SARSA 和 Q 学习之间的主要区别，最终它将收敛到最优值和最优策略。我们得到了 epsilon 贪婪，我们今天已经暗示过，这不应该让你感到惊讶，epsilon 贪婪只是一个非常常用的短语，用来谈论如何权衡探索与利用。这意味着如果你必须发现环境，你可能无法通过固定的策略来实现，除非该策略本身是随机的，或者有点随机，或者完全随机。所以，我们想探索，在我们试图获取奖励之前，或者我们想同时平衡两者。所以其中一个实际上是在这个幻灯片上说的，如果你开始游戏，这是火山游戏，请记住我们知道 minus50 minus50，我在这里将奖励设为 100，以及 2，在与环境进行任何互动之前，所有这些其他状态及其值，也许在第一次或第二次迭代之后，它们几乎都是零。如果你要利用，也就是选择当前最好的行动，你可能同意我，你将无法做任何有用的事情。很多这些东西只是零。它们还没有真正发现正奖励，甚至一些还没有发现负奖励。好的。但是，如果你去玩随机策略，嗯，你可以，你可以随机选择一系列动作，这也只是不是最好的做法，因为你会不断地疯狂。你的平均效用，正如我们之前讨论过的，仍然非常负。所以这两种都不是一种行动方式，对吗？嗯，所以你想在它们之间进行权衡。以某种方式，你想通过探索策略来探索，学习最好的策略是什么，然后一旦你对最好的策略有所了解，就去按照最好的策略行动。是的。>>所以我们权衡这些，因为最初你想探索，我们随机地做，但最终想连续地随机探索，永远地利用我们的先验学习。理想情况下，你想要的是，理想情况下有人会告诉我，这是我的探索预算，足够你探索世界一次，一旦你探索了，现在就去短视地、最优地行动，但通常生活不像那么简单，你想同时做这两件事，所以这就是 epsilon 贪婪，非常非常简单，它说当你开始时，以一定的 epsilon 概率，你想每次都要随机行动，你必须采取行动，用 epsilon 抛硬币，你随机选择一个，而 1 减 epsilon 的概率，也就是反过来，你选择短视的行动或当前最优的行动。一开始，大部分探索将真正引导你学到更多。但后来，希望实际的利用将让你到一个更好的地方。如果你采用我们之前看到的同一个例子，并通过这个 epsilon 贪婪策略运行它，它现在遵循这个 epsilon 贪婪策略。所以不是完全随机的。它实际上比你知道的 epsilon 要小，通常不是微小，但也不是非常大。你最终会得到一个相当好的最优策略的估计，你知道 Q 学习也可以帮助你学习。而那将是 SARSA 实际上也能帮助你学习的，因为那是你遵循的策略。你不是遵循随机策略。你遵循的是 epsilon 贪婪策略。喜欢它们与效用有关，当你喜欢基本上是“训练”时，为什么我们关心平均效用？它只是告诉你为什么你关心平均效用，这是现在在谈论如果你遵循这个策略，你会平均观察到什么？如果这是负的，那告诉你的是，嗯，这是一个，这不是一个，即使这个策略可能帮助你学习最优策略，这个策略本身，如果你在玩游戏，可能不是玩游戏的方式，但这并不坏，因为即使你在探索，你也在利用，你平均下来可能会做得相当好。嗯，是的。>>这是一个超参数吗？我们还>>超参数？是的。但不是一个，你不会通过交叉验证或其他方式来学习它。通常是固定的。>>缓慢调制它。>>你可以缓慢地调制它。有很多方法可以，有很多想法，你可以做的启发式方法。也许你对一定数量的迭代和预算感到满意，你就像，你知道，关掉它，让它比以前更具利用性。好的。最后一个想法是函数逼近。所以你今天学到的一些东西，我们不会在这里详细介绍，但这应该让你感到困扰，那就是这一切听起来都很棒，但很多听起来都很费力。你必须大量地探索环境。你必须大量地与事物互动。当然，人们已经考虑过其他方法来逼近你所处的空间。直觉是，在很多情况下，即使我们将每个状态、动作分开处理，邻近的状态和邻近的状态动作对可能实际上有一些更多的结构。对，所以这实际上试图，我已经扩展了这个网格，并说想象一下同样的事情要大得多。现在，我想围绕这个建立一个高层次的直觉是，minus50 会结束你的游戏，并以一种非常高惩罚的方式结束你的游戏。所以，这些 minus50 的共同点是什么？它们都在这一行 1 2 3 4 5 列 1 到列 5，对，所以如果有人能告诉你，嘿，我能否以某种方式告诉我的代理或我的机器人，当你接近 5 时要小心或避开它，这就是一种思考共同点的方式，它在第 5 列，第 6 列很好，如果你想疯狂地探索和四处走动，第 1 行到第 6 行在底部是一个很好的空间，因为你基本上没有什么损失。你也赢不了多少，但那是一个安全的空间，对吗？所以，当我用这些词向你描述这个时，我描述的是什么？它约束>>在想想你的，当我们开始课程时，可能第一节课，当我们开始谈论线性回归时，我们谈论的是特征，然后我们开始谈论特征，我向你描述的是这个空间的特征，对，所以我可以手动编码很多这些特征，并说，你知道，如果我能想出一个特征，我会想出来，并说，你知道，如果你在第 5 行，也许我想编码这个事实，这可能是一件好事。我想学习，但我想学的是，你知道，我还没有说过我们不想回到我们手动编码很多东西的世界，对，所以我们希望能够学习这些东西，也许是自动的，也许有人想手动提供一些结构，因为结构会让你即使没有机会探索某样东西，如果你探索了它旁边的东西，也许你也能对这个空间中的东西做出好的猜测，对吗？在现实世界中，状态动作空间是疯狂的，所以你可能想说，也许我想对那些我没见过但你没有施加任何结构的状态做出猜测，那么你怎么能预测那些你没见过但你完全独立对待的东西呢？对，所以这是某种方式，这基本上就是看看我们想使用相同的更新方式，这并不是什么新鲜事，但这只是在做，这是从以前的，它有点死记硬背，它是 s, a 的函数，你看到 s, a，你看到 s, a，然后你谈论下一个状态 s'。所以如果你没有观察到某样东西，你基本上永远不会在这里做任何更新，对吗？这是一个常见的主题和问题。为了做到这一点，你必须大量地探索，以及所有这些。所以，如果我们实际上可以定义一些特征，它可以是状态动作对的函数。所以试图施加更多的结构，然后学习权重 W。所以这就是深度学习架构的由来，这也是许多这些事情的更现代的方法。最终，如果你能估计那些，你就不用单独学习每一个了，对，你实际上可以学习所有这些之间的结构。我们不会在这里深入探讨。主要是关于搜索空间非常大的想法是一个非常具有挑战性的问题。人们思考这个问题的方式，现在这将带你去思考如何表达你在这门课程之外的时间，那就是如何通过施加更多结构来理解这个可能非常大的状态动作空间，并以我们在这门课程中学习其他东西的方式来学习，就像在深度神经网络设置中，深度学习设置，或者可能是在一个更简单的回归设置中等等。如果你学到了一些关于某些状态和动作的东西，也许你可以从中推断出来，并根据特征属性说一些关于与它们相关的东西。对，这是一个非常高层次的想法。我无意深入，但有很多相关的参考资料。我想这将是，你已经看到了这个幻灯片。我们从 MDPs，马尔可夫决策过程开始，谈到了它们是马尔可夫的事实，这是一个很好的建模技巧，知道我接下来做什么只取决于我现在在哪里，以及我如何行动，我怎么到这里的并不重要。我们谈到了策略，这本质上是给定每个状态的行动方式，你想能够说关于每个状态。然后我们谈到了评估策略，这些策略的价值，当整个世界都知道奖励和转移时。我们谈到了值迭代，它实际上巧妙地允许我们计算最优策略的值，即使你并没有真正遵循最优策略，但在一切都已知的世界里。然后我们把这一点拿掉了，说让我们实际上进入在线设置，也就是强化学习设置，并学习在现实世界中采取行动，在那里你必须弄清楚奖励是什么。我们弄清楚了转移概率是什么，然后我们讨论了许多不同的方法。我们说，忘了估计模型。也许我们可以直接通过蒙特卡洛和进行大量长样本，或者通过引导，也就是基本上只取一个样本，然后取另一个样本，并计算那些，你知道，通过 TD 学习方法，也就是，然后最终使用该方法得到了 Q 学习，这是非凡的，因为它允许我们计算每个状态动作对的最优值，遵循某个最优策略，对吗？这基本上就是，我想这是最后一个。所以这让我们结束了考试中你需要负责的所有材料。在接下来的三次，我会在，希望你们很多人也会在这里，听一些超出这门课程的内容。也非常有趣。但现在，你知道，下次见。谢谢。[掌声]