ABFR Webinar with Gavin (Guanhao) Feng and Allan Timmermann

[音乐] 欢迎来到金融领域的 AI 和大数据网络研讨会。我们今天非常荣幸地邀请到两位杰出的演讲嘉宾。来自香港城市大学的 Gavin Fang 将展示他的论文“可预测性的马赛克”，而来自加州大学圣地亚哥分校的 Alan Timberman 将担任评议人。Gavin 将有 30 分钟的时间进行演示，大约在进行到 15 分钟时，我可能会短暂地暂停并打断您，以便从听众那里了解是否有任何澄清性问题，然后我们将继续。之后，Allan 将有 20 分钟的时间进行他的评议，在 Allan 的评议结束后，我们将开放提问环节，供听众提问。所以，如果您是听众，请在问答环节提交您的问题，我将在提问环节点名您。所以，提醒一下，请尊重您的评论。本次演示和评议将被录制，并将与幻灯片一起发布在我们的网站上。然后，在网络研讨会的主要部分之后，我们将进行一次未录制的讨论，届时我们将把听众中的每个人都升级为小组成员，我们可以进行更深入的讨论。那么，废话不多说，Gavin，请您发言。请开始吧。好的。谢谢。谢谢 Andy。感谢您组织了如此精彩的活动，也感谢大家。那么，我来分享我的幻灯片。好的，您能看到我的幻灯片吗？好的，太好了。好的，这是我和我的合著者 Will、Jingu 和 Yansu 的论文，他们现在都在线。所以他们也可以帮助我进行问答环节。所以您可以看到主题是可预测性的马赛克。我们试图研究一些关于收益可预测性的问题。首先，收益可预测性在文献中已有充分记载。我们已经看到许多论文记录了整体市场收益的可预测性。我们也看到个人股票收益是可预测的。这方面有超过 100 篇论文。此外，在本文中，我们试图总结一下，那些研究通常将可预测性视为预测因子或模型的属性。让我在这里解释一下。他们发现，例如，股息收益率可以预测市场收益。他们还发现，规模或价值这类公司特征可以用来预测个人股票收益。这些是模型的可预测性预测因子。我们看到历史平均值，也看到近年来的一些机器学习方法。它们通常使用预测因子或模型来确定收益是否可预测。在本文中，我们试图论证可预测性可能因股票而异，并且可能会随时间而变化。我们试图提出几个问题。首先，高可预测性是否真的意味着个人股票的高收益？其次，我们想论证可预测性可能是资产收益的特征，也可能如此。第三，基于我们的模型，我们试图提供一个可预测性分歧异常。这可能会引入模型错误指定风险。好的，那么我继续。第二张幻灯片，这试图向您展示事实。好的。这些事实我们从 Google 的论文中看到。他们试图使用一个池化模型，或者我们称之为同质模型，使用大量的特征来预测个人股票收益。在他们的论文中，他们展示了非常出色的投资组合表现。即使只是使用 OLS，您也会获得很高的样本外夏普比率和阿尔法。在我们的样本中，我们尝试了过去 20 年的样本外数据。您可以看到那里非常高的正数。好的，这就是事实，我们也将使用相同的数据进行研究。这并不是我们这部分研究的动机。我们也看到经验证据表明可预测性可能不是同质的。这可能与我们之前看到的 Google 论文中的同质模型有关。一方面，小盘股或困境股可能比其他股票更具可预测性。我们也看到可预测性可能会随时间而变化。在最近的时间里，可预测性可能更高，而且 Timman 教授也有一篇论文展示了市场收益可预测性的结构性断裂。因此，可预测性也可能随时间变化，无论是市场收益还是个人股票收益，而且最近有很多论文表明，这些特征的可预测性也会随时间变化。您可能在不同时期使用不同的预测因子或特征来预测股票收益。然而，有一点我们需要指出，那就是可预测性。这是无法观察到的。如果您查看文献，它甚至可能没有被很好地定义。对于 Google 的论文，我们看到那些投资组合或所谓的异常，在我们从法玛-弗伦奇异常中提取收益后。从统计学文献来看，我们也看到预测回归。他们试图表明某个预测因子在预测回归中是显著的。然后表明市场收益是可预测的。我们也看到最近的论文，如样本外 R 方或预测的投资组合夏普比率。这些都是研究用来记录可预测性的衡量标准。我们有多种衡量标准，但哪一个可能捕捉到这种无法观察到的东西呢？因此，在利用我们称之为异质可预测性之前，我们需要做的第一件事就是衡量它。然后就到了我们的主题。这是来自 [某人] 的一张非常著名的照片，它代表了我们要做的事情。考虑股票收益的面板。这是一个面板，这是一个矩形。我们有一个时间序列维度，有很多个截面维度。然后，对于我们的论文，我们只想根据其异质可预测性来划分个人股票收益的面板。所以，正如您从图中所看到的，我们有不同颜色的不同矩形。不同的颜色代表不同的可预测性水平。所以，我们的解决方案非常简单。我们试图提供一种基于树的聚类方法。试图将面板分成不同的组，然后我们展示了大多数状态的模式，我们的目标也非常简单，因为我们想将它们分开，我们想最大化不同组之间的可预测性差异。而树方法，这是我们相信的，在所有这些机器学习方法中，回归树或决策树方法可能是最易于解释的。在我们的案例中，我们使用一些特征或宏观预测因子来分割截面和时间序列。这也与 Timman 教授最近的一篇论文相符。如果我们使用那些复杂的方法，那么那些超参数可能很难显示出稳健性。树方法非常简单，我们也想表明它非常稳健。我们想指出的一点是，我们的论文不是关于可预测性准确性的竞赛。我们不想比较哪个模型提供了比其他模型更好的预测。相反，我们有一个新的角度，我们关注可预测性的异质性。我们想回答这样的问题：哪些股票何时可能具有高可预测性？这是一个“哪些”和“何时”的问题，“哪些”针对横截面，“何时”针对时间序列。我们想用一页幻灯片来展示，因为也有几篇论文展示了口袋可预测性。然后我们想将它们与我们的马赛克可预测性进行比较。通常，对于那些口袋可预测性，它们展示了它们在市场收益上的表现。例如 Perman。我们也展示了，我展示了之前的论文表明市场收益的可预测性是随时间变化的。在我们的案例中，我们试图展示个人股票收益面板的时间变化。之前的论文通常使用结构性断裂。在我们的案例中，我们关注宏观状态。当然，在我们的案例中我们也可以使用结构性断裂。最重要的是，之前的论文开发了计量经济学方法。通常，可预测性时间变化是通过计量经济学显著性来显示的。在我们的案例中，这非常简单。只是 R 方，只是簇的 R 方。基于结果的可预测性。在我开始介绍方法之前，让我先总结一下。这张照片实际上总结了我们所做的一切。这是一张决策树的照片。您可以看到，我们试图用决策树分割大约 4000 到 5000 只股票的横截面，然后是收益意外。如果股票的收益意外较低，则进入左侧；如果收益意外较高，则进入右侧。然后您可以看到，我们通过多个叶子分割了横截面。一旦我们增长了树，我们就可以发现一些预测因子或一些簇具有高度可预测性，而一些簇则不那么可预测。所以我们试图使用树方法进行聚类。所以聚类是我们方法中的关键词。那么，让我们进入方法论部分。聚类实际上可能具有挑战性，因为对于可预测性，我们不知道真实的标签。在文献中，我们已经看到了一些无监督聚类方法。例如，通常的行业分类就是一种无监督聚类方法。在我们的案例中，我们称之为“反常聚类”。我们试图使用决策树来以一种可解释或可图形化的方式来展示我们如何分割时间序列和横截面。基于来自特征宏观变量的变量。我们也有很多论文展示了我们使用面板树来创建 MV 投资组合。如何分割股票然后组合它们。在本文中，我们试图构建一棵树来对股票收益观测值进行分类。基于其异质可预测性对横截面和时间序列进行分类，目标非常简单。我们想最大化簇之间的差异。所以我们想构建不同的簇，使其可预测性模式可能非常不同。这是一个非常简单的目标。然后是一些符号。通常我们如何定义我们论文中的可预测性。基于那些标准的预测模型，我们定义了信噪比 R 方。遵循教科书。但您可以看到这里的 R 方公式。我们有 I 和 T，因为我们相信这些 R 方可能随时间变化，并且可能因股票收益或股票 I 而异。通常高 R 方意味着信号更强，收益更容易预测。然而，如果我们有 5000 只股票，600 个月。您想衡量这个 R 方是不可能的。所以我们想退一步。那么我们是否可以使用簇的 R 方来衡量那些异质可预测性？我们可能无法为整个面板衡量 5000 * 600。但如果我们把整个面板分成几十个簇，然后我们有簇的可预测性或簇的 R 方，那可能是可能的。每个簇状态的 R 方值相同。这就是我们的目标和我们的方法。所以，在这种情况下，您可以看到公式也很简单。我们定义了簇的 R 方。在我们的案例中，我们称之为叶子 J，因为我们的簇是整个决策树的一个叶子。对于这里的公式 R 帽子，R 帽子在这里是簇特定模型的收益预测。在我们的案例中，我们不想使其复杂化。您可以随意使用任何您使用的帽子。例如，您可以使用 Google 案例的同质模型产生的帽子，或者您可以使用深度学习来构建更复杂的帽子。但在我们的案例中，因为我们的目标是进行聚类，我们不想进行那些竞赛。所以我们只是简单地使用一个非常简单的岭回归来创建帽子。但我们理解，因为我们处理的是个人股票，所以我们想避免小盘股的主导地位。在我们的案例中，这是波动率加权回归。您可以看到权重是基于波动率的。一旦我们有了这个帽子，这个 R 方，这个信号，我们想衡量可预测性，我们想模拟整个面板，我们想将它们分成不同的部分，以最大化它们之间的簇差异。那么，让我向您展示我们是如何做到的。这是一个非常简单的决策树。您可以看到，对于任何特征，如果我们有一个截止值，例如规模，例如这是 50%。所以小盘股去左边，大盘股去右边。所以我们可以有候选的截止点，例如 30%、70%。我们也可以有不同的特征，例如规模、价值、动量，一个接一个。在我们的案例中，基于每个特征，基于每个变量，我们计算我们的目标。目标是，如果我们想将一个样本分成两部分，我们的目标就是最大化这两个样本的 R 方差异最大化。这是一个非常简单且非常直观的度量，因为我们的目标是找出 R 方差异最大或可预测性差异最大的簇。然后我们可以找到实现最高目标的特征和截止值。请注意，决策树是一个贪婪算法。所以我们会尝试所有特征和变量的组合，找出如何将它们分成两部分。这是一个演示案例。您可以看到，如果我们使用规模，例如 30%。如果您是底部 40%，您就去左边；如果您是顶部，您就去右边。然后我们可以计算目标值。然后我们对所有截止点和所有特征都这样做。然后我们选择一个。我们选择最大化我们目标的那个。然后我们成功地将样本分成两部分。然后我们将继续分割样本，直到分成多个叶子。这就是我们所说的横截面分割。我还要指出另一个案例，我们也可以用基于宏观的预测因子来做。记住，面板是横截面加上时间序列。如果我们按时间序列分割，我们有多个宏观变量。在我们的案例中，我们只是通过移动平均来定义宏观变量。然后，如果小于零，意味着低于 10 年平均水平，则进入左侧；否则进入右侧。所以这可能是一种基于宏观变量来分割时间序列以进行宏观状态检测的方法。这是我们想引入的一种新方法，与传统的结构性断裂方法不同。因为现在我们是在宏观变量上进行断裂，然后我们也选择产生我们聚类方法最大目标的宏观变量。我们也有很多论文对货币动态等不同模型做了同样的事情。那么，让我总结一下这个模型部分。如果我们完成了第一次分割。对于收益意外，我们可以对第二次分割也这样做。所以第一次分割，我们发现收益意外低于 70% 的分位数。然后这是最大的。然后我们尝试第二次分割。第二次分割可以去左边，也可以去右边。然后对于每个部分，我们计算目标。然后我们发现这个部分更高。所以我们从这个部分进行第二次分割。您可以看到，这就是我们如何递归地增长树。基于之前的叶子。正如我提到的，这是一个单一的树算法，这使得这种机器学习方法可以图形化。您已经看到了许多机器学习模型和人工智能模型，但很多模型您都无法真正地以图形方式展示它们。您无法真正地显示它们在特征或预测因子上的线性。您无法真正地显示它们的作用。但树模型向您展示了一切，而且它很简单，您不需要任何背景知识就可以理解它所展示的内容。所以，正如我所说，这是一个简单的模型。那么，让我向您展示我们使用的数据结果。我们使用了 50 年的美国股票数据。我们有大约 51 个特征和宏观预测因子。对于我们的横截面分割，如何分割不同的股票具有不同的可预测性。我们使用前 40 年作为训练集，最后 20 年作为测试集。对于时间序列，如何检测哪些宏观状态，我们使用整个样本。我们使用标准的评估指标来确定我们的结果。这是我在引言部分展示的图。我再次想指出的一点是，您可以看到我们可以找到一些簇，一些具有非常高 R 方值的簇，例如这个。收益价格比高。然后这个收益价格比高。美元交易量低，销售价格比高。然后这种良好的收益意外或我们所说的价值股。它们具有最高的可预测性。然而，如果您去一些值，例如这个蓝色的。所以收益意外低。价差高。长期反转高。收益价格比高。您可以看到 R 方相对较低。所以您看到负 25%，这意味着它比基准零低 25%。所以，这是我们的聚类。这张图向您展示了如何将整个横截面聚类成不同的部分，然后不同的部分具有不同的可预测性度量。所以，对于那些股票，如果您有它们的特征，那么您就可以找到它所属的相应簇，然后我们就知道它们的可预测性水平。这就是我们想向您展示的。这张图是我们想展示的。我们论文的大部分标题，如果您只看规模。这是从 1973 年到 2002 年的规模、市值规模。从小盘股到大盘股。您会发现，那些小盘股确实具有高 R 方，它们的颜色比大盘股稍微深一点。是的，这是真的，而且这种模式也随着时间推移而持续。这也是真的。然而，如果您尝试以更大的规模分割横截面，例如使用我们的分割特征，如收益价格比和收益价格比。然后您可以看到，从 1 到 10 的收益，以及从 1 到 10 的收益价格比。您可以看到，这个部分，这个角落的 R 方值远远高于所有其他部分。那么这告诉我们什么？这告诉我们，回到我们的案例。所以收益高，然后收益价格比也高。所以对于收益高和收益价格比也高。所以这个，这个向您展示了最高的可预测性，最高的 R 方。这些簇。这张图展示了我们论文的整个想法。可预测性因股票而异。然后您真的可以将其绘制成图。您在这里可以看到。但如果您只显示规模、市值等，它们可能不那么明显。但一旦您按特征分割它们，您就会看到各种各样的模式。它们因股票而异。我们还想展示的一点是，这些模式在样本外非常持久。所以相信我，我向您展示的树和马赛克图是使用样本内数据构建的。我们将其分为高可预测性、中等可预测性和低可预测性。然后这些模式，如果我们关注那些组，它们在样本外非常持久。那些高可预测性的仍然是高可预测性的。那些低可预测性的仍然是低可预测性的。所以模式非常非常持久。这是我们发现的一点。您可能会说，数字有点低，因为这是样本外数字。这没关系，但模式，我的意思是 R 方的横截面差异非常持久。对于全局模型，我指的是那个同质模型，或者簇的 R 方模型。对于不同类型的帽子，您会发现类似的情况。所以这就是为什么我提到帽子，您使用的收益预测模型不影响簇模式。簇模式在这里非常强大。我还想指出的一点是，我们也想记录与模型错误指定风险相关的异常。例如，在 Kimman 教授的论文中，同质模型在状态依赖的异质模型下表现不佳。他们发现了一种基于状态检测的错误指定。在我们的案例中，如果投资者忽略异质性，并拟合一个全局或同质模型来预测股票收益，那么他们会得到 R 方 G 的数字。如果他们使用我们的簇，使用我们的簇并得到簇的 R 方。那么这就是 R 方 C。我们将其定义为异质模型和全局模型之间 R 方的差异。简单来说就是 R 方 C 减去 R 方 G。这就是我们认为如果您忽略如此巨大的异质性。这就是您可能忽略的 R 方差异。这告诉我们什么？如果我们对那些 R 方进行一个长短组合，C 减去 G。那么我想展示的一点是，前三个，前三个差异，平均回报和夏普比率非常高。后三个都是负的。所以一旦您可以看到，一旦您进行多空组合，您就会看到巨大的价差。而且这些模式在样本外也相当持久。那些最高的 R 方差异和最低的 R 方差异。一旦您创建一个多空组合，您就会看到这是月度超额回报 1.74、1.48、4A 的夏普比率。而且这种价差也无法被广泛使用的因子模型所解释。这是我想强调的一点。另一部分是，正如我提到的，除了横截面分割，我们还进行市场状态检测。时间分割。在我们的案例中，我们有八个宏观预测因子。然后当我们让树算法选择它们时，它们选择了股息收益率。如果股息收益率低于过去 10 年的平均水平，则进入左侧；高于平均水平，则进入右侧。通过这种方式，我们分割或发现了这种状态，即低股息状态或高股息状态。分割时间序列。但请注意，对于这个分割，我不是将时间分成两部分，因为这是周期性状态。您会看到多个低股息状态。您会看到多个高股息状态。基于这个高股息率，我们还可以进一步分割。然后算法选择的第二个是市场流动性。当股息收益率高，当股息收益率高时，流动性低，则进入这个部分。然后这个部分具有最高的预测周期。它包含大约 57 个月。大约 10%，因为我们总共有 600 个月。所以这个高股息率和低市场流动性，我们发现个人股票收益最可预测，约 9%。但如果您去这个部分，它包含大约 377 个月。超过 60%。R 方相对较低，样本内为 1.22。如果您去样本外，您可能会得到负数。所以您也可以看到，在 50 年的漫长历史中，可预测性也随时间而变化。这是我想展示的照片。正如我提到的，这些是周期性状态。所以，在我们的案例中，我们使用股息收益率和市场流动性来分割 50 年，通过多个状态。对于那些高股息率和低市场流动性。您看到的这些紫色部分，可预测性最高。因为这是颜色条，这是股票收益可预测性超过 7% 的地方。但如果您去低股息率的那个，这些橙色部分，只有大约 1%。此外，对于这个高预测周期，您还可以看到横截面差异可能相当大。这张表格可能显示了更多。对于那些规律时期，高低之间的横截面差异可能相当大。如果使用不同的预测方法或关注大盘股，您也会看到同样的情况。可预测性差距在第二个状态下变得更大，当宏观状态更高时。所以这是我们发现的另一件事。所以，我们的方法也可以扩展到传统的结构性断裂模型。我之前展示的那些是基于宏观的状态。传统文献，如 Timman 教授和其他人，他们对预测市场可预测性进行了研究，他们使用时间指数。我们也可以将时间指数插入我们的方法中，我们也发现了类似的关于可预测性的模式。这是我拥有的最后一张幻灯片。所以，如果，我比较了以前的两个模型。一个是全局的，同质的。一个是簇的。我想指出的一点是，如果您使用簇模型，基于我们的簇，无论您使用哪种预测方法，您在样本外也会发现更高的投资收益。这也是我们在论文中指出的。所以使用定制模型比同质模型更好。基于这些异质可预测性，有很多事情我们可以利用。那么，让我总结一下。在我们的论文中，我们试图向您展示模式。可预测性的马赛克。您将看到它的整体图景。马赛克图恰恰展示了我们想展示的内容。一点是，基于我们的簇，我们发现了一个异常，即 R 方的差异。如果您忽略这种异质模式，您可能会承担模型错误指定的风险。然后我们表明，许多因子模型无法解释这种异常。最后，让我总结一下。我们的基于树的聚类方法具有高度可解释性，因为我们根据公司特征和宏观预测因子来分割面板。谢谢。好的，欢迎所有评论。我期待着与 Timman 教授的现场讨论。嗯，非常感谢 Gavin 带来如此精彩的演讲，现在我将把发言权交给 Alan 来评议这篇论文。嗯，除非有澄清性问题，我想。我们来看看。据我所知，问答环节中没有任何内容。所以我想，并且大家，你们能看到我的幻灯片吗？是的。看起来还可以。是的。好的，太好了。嗯，感谢组织者邀请我来这里评议，也感谢作者写了一篇非常好的、引人入胜的、发人深省的论文。当然，我更喜欢口袋而不是马赛克，但我明白了。我想说，您有一幅非常漂亮的马蒂斯画。好的，所以我的评议将围绕着，首先，我将稍微谈谈中心思想，即事实上，收益可预测性在特征维度上以及当然在时间和 N T 维度上都存在差异。然后，当然，这将是友好的炮火，但嗯，一个怀疑的读者，他已经习惯了传统的 AP 模型和定制的因子调整，以及嗯，我是法国因子，这是一个完全不同的宇宙，当然，从历史上看，为什么文献会从那个基础开始是清楚的，因为数据是低维的，模型是线性的，现在情况已经不是这样了。我将讨论一些计量经济学特性，我认为 P3 是一种巧妙的算法，用于分割，几乎像一个断点算法。所以，我将借鉴该文献来了解这种方法可能具有的一些计量经济学特性以及挑战。考虑到机器学习文献中有不同的领域，在池化程度方面存在分歧，需要允许多少，您可以看到沿着偏差方差谱。您谈论的是一个预测者。预测是关于偏差方差权衡以及如何以最聪明的方式进行。嗯，这篇论文在哪里？它与其他文献中的论文相比如何？最后，一些投资组合定价和投资方面的经济解释。希望听起来不错。好的。所以，只是中心思想，嗯，正如我们看到 Gavin 解释的那样，您将资产收益观测值分割成这些不相交的簇。并且您这样做是为了最大化 R 方在左侧和右侧叶子之间的可预测性差异。所以，在某种意义上，这里的创新是，在 R 方上进行分割。当您进行双向分割时，您在这些信号或预测因子上进行分割，这些预测因子都包含八个宏观经济变量和大约 51 个公司特定变量，总共有大约 60 个变量。是的。然后，在每个簇内，您使用岭回归来估计这些线性模型。所以，底层模型是线性的，只是您允许这里的 Beta 存在异质性。您会看到它非常巧妙，而且我认为嗯，判断这些权重是特质方差的倒数，以至于抑制了真正嘈杂的股票的影响，并且还使用岭回归，我认为这正成为一种常见的方式来处理嗯，嗯，低信噪比。链条是一个重要的倡导者。我我。所以这一切都很好。好的。这就是基本方法。所以我喜欢，嗯，我的第一个想法是，我们正在按 R 方分割。我真的很喜欢这种内生聚类或部分池化的概念。我认为这是正确的方法。而且，在面板数据中，也有大量的计量经济学文献研究了这一点。我稍后会再谈。不过，我想说的一点是，嗯，关于 R 方呢？我们应该按它分割吗？为什么我们不只是按夏普比率或其他变量分割呢？或者，嗯，Beta 的差异？嗯，R 方的好处是，正如作者所争辩的那样，它首先不依赖于交易策略，而最大夏普比率当然会这样做，或者阿尔法。所以您避免了这一点。而且，如果您有多个预测因子，那么应该按哪个变量分割呢？这并不那么简单。我的意思是，您可以进行稳定性检验，就像在面板估计文献中所做的那样。所以 R 方似乎是合理的，尽管我建议它最终实际上是按波动率分割的，这应该进行研究。但 R 方的一个问题是，它的分布非常宽。所以，即使在没有可预测性的零假设下。所以您有 R 方的分布。假设您有 10 个回归因子，T。平均而言，您每四年会有一个分割。所以，让我们称之为 50。所以您在这里插入它，然后您得到，抱歉，这是 ChatGPT，它想代替一个说一千个。但无论如何，您在这里有一个 R 方的分布，无论您怎么做，它都相当宽。所以，对于小样本量，R 方会非常嘈杂，这不是作者的错，只是它就是这样。而且，J 和其他地方的早期论文也指出了这一点。所以，我的意思是，我们处理的是非常嘈杂的数据，对吧？所以，当然，会有很多，嗯，股票在它们真实可预测性方面的分类。所以，它是一个嘈杂的衡量标准。所以，您知道这意味着什么，当然，我们需要大量的正则化。在其他维度上，鉴于我们有，我的意思是，我们有一个嘈杂的异质性衡量标准。在这里很难提出一个更好、更精确的异质性衡量标准。这是一个好的起点，但我们当然应该意识到这一点。事实上，嗯，在低信噪比下进行预测，我认为是有充分理由的，这正成为一件大事。因为，嗯，这是我们必须面对的。当然，如果我们还认为其中一些可预测性最终会被纳入，我的意思是，我不知道 Gavin，您是否在香港有兼职咨询工作，无论如何，我敢肯定，当人们看到它时，他们可能会想购买它。然后它就会被纳入价格。所以非平稳性很可能是常态。但我认为，因此，收益可预测性以及新技术的出现，很可能是一种局部现象。局部在空间上，嗯，局部在时间上，局部在特征维度上。所以，您可以看到事情在变化，并且您拥有所有这些异质性以及低信噪比，这意味着这是一个非常棘手的、随时间变化的偏差方差权衡。所以我们正在争夺文献的核心，可以说。因为一方面，有一些论文说“不再池化”。所以，两周前我在 Sophie 会议上，他们谈论了一篇由 Lesson Peterson 和另外两位合著者撰写的论文，题目是“可预测性有多普遍？金融迁移学习的力量”。这是一篇非常酷的论文。他们基本上发现，嘿，如果您想预测德国或意大利的股票收益，只需使用香港，使用股票的横截面，然后将您的模型拟合到美国或全球，然后采用那个拟合的模型，然后插入本地特征和数据。我认为原因，我的意思是，我有点夸张，但实际上这是一个很酷的想法，迁移学习是一个很酷的想法。因为它基本上说，您拥有更多，我的意思是，您拥有一个更大的数据集，在美国采样，对吧？所以，为什么不直接拟合它呢？然后，如果您尝试单独估计德国的模型，您就没有多少数据了。所以估计会太不精确。所以他们呼吁，他们朝着池化的方向呼吁。但您可以看到，这篇论文在这里做的恰恰相反，它说，我们知道我们无法单独估计股票。所以，让我们进行一种巧妙的内生部分池化或聚类。所以，总是有关于我们走多远的问题。因为您池化得越多，您就越多地诱导偏差，正如您所发现的。但另一方面，您也减少了估计的不确定性。所以，嗯，数据中是否有足够的信号，让我们能够玩转这种偏差方差信号偏差方差权衡，以便我们可以，嗯，嗯，给予，嗯，一点更多的估计不确定性，但得到一些信号，偏差。这就是这篇论文所要说的，实际上我们可以做到。但最终，当然，在这种低信号到噪声的环境中进行推断是困难的。这让我想起，我的意思是，您当然在使用这个树算法，但有一个长期的文献研究结构性断裂。所以，由 Piron 和计量经济学在 1998 年。所以您在这里有一个时间序列回归。所以斜率系数是 Beta 加上 Delta，在某个断裂之前，然后断裂之后，它只是 Beta。所以您可以看到 Delta 是这里的断裂大小。他们做什么？他们想识别时间星号，真实的断裂点。所以，他们只是通过查看每一个可能的分割日期，断裂日期来做到这一点。然后他们找到使平方误差和最小化的那个。这是一种非常非常相似的方法，与作者在平方差方面所做的非常相似，这当然与这里的 R 方有关。但他们还发现，当您在断裂日期进行置信区间时，置信区间往往非常宽。这是因为他们只有一个时间序列。您可以看到，嗯，我非常喜欢这张图，您发现这里有很多断裂的证据。您发现总共有 13 个。所以基本上是大约 54 年到 55 年的时期。大约每四年一次断裂。所以一些状态非常短，正如您也发现的那样。有些非常长。所以有很多异质性。有些人可能会想，哦，这不符合我的先验。我不认为状态应该如此短暂。但最终，这是虚假的还是我们可以相信这些发现？嗯，我认为这里重要的是要进入计量经济学。我和 Simon Smith 和 Yinou 一起写了一篇关于面板模型中变量选择的论文。因为，我的意思是，面板数据可以进行分析结果，就像在 Artic 中一样。与这里的一些模型不同，我们发现，在这些面板中，估计断裂位置的收敛速率取决于状态的持续时间和断裂的大小。特别是，您会获得一个收敛速率，用于估计断裂位置，即 N T 逆对数 N T。所以，它不是完全 N C，有点慢。但真正重要的是，您，这正是这篇论文的优点，您确实需要利用 N 维度。T 维度不会，如果您只对一个市场收益这样做，您不会发现太多。除非您有非常强的先验来帮助您。所以，拥有多个时间序列将是提高收敛速率的关键。因为这里的 N 也远大于 T。在原则上，您实际上可以恢复非常短的状态。我的意思是，您可以看到其中一些非常短，就像这两个。但这确实需要断裂非常巨大，它必须是。而且您可能会发现这一点。但关键在于 N 和 T 维度之间的相互作用，这正是我喜欢这篇论文的原因。所以，马赛克方面，它也很大程度上体现在这里的横截面维度上。为什么它很重要？我记得将这些回归拟合到时间序列数据。猜猜数据怎么了？它找到了一个系数，您可能还记得 1990 年代股票收益非常高，因为价格上涨。股息保持不变。股息收益率下降，导致股息收益率与未来股票收益之间存在负且高度显著的相关性。这应该是正的。它是高度显著的负的，这就是分割算法捕捉到的。但在这里，经济理论和您的先验会排除这一点。这只是过度拟合。所以，这是因为只有 T 维度。但这也表明我们必须小心，并查看系数，并确保它们具有我们预期的正确符号。然后是问题，短期的、小的断裂真的很难估计。那么它对潜在的 GDP 意味着什么？假设您有一些潜在的随时间变化的参数模型，就像这里的黄线。然后我们在这里近似。这是可以的。我们在这里近似。但这确实表明，如果您允许随时间变化的参数模型。我希望再次回到，我不想，也许再三分钟。是的。所以，这一点。您应该多么信任这些发现？同样，我认为这里的关键卖点是，您可以深入了解并解释一些潜在的经济相关性，嗯，树下的系数，然后说，嘿，这可能实际上与某些风险定价有关，或者您有什么。您知道，显然，像任何方法一样，我对超参数有点过敏。如果它们没有以正确的方式进行调整。所以，这种方法在超参数调整方面非常简约，这很好。它是一个简单的分割树，但您仍然需要做出一些选择，例如最小样本量，每个叶子簇的限制，最大树深度，终端叶子的数量。所以，您知道，显然，您需要一点点利用它，因为它们调节了偏差方差权衡，这对于成功的样本外预测至关重要。好的。那么，资产定价和投资的最后两个问题呢？嗯，您的结果在某种意义上表明，而不是一个非常，嗯，有点像凯利·普伊特论文，带有线性的、简单的特征因子载荷。您可能从这些发现中得到了一些簇结构，也许在载荷方面。一些讨论会非常棒，因为那样您就可以将其与该文献联系起来。也对因子动物园有一些启示，对吧？也许其中一些因子只存在很短一段时间。西蒙和我发现的。而在其他时候，它们并不真正活跃。所以您的分析可以阐明这一点。当然，还有整个问题，如果我实际上认为因子载荷是随时间变化的，并且在不同状态之间变化，我该如何写下资产定价模型？因为我需要向前看，这些因子载荷实际变化的潜在过程是什么？这是一个非常有趣的问题。

嗯，嗯，问题，你可以从资产定价模型中进行模拟，看看是什么机制在创造这些马赛克投资的含义，是的，如果我，那将会非常有趣，可以比较像这样的数字，我认为这是一个完整的样本，这个样本与实时发生的情况进行比较，因为总是有识别突破的延迟，这是不可避免的，而且这完全没关系，只是看看延迟有多长，所以需要多长时间才能发现已经发生了状态转移，嗯，好的，然后当然，如果你真的相信这是，我的意思是，这是不稳定的证据。你如何对回报进行基准测试，也许你不应该使用法玛-弗伦奇，也许你应该使用法玛-弗伦奇的某种 P 树版本，你将你的方法应用于法玛-弗伦奇模型，然后看看在给定时间点哪些因子，哪些，嗯，嗯，因子是活跃的。好的，有一件事，我现在就结束了，很快。嗯，所以有几件事我注意到，正如你指出的那样，R 方差，我意思是，它们有时确实会非常高，对吧，看看这里，而且非常，我的意思是，特别是考虑到这些是大盘股，但你可能会，如果你试图，你知道，说服一个更传统的资产定价师，你可能会说，嗯，你知道，发生了什么，我们，我们，是因为树过度拟合了吗，还是我们真的相信 R 方差可以达到那么高，正如你指出的，Gavin，这也是经济回报最高的时期，对吧？你会认为更高的可预测性应该被利用，然后应该自我毁灭，这应该与较低的回报相关联，对吧？不知何故，它应该是，或者也许你正在识别某种摩擦。研究一下这一点会很有趣，对吧？我喜欢流动性和股息率的分拆。我认为这非常酷，而且，嗯，很有道理。好的。只是，哦，是的。嗯，你是，嗯，嗯，这当然是一个顺序方法。那么你离，你知道，全球最优有多近，这总是有一些你知道你已经在早期的论文中研究过，但但这是我们正在思考的事情，或者是一些困扰着计量经济学早期断点检测文献的事情，对吧，嗯，然后最后，你知道，如果你看看投资组合的表现，你会看到，你知道，你有令人印象深刻的高回报，但你也会看到，你知道，顶层和底层之间的分拆或差异，当你从，你知道，非常顶层到标准差稍微低一点的时候，也很大程度上是单调递减的。正如你指出的那样，R 方差和波动率之间存在一种单调关系。所以也许你真正排序的是高波动率股票与低波动率股票。我知道你通过加权矩阵进行了纠正，但也许最终看看如果相反，你用那个标准而不是 R 方差来排序，直接按波动率差异排序，那会很有趣。所以总而言之，嗯，非常刺激和令人印象深刻的研究。我非常喜欢它。我是这些东西的忠实粉丝。嗯，我认为，你知道，随着这项研究议程的进展，看看只是，你知道，好的，嗯，这些聚类点有多准确，它们的经济解释是什么，将会很有趣。你通过股息率和流动性排序取得了很大的进步。我认为我们对它如何与摩擦联系起来有很好的经济理解，例如可用的套利资本量，这可能是一个流动性因素。所以非常酷的工作，而且，嗯，我认为它也很重要，因为我们正在研究具有资产定价模型的模型，其中涉及如何理解投资者在不稳定的但高维的环境中学习事物。谢谢。嗯，非常感谢 Alan，感谢这次精彩的讨论。嗯，我们现在有一些时间来回答听众的提问。而且，嗯，我可以看到在问答中 Will 已经回答了其中很大一部分问题。所以我只是把未回答的问题读给 Gavin，也许快速地读一下，因为 Will 已经出色地处理了所有问题。有一个快速的问题，基本上是，你向我们展示的 Alpha 是按月还是按年计算的？那些是月度 Alpha。感谢这个问题，我也赞赏 Alan 的精彩评论。好的。你想对此做出简短的回应吗？哦，当然。所以，所以我认为有一个问题，我需要简短地回应一下，那就是关于断点数量。好的。所以有一件事我想澄清一下，这是一个基于算法的方法，好的，这是一个基于计量经济学的方法，所以通常如果我们增长树，可能很难进行推断，递归地，但是如果我们想看看，所以有一件事我们可能可以在稍后的版本中做，感谢 Alan 的评论，那就是关于可能在时间序列中有太多的断点，要处理这种情况，有一件事我想强调，那就是我们的断点或我们的状态是基于医学的复发。好的。所以一旦像高股息率低股息率，即使这样也会因为一个变量在时间序列中而分裂，你可能会看到总共超过五个甚至超过十个状态，因为股息率可能时高时低。如果我们分裂两个变量，股息率和流动性，那么你可能会看到总共超过十个状态。所以有一件事我们可以稍后做，我们可能想展示一个更小的树，只分裂一个变量，另一个大树分裂两个变量。所以你可以看到五个状态，你可以看到十个状态，我们非常相信结果可能仍然存在。好的，因为我们，我们尝试了，我们可以增长一棵有 10 个叶子，15 个叶子或 20 个叶子的树。所以我认为这是超参数部分，叶子的数量，这是我们树上最重要的超参数。好的，如果我们想做得更大，就像问答中的一个问题一样，那些像大规模增加的参数，那些巨大的模型，在我们的情况下，因为我们在做聚类，我们可以有 10 个，10 个聚类，15 个聚类或 20 个聚类，在横截面上，或者在时间序列中有两个聚类，三个聚类。或者我们可以减少聚类的数量来增长一棵更小的树。而且我们的信念是，即使对于较小的聚类和较高的聚类，差异可能较小，但数字仍然存在。好的。我认为 Lena 有问题。好的。是的。但是 Lana 已经举手了。所以，所以有趣的论文，我有两个问题，其中一些也与 Alan 在讨论中提到的观点有关。所以首先，如果你考虑模型选择，你通过 R 方差的差异来定义异质性，我实际上会争辩说，它不一定能捕捉模型之间的异质性。例如，想象一个类似的，你知道，线性情况，y 等于 beta x 加 whatever x。所以如果你只看 R 方差的来源，你有，比如说，两种类型的股票，它们的预测变量的方差不同，或者它们的合成波动率的方差不同，或者其他类似 Alan 提到的情况。它们都会导致这些模型的 R 方差不同。但实际上，同时，beta 乘以 x 的关系对所有这些股票都完全相同。所以我认为弄清楚异质性的衡量标准到底应该是什么，以及股票具有不同行为模式的定义到底应该是什么，这非常重要，因为这显然也会映射到投资策略、夏普比率等等。而且我再次不确定 R 方差是否是正确的数量。第二件事是，当你谈论不同的可预测性模式时，我认为区分这些异质性类型及其来源会非常有益，因为这正是构建基于你的发现的结构模型所需要的。例如，你可以考虑相同的预测变量是否会对不同类型的股票产生影响。你可以考虑这些预测变量的强度，它们是否相同，或者它们是否会根据股票的性质或预测变量的实际价值而不同。就像想象某种非线性回归，你知道，拟合。你会很容易看到这个例子，对吧？但问题是，这种异质性也存在于横截面和时间序列中。所以总的来说，你基本上有，你知道，四到五种，也许，你知道，不同类型的可以被利用的数据。而目前，你的树将所有这些混合在一起，而没有真正区分哪一个驱动了大部分结果。而且这种异质性也很大程度上取决于你如何再次定义链接函数。所以如果你已经从某种非线性版本开始，你知道，你会看到这个例子，然后尝试用分步回归来近似它，那么你就会说，是的，存在异质性，但实际上它是同一个模型，只是具有非线性链接函数。所以，你知道，如何再次定义在时间序列和横截面股票中拥有不同模型意味着什么？好的，感谢你的问题。哦，嗯，我可以看到，我可以，我可以补充一个简短的回应和评论吗？是的。嗯，对于 Satana 的问题和建议，我认为这非常棒。我们需要更好地澄清这一点。一个简短的回答是，嗯，你知道，如果我们看看估计方程的右侧，当然，如果我们使用不同的模型，那将导致不同的 R 方差，所以从这个意义上说存在异质性。我们的练习更侧重于左侧，即观测值的聚类，而在右侧，我们实际上考察了一系列模型，但在每次比较中，我们都固定了模型，然后只强调聚类本身的重要性。所以我认为我们绝对应该澄清这一点。而且，我也要感谢 Alan 的精彩讨论。我们可以从讨论中获得很多东西。我认为也许对于 Oscar，我们可以做一些更多的稳健性检验，也可以回到，你知道，Parent 的计量经济学论文，从文献中学习更多，看看我们如何与它相关联。而且我也非常喜欢关于因子动物园的含义以及 NT 交互的建议，我认为这在我们的论文中没有被强调，但它起着至关重要的作用。100% 同意。好的，太好了。我也想补充一下关于问题的，我认为对于这两个问题，在我们的结构中，我们想提供一个基于来源的聚类，那就是像特征和宏观变量，来比较它们的预测结果差异。我认为我们的结构是这些问题的联合答案，但我感谢 Sana 的所有好问题，我会为之做更多。感谢提问。顺便说一句，对不起，我差点说，例如，有许多论文将非常高的波动率时期与高度的回报可预测性联系起来，你在某种程度上也在横截面上发现了这一点，对吧？而且它也当然与愤怒的特质波动率平行有关。所以如果我们，所以很多时候，当然，R 方差不是那么高，所以 R 方差将非常紧密地与特质波动率相关。所以这就是为什么我建议，假设你做了一些超级简单的事情，然后只是，你知道，根据波动率形成聚类，以某种方式，然后看看它在解释你的结果方面有多远。而且，你知道，因为当你有资产，它们的股票会大幅上涨和下跌，对吧？谁，那些价格极度波动的资产，我的意思是，有很多不确定性，也许市场不知道如何定价，对吧？有很多东西很难定价，也许你谈到了错误指定，对吧？也许这就是正在发生的事情。我认为沿着这个故事，我的意思是，为什么我们有时会发现这种横截面回报可预测性如此之高，在某些情况下你发现 20%，而且似乎在样本外也持续存在。为什么市场没有注意到呢？对吧？也许现在会，但这是一个好问题，对吧？也许是因为风险非常高，而且，而且我不知道，对于个人股票来说，风险太高了。感谢你的问题。我可以为此澄清一下。所以，首先，我的 R 方差数字，我知道它们可能太高了，在 10% 以上，对于那些，大约 10% 的时间，在历史上的 10% 的时间里，但是那个 R 方差值，首先，它是样本内 R 方差，然后第二，对于 R 方差值，当你查看它们时，你也需要查看基准，基准值为零，所以，所以，我认为这可能会稍微夸大样本内 R 方差值。但是我们的观点是想找出，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，所以，