Transcription
半小时后我们将有一个直播课，我想在这节直播课上使用这个幻灯片。但在这个幻灯片里有 357 个问题。所以，嗯，与其直接全部抛出，我想我可以回答其中一些。我不知道我能回答多少，因为我的时间不多。课程很快就要开始了，但我会尽量快速地回答其中很多问题，然后，嗯，是的，让我们看看我能完成多少。我很惊讶这门课程是免费的，Data Talks Club Lab 的收入来源是什么？在课程中，我们有赞助商，你可能注意到了每个赞助商在每门课程中的标志。我们有一个关于赞助商的部分，并非所有课程都如此，我们设法为其中一些找到了赞助商，但并非所有课程。对于数据工程师，是的，我们确实有赞助商。这是其中一个收入来源。另一个收入来源是，我们有一个通讯，当你注册课程时，你会被自动添加到这个通讯中，在这个通讯中，我们每周都会发送一些关于社区的新闻，还有一个赞助博客。所以，这就是我们通过通讯中的推广来赚钱的方式。另外，我个人，这本身并不是 Data Talks Club 的一部分，但我从这些课程中赚到的钱，我也花在了社区上，是通过我单独教授的课程。其中一门课程是我托管在 Maven 上的课程，是关于人工智能工程的。所以，如果你在这里购买一门课程，你也在支持社区。所以，我希望将其中一些钱与 Data Talks Club 分开。所以，你在 Data Talks Club 中拥有的一切都是免费的。但是，我从这些课程中获得的钱，我也用于社区工作。我目前正在完成 ML Zoom 营。我想知道这门课程是否有益，或者我是否应该在 ML Zoom 营之后做项目。这取决于你的目标。所以，如果你的目标是成为一名 ML 工程师，那就做项目。如果你想继续学习东西，也想学习数据工程，那就上这门课。但我想说你应该保持专注，对吧？所以，不要试图上百万门课程，即使这门课程很棒，比如这门数据工程课程真的很好。你需要保持专注，对吧？如果你的当前目标是机器学习，那么就不要尝试做很多事情。你能解释一下这个训练营中的最终项目预览是如何工作的吗？它的工作方式是，你提交一个项目，然后在截止日期之后，表格就关闭了，我不知道我现在是否可以在我们的课程平台上向你展示。所以，例如，这里有项目，好的，我没有提交任何东西，所以我真的无法展示。所以，现在这是开放的，你提交你的项目，然后在截止日期之后，它就会关闭，你会在这个表格上有一个不同的表格，这个表格上有三个，也许我在文档中有，Data Talks Club 的课程管理平台表格。他们有同行评审吗？同行评审。是的，我这里没有截图，但是，然后，你将有一个特殊的屏幕，带有同行评审，就像一个特殊的平台，特殊的同行评审页面，在那里你将看到你的作业，你只需要根据评估标准进行评估，然后提交每个评估标准。这就是你如何做到这一点。而且，如果你想，你需要尝试，你做的最基本的事情是审查代码，但如果你愿意，你可以尝试运行尽可能多的代码，并尝试尽可能多地重现，因为这是学习的最佳方式。所以，这就是它的工作方式。作为入门级数据工程师的职位竞争激烈，我们如何脱颖而出并轻松获得第一份工作？我之前没有谈过这个吗？我想我在每次直播中都在谈论这个。所以，也许我们把它留给 Will，因为 Will 将会加入我们的办公时间。所以，我想知道他的看法，因为我已经回答了这个很多次。对我来说，是的，我的观点是，你需要专注于你选择的特定行业的项目。所以，与其像“撒网捕鱼”一样申请所有可能的职位，不如尝试专注于一个特定的行业，并为这个特定的行业构建你的作品集项目。我可以在哪里找到截止日期时间表？这个课程管理平台。你可以在这里找到它。这是截止日期。在课程期间，我每天需要花多少时间学习？这取决于你。但我想我也展示了，我们有，对于之前的版本，你看 Zoom 营，人们花了多少时间，所以，当然，这真的取决于你的背景，对一些人来说更容易，对一些人来说更难。Slack 是首选的沟通方式。嗯，是的，我在 Telegram 上并不真正审查消息。所以，Telegram 仅用于公告。我不知道你在谈论什么类型的垃圾邮件。我是一名后端开发人员，并且是云部署训练营。是的。如果你已经有八年的经验，这是一个完美的训练营。所以，你已经知道足够多，可以充分利用这个训练营，制作你的第一个项目，然后是的，这足以让你找到一份工作。什么技能区分数据工程师？如何区分初级和经验丰富的候选人？嗯，有经验的人知道得更多，对吧？有经验的人比初级人员实施过更多的事情。这很简单。我不知道。这是确定一个人是否有经验的最简单的方法是让他们设计一个系统，对吧？然后你就会立即看到一个人有多少经验。后端工程与数据工程。这是一个问题吗？我的意思是，是的，有一个问号，但这并没有使其成为一个问题。我想你的问题是它们之间的区别是什么？所以，后端工程师处理后端，数据工程师处理数据管道。你会说从数据分析师开始，然后转为数据工程师会更容易吗？在获得数据面试方面，这真的取决于你的个人资料。几分钟前那位问我，以我八年的经验，或者作为一名软件工程师，我是否能找到一份工作，我的回答是 100% 的是的，对吧？因为他们已经具备了成功担任该职位的必要背景。但是，是的，这里很难说，这真的取决于你的背景，然后你是否真的会喜欢作为一名数据分析师工作，如果你的目标是作为一名数据工程师工作？如果你找不到任何数据工程工作，那么是的，作为一块垫脚石，也为了让你自己满意，但数据分析师，我并不是想让它听起来像一份超级容易的工作，对吧？它不是，它也像你需要改变你的重点，开始为数据分析师职位做准备，然后找到一份数据分析师职位，只有这样，几年后才能转为数据工程，这有点，所以你将不得不退后几步，学习新的领域，然后开始找工作，然后找到一份工作，然后你需要继续，我不知道，作为一名数据分析师进步，但你也需要提升自己作为一名数据工程师，所以如果你的最终目标是成为一名数据工程师，这不是最直接的方式。随着人工智能代理公司用更小的资深团队取代初级数据工程师团队，我们如何获得市场竞争力，作为潜在的求职者？是的，你构建作品集项目作品集，你也学习如何使用人工智能代理，因为，是的，如果你知道如何使用它们，如果你能使用这些人工智能代理构建管道，那么，为什么不雇佣你呢？所以，是的，继续学习，并尝试，真的尝试拥抱这些新事物，因为我每天都使用代理，我使用云代码，我使用 GitHub Copilot，有时我使用 Codex，我使用 Anti-gravity，它们适用于不同的目的，对吧？如果你尝试学习这些东西，而不仅仅是学习，使用它们，对吧？尝试不同的东西，探索它们，实施最好的项目，尝试自己产生一些想法，然后实施它们，看看你能走多远。而且，我永远不会，我甚至不想从我自己的角度考虑编码，因为现在给代理指令然后看着它们编码感觉容易多了。所以，是的，只是尝试拥抱它。我仍然不确定今天之后是否还有进一步的直播课。嗯，正如你已经知道的，它的工作方式是，我们将就直播课进行沟通。当我们有直播课时，你将通过 Telegram 得知。所以，我不应该这样做，因为这样的话，Will 就无法回答这个问题了。Zoom 课程内容足够吗？我已经回答了一千次了。Mark 很好。是的，我了解 Python 的基础知识。是的，这适合你。我能做什么来在数据工程学习和获得第一份工作方面取得进展？上这门课。做项目。嗯，不，我们没有。我们将涵盖什么？是的，我在直播课中回答了那个问题。我想学习 Apache Iceberg 和 Open Table Format。我能运行 Flink 作业 Hadoop 和 Apache Iceberg 吗？有可能吗？嗯，唯一的方法就是尝试去做。答案可能是肯定的，尽管 Hadoop 作业，我认为你需要弄清楚术语，比如 Hadoop，但是，是的，如果你想学习 Apache Iceberg，想出一个你可以使用这个特定技术实现的简短想法，ChatGPT 可以提供帮助，然后实现它，然后考虑一些其他的小项目，实现它，然后最终，这就是你学习工具的方式，或者这就是我学习工具的方式。我回答了这个问题。你说的 GCP 的卡是什么意思？我的意思是卡，银行卡。数据分析经理上这门课有意义吗？是的，当然。你能列出一些 CLI 的基础知识，提前知道这些会最好吗？不。你只需要，你可以浏览项目存储库，查看文档，比如所有这些 markdown 文档，如果你发现有什么不知道的，那就是你需要提前学习的 CLI 命令，或者你可以做的是，你只需要上这门课，看到一个命令，你不知道，你问你的 GP 关于它，这就是你学习的方式。你对学习小组有什么看法？我喜欢学习小组。>> [哼哧声] >> 嗯，是的，我们没有。>> 我们现在应该开始做数据工程师项目吗？是的，我建议尽快开始。如何将这门课程的知识运用到你的求职中？嗯，你上这门课，你做项目，然后你找工作。还有什么别的？我不知道还有什么其他方法。每周需要多少小时？我想我回答了这个问题。在数据科学研究方面，不，这对数据科学研究不会有太大帮助。每周需要多少时间？我回答了。 [哼哧声] 完成课程后怎么办？我如何找到，对不起，我不会全程指导你完成这个过程。我认为你是一个成年人。你知道如何使用搜索引擎，对吧？所以，我把它留给你。嗯，好的，对不起，我一直在这样做。目前我正在学习 DuckDB、Duck Lake 和 SQL Mesh。可以在课程中使用它们吗？是的。我不认识 Duck Lake。SQL Mesh 就像 dbt，DuckDB 绝对是在第一周和其他周。好的，我之前没有为 DevOps 工程师说过，这门课程好吗？不，我们不教 DevOps。完成课程是否可能或可以，如果一个人在规定时间之前完成？我的意思是，你可以，上完所有课程，我的意思是学习。我们有一个特定的进度来开放作业，因为我们也需要准备这些作业，对吧？另外，如果你想在最后获得证书，你需要等到与大家一起提交你的项目并完成同行评审。没有同行评审过程，你将无法获得项目。你现在可以做的是，你可以完成我们所有的模块，你可以，现在就开始你的项目。你提交它，然后表格就打开了，因为它已经准备好了，然后你只需要完成同行评审过程，不久之后。嗯，是的，回答了。整个课程都在 GitHub 存储库中。是的，这是正确的。最喜欢的数据工程博客。不，我没有。对不起。我不是一个真正的数据工程师，我从来没有关注过任何数据工程博客。所以，对我来说，重要的是做事。所以我需要做，我有一个问题需要解决。所以我解决了这个问题，然后我与同事谈论，他们解决了类似的问题。这就是我学习的方式，当然还有会议，你做一个演讲，你听其他的演讲。这就是你交流的方式。 [哼哧声] 是的，所以我从来没有真正读过书，但我猜你可以学到很多。所以，我的主要重点是机器学习和数据科学，我从阅读公司博客中学到了很多关于这些东西的知识。如何表明你具备工作技能的好方法，就像网页开发者可以展示作品集项目一样，对于任何职业来说，拥有一个好的作品集都是关键，对吧？然后，我不知道，我谈到了，我们谈到了 Apache Iceberg，所以选择一个项目，甚至更好，比如，假设你想专注于在一个特定的细分市场，一个特定的领域找到工作。所以，选择一个领域，选择该领域中的几家公司。查看他们的职位，尝试查看他们的网站，尝试了解他们正在尝试解决或正在解决的问题。基于此，尝试思考你可以构建什么样的项目，这些项目也能解决类似的问题。当然，它不会是相同的规模，而是较小的规模，对吧？然后解决这个问题。使用 ChatGPT 来帮助你，使用其他 AI 助手来帮助你，然后你构建一个、两个、三个、四个项目，同时，当你开始构建第一个项目时，你就开始申请工作，然后你不断迭代，直到你找到工作。我想我刚刚回答了这个问题，但是，是的，你教得很好，但你的一些执行太快了，你的一些代码太混乱了。你能现在以一种缓慢而整洁的方式教我们吗？嗯，是的，感谢你的反馈。有时我很快，我同意。代码也很混乱，我承认。但它就是这样。如果你愿意，也许你可以提供非常具体的反馈。现在它非常笼统，虽然我会承认这一点，但它对我个人来说并不太有用。所以，我能推荐的是，是的，你可以，因为 YouTube 有这个功能，你可以暂停，所以你停止，或者当代码混乱时，你可以减慢速度。是的，代码混乱是真的，因为我大部分事情都是现场做的，当我现场写代码时，当我创建一个，当我写代码时，在直播课中，它是混乱的。 [哼哧声] 另一种选择是，我提前准备好所有代码，然后我只给你看我写过的代码，根据我的经验，大多数人都不喜欢这样，对吧？所以，有一个权衡，对吧？我现场做事情，我现场解释它们，但代码很混乱，或者我做得整洁，我展示它们，但是，你有点看不到到达这段代码的过程。所以我喜欢做的事情，不一定在这门课程中，但总的来说，我先写混乱的代码，然后我们一起清理代码，这就是我在这两个项目中做的事情。但是，是的，感谢你的反馈，有用的将是具体的东西，你可以在 Slack 上分享，我不会冒犯，我鼓励提供反馈，因为我认为它很有用，但它也是它就是这样，这是我的教学风格，如果这是给我的反馈，因为还有其他讲师，但我假设是给我的。我应该如何在评论中自我调整学习？是的，运行每个命令，尝试重复你在视频中看到的内容，然后做作业。GitHub 是工程师的新培训计划吗？问题是什么？对不起。它不是新的，但我们在更新我们的材料。我想我已经回答了。我们如何访问课程仪表板和东西？你进入 course.datadox.club。课程。你建议为项目做贡献。我们可以在哪里找到项目来贡献？嗯，你可以创建自己的项目，然后你可以为它们做出贡献。你能早点开始顶点项目吗？是的。我有多年的经验。值得改变吗？嗯，我不知道。只有你能回答这个问题。作为一名后端工程师，你可以在工作中找到非常有挑战性的事情。对我来说，数据很有趣。但是，如果数据对你来说很有趣，你可以尝试一下。所以，[哼哧声] 而且，既然你说你作为一名后端工程师有多年的经验，也许你感到厌倦，这没关系，对吧？所以，尝试不同的事情。你不是注定要一辈子都当后端工程师，对吧？所以，改变事情是可以的。但最终只有你能回答这个问题。课程将官方支持哪些软件？你在 GitHub 上找到的一切都将得到官方支持。我们不会有很多直播课。但一切都会被录制。在十二月的课程中，你提到作业不是强制性的。是的，它不是强制性的。你唯一需要做的是提交项目并进行预览。这是正确的。你认为数据工程师的角色会发生多大变化？我的意思是，它在过去两年里发生了变化。我认为在未来两年内不会发生变化。而且，在过去两年里发生的一切，我们编写代码的方式，因为现在我们有了这些 AI 助手。除此之外，我认为我们不会看到很多重大的变化。我的意思是，我们已经发生的变化非常显著。所以我认为我们不会有另一个。但你永远不知道。你的工作站应该坚持主要技术，这无关紧要。是的，但取决于你，如果你喜欢探索事物，总是好的，对吧？但要确保你理解概念，对吧？一旦你理解了概念，是的，随意尝试不同的事情。我必须选择一条道路，比如先是数据分析师、数据工程师、数据科学家吗？我的意思是，这取决于你的情况，对吧？如果你饿了，急需钱，那就随便拿点什么，然后去做吧，但是，如果你是一名学生，并且有一些收入，或者也许，我不知道，父母支持你，那么你当然可以花时间去探索事物。我可以在课程管理平台找到过去的课程项目吗？例如，这是 2025 年，你在这里看到所有提交的项目。我应该如何公开学习？我个人喜欢 LinkedIn。我认为这是最好的平台，因为它们喜欢，这是一个专业的网络。所以，是的，模块二。然后我们有一个新模块。DT 工作坊将是全新的。也许是流媒体。关于流媒体，我不知道我是否有时间重新录制。我们将有一个新模块。如果没有，那就没有。如果你一周不在会怎么样？这意味着你一周不在，但你可以赶上。你能推荐 Python 课程吗？不，但 ChatGPT 可以。我们什么时候可以开始课程？是的。不。请分享一些可以完成的项目。是的，查看过去的课程项目，你就会得到一些灵感。测验，课程管理平台。我可以使用自己的数据集吗？是的，请。Castra 像 Kubernetes 吗？不。Castra 是一个工作流编排框架。最知名的编排器是 Airflow。所以，Castra 就像 Airflow。但我会将这个问题留给 Will。下一节课是什么时候？实际上，还有 4 分钟。所以我现在必须停止录制。然后，四分钟后见。