Transcription
Привет, друзья. Так, мне позвонил мой друг и спросил: "Барра, я хочу стать инженером по искусственному интеллекту в 2026 году. Что мне нужно изучить? Какие навыки помогут мне получить работу?" Ну, как обычно, я пошел и составил для него дорожную карту. И я подумал, почему бы не поделиться ею с вами? Но, конечно, прежде чем мы начнем, мы быстро ответим на один вопрос. Что такое инженерия искусственного интеллекта на самом деле? Ну, в интернете много путаницы. И вы увидите, как некоторые люди показывают вам дорожную карту по науке о данных и говорят, что это дорожная карта по инженерии искусственного интеллекта. Так что они отправят вас изучать математику, алгоритмы, как обучать модель, машинное обучение и много теории. Но это не то, что ищут компании, потому что им не нужен еще один специалист по науке о данных. Им нужен настоящий инженер по искусственному интеллекту. Так что давайте упростим. Инженер по искусственному интеллекту — это тот, кто создает системы, использующие искусственный интеллект для решения реальных бизнес-задач. Это означает, что вы не создаете ChatGPT и не обучаете модель данных. Вы создаете систему искусственного интеллекта [музыка]. Итак, что входит в систему искусственного интеллекта? Вы найдете следующие компоненты. Вы будете подключать модели искусственного интеллекта, такие как модели OpenAI из Hugging Face. Вы будете подключать данные компании, базы данных, файлы, документы, а также инструменты и приложения компании, такие как электронная почта, некоторые внутренние сервисы и тому подобное, а также интерфейсы, через которые пользователь будет взаимодействовать с системой искусственного интеллекта. Так что, как вы видите, вы просто соединяете вещи в одном месте, и ваша основная задача — сделать все правильно, безопасно, быстро, масштабируемо и экономически эффективно. Так что это именно ваша работа как инженера по искусственному интеллекту. Если вам интересно, я покажу вам, как стать им шаг за шагом. Итак, теперь я создал для вас дорожную карту Notion, которая проведет вас через четыре этапа. Первый этап — основы, где вы изучите основы программирования и как сотрудничать с другими в проектах ИИ. Второй этап — взаимодействие с LLM. Вы научитесь общаться и интегрировать модели ИИ в свои приложения. А третий этап — это самое главное, где вы научитесь создавать и запускать всю систему ИИ. И последний этап — это создание вашего портфолио, демонстрация вашей работы онлайн и получение работы. Итак, давайте перейдем к первому этапу. Мы изучим основы. И мы начнем с Python. Python — это первое и основное, что вы должны выучить как инженер по искусственному интеллекту. Почти все, что вы видите в системах ИИ, такое как инструменты, библиотеки, модели, написано на Python. А в реальных проектах мы используем Python для очистки данных, подключения API, развертывания моделей и автоматизации конвейеров. Так что, если вы хотите создать любую систему ИИ, Python станет вашей основой. И я хочу, чтобы вы сосредоточились на этих четырех вещах. Во-первых, структуры данных и циклы. Во-вторых, функции и модули для повторного использования вашего кода. В-третьих, как работать с файлами, особенно с форматами JSON. И последнее, конечно, как делать запросы к API для подключения ваших приложений к моделям ИИ. Так что как инженер по искусственному интеллекту все ясно. Вы должны освоить один язык программирования, и это Python. Как только вы начнете программировать на Python, вам нужно будет сохранять свои файлы, и если вы будете хранить их на своем ПК, это будет очень рискованно, потому что вы можете их потерять. Но вместо этого мы будем хранить наши файлы Python на GitHub, чтобы управлять различными версиями, чтобы иметь возможность делиться ими, если вы подаете заявки на работу, или с вашими коллегами, если вы сотрудничаете в проектах. А также вы можете работать над своим кодом где угодно. Поэтому я хотел, чтобы вы научились создавать репозиторий, отправлять свой код, делать коммиты с четкими сообщениями, получать и объединять изменения, создавать ветки для нового. Так что я хочу, чтобы вы изучили все это с первого дня, чтобы стать профессионалом. Итак, это все для этого этапа. Вы научились кодировать и делиться своим кодом. А теперь на следующем этапе мы начнем изучать искусственный интеллект. И первое — это большие языковые модели LLM. Так что нам нужно научиться говорить с моделями ИИ. Первый и самый недооцененный навык — это промпт-инжиниринг. Большинство людей думают, что промпт-инжиниринг — это просто ввод чего-то в ChatGPT и надежда на хороший ответ. Но на самом деле за этим стоит навык, и все дело в том, как вы общаетесь с моделью, чтобы она [музыка] точно поняла, что вы хотите, и как получить индивидуальный ответ именно так, как вы ожидаете. Это означает, что вы будете давать подробные и четкие инструкции и [музыка] контекст. Вы скажете модели, кем она является и какова ее роль, и покажете примеры результатов, которые вы хотите. Каждый раз, когда вы получаете ответ от ИИ, вы будете его просматривать и шаг за шагом улучшать свои промпты. Например, это один из промптов, который я использую для мозгового штурма. И я думаю, что я разрабатывал его более года, чтобы получить именно то, что хочу от ChatGPT. И, честно говоря, каждый раз, когда кто-то говорит мне: "Да, результаты от ChatGPT действительно плохие, и есть много галлюцинаций", я спрашиваю этого человека: "Покажи мне свой промпт". И обычно это всего лишь одно очень короткое предложение. Ни в коем случае. Мусорные промпты дадут мусорные результаты. >> Бум. Уничтожено. >> Так что, мои друзья, как инженеры по искусственному интеллекту, вы должны научиться промпт-инжинирингу, чтобы настроить модели ИИ точно в соответствии с требованиями вашего бизнеса. И если вам нужна помощь в изучении всех этих навыков, вам нужно начать создавать свои собственные проекты. А DataCamp предлагает отличные курсы по инженерии искусственного интеллекта. Большое спасибо за спонсорство этого видео. Итак, для разработчиков, которые хотят интегрировать ИИ в реальные приложения, я рекомендую трек "Associate AI Engineer for Developers". Он обучает API OpenAI, Hugging Face, LangChain и векторным базам данных, а также многим другим вещам, таким как промпт-инжиниринг и LLMOps. Но теперь для людей, пришедших из области науки о данных, я рекомендую трек "Associate AI Engineer for Data Scientists". Он поможет вам перейти к полной инженерии ИИ. Вы изучите основы машинного обучения, глубокое обучение с PyTorch и работу с библиотекой больших моделей Hugging Face, а также научитесь тонкой настройке. Вы изучите принципы MLOps и многие другие темы ИИ и данных. А теперь, если вы совершенно новичок, я рекомендую трек "AI Fundamentals". Он даст вам введение без кода в основные идеи ИИ. Так что вы изучите основную терминологию ИИ и как эффективно использовать ChatGPT, а также что на самом деле делают машинное обучение и LLM. Так что этот курс даст вам основы, необходимые для начала создания реальных проектов, что является самой важной частью обучения. Чтобы начать, проверьте ссылки в описании. Далее я хочу, чтобы вы узнали об API OpenAI с возможностью промптинга ChatGPT. Все дело в том, что вы используете свой браузер для взаимодействия с ИИ. Так что это все хорошо и весело, но настоящее волшебство начинается, когда вы начинаете использовать модель, стоящую за ChatGPT, с помощью API OpenAI. Так что API позволит вам взаимодействовать с той же моделью, но с одним большим отличием: внутри вашего собственного приложения, внутри вашего веб-сайта, ваших продуктов. Так что с помощью этого вы создаете что-то вроде чат-бота-помощника внутри ваших инструментов, и это очень просто сделать. Это всего лишь несколько строк Python. Вы отправляете [музыка] промпт, получаете ответ и отображаете его где угодно. Так что, чтобы научиться этому, я хотел сосредоточиться на том, как настроить ключи API. Как отправлять структурированные промпты с правилами и контекстом. Здесь снова промпт-инжиниринг и как быть осторожным с управлением расходами, используя токены. Этот навык позволит вам перейти от простого взаимодействия с ИИ к созданию чего-то с помощью ИИ. Переходя к следующему, вы научитесь использовать модели из Hugging Face. Название просто сумасшедшее. Так что, когда вы будете создавать свои системы ИИ, вы заметите, что не можете полностью полагаться на OpenAI, потому что на самом деле они являются закрытым исходным кодом. Это означает, что у вас нет контроля над моделью. Вы не можете видеть, как именно она работает. Вы будете много платить за использование токенов каждый раз. И если вы не используете Azure, данные вашей компании будут покидать вашу среду, и это огромная проблема для многих предприятий. Вот где на сцену выходит Hugging Face. Это самая большая библиотека сообщества для моделей ИИ. Там уже более двух миллионов моделей. И самое лучшее — большинство из них бесплатны. Это означает, что вы можете найти модель практически для любой проблемы, с которой можете столкнуться. И мой друг, именно поэтому я продолжаю повторять одно и то же. Как специалисты по науке о данных в индустрии, мы больше не должны ничего обучать с нуля. Все, что вам нужно сделать, это найти подходящую модель для вашего бизнес-кейса и просто доработать ее. И большое преимущество Hugging Face в том, что вы можете загружать модели локально на свою машину и развертывать их где угодно. С этим вы сохраняете контроль. Вы можете использовать конфиденциальные данные для модели, потому что ничего не покидает вашу среду, а также вы сокращаете расходы. Так что я хочу, чтобы вы изучили модели в хабе Hugging Face. Используйте Transformers в Python. Попробуйте пайплайнинг и научитесь развертывать модель там, где находятся данные. Отлично. Итак, это все для этого этапа. Вы научились общаться с ИИ, интегрировать как модели OpenAI, так и модели с открытым исходным кодом. Теперь мы перейдем к продвинутому этапу нашей дорожной карты, где вы научитесь создавать реальную систему ИИ, и мы начнем с изучения платформы LangChain. Итак, давайте предположим, что вы можете говорить с моделями ИИ, вы можете писать действительно хорошие промпты, вы можете создавать действительно крутые демо, но этого недостаточно для создания системы ИИ, потому что вам нужно связать все вместе. И вот тут-то и появляется LangChain. Так что вы можете использовать LangChain для оркестровки всего процесса, для подключения всех необходимых вам моделей, инструментов, памяти, а также для создания вашей бизнес-логики. Так что ИИ может предпринять несколько шагов для выполнения полной задачи. И именно это делает система ИИ. Это не просто один промпт и один ответ. Так что вам нужно изучить LangChain, и я хочу, чтобы вы сделали это в четыре шага. Поймите основные строительные блоки, такие как цепочки, инструменты, память, промпты, а затем перейдите к подключению различных моделей с помощью LangChain и попробуйте создать мини-рабочий процесс с помощью LangChain для решения реальных проблем. Так что изучение LangChain — это первый шаг к созданию системы ИИ, и это превратит вас из человека, который просто умеет делать демо с ИИ, в человека, который может создавать систему ИИ. Вот где начинается настоящая инженерия данных. Хорошо, переходим к следующему навыку. Это будет очень интересно. Мы изучим RAG (Retrieval Augmented Generation). Проблема в том, что все модели ИИ на самом деле предварительно обучены на общедоступных данных. Но, конечно, данные компании защищены и не являются общедоступными, что означает, что модели ИИ ничего не знают о данных вашей компании. Так что нам каким-то образом нужно подключить данные компании к модели ИИ. И вот тут-то и появляется концепция RAG. Вот как это работает. Сначала вы берете все данные компании, PDF-файлы и файлы, и хотите сохранить их в так называемой векторной базе данных. Так что все, что вам нужно сделать, это превратить текст во что-то модное, называемое эмбеддингом. Это просто представление вашего текста числами, а затем загрузка и хранение всех этих эмбеддингов в векторной базе данных. Как только пользователь задает вопрос, он превращается в эмбеддинг, и система начинает сравнивать и искать ближайшее совпадение с помощью семантического поиска. Как только она найдет нужную информацию, модель LLM превратит ее в ответ. Так что все дело в добавлении памяти к модели LLM, чтобы она использовала ваши реальные данные, а не полагалась на то, на чем она была обучена. Так что теперь, если вы хотите изучить RAG, сосредоточьтесь на этих четырех навыках. Поймите архитектуру и рабочий процесс RAG. Поймите, как семантический поиск находит релевантный контекст. Узнайте о векторных базах данных и эмбеддингах. И после теории создайте RAG с помощью LangChain. Так что вы подготовите файл, разделите текст, сохраните его в векторной базе данных, а затем создадите промпты и цепочки. Так что этот совет действительно важен, но он подготовит вас как инженера по искусственному интеллекту. Хорошо, переходим к следующему навыку. Мы изучим ИИ-агентов. Мы все использовали ИИ-чат-боты, такие как ChatGPT. Вы пишете промпт, и он возвращает вам текст. Но, конечно, этого недостаточно. Компании хотят большего, чем просто приятный ответ на экране. Они хотят ИИ, который на самом деле выполняет работу. И именно поэтому у нас есть ИИ-агенты. Агент сначала думает, а затем предпринимает реальное действие. Например, возможно, обращается к базе данных, обновляет записи, вызывает API и, возможно, запускает рабочий процесс, а также отлично подходит для автоматизации многих скучных задач, которые мы обычно выполняем на работе, таких как чтение входящих электронных писем и ответы на них, создание резюме совещания, а также создание тех скучных тикетов Jira и Service Now. Так что это гораздо больше, чем просто чат с ИИ, это ИИ, который на самом деле выполняет работу. Теперь, чтобы научиться работать с ИИ-агентами, вы можете сделать следующее: научитесь вызывать API и подключаться к базам данных с помощью ИИ-агентов. Как создать агентный RAG для поиска документов и как использовать несколько агентов, которые могут работать вместе. Так что ИИ-агенты — это реальная вещь для автоматизации в компаниях. Хорошо, к следующему навыку, который очень интересен, протокол контекста модели MCB. Теперь ИИ-агенты могут предпринимать реальные действия, такие как проверка электронной почты, запрос к базе данных или вызов API, только если они подключены к внешним источникам. И здесь, мой друг, есть две большие проблемы. Во-первых, если вы подключаете свои ИИ-агенты напрямую к производственной базе данных, это очень рискованно. И вторая проблема: у нас много внешних систем, и в итоге вам придется писать и создавать коннекторы для каждого инструмента. И это занимает много времени и усилий для создания новых коннекторов каждый [музыка] раз, когда вы подключаете новую систему к ИИ-агентам. И именно поэтому у нас есть MCB. Он решает эти проблемы. Мы добавим безопасный и стандартный слой между вашими ИИ-агентами и вашими источниками. И это, мой друг, имеет множество преимуществ. Прежде всего, вы можете подключать и использовать любую систему к своим ИИ-агентам без необходимости каждый раз создавать новые коннекторы, используя этот слой, вы получите полный контроль над тем, как ИИ будет взаимодействовать с вашими источниками, где вы можете добавить множество политик для защиты ваших внешних [музыка] источников. Так что использование серверов и протоколов MCB сделает все быстрее. Вы можете подключить много вещей, а также вы будете чувствовать себя в безопасности, подключая ИИ-агентов к своим источникам. Теперь, чтобы изучить MCB, я хочу, чтобы вы поняли, как хост, ИИ-агенты и сервер MCB общаются через протоколы, как подключать базы данных и API с помощью MCP, как устанавливать разрешения и области доступа, а также как аудировать и регистрировать все действия. Так что это очень важно для создания безопасной и быстрой системы ИИ. Так что вам нужно понять эту технику, потому что вы будете использовать ее для создания своей системы ИИ. Теперь переходим к следующему навыку, и это очень важно. Вам нужно изучить LLMOps. Итак, предположим, вы создали потрясающую систему ИИ. Все работает отлично, и у вас действительно идеальный RAG. Теперь пришло время запустить ее для ваших пользователей. Прямо сейчас, если вы думаете, что после этого можете пойти праздновать и отправиться в долгий отпуск, то вы совершенно не правы, потому что если вы это сделаете, все очень быстро рухнет, модель будет медленной, расходы будут очень высокими, и ваши пользователи начнут жаловаться на ИИ и плохие результаты. Это означает, что после запуска вашей системы ИИ есть пост-активности. Так что вам нужно понять полный цикл LLM от идеи до продакшена. Как отслеживать промпты, как тестировать ваш RAG и оптимизировать его, как настроить CI/CD, как осуществлять мониторинг и оповещения. Так что есть много действий, которые вам нужно [музыка] сделать после перехода в продакшен, чтобы убедиться, что ваши пользователи доверяют вашей системе ИИ, иначе ваш проект провалится. Это все навыки, которые вам нужны, чтобы стать инженером по искусственному интеллекту. И теперь мы перейдем к последнему этапу, где мы подготовим вас к получению работы. >> Что, если мы все соберемся и наймем нового парня? >> В наши дни рынок действительно ужасен, и одна из лучших вещей, которую вы можете сделать, — это создать свое портфолио. Вы можете сделать это, создавая проекты и публикуя их на GitHub. И, конечно, есть много идей для проектов ИИ, но вот мои три рекомендации. Первый проект — "Говорить с документами". Так что вы создадите RAG-помощника для ответов на вопросы из PDF-файлов и документов, а в ответах вы будете показывать цитаты, чтобы люди доверяли ответам. Второй проект — "Говорить с данными". Так что пользователь будет задавать вопрос, ИИ-агент будет преобразовывать его в SQL. Так что он будет генерировать запрос, а затем возвращать результаты в виде графика. Это очень похоже на сервис, который сейчас предлагает Databricks. Он называется AI Genie. Он просто позволяет вам говорить с данными напрямую. Но, конечно, вы хотите создать его с нуля. Проект 3: "Автоматизация электронной почты с помощью ИИ-агента". Так что ИИ-агент будет читать электронные письма и отправлять ответы, используя конкретные четкие правила. Так что создайте один из этих проектов и сделайте его своим портфолио. Так что напишите чистый README, добавьте диаграмму архитектуры и, возможно, даже запишите короткое демо о вашем проекте. Вы покажете компаниям не только то, что вы знаете навыки, но и то, что вы можете что-то создать, и если вы хотите пойти дальше, вы можете получить сертификат инженера по искусственному интеллекту, и здесь у вас есть несколько отличных вариантов, таких как Azure AI Engineer AI 10002, это действительно сильный, вы получаете его напрямую от Microsoft, или вы можете получить Databricks Generative AI Engineer. Так что, если вы нацеливаетесь на компанию, которая уже использует Databricks, то это отличная сертификация, или вы можете получить сертификацию Data AI Fundamentals. Это хороший старт, если вы совершенно новичок и хотите получить свою первую сертификацию, а также если вы больше ориентируетесь на науку о данных, вы можете получить сертификацию AI Engineer for Data Scientist Associate. Если вы хотите выделиться из толпы, объедините проекты с сертификатами. Это действительно может помочь вам на этом ужасном рынке. Так что, мои друзья, это полная дорожная карта, чтобы стать инженером по искусственному интеллекту. Это то, что я рекомендовал своим друзьям, и у меня заканчивается кофе, так что нам нужно закончить. Как вы видите, дело не в науке о данных и обучении моделей с нуля. Все дело в том, как создать систему ИИ, для которой все компании сейчас нанимают. Если вам нравится такой контент и вы хотите меня поддержать, подпишитесь, поставьте лайк, оставьте комментарий. Это действительно помогает алгоритму. И свяжитесь со мной в LinkedIn. Я там публикую каждый день. И вы можете следить за моей рассылкой. Я пишу там еженедельно об опыте и вещах, которые я [музыка] узнал на работе. Больше ничего не остается, кроме как сказать большое спасибо за просмотр, и я увижу вас в следующем видео. Пока-пока.