Transcription
Сегодня я покажу вам, как выделиться, создав девять проектов ИИ-агентов в девяти отраслях, решающих сложные глобальные проблемы. Я дам вам архитектуру, технологии, код и ресурсы для самостоятельного создания этих проектов, а также использую Gemini 3 как конструктор предварительных агентов… Я Марьям, доктор наук, с более чем двадцатилетним опытом в области ИИ, обучающая ИИ-агентов тысячам людей в более чем девяноста странах… Это крупнейший цветочный рынок в мире в Амстердаме, сорок три миллиона цветов ежедневно. Но проблема, с которой они сталкиваются, заключается в том, что покупателю нужно мгновенно узнать вид, качество и цены по одной фотографии. Так как же мы можем решить эту проблему? Когда я была в Музее Будущего в Дубае, я увидела, что у них была библиотека растений. Вы могли просто провести рукой по растению, получить информацию в своем ручном сканере обо всем, что касается этого растения. Так что мы можем сделать то же самое для нашей проблемы цепочки поставок для цветочного рынка, и мы называем это системой ИИ-агентов для сканирования инвентаря. Итак, как мы можем ее построить? Нам нужен RAG, модель зрения, чтобы смотреть на наши растения, помещать их в векторную базу данных, использовать конвейер RAG для получения цен в реальном времени. Итак, для стека технологий мы можем подумать о Gemini Pro или любой модели зрения, у вас может быть Quadrant или Chroma для векторной базы данных, использующей Langchain для оркестровки RAG и интеграции данных аукциона в реальном времени. Затем свяжите это с рыночными данными. На концептуальном уровне это именно то, что мы можем построить. В архиве у нас также есть очень хорошая статья, это метод, который они используют для перехода от класса царства к виду. И все эти статьи могут дать вам дополнительные решения для вашей системы ИИ-агентов… о том, как мы можем использовать это и для другого проекта… о том, как мы можем использовать это и для другого проекта. Это проблема, с которой сталкиваются так много стран. Например, Япония имеет самую развитую инфраструктуру в мире и в то же время сталкивается со всеми возможными стихийными бедствиями в мире: землетрясениями, наводнениями, извержениями вулканов, и ИИ может помочь в этом, но проблема в том, что большинство стандартных ИИ просто реагируют, а нам нужно что-то, что может предсказывать будущее. Поэтому наше решение — создать систему ИИ-агентов для геопрогнозирования. В этом проекте источники данных чрезвычайно ценны. Так, спутниковые и сейсмические данные, социальные сети — все это дает нам фактические риски. И если мы посмотрим на… систему агентов, которую мы можем построить, мы используем эти данные для проведения анализа. И эти данные, по сути, являются временными рядами. Я покажу вам в другом проекте, как мы можем решать проблемы временных рядов с помощью LLM, но мы также можем использовать LSTM. И мы смотрим на сейсмические данные, затем мы можем использовать некоторые спутниковые мониторинговые агенты. Так что это мультиагентная система. второй агент будет… Итак, второй агент просто смотрит на спутник, будет мониторить, будет смотреть на него и скажет, есть ли смещения грунта… Следующий — агент корреляции погоды. Итак, мы знаем, насколько дожди и наводнения коррелируют. Так что это еще один сигнал, который мы можем получить. А затем мы смотрим на исторические закономерности, используя RAG. Так что, если нам когда-нибудь понадобится система с базами данных текста, мы можем использовать RAG. И, наконец, агент координатора прогнозирования может сделать что-то вроде машинного обучения самым простым способом и объединить все эти сигналы. По сути, мы объединяем ряд сигналов, чтобы получить очень хороший прогноз… Для стека технологий мы думаем, что нам всегда нужны рассуждающие LLM, нам нужна какая-то платформа, например Groq, нам нужен растровый visão для спутниковых снимков, ChromaDB, конечно, для наших геопространственных вложений и Langgraph или любые фреймворки, это может быть Pydantic AI. Я преподаю все это. Все они полностью подходят для этой проблемы, а затем вы строите свою мультиагентную систему… Помните, прорыв заключается в объединении слабых сигналов: смещения грунта, дождя, исторических закономерностей, и тогда вы можете получить очень хороший прогноз. И наш прогноз, по сути, может создать систему оповещения. И, как я уже говорил, это не только для Японии, но и для многих стран существуют эти различные стихийные бедствия, и мы можем выполнять такие проекты для всех этих стран. Буквально каждая страна в мире имеет инфраструктуру. Моя докторская диссертация по использованию ИИ для прогнозирования качества асфальта получила Европейскую золотую медаль за видение будущего. Почему? Потому что это влияет на каждую дорогу в стране, экономя миллионы денег и жизней. Асфальт — это безумно дорого. И на автомагистралях скрытые повреждения вызывают смертельные аварии. Проблема в том, что нам нужно вовремя увидеть повреждения. И наше решение — фактически создать инфраструктурного агента. Итак, что нам нужно сделать, это фактически понять эти повреждения, определить их серьезность и также точно, сколько месяцев до отказа, то есть технического обслуживания. Давайте посмотрим на наше решение. Что мы можем сделать, это агент инспекции, агент инспекции. Если вы спрашиваете почему, потому что вы не можете просто провести какие-либо измерения, когда люди ездят. Так что вам нужно… специальное… лечение, поэтому вам… вам всегда приходится организовывать инспекцию. Затем мы хотим классифицировать нашу… серьезность. После классификации мы можем перейти к планированию технического обслуживания. Итак, у нас есть наш агент инспекции, наш агент серьезности, агент технического обслуживания, и когда мы знаем, что в нашей системе, наши исторические данные, каково точное количество месяцев, которое коррелирует с повреждением. Тогда мы можем получить это из RAG, и у нас есть агент оптимизации затрат. В конце концов, вы всегда можете решить проблему оптимизации. Итак, у нас есть проверка серьезности, планирование, оптимизация, а затем у нас есть наш оптимизированный график ремонта. Итак, ключевые преимущества заключаются в том, что мы очень сильно минимизировали время простоя для нашей инфраструктуры… Мы можем использовать это также для мостов… но, конечно, то же самое касается и железных дорог. В отделе, где я работал, и дороги, и железные дороги делали одно и то же, потому что все они, потому что, по сути, все они являются активами, и большую часть времени вам нужно знать материал и механику, стоящую за этим, и тогда вы можете предсказать что угодно… В этом случае это всегда работа с нашими, что означает, что вам всегда нужно работать особенно, особенно с инженерами и… понимать физику, стоящую за всем этим, и понимать физику, стоящую за всеми этими материалами. Получение этих знаний может занять месяцы. Я покажу вам позже, как ускорить этот процесс с помощью Gemini 3. Здравоохранение — это индустрия стоимостью в миллиард долларов, это одна из тех вещей, которые нужны всем нам. Так что мы также будем создавать медицинских агентов. Но прежде чем мы перейдем к этому, если вы запутаетесь, когда я объясняю о фреймворке агентов, есть, по сути, разные библиотеки фреймворков агентов с разными возможностями. Некоторые из них очень подробные, как Langchain, а некоторые очень высокого уровня, как CrewAI и Pydantic AI, а OpenAI SDK находятся где-то посередине. И, конечно, у нас также есть MCP. Но все, что вам нужно для создания агентов, — это приличное количество знаний в программировании на Python. У меня есть все это в моем обучении Mastery Agent, и вы можете просто проверить ссылку в описании. И если вы хотите начать сегодня, я сделал один модуль моего обучения бесплатно. Он проведет вас от нуля до героя, это 30-минутное глубокое погружение. Также включено ценное бесплатное руководство, и ссылка на него также есть в описании. Хорошо, теперь проект «Здравоохранение». Это МРТ-скан мозга моего отца сразу после того, как его доставили в больницу. У него была тяжелая инфекция, и ему оставалось жить всего несколько часов… В этот момент у врачей есть технология, но их приоритет — спасение его жизни. Они не могут доверять алгоритмам «черного ящика». Им нужно знать, почему принято решение, чтобы действовать быстро. «Черный ящик» ИИ здесь опасен… Вот почему мы выбираем систему ИИ-агентов для объяснимой медицины… Давая вам краткий обзор кода, вам нужно… чтобы начать его создавать, например, с помощью Langgraph, вы предоставляете классы, а затем начинаете с парсинга документов. Способ, которым мы его строим, заключается в парсинге этих документов или МРТ, например, МРТ истории болезни пациента, любых данных о пациенте, затем анонимизации из-за конфиденциальности пациентов, некоторой подготовки данных. Вы можете представить, что существует множество терминологий, и нам нужно конвертировать единицы измерения. Затем нам нужна векторная база данных медицинских публикаций, PubMed — одна из известных. Затем диагностика и прогнозы. И здесь нам нужна мультимодальная визуализация, симптомы, и мы также можем использовать специализированные LLM здесь. И после этого мы можем использовать агентов объяснимости, которые фактически генерируют понятные для человека рассуждения. Ключевые преимущества здесь заключаются в том, что он, по сути, очень прозрачен и объясним, и безопасен для использования медицинским персоналом. Для стека технологий, как вы можете видеть, многие из них знакомы, точно так же, как и раньше, вы можете использовать Langgraph или Pydantic AI, Chroma для базы данных, Gemini Pro — очень хорошая мультимодальная медицинская система, и, конечно, для объяснимости мы можем использовать SHAP values, что является очень простой библиотекой для использования. В более позднем проекте мы можем снова использовать SHAP. Кстати, есть так много статей, из которых вы можете черпать вдохновение, а также изучать методы, объяснимый ИИ, Stanford Medical Imaging и MedGraphRAG. Говоря о GraphRAG, мы будем создавать GraphRAG в следующем проекте… Финансовые преступления — еще одна глобальная проблема, как я уже говорил, у меня более двадцати лет опыта в области ИИ, и пять из них я боролся с финансовыми преступлениями: уклонение от уплаты налогов, торговля людьми и терроризм… Преступники перемещают деньги и товары через разные страны и скрывают их в миллиардах транзакций. Они скрываются за сложной сетью. Вот почему нам нужно использовать граф для захвата сложности, но также и объединять данные разных банков и финансовых учреждений для достижения этой цели. Мы называем это системой ИИ-агентов для обнаружения финансовых преступлений на основе графа. Так как же выглядит архитектура? Конечно, как я говорю, графовая база данных, Neo4j — платная. У вас также есть много бесплатных библиотек. После этого все дело в обнаружении аномалий с помощью isolation forest или автоэнкодеров. Конечно, нам нужен LLM для генерации повествования, и мы можем создать нашего агента для расследования этого сотрудничества. Здесь сложность агента не так высока, поэтому мы можем использовать CrewAI, один из тех пяти, которые у меня также есть в моем курсе. И, наконец, вы можете поместить все в векторную базу данных для сопоставления сущностей. Итак, у нас есть сетевой анализ, обнаружение аномалий, повествование LLM, сотрудничество агентов и сопоставление сущностей, и, наконец, у нас будет это скоординированное расследование. Это будет выглядеть так, что вы увидите все транзакции, найдете подозрительный шаблон в графе, а затем скажете, что именно вызывает это, и поскольку мы используем сотрудничество между следователем и ИИ-агентом, мы можем построить и преследовать оба дела. Помните, я говорил, что мы можем использовать это для другого проекта? Этот также заключается в том, что мы достигаем ключевого отличия, добавляя объяснимость поверх всего. Microsoft имеет хороший репозиторий на GitHub по GraphRAG. Вы можете ознакомиться с ним и увидеть больше деталей. Все, что движется из точки А в точку Б, требует логистики, и это глобальная проблема. Это порт Роттердама, крупнейший в Европе. Тридцать тысяч кораблей и пятьдесят миллионов контейнеров ежегодно, но логистика — это кошмар. Это причина одной задержанной отправки, более двухсот пропущенных стыковок, груз не успевает на стыковочные рейсы поездов, скоропортящиеся товары портятся, контракты нарушаются, миллионы штрафов и убытков. Так что нам определенно нужно создать логистических ИИ-агентов, еще одну удивительную систему ИИ-агентов. Я уже показал вам так много ИИ-агентов до сих пор. Давайте посмотрим, что отличает этот. Итак, нам нужно управление состоянием, то есть память. Нам нужно отслеживать все, и то же самое, что и везде, специализированные агенты, оптимизированные для контейнеров. Но нам также нужна петля обратной связи. Нам не нужно пятьдесят агентов здесь, но агенты должны работать постоянно онлайн, уточнять свои планы, а затем выполнять их, когда это будет готово. Итак, первый, оптимизатор агентов, просто решает, какой корабль обслуживать первым. Думайте как портовый менеджер, создает план: корабль А, С и В. Второй — валидатор, проверит, физически ли план возможен, корабль А подходит к причалу А, кран доступен, корабль С тоже, значит, недействителен. Так что отправляет отзыв: корабль С не подходит, попробуйте снова. А агент три — это, по сути, монитор, следит за изменениями, запускает перепланирование. Каждый раз, когда что-то происходит, агент мониторинга меняет планирование. Как вы видите, очень сложная система, которую вы все еще можете свести к трем ИИ-агентам, если подумать о лежащей в основе логике. Тип статей, которые вы можете использовать, например, логистика складов, и они дадут вам разные решения в этой области. И этот репозиторий на GitHub по адаптивному ИИ-кластеризации цепочек поставок также может быть очень полезен для этого. Итак, мы покажем вам фактическую сложность и как справиться с ней в таких ситуациях. Я применял ИИ в энергетическом секторе, мы обнаружили влиятельный тип мошенничества. Незаконные конопляные фермы, они крадут огромное количество электроэнергии и вызывают сильные пожары, уничтожая большие многоквартирные дома. Это четыре миллиарда долларов ежегодных расходов в Европе. Это огромно, и пожары от перегруженных цепей убивают людей, сжигают здания. У вас большой риск безопасности. И они потребляют примерно в десять раз больше электроэнергии, чем обычный домохозяйство, но скрывают закономерности потребления. Так что задача состоит в том, чтобы обнаружить такого рода манипуляции с сигналами в терабайтах данных счетчиков. Почему традиционные методы терпят неудачу, так это потому, что если у вас есть система, основанная на правилах, у вас есть правила и детекторы, а преступники адаптируются быстрее, чем вы просто обновляете правила. И простые обнаружения аномалий не сработают, потому что у нас много ложных срабатываний. Так что мы можем использовать LLM, которые являются предсказателями следующего токена. Так что теперь мы можем фактически предсказать следующий сигнал, и мы называем это системой ИИ-агентов для энергии и сигналов. Архитектура, по сути, такая же, как и проблема, которую мы объяснили. У нас есть агент сбора сигналов, который обрабатывает данные, получает все данные счетчиков, затем у нас есть агент анализа закономерностей, который будет использовать трансформерную модель, обученную на потреблении энергии… а затем агент обнаружения аномалий сравнивает прогнозируемое и фактическое и помечает неожиданные всплески и необычные согласованности, такие как фазовый дисбаланс. Затем агент расследования, у нас будет система RAG, например, генерация приоритетов расследования, семьдесят два процента совпадения с известной сигнатурой домохозяйства. Наконец, у нас будет агент оценки риска пожара, который будет рассматривать риск перегрева, а также мощность проводки. Здесь мы создаем большое оповещение о немедленных опасностях. Технологический стек, как я сказал, это трансформер временных рядов, у нас есть Langgraph, у нас есть векторная база данных, и мы можем использовать Pydantic AI из всех различных фреймворков. Pydantic AI лучше всего обрабатывает структурированные данные. Помните, у нас был этот ручной сканер? Также вы можете использовать его для этого проекта, потому что вы можете просто сканировать планы квартир и сразу же определять, в какой квартире находится эта конопля. И это очень помогает властям, таким как полиция и пожарная служба, обеспечить безопасность людей в этих многоквартирных домах. Давайте войдем в мир образования. В мире два миллиарда детей, и их число только растет. Всем детям нужно образование, но в зонах конфликта образование выглядит иначе. Талант есть везде, но доступность и возможности — нет. Так как же нам вдохновить ребенка в ограниченных условиях на безграничный прогресс? Давайте создадим вдохновляющие ИИ-агентства для образования. Когда дети могут представить, кем они могут стать, они могут сформировать то, как они видят свой собственный потенциал. Так как же выглядит технология? У вас будет агент зрения, агент знаний о карьере RAG и агент генерации голоса. Первый получит распознавание лиц, перенос стиля, получит фотографию ребенка, а затем фактически сгенерирует различные обстановки в больнице, лаборатории или космической станции. А затем знания о карьере — это то, куда мы помещаем все, например, требования к карьерному пути, локализованные для страны и языка ребенка. Затем у нас есть одиннадцать лабораторий для многоязычной генерации голоса… и это даст нам: «Хорошо, я знаю, что школа сейчас трудна, но представьте, если вы станете этим», и мы объединим это с сгенерированным изображением в видео, и это вдохновляющее карьерное руководство для ребенка. Технологию можно реализовать, например, с помощью CrewAI, Gemini ProVision. Нам нужна некоторая доводка с помощью LoRa, потому что мы фактически хотим генерации профессиональных портретов, затем мы можем использовать, например, Langchain для создания RAG. Так что мы можем объединить два фреймворка, ElevenLabs для генерации голоса, мы можем использовать MoviePy для сборки видео и объединения медиа. И мы можем сгенерировать мультимодальный инструмент, который должен выглядеть так. Вы получаете фотографию ребенка, а затем выводится 30-секундное видео, в котором вы рассказываете ребенку, кем он может стать. И главная миссия — технология должна расширять возможности, а не ограничивать их. Так что стоимость этого может быть действительно, действительно низкой. Кибербезопасность — еще одна крупная отрасль, которая очень помогает. Прежде чем перейти к проблеме кибербезопасности, давайте рассмотрим предварительный агент Gemini 3, который я обещал. Хотя это очень короткая демонстрация, она может сэкономить вам недели при работе над этими проектами. Итак, я здесь в Google AI Studio, asu.google.com. Я использовал Gemini 3 Pro. Я загрузил данные журналов безопасности для нашего проекта кибербезопасности, который я покажу вам через минуту. Данные выглядят так. И я попросил проанализировать прикрепленные журналы безопасности данных и вернуть результат в виде красиво отформатированного HTML. Почему? Потому что для каждого из проектов, которые у вас есть, вам нужно бизнес-понимание и понимание данных. Я покажу вам, как гораздо быстрее понять данные. Итак, вы просто подаете его, затем он начинает анализировать, определять, создавать, уточнять, проектировать и строить. Вы увидите, как он строит, затем я скажу: «Где я могу найти сгенерированный HTML?» И он даст мне сгенерированный HTML. Если я нажму на него, я получу эти данные, что потрясающе. Позже, когда вы увидите, как я создаю этот проект, вы увидите, что это извлечения, которые я сделал, все с помощью агента. Итак, оповещения высокого приоритета будут содержать все типы событий. Он содержал все события и уникального пользователя, атаку методом перебора, у нас есть эскалация, данные трафика и анализ. И вы можете задавать больше вопросов и лучше понимать свои данные. Итак, я посмотрел на временной ряд событий, покажи мне. Он покажет мне фактическое время события для пользователя, для конкретного пользователя, и это временной ряд этого. Вы также можете дать мне исполняемые фрагменты кода, все на Python. Затем я протестировал бизнес на месте. Итак, где я могу найти полную СОП кибератак? Он дает мне список золотых стандартов, и я спрашиваю: «Можете ли вы скачать его?» Точная информация и создание визуального HTML, чтобы я понял каждую концепцию. Это удивительно сделано. Он сделал именно то, что я просил. Перешел к NIST, а затем создал оценку рисков подготовки и все остальное, а также обнаружение и анализ, что вам нужно сделать, документацию, все. Затем сдерживание, искоренение и восстановление, вы можете увидеть, что каждая концепция объяснена, а затем пост-инцидентная деятельность. Таким образом, я могу стать экспертом по кибербезопасности гораздо быстрее. Когда я делал свою докторскую диссертацию, мне пришлось стать инженером-строителем. Мне также пришлось изучать это месяцами, чтобы понять каждую концепцию. Но теперь вы можете сделать все это за часы. Так что я хочу, чтобы вы обратили внимание и использовали это. Gemini 3 Pro отлично справляется с этим. Выполнение кода, пожалуйста, включите его и заземление с помощью поиска Google, чтобы получить достоверную информацию. Я заметил, что это первый раз, когда вы можете действительно доверять большей части этой информации. Один совет: не ведите очень долгий разговор с Gemini 3 Pro. Это просто сбивает с толку. По моему опыту, у него нет очень хорошей памяти. Идеального не существует. Он действительно хорош в анализе, но начинайте свой чат очень часто и не помещайте весь анализ в один чат. Его контекстное окно действительно не такое уж и большое. У меня есть видео по контекстному инжинирингу, и сам по себе контекстный инжиниринг очень важен. А теперь давайте перейдем к созданию защиты ИИ в области кибербезопасности. Вы можете создавать все эти удивительные системы ИИ. Если вы не можете их обезопасить, вы не создали продукт, вы создали цель. Так что нам нужна безопасность. Кибератаки в масштабе действительно могут повлиять на нас даже до такой степени, что вы не сможете расплатиться в вашей местной пекарне, поэтому мы хотим фактически защитить себя от этих кибератак. Так что определенно нужна защита от киберугроз, и то, что вы могли бы сделать, это прием журналов, анализ угроз, оркестровка реагирования и агенты рассуждений. Я создал этот проект за двенадцать шагов со всеми деталями в LangGraph. Так что, если вы хотите перейти от ничего к полной панели управления для защиты ИИ в области кибербезопасности, посмотрите это видео. Увидимся.