Transcription
Спасибо, Энтони. Сегодня мы рады приветствовать Ян Лекуина, который является ведущим научным сотрудником по ИИ в Meta и профессором в Нью-Йоркском университете. Итак, Ян, большое спасибо, что вы здесь. Ян также является членом нашего научного совета, и ряд исследователей, некоторые из которых здесь присутствуют, кстати, работают с META над темами ИИ, и мы собираемся подписать партнерство на пять лет с META по ряду тем диссертаций. Итак, Ян, на самом деле, учился не очень далеко отсюда, изначально, в ESIЕ. А затем он защитил докторскую диссертацию в университете в Париже. А затем он уехал в Соединенные Штаты, где работал в лабораториях AT&T Bell Labs. Именно там, кстати, мы и пересеклись несколько лет назад. И на самом деле, он много работал в то время, когда тема нейронных сетей, тогда еще не называемая искусственным интеллектом, не была очень, очень популярной. Это были нейронные сети, которые были в моде в 70-х, 80-х годах и вышли из моды. И Ян был очень настойчив вместе с некоторыми своими коллегами, такими как Йошуа Бенжио и Джеффри Хинтон. Они продолжали работать и нашли новые методы обучения. Так что об этом он вам расскажет, в частности, о том, что называется глубоким обучением. которые полностью, начиная с 2010-х годов, оживили эту область. Итак, он присоединился к Facebook в 2013 году, если мои записи верны. Он основал FAIR, Facebook AI Research Lab, которым руководил несколько лет. А затем в 2018 году он получил, вместе с двумя упомянутыми мной коллегами, премию Тьюринга, которая, по сути, является эквивалентом Нобелевской премии для специалистов в области компьютерных наук. Что также интересно, я думаю, послушать у Яна есть техническая часть, но также и часть размышлений о развитии ИИ, почему, каковы проблемы прозрачности, сотрудничества, понимания текущих ограничений. И затем, я думаю, он убежден, что это инструмент, который должен быть поставлен на службу общему благу. Это он говорит, в частности, в ряде публикаций, которые вы можете найти. Есть две книги, я могу их назвать, а затем я передам вам слово. Итак, в 2018 году вышла книга "Самая красивая история интеллекта, от истоков до искусственных нейронов к новому этапу эволюции". Со Станисласом Деенном, который является профессором Коллеж де Франс, специалистом по нейробиологии. И вторая книга - "Когда машина учится: революция искусственных нейронов и глубокого обучения". Так что это не просто техническая тема, это тема общества. И Ян, мы передаем вам слово. Чтобы рассказать нам об этом. Спасибо. Спасибо, Жером. Да, мы знаем друг друга очень давно. Не будем признаваться, как давно. Итак, у меня есть красивая, красивая речь, подготовленная заранее, но на самом деле, я думаю, я не буду вам ее читать, потому что это немного, немного особенная аудитория. Так что я. я сделаю несколько рисунков на доске, чтобы немного объяснить, как работает ИИ, для тех из вас, кто еще не погрузился в эту тему, а затем задам несколько вопросов о том, каковы ограничения текущих подходов к ИИ. Я уверен, что большинство из вас играли с системами ИИ или использовали их, возможно, даже не осознавая этого, потому что ИИ используется повсюду. Но есть большие ограничения у текущих подходов, и у ИИ есть будущее, в ИИ грядет революция в ближайшие годы. И когда вы начнете свои исследования, вы станете частью этого, поэтому, возможно, вам будет интересно узнать, какой будет эта революция. У нас складывается впечатление, что нынешний ИИ приведет нас к интеллектуальным системам, возможно, на уровне человеческого интеллекта, возможно, сверхинтеллектуальным, что мы будем с ними взаимодействовать и так далее. Поэтому я постарался говорить не слишком долго, чтобы мы могли затем провести сессию вопросов и ответов, поскольку у вас много вопросов. Итак, нам нужно. Нам понадобятся, мы еще не осознаем этого, но нам понадобятся интеллектуальные системы, которые достигнут человеческого интеллекта или даже превзойдут его. История информатики заключается в том, что мы создали компьютерные системы, чьи возможности превосходят человеческие. Это немного принцип использования инструментов. Это то, что мы увеличиваем человеческую силу с помощью инструментов, будь то механические или компьютерные, логические, математические и т.д. Таким образом, ИИ следует рассматривать как средство усиления человеческого интеллекта, и это может иметь только хорошие последствия в целом. Конечно, мы можем делать это правильно, есть и риски, но не следует их преувеличивать или быть их пленниками, скажем так. Но цель — усилить человеческий интеллект, так что если мы вернемся на несколько веков назад и посмотрим, какое событие в истории имело несколько схожий эффект усиления человеческого интеллекта, вероятно, наиболее близким к этому является изобретение книгопечатания в 15 веке, по крайней мере, на Западе, которое позволило сначала гораздо шире распространять знания, чем это было в то время, мотивировать людей учиться читать, что не всегда было хорошей вещью раньше, потому что это не имело большого смысла, если у вас не было доступа к книгам. А затем распространять знания. Итак, первые знания, которые были распространены книгопечатанием, — это Библия. Это первые вещи, которые мы печатали с помощью книгопечатания. И что это вызвало? Это вызвало то, что люди смогли сами читать Библию вместо того, чтобы получать религиозное послание через священников. И это породило протестантское движение. И это вызвало 200 лет религиозных конфликтов в Европе. Итак, никто сегодня не осмелится сказать, что изобретение книгопечатания было плохим для человечества, но оно все же вызвало пагубные последствия, и которые... поэтому нужно быть готовым, осторожным, всегда есть последствия, которые трудно предсказать. Можно сравнить это, например, с влиянием книгопечатания на, скажем, Ближний Восток, арабский мир в то время, который полностью доминировал в науке в Средние века. Причина, по которой все звезды на небе имеют арабские названия, заключается в том, что арабские астрономы дали им имена. В то время как в Средние века на Западе царил некоторый мрак. А затем книгопечатание все изменило. Запад начал пробуждаться с веком Просвещения. И наоборот, мусульманский мир закрылся, запретил книгопечатание, по крайней мере, для арабского языка. И это, вероятно, способствовало постепенному упадку мусульманского мира в то время. Итак, здесь есть два урока: первый урок — распространение знаний в целом всегда хорошо, но есть и опасности, которых нужно избегать. Мы видим это и сегодня с излишествами социальных сетей и т.д. Но также нужно быть осторожным, чтобы не оказаться в положении, когда вы не принимаете технологический прогресс, особенно когда этот технологический прогресс позволяет распространять знания и науку, потому что это действительно двигатель прогресса, человеческого прогресса. ИИ, если он будет использоваться правильно, позволит усилить человеческий интеллект, позволит каждому принимать решения, которые, возможно, более рациональны, чем обычно, ускорит прогресс науки, ИИ, примененный к науке, обещает в вещах, которые интересуют студентов этой школы, таких как наука о материалах, подобные вещи, которые, вероятно, быстро продвинутся благодаря ИИ. И поэтому мы станем свидетелями нескольких десятилетий, которые будут очень отличаться от предыдущих. Не стоит этого бояться. И вы будете частью этого, я считаю, что лучше. Итак, какие отношения у нас будут с интеллектуальными системами, особенно если они будут умнее нас? Не стоит этого бояться. То есть, мы будем их начальниками. Каждый из вас, когда закончите учебу, будет иметь помощников ИИ, которые будут более или менее умными. Через три года они еще не очень умны. Через пять лет — еще больше, через десять лет — еще больше, и, возможно, умнее вас. Не бойтесь работать с сущностями, которые умнее вас. На самом деле, это лучшее, что может с вами случиться. Это иметь людей или вещи, которые работают с вами, которые умнее вас. Это история моей карьеры. Я всегда сотрудничал с людьми, которые были умнее меня. И я гарантирую, это действительно лучшее, что может с вами случиться. Так что не стоит этого бояться. Но наши отношения с ИИ будущего таковы, что системы ИИ будут как команда виртуальных людей, которые будут сопровождать нас в повседневной жизни и помогать нам. На самом деле, у меня есть ИИ-помощник в очках. Я могу делать такие вещи, как фотографировать, улыбаться. Вы видели маленькую вспышку? Но я также могу, я также могу попросить его сделать фотографию. Я не буду этого делать, потому что это немного сложно, но я также могу задать ему любой вопрос. Это как обычный LLM, который называется Meta AI, который сделан моими коллегами. Хорошо, я также сделаю селфи, еще раз улыбнитесь. Вот. Итак, что это такое? Что такое ИИ? Что такое машинное обучение? Станем немного более техническими. И почему это называется глубоким обучением? Итак. Если мы хотим обучить, если мы хотим, чтобы машина что-то сделала, мы можем написать программу. Но есть множество задач, для которых мы не знаем, как написать программу, которая позволяет выполнить эти задачи. Например, если мы хотим написать программу, которая принимает изображение, изображение — это массив чисел, это значения пикселей, которое интерпретирует изображение, чтобы сказать нам, есть ли там человек, пешеход, машина и т.д. Например, если мы хотим сделать систему помощи водителю, которая гарантирует, что автомобиль автоматически тормозит, когда перед ним переходит пешеход или какое-либо препятствие, или едет сама по себе по автомагистрали или даже где-то еще, нам нужны системы видения, которые могут интерпретировать сигналы, поступающие с камеры, например, или, возможно, других типов датчиков, но в основном с камеры, и мы не знаем, как написать программу, которая будет интерпретировать во всех случаях, есть ли на этом изображении, например, пешеход, или велосипедист, или что-то подобное, потому что вариативность настолько огромна, что мы не можем этого сделать. С другой стороны, мы умеем обучать машину делать это. Что значит обучать машину? Это значит писать программу. И эта программа принимает входные данные, которые я назову X, и, например, это изображение, то есть массив чисел со значениями пикселей. На самом деле, если это цветное изображение, есть три массива чисел для трех компонентов RGB. И в нем мы напишем очень простую программу, которая может уместиться на одной странице кода или даже на полстраницы. И эта программа выполняет числовые расчеты, сложения, умножения, сравнения. Но умножения с коэффициентами, и эти коэффициенты будут выучены. Что это значит? Возьмем очень простой случай. Очень простой случай, в котором я представлю все эти пиксели как вектор. Хорошо, так что каждая компонента вектора — это значение пикселя. И затем я хочу знать, есть ли в этом векторе, скажем, не лицо или не лицо, а скажем, есть ли буква. Здесь много пикселей, но я могу взять это как изображение. Это буква C или буква D, например. Я могу сделать что-то очень простое, что люди открыли или изобрели в 50-х годах, что заключается в вычислении своего рода линейной комбинации этих значений с коэффициентами, которые я назову W, так что это вектор. И линейная комбинация коэффициентов в этом векторе на этот вектор X. Я могу написать это как W транспонированное X, то есть сумму WI XI. И затем, если эта взвешенная сумма превышает порог, я говорю, что это категория C. Хорошо. И если она ниже порога, это не C. И я, конечно, могу использовать несколько таких единиц для распознавания всех букв алфавита и т.д. Так что главный вопрос, который мы можем задать, это какие значения придать этим весам, этим коэффициентам, чтобы, когда я покажу C, эта единица имела большую взвешенную сумму, а все остальные имели более низкие взвешенные суммы. И это основа машинного обучения или того, что мы также называли статистическим распознаванием образов. И идея обучения этому действительно очень проста. Так, например, мы можем решить, что если эта взвешенная сумма превышает определенный порог, это буква C, а если она ниже порога, это не буква C. Хорошо. Чтобы обучить такую систему, я могу сделать своего рода регрессию. Многие из вас, вероятно, слышали о линейной регрессии. Я могу сказать, например, для конкретного примера, который будет, скажем, буквой C, я хочу, чтобы эта взвешенная сумма была, скажем, равна +1. А затем, если я покажу что-то другое, букву A, B или D или что-то еще, я хочу, чтобы это было -1. Хорошо? Могу ли я найти комбинацию весов, которая обеспечит это? Итак, если у меня есть серия примеров. Которые я бы назвал так. У меня есть серия примеров, то есть изображение и метка, которая равна +1 или -1. Скажем, если я хочу классифицировать две возможные категории, я сделаю следующее: я вычислю сумму по всем этим примерам, возможно, разделю на количество примеров метки минус скалярное произведение, простите, я назвал его, я поставил I наверху, и это K. Вот, я возведу это в квадрат. Итак, это ошибка, которую совершает система. Хорошо, если я дам ей конкретный Y, она вычислит свою взвешенную сумму, и я хочу, чтобы разница между желаемым результатом и результатом, который она выдает, была как можно меньше. Это. Процедура, задача наименьших квадратов, это линейная регрессия. Мы изучаем это в элементарной статистике. Я уверен, что вы все видели это в детском саду. Или, возможно, в средней школе, или, возможно, в подготовительной школе. Хорошо, но я уверен, что вы видели это где-то. Итак, мы называем это функцией потерь. И это функция от вектора параметров W. Итак, что у нас здесь? На самом деле, у нас есть машина. чья функция вход-выход определяется вектором параметров, который выдаст нам прогноз для Y, а затем мы вычислим функцию потерь, которая будет разницей между желаемым Y и Y, который выдает машина. И задача, которую нам нужно решить, — это задача оптимизации прикладной математики. Мы сильны в прикладной математике во Франции. Как мы можем минимизировать это? Мы минимизируем это методом градиента. Это действительно очень просто. Мы просто вычисляем градиент этой функции по отношению к вектору параметров на нашем обучающем наборе. Мы вычисляем среднее значение этого по обучающему набору. И для конкретного обучающего примера, если я возьму только один член отсюда, градиент этого по отношению к W — это просто два раза yk, там минус впереди, для конкретного k xk. Итак, это скаляр, это вектор, технически там должна быть транспонированная матрица где-то, потому что градиент функции — это на самом деле вектор-строка, но забудем об этом. Итак, вот, у меня есть очень простая вещь, и метод обучения, который является методом градиентного спуска, — это просто я возьму свое значение W, заменю его на себя минус коэффициент, называемый скоростью обучения, умноженный на градиент L по отношению к W. Очевидно, что нужно вычислить среднее значение этого по всему обучающему набору, но, в общем, среднее значение производной — это среднее значение производной, и поэтому я получаю очень простую вещь: для конкретного примера wk, конкретного xk, yk, я просто делаю, простите. И это плюс. Итак, я изменяю свой параметр веса на коэффициент, умноженный на член ошибки, умноженный на входной вектор. Это очень просто, это самый простой метод для выполнения линейной регрессии, на самом деле, очень простой, но это самый простой алгоритм обучения, который можно себе представить, который был предложен в 50-х, 60-х годах и других, независимо статистиками, людьми, которые интересовались так называемой кибернетикой, адаптивной обработкой сигналов и т.д. А затем это стало целой областью, которую называли статистическим распознаванием образов и другими. Вот, это элементарное обучение, но проблема в том, что, очевидно, вычисление линейных комбинаций не позволит нам обучить машину распознавать изображения или предсказывать следующее слово после последовательности слов, как это делают чат-боты и LLM. Для этого нужно глубокое обучение. Что такое глубокое обучение? Это небольшое изменение этого, в котором у нас всегда есть вход X. Но вместо того, чтобы иметь относительно простую машину с параметрами, которая вычисляет линейную комбинацию или что-то в этом роде, мы будем складывать несколько таких. Итак, у нас может быть матрица весов здесь, а затем своего рода нелинейная функция. Я объясню, что она делает, а затем еще одна матрица весов здесь, а затем еще одна нелинейная функция, а затем, возможно, еще одна. Вот, и здесь у нас будет функция потерь, которая скажет нам, что я предсказываю Y, но желаемый Y — это вот этот для этого X, и поэтому нам придется настроить все эти параметры, которые теперь являются матрицами, я скажу вам почему через минуту, чтобы минимизировать ошибку между желаемым Y и Y, который выдает система. Почему это называется глубоким обучением? Потому что есть несколько этапов, вот и все. Это не глубже, чем это. Итак. Это опирается, и в этом революция глубокого обучения. Вы увидите, что это не так уж сложно. Это опирается на ультрасложную математическую концепцию, которую вы, возможно, не изучали в детском саду, но в начальной школе, которая называется правилом дифференцирования сложных функций. Хорошо? У нас есть несколько функций, которые мы применяем одну за другой. Как вычислить градиент функции потерь по отношению ко всем этим параметрам? И это кажется очень, очень странным, потому что мы знаем правило дифференцирования сложных функций со времен Ньютона и Эйлера, Лейбница. Но идея использовать это для машинного обучения пришла относительно недавно, в 80-х годах. Были люди, которые думали об этом в 70-х годах, но им не удалось заставить это работать. А затем это стало действительно немного распространенным в середине 80-х. А затем было десять лет, когда это было, когда были достижения в этом вопросе. А затем, в середине 90-х, по какой-то таинственной причине, исследовательское сообщество потеряло интерес к этим методам. И они вернулись с новой силой в начале 2010-х годов, и это революция ИИ, которую мы знаем сегодня, и благодаря этому возрождению интереса к этим методам. Итак, на самом деле это очень просто. Вы знаете, если мы хотим вычислить производную функции, производная сложной функции из двух функций, которые мы применяем последовательно, — это произведение производной первой функции на производную второй функции в нужных местах. Но мы можем написать это очень просто, например, если я назову эту переменную S1, а эту S2, если я хочу вычислить, например, d2l на ds1, это будет d2l на ds2, умноженное на ds2 на ds1. Правило дифференцирования сложных функций, это действительно просто. S — это вектор, эта производная — это вектор, S2 — это также вектор другого размера, это также вектор, это матрица. Это матрица, содержащая производные всех выходов. Итак, что это такое? То, что производит S2 из S1, — это этот блок. Это функция. И то, что нам нужно вычислить здесь, — это матрица, содержащая все частные производные всех выходов по отношению ко всем входам. То есть, ij-й компонент этой матрицы — это производная выхода i по отношению к входу j. Если вы немного нарушаете вход j, насколько нарушается выход номер i — это эта матрица. И если функция, которая производит S2 из S1, является линейной функцией, то есть просто матрицей, умножением на матрицу, в этом случае эта штука — просто транспонированная матрица. Это очень просто. Итак, это означает, что если у нас есть градиент наших функций потерь по отношению к Y, мы умножаем на матрицу, это называется якобиевой матрицей, мы умножаем этот градиент, который является вектором, на якобиеву матрицу этого блока, и это просто сама матрица, транспонированная. Мы получаем градиент по отношению к этой нелинейной функции, которую я не буду детализировать. На самом деле, она применяет нелинейную функцию к каждой компоненте вектора, так что это очень просто. Мы можем распространять градиенты через это тоже, затем умножать на транспонированную матрицу, и так далее. Шаг за шагом, то есть итеративно назад, алгоритм, называемый обратным распространением градиента. Мы можем вычислить градиент функции потерь по отношению ко всем внутренним параметрам системы, обновить их с помощью этого правила, которое является просто правилом градиентного спуска. И это и есть глубокое обучение. Вы можете написать это на двух страницах Python, трех, возможно. Конечно, если вы используете PyTorch, это займет четыре строки. Потому что в современных системах ИИ и программирования, таких как PyTorch, это библиотека поверх Python, которая упрощает написание подобных вещей, вам не нужно писать, как распространять эти градиенты. Вы просто пишете функцию, которая вычисляет выход по отношению к входу, и автоматически PyTorch создаст функцию, которая позволяет распространять градиенты через эти структуры, вам не нужно об этом беспокоиться. Это называется автоматическим дифференцированием, и это очень мощно для множества вещей, не только для машинного обучения, но и для множества вещей. Итак, вот, немного демистифицировано. Теперь, как работают современные системы ИИ? Те, которыми пользуются все. Их несколько видов. Есть те, которые используются для управления нашими автомобилями более или менее автоматически, или, по крайней мере, для избежания препятствий, или для автоматического торможения, если возникает препятствие. И они основаны на чем-то, что является моим изобретением, которое называется сверточной нейронной сетью, которая является особым способом структурирования этих матриц. В глубокой сети эти матрицы, вместо того чтобы быть полными матрицами, являются разреженными, и это соответствует своего рода архитектуре, которая немного вдохновлена архитектурой визуального контекста. Я не буду вдаваться в подробности, но это называется сверточной нейронной сетью. Практически все системы видения в реальном времени основаны на сверточных сетях, если это не в реальном времени, можно использовать другие архитектуры, но если нужно быстро, мы обязаны использовать это. Все системы в автомобилях помощи водителю, все системы анализа медицинских изображений, обнаружения опухолей на маммограммах, подобные вещи, все системы распознавания лиц, когда мы проходим границу, есть система, которая распознает лица, она основана на этом. Это используется некоторыми странами для шпионажа за своим населением, так что эти применения не всегда очень хороши. Он также используется все более и более важным образом в автономных дронах, то есть в конфликте между Россией и Украиной, например, украинцы строят дроны, которые имеют возможности автоматического распознавания целей, потому что системы не всегда могут управляться дистанционно из-за радиопомех, поэтому им нужно дать некоторую автономию. Это используется для множества вещей, хороших или плохих, но это абсолютно повсюду. Теперь есть другой тип архитектуры, называемый трансформерами. Это не очень хорошее название, потому что оно мало говорит о том, что оно делает, но сверточная нейронная сеть основана на математических операциях, называемых свертками, о которых некоторые из вас, вероятно, слышали. Поэтому их так и называют. Трансформеры. Они трансформируют определенным образом, но сверточные сети обладают свойством, что если мы подаем на вход изображение и сдвигаем изображение, выход сверточной сети также сдвигается, но не меняется. Другими словами, это позволяет системе обнаруживать объекты, где бы они ни находились на изображении, и мы можем перемещать объекты на изображении. Обнаружение также будет перемещаться и так далее. Они называются эквивариантными. По трансляции. Трансформеры обладают забавным свойством: они также эквивариантны по перестановке. То есть, мы подаем на вход последовательность векторов, и если мы переставляем эти векторы, выход также переставляется, но в остальном не меняется. И это интересно, если вход, который мы подаем в нейронную сеть, позиция объектов во входе не так важна. Если важно, что важно, так это их взаимосвязь. Трансформеры — это архитектуры, которые в основном используются для обработки языка, в LLM, чат-ботах и т.д. Я не буду объяснять, как это сделано, но есть много учебных пособий в Интернете, если вы хотите, но в целом это глубокая нейронная сеть с параметрами, со слоями, которые мы складываем и обучаем с помощью градиентного спуска и т.д. Теперь, как обучить трансформер? Существует особый тип архитектуры для организации трансформеров, называемый GPT, так что ChatGPT происходит от этого, это означает "генеративный предварительно обученный трансформер" на английском языке. P означает "предварительно обученный". Что означает "предварительно обученный"? Это означает, что мы не обучаем его для конкретной задачи, такой как ответы на вопросы или перевод с одного языка на другой и т.д. Мы обучаем его просто с помощью так называемого самообучения предсказывать следующее слово после последовательности слов. Итак, что мы можем сделать, это взять последовательность слов. Каждое слово кодируется как вектор. Просто мы ассоциируем вектор с каждым словом словаря. На самом деле, мы используем не слова, а подслова, называемые токенами, но это неважно. Мы берем последовательность слов, пропускаем ее через нейронную сеть, которая является своего рода трансформером, который выдает нам выход. И мы будем сравнивать этот выход со следующим словом. Наша функция потерь, на самом деле, — это своего рода расхождение между вектором желаемого следующего слова после этой последовательности слов и предсказанием нейронной сети. Это огромная нейронная сеть с миллионами, сотнями миллионов, миллиардами, сотнями миллиардов. Это может достигать 1000 миллиардов параметров. И на самом деле, эти системы могут хранить абсолютно гигантское количество информации и, таким образом, накапливать немного всего человеческого знания. Не совсем, но немного. Итак, на самом деле, способ, которым мы тренировались, немного хитрее. То есть, мы берем длинную последовательность слов. И мы обучаем не одну копию этой сети, а столько копий, сколько у нас окон во входе. Итак, мы запускаем большое количество копий этой сети, каждая применяется к разному окну, и каждая обучается воспроизводить свой вход на своем выходе. На самом деле, мы можем рассматривать это как так называемый автоэнкодер, то есть у нас есть входная последовательность здесь, та же последовательность здесь наверху, и мы просто обучаем эту сеть изучать тождественную функцию. Это кажется глупым. Зачем обучать сеть с сотнями миллиардов параметров просто изучать тождественную функцию? Но на самом деле мы обучаем ее вычислять тождественную функцию, просто она может смотреть только на определенное окно слов, чтобы вычислить следующий выход, и она не может смотреть на соответствующий вход. Найти тривиальное решение, которое заключалось бы просто в копировании входа на выход, ей приходится предсказывать. Итак, почему эти штуки работают? Почему мы можем создавать чат-боты? По двум причинам: первая — мы можем поместить туда очень, очень много параметров и обучить эти системы предсказывать следующее слово на основе очень большого количества обучающих данных, или же контекстное окно, которое может смотреть система, может соответствовать 100 000 словам или, возможно, миллиону, если нам удастся это сделать, и мы обучаем, как правило, порядка 3. 10 в 12 степени слов или токенов, это как слова. Хорошо, так что это уже много. На самом деле. Это даже 30, 10 в 12 степени. 30, я не знаю, как называется 10 в 12 степени. Каждый токен представлен примерно 3 байтами. Итак, в итоге это 0,9 x 10 в 14 степени байт. Обучающих данных, это соответствует всему тексту, доступному в Интернете публично, плюс другие, другие данные. Это заняло бы каждому из нас около 400 000 лет. Чтобы прочитать. Читая более 12 часов в день. Хорошо. Это огромно, и то, что делает система, — это то, что она изучает своего рода сжатую версию всего этого, если хотите. Итак, есть все же одна существенная проблема: в такой системе нет реальной способности к рассуждению, она просто предсказывает следующее слово, и есть проблемы с галлюцинациями, о которых мы много говорили. Теперь, сравните это... Итак, теперь я перейду к ограничениям текущих систем. Эти системы не понимают физический мир, не имеют постоянной памяти, не имеют реальной способности к рассуждению, люди пытаются это исправить, но это не очень хорошо работает, и, конечно, нет способности к планированию, если только их систематически не обучать на множестве примеров. Так что все деньги, которые сейчас тратятся на ИИ, идут на две вещи: 1) вычислительная инфраструктура, необходимая для обучения и, особенно, для работы этих штук, но также и фаза того, что называется пост-обучением, то есть доводка системы для выполнения таких задач, как ответы на часто задаваемые вопросы, поиск информации через поисковую систему для интеграции ее в ответ и т.д., и обеспечение того, чтобы она не была полностью токсичной и т.д. Так что на это направлено множество усилий. Но теперь сравним это с 4-летним ребенком. 4-летний ребенок бодрствовал в общей сложности около 16 000 часов. 16 000 часов. Информация, поступающая в нашу зрительную кору за эти 16 000 часов. Огромное количество информации поступает на сетчатку. У нас 60 миллионов рецепторов, 60 миллионов пикселей на глаз, если хотите. Но на самом деле все это сжимается, чтобы пройти через зрительный нерв. Зрительный нерв имеет только один миллион нервных волокон, которые поступают в мозг на глаз, и каждое нервное волокно может передавать около одного мегабайта в секунду. Таким образом, в наш мозг поступает около 2 мегабайт в секунду. Умножьте это на 16 000 часов, 3600 секунд в час, и мы получим около 10 в 14 степени байт. Так что 4-летний ребенок увидел столько же данных через зрение, сколько самый большой из нынешних LLM, обученный на всем тексте, доступном в Интернете публично. Итак, это говорит вам две вещи. Мы не достигнем уровня человеческого или сверхчеловеческого интеллекта просто путем обучения на тексте. Этого не может произойти. Есть люди, которые скажут вам, что да. В следующем году у нас будут сверхинтеллектуальные системы, такие же хорошие, как у докторанта, и т.д. Это ложь. Это ложь. Хорошо. Итак. Как это сделать? Это тема следующей революции ИИ. Это то, над чем я работаю уже довольно давно. Мы добиваемся больших успехов, и способ, которым мы добиваемся успехов, — это системы, называемые моделями мира. Итак, я, у меня есть множество красивых видео, чтобы показать вам роботов, управляемых такими штуками. Но я думаю, что вам интереснее понять, что стоит за этим. Итак, что такое модель мира? Модель мира — это если у вас есть представление о состоянии мира в момент времени T. И если вы представляете себе совершение действия в момент времени T. То, что нужно уметь делать, — это предсказывать, каковы будут последствия этого действия для состояния мира. Как мы пойдем? Как будет? Как изменится мир, если я совершу это действие в момент времени T? То есть, если я возьму этот телефон.
И то, что я здесь ставлю, немного меняет состояние мира. Не сильно. Не так сильно, как если бы, я не знаю, премьер-министр ушел в отставку, например. Но, в общем, это немного меняет состояние, состояние мира. Итак, что нам нужно, это нейронная сеть, которая, зная состояние мира в момент времени t, может предсказать нам состояние мира в момент времени t + 1 в зависимости от действия, которое она воображает предпринять. Теперь, как рассчитать состояние мира? Состояние мира — это не представление всего состояния мира, потому что если бы я хотел представить состояние мира, состояние комнаты в данный момент, я мог бы спуститься до уровня квантовой теории поля или чего-то в этом роде, иметь полную волновую функцию всей этой комнаты, и в принципе я могу рассчитать все, что произойдет в этой комнате, исходя из информации о волновой функции, а затем я бы обратился к квантовой механике. Очевидно, это совершенно невозможно, потому что мы не можем измерить функцию макроскопической системы, во-первых. А во-вторых, главное, у нас нет достаточно мощных компьютеров для выполнения такого рода расчетов, даже с квантовыми компьютерами, которых еще не существует. Так что это не совсем возможно. Что мы делаем как люди? Животные делают то же самое, и, конечно, в науке и инженерии это делалось очень систематично. Мы находим абстрактное представление состояния мира, которое позволяет нам делать прогнозы. Итак, вместо того, чтобы предсказывать все, что происходит в мире, как в мире политики, в терминах квантовой теории поля, мы изобретаем абстракции, такие как, например, атомы, молекулы, в живом мире — белки, органеллы, клетки, организмы, органы, организмы и т. д., вплоть до обществ, индивидов, обществ, экосистем. Итак, у нас есть вся эта иерархия. абстрактного представления мира, в котором детали нижележащего слоя немного забываются, устраняются, и мы сохраняем только ту информацию, которая позволяет нам делать прогнозы на относительно долгий срок. Итак, я привел всю эту иерархию. Вы можете заметить, что каждый уровень в этой иерархии — это разная область науки. Хорошо, есть элементарная физика, физика частиц, ядерная физика, химия, биохимия, биология и т. д. Молекулярная биология и т. д. А затем до психологии, социологии, экологии и т. д. Итак, что нам нужно, это изобрести архитектуру, которая позволяет строить эти абстракции. И, следовательно, на основе наблюдения за миром XT, обучить своего рода нейронную сеть, глубокое обучение, для создания этого абстрактного представления состояния мира. Вероятно, у нас не будет одного уровня, у нас будет несколько иерархических уровней. И чтобы обучить ее, это очень просто. Достаточно наблюдать, что произойдет с миром, что происходит с миром во время T + 1. Ввести это в тот же кодировщик, мы называем это кодировщиком. Мы называем это предсказателем. а затем сравнить предсказание... Итак, это не настоящее ST + 1, это предсказание ST + 1, а это настоящее ST + 1, которое наблюдается. Мы сравниваем эти два, а затем обучаем всю систему уменьшать эту ошибку предсказания. Итак, есть технические проблемы, в которые я не буду вдаваться в подробности, но эта архитектура называется Joint Embedding Predictive Architecture, хорошо, JEPA. Итак, это архитектура, которую я предложил относительно недавно, но сейчас в исследованиях ИИ существует большой ажиотаж вокруг нее. Так что, если вы наберете в Google Scholar, scholar.google.com, Gentle Embedding Predictive Architecture в кавычках, вы получите от 700 до 800 статей по этой теме. И я думаю, что это будущее ИИ. Итак, следующая революция ИИ, на мой взгляд, проходит через JAPA, через World Models, то есть модели мира, а затем через системы, которые, с того момента, как у них появятся такого рода модели мира, смогут планировать последовательность действий для достижения конкретной цели. То есть, по приказу цели, состояние мира должно быть в определенной конфигурации, например, чтобы мой телефон был по другую сторону ноутбука. Мы ставим эту цель, а затем система может вообразить, может предсказать, фактически, результат последовательности действий и, следовательно, может попытаться вообразить последовательность действий, которая удовлетворит эту цель, которая приведет состояние мира к определенной конфигурации. Это называется планированием. И это то, что LLM не очень способны делать, но что эти архитектуры JEPA фактически способны делать. Так что я возлагаю большие надежды на такого рода вещи, и это, возможно, идея будущего ИИ. Вот и все, я остановлюсь здесь и открою, если у вас есть вопросы. Я хотел вернуться к моделям мира, которые вы упоминали. В общем, например, если взять, если продолжить аналогию с человеком, модели мира меняются, фактически, мы адаптируем их в зависимости от ситуации. В то время как в целом, модели ИИ, есть фаза обучения, фаза вывода. Не думаете ли вы, что обучение должно быть непрерывным, то есть оно должно быть способно обновлять веса модели, как человек, фактически? Да, абсолютно. Совершенно ясно, что обучение должно быть непрерывным. Конечно, когда у нас есть модель мира как у человека, и мы предполагаем, что действие, которое мы собираемся предпринять, приведет к определенному результату, и оказывается, что мы совершили ошибку, то есть наши прогнозы были неверны, мы обычно немедленно корректируем нашу модель мира, и это происходит с нами абсолютно все время, если, например, мы берем предмет, он тяжелее, чем ожидалось, мы очень, очень быстро корректируем все мелкие коэффициенты, которые нужны в нашем мозжечке, чтобы адаптироваться, так что это метод чрезвычайно быстрой адаптации, и есть, конечно, гораздо более медленные. У меня нет моделей, которые позволяют нам предсказывать поведение человека или группы людей или общества и т. д., или рынка или сложной физической системы. Интуицию, которую мы строим, мы постоянно корректируем. Мы должны делать это с нашими системами. Это не особенно сложная концептуальная проблема. Просто не останавливайте обучение. Здравствуйте. Здравствуйте. Думаете ли вы, что ИИ скоро сможет улучшать себя? Да. На самом деле, такого рода системы, в основе которых лежит ряд теорий в психологии, популяризированных неким Даниэлем Канеманом, который также является психологом, но который был, потому что он недавно умер. но который также является нобелевским лауреатом по экономике, и он предложил то, что он называет системой 1 и системой 2. Итак, система 1 — это тип поведения, который мы, как люди, совершаем, не задумываясь. Мы настолько привыкли выполнять задачу, что делаем ее, не задумываясь и не планируя. Затем система 2 — это скорее тип поведения, который требует именно использования нашей модели мира и размышлений о том, какую последовательность действий предпринять для выполнения задачи, которую мы решили выполнить. Мы можем рассматривать, например, LLM как своего рода систему 1. Они реактивны, то есть мы даем ввод, он распространяется по, я не знаю, скольким слоям нейронной сети, он производит вывод. В то время как это скорее система 2. Путем оптимизации и поиска мы пытаемся найти последовательность действий, которая выполняет задачу, поставленную перед системой. И если у нас есть такая система, система 2, она может находить решения проблемы, о которой она изначально ничего не знала, то есть путем поиска последовательности действий, которая приводит к определенному результату, например, поиска последовательности вывода, которая доказывает математический результат. Мы учимся новому, делая это. Все задачи, которые мы выполняем, которые мы достигаем, я не знаю, мы строим что-то из дерева или играем в шахматы или что-то еще. На самом деле, мы тренируем себя, выполняя задачу и ища решения. Так что в конечном итоге, я думаю, системы, которые будут улучшать себя, будут использовать такого рода принципы. Еще один вопрос. Спасибо за вашу презентацию. У меня двойной вопрос. Думаете ли вы, что искусство общего искусственного интеллекта достижимо? И если да, то желательно ли это? Итак, есть два ответа на эти вопросы. Первый ответ — абсолютно нет, а второй ответ — да. На самом деле, это зависит от того, что мы подразумеваем под общим искусственным интеллектом, по-английски AGI. Итак, это очень, очень плохое название, чтобы на самом деле говорить об интеллекте человеческого уровня. Понятно. Но это предполагает, что человеческий интеллект является общим. Однако человеческий интеллект совершенно не является общим. Мы очень, очень, очень специализированы. И немного трудно представить, что мы специализированы, нам кажется, что мы можем решать все проблемы и т. д. Но это не так, мы очень специализированы. Более того, лучшее доказательство — это то, что вы можете купить гаджет в магазине игрушек, который будет играть в шахматы и победит вас вчистую. Эта система умнее вас в игре в шахматы. Вы заходите, я не знаю, на какой веб-сайт, вводите выражение для интеграла, и штука вычислит интеграл символически намного лучше, намного быстрее, чем вы, чем я, конечно. Итак, существует множество компьютерных систем, которые умнее нас во многих областях, и это означает, что мы не являемся общими. В любом случае, мы не являемся общими с определенным уровнем эффективности. На самом деле, мы можем даже математически это выразить. Как я сказал ранее, у нас миллион волокон в зрительном нерве. Представим, что то, что проходит через зрительный нерв, является двоичным. Итак, у нас есть миллион бит, поступающих в зрительную кору, которая находится в задней части мозга. Сколько существует функций? Это интересный вопрос для любого. Функция классификации, как я описывал ранее, на этом миллионе бит — это функция, которая принимает миллион бит и выдает один бит на выходе: 1 или 0, если это класс 1, 0, если это класс 2. Сколько существует таких функций? Сколько функций из миллиона бит? Булева функция из миллиона бит? Кто-нибудь знает ответ? Два в миллионной степени. Другой ответ. Нет других предложений. Нет. Не стесняйтесь. Хорошо, два символа из трех правильные. Там действительно два в миллионной степени. Но настоящий ответ. это 2 в степени 2 в степени миллион. Понятно? Потому что, действительно, существует 2 в миллионной степени возможных конфигураций из миллиона бит. Понятно? Так что функция характеризуется последовательностью из 2 в миллионной степени бит, а количество конфигураций этого, что является количеством функций, равно 2 в степени 2 в степени миллион. Понятно? Итак, 2 символа из 3, правильно, это хорошо. Сколько из этих функций, сколько таких функций? Может ли наша зрительная кора реализовать? Примерно. Хорошо, я дам вам небольшой ответ. Во всем мозге, не только в зрительной коре, у нас около 10 в 14 степени синапсов, то есть связей между нейронами. Именно эти связи настраиваются при обучении. Понятно, так что общая емкость нашей памяти составляет 10 в 14 степени байт, скажем так, может быть больше, может быть меньше, но примерно. Но количество функций, которые можно реализовать, изменяя все эти значения, очень мало по сравнению с этим. Это даже ничтожно мало. Это фактически бесконечно мало. Так что говорить, что у нас общий интеллект, — это полное заблуждение. Хорошо, я все еще не ответил на вопросы. Итак, первое: нет никаких сомнений в том, что в будущем, возможно, не таком уж далеком, у нас будут машины, которые будут умнее людей во всех областях, где люди умны. Итак, самые оптимистичные говорят 5 лет. оптимисты говорят 10 лет, наименее оптимистичные говорят, возможно, 20 лет, а есть и те, кто говорит, что мы никогда этого не достигнем, но у них нет веских аргументов для этого. Так что для меня нет никаких сомнений, что мы этого достигнем, но неясно, сколько времени это займет. Но я думаю, что мы, вероятно, получим хорошие идеи или идеи, которые приблизятся к ним, возможно, основанные на JAPA, в течение 3-5 лет, а затем мы столкнемся с препятствиями, которые мы не видели, и поэтому это займет больше времени, чем ожидалось, потому что так всегда было в истории ИИ. Но нет никаких сомнений, что мы этого достигнем. Но, напротив, у этих систем не будет общего интеллекта. Здравствуйте. Вы говорили о новых архитектурах, таких как GEPA, которые еще предстоит построить. И если мы, например, инженеры мостов, хотим работать в области ИИ, как мы можем сделать так, чтобы быть актуальными? Обязательно ли нам получать докторскую степень, чтобы лично заниматься этой областью, нужно ли быть блестящим в математике? И если да, то что вы нам советуете сделать, чтобы оставаться конкурентоспособными по сравнению с другими студентами, такими как студенты ENS, ULM или ICSE, например, чтобы попасть в такую компанию, как Meta? Подождите, вам не нужно комплексовать, я закончил ESIEE. Я не закончил топ, я не закончил супер. Консультант по профориентации. Консультант по профориентации. Я получил докторскую степень после этого, действительно. Нет, если вы хотите заниматься исследованиями, и что забавно в ИИ, это заниматься исследованиями, действительно, лучше получить докторскую степень. И есть правда, которая была, в общем, факт, который был верен в прошлом и больше не верен, это то, что еще 15 лет назад вы выпускались из крупной французской школы. Среди прочих, ENS, X, Centrale, Pont, Mine, machin, Télécom. Ваш путь был предопределен. На самом деле, интерес к получению степени не был очевиден, если только вы не хотели заниматься академическими или государственными исследованиями. Это больше не так. В том смысле, что теперь, если вы действительно хотите иметь карьеру, которая начинается с технической, а затем внедряет инновации, вам нужно получить докторскую степень. Произошла довольно значительная переоценка докторской степени во Франции, которой не было до пятнадцати лет назад, но которая сейчас очень, очень ясна и немного наверстывает концепцию докторской степени, которая существует в США, например, или даже в Германии, где докторская степень традиционно ценилась гораздо больше, чем во Франции. Итак, существует явная оценка докторской степени, и это ведет к профессиям, которые, на мой взгляд, более интересны. Но, в общем, я вижу себя как исследователя, инженера и исследователя, но это не для всех. Теперь, что это значит? Это означает, что технология будет развиваться чрезвычайно быстро. Что нужно научиться, это научиться учиться, потому что когда технология развивается, нужно постоянно учиться новому. Научиться учиться означает иметь прочные основы. И это преимущество, которое у нас есть во Франции, это то, что у нас довольно прочные основы в математике, физике и т. д. Чего не всегда имеют ваши американские коллеги или коллеги из других стран. Так что это преимущество, на котором нужно строить. Но что это означает на уровне курсов, которые нужно брать, например, это то, что если у вас есть выбор между курсом по обучению использованию новой технологии, программированию мобильного приложения для iPhone или чего-то еще, если у вас есть выбор между этим и курсом квантовой механики, возьмите квантовую механику. У вас создается впечатление, что вы никогда не будете использовать квантовую механику, если вы занимаетесь гражданским строительством. Но на самом деле, да, потому что методы, которые были изобретены в контексте квантовой механики, на самом деле используются абсолютно везде. Например, я не очень разбираюсь в таких деталях, но если мы хотим проводить вероятностный вывод в таких системах, с ожидаемыми переменными, где нужно попытаться найти распределение без этих ожидаемых переменных, или управлять неопределенностями в этих прогнозах с помощью так называемых диффузионных моделей, о которых я не говорил. Это то, что мы используем для генерации изображений. Математика этого — это математика, разработанная физиками в 20 веке в контексте статистической физики, и которая фактически опирается на квантовую механику. Некоторые методы вероятностного вывода также опираются на математические методы, очень похожие на то, что называется интегралами по траекториям. которые были разработаны Ричардом Фейнманом после Второй мировой войны. Так что базовые методы. Изучайте базовые методы, срок службы которых, дата операции и после окончания карьеры. Понятно. А не технологии, срок службы которых составит пять лет. И в любом случае, они будут становиться все короче, потому что прогресс ускоряется. Учитесь учиться. Здравствуйте, у меня два вопроса, которые перекликаются, в частности, с предыдущей вступительной лекцией, которую мы имели неделю назад, господина Оливье Аманда. Первый — как вы относитесь к параллели ИИ и климатического кризиса? В частности, думаете ли вы, что ИИ может помочь нам решить климатический кризис, особенно в отношении мирового энергопотребления, которое постоянно растет? из-за ИИ, в частности. И мой второй вопрос касается парадигмы надежности и производительности. Вы много упоминали тот факт, что мы постоянно пытаемся улучшить производительность и эффективность алгоритмов, в частности с помощью GEPA. Думаете ли вы, что это парадигма, в общем, концепция, которая долговечна, или она скорее рискует привести нас к зависимости от этой технологии и столкнуться с кризисами, особенно, например, с Microsoft недавно, мировыми, которые рискуют сделать нас более уязвимыми. Спасибо. Хорошо, есть 4 вопроса, по крайней мере. Итак, зависимость от технологии, мы зависим от технологии, это просто еще один этап в этой зависимости, но, в общем, это уже так, мы полностью зависим от технологии. Так что я не вижу в этом качественно иного, обязательно, проблемы. Затем энергетические проблемы. Итак, есть разные мнения по этому вопросу. Доля. Среди всей энергии, потребляемой в мире, доля, которая в настоящее время потребляется центрами обработки данных, на самом деле относительно мала, она составляет порядка 2 или 3%. Итак, она будет расти, потому что существует абсолютно гигантские усилия по строительству центров обработки данных из-за того, что нужно запускать системы ИИ. Это не столько обучение, сколько вывод. То есть, как только системы ИИ обучены, чтобы достаточно быстро отвечать на вопросы всех пользователей, особенно в будущем, когда все будут носить умные очки или что-то в этом роде, нужна большая инфраструктура. Так что именно это сейчас строят все гиперскейлеры и все такое, это инфраструктура. Итак, это потребляет много энергии, и эта энергия не обязательно доступна в местах, где эти компании хотят строить эти центры обработки данных. Так что они делают сейчас, они ставят газовые турбины рядом со своими центрами обработки данных, что не очень хорошо для выбросов. Но многие из них массово инвестируют в ядерную энергетику. и фактически это дает новую жизнь ядерной энергетике, которая была более или менее заброшена, безусловно, в США, в Германии, и мы не были далеки от того, чтобы отказаться от нее во Франции, и люди теперь говорят, что на самом деле это лучший способ производства энергии, которая нам понадобится, это низкие выбросы и т. д. Так что, вероятно, есть довольно блестящее будущее для ядерной энергетики, возможно, не тот тип ядерной энергетики, к которому мы привыкли во Франции, технологии EPR и все такое, что мы разработали, возможно, скорее реакторы меньшего размера, такого рода вещи. А затем возобновляемая энергия, но проблема возобновляемой энергии в том, что нужно найти способ крупномасштабного хранения энергии. потому что когда нет солнца или ветра, все равно нужно производить энергию. Так что для этого нужно уметь хранить энергию. Мы можем делать это с помощью батарей, но это довольно ограничено. Так что технологии, но здесь скорее Жером, специалист по батареям. Это не я. В любом случае, со временем, я не знаю, вы все еще связаны с батареями. И на самом деле, вероятно, самый эффективный способ хранения энергии — это водород. Так что использовать электричество для разделения водорода и кислорода. Итак, это область, в которой ИИ может играть роль, потому что у нас нет метода эффективного разделения водорода и кислорода, который мог бы масштабироваться. Мы можем делать это эффективно, используя катализаторы типа платины, но это слишком дорого. У меня есть коллеги, целая команда в META, которая называется химическая группа, которую возглавляет некий Ларис Зитник, у них есть открытый проект в сотрудничестве с университетами, возможно, некоторые из вас хотят сотрудничать, который называется Open Catalyst Project, это opencatalystproject.org, я думаю, в котором у них есть большая база данных, полученная путем численного моделирования того, что называется DFT, это моделирование химии, фактически абсорбция молекул воды на различных субстратах, полученных путем моделирования, и мы можем использовать это как обучающие данные для обучения нейронной сети предсказывать, каковы будут свойства катализатора материала или конкретного соединения. Обещания ИИ в науке о материалах и химии огромны, и это очень перспективная область, и я думаю, что это область, которая заинтересует многих людей здесь. А по поводу надежности против производительности? Да, есть одна интересная вещь относительно нейронных сетей, это то, что именно нейронные сети более или менее по своей конструкции надежны. Если вы возьмете нейронную сеть, обучите ее, а затем удалите некоторые параметры, вы повредите некоторые из ее юнитов. Она работает примерно так же. Она деградирует, но деградирует постепенно. Итак, это свойство пока не очень интересно, потому что у нас нет аппаратных систем, где мы моделируем эти системы на не совсем классических компьютерах, это GPU, это очень параллельно, но чтобы эта надежность имела смысл, нужны были бы реализации этих нейронных сетей, которые были бы немного больше похожи на мозг, то есть с одним физическим нейроном на нейрон в нейронной сети. И этого пока нет. У нас нет технологий для этого, но эти системы в целом надежны. Возможно, последний вопрос. Здравствуйте, большое спасибо за очень интересную презентацию. У меня был вопрос. Я хотел узнать, что вы думаете о зависимости Европы от... Американских технологий. Тот факт, что в прошлом году два Нобелевских лауреата по физике. И по химии от команд Google. Я знаю, что французы очень представлены на арене ИИ, в частности через команду Meta в Париже, Mistral и т. д. Но, несмотря на это, мы должны признать, что мы чрезвычайно зависимы в сложном мировом контексте. Думаете ли вы, что Европа должна сыграть свою роль? Должны ли новые поколения создавать стартапы? Что вы думаете о будущем Европы, именно? Итак, да, очень важный вопрос. Итак, во-первых, нужно сказать, что Нобелевские премии по химии, о которых вы говорите, Демис Хассабис, Джон Джампер и Дэвид Бейкер. Дэвид Бейкер — американец, двое других — англичане. Они базируются в Лондоне. Они не американцы. Они работают на американскую компанию, но базируются в Лондоне. Модель открытого исходного кода, открытый исходный код LLM, произведенный, или семейство открытых исходных кодов LLM, произведенное Meta, является результатом исследовательского проекта, проведенного в Париже дюжиной человек, почти все французы. Так что это был LAMA1, который был произведен в конце 2022 года и был, скажем так, доступен в начале 2023 года, а затем последовал LAMA2 и т. д. И затем, в общем, затем подключилась большая организация с людьми со всей Европы, США и т. д. Но исток — это небольшая исследовательская группа, дюжина человек в Париже, почти все французы. Двое из этих людей основали Mistral. Понятно, так что я хотел бы вам сказать, что в META в Париже, в парижской исследовательской лаборатории, FAIR, которая является организацией фундаментальных исследований, около 500-600 человек. В Париже более 100 человек, скорее около 140. Из этих 140, 40 — это аспиранты на стажировке, и мы выпускаем дюжину в год. Понятно. И на самом деле, мы подпишем соглашение, которое позволит делать это более систематично с NPC. Так что нам не нужно комплексовать в Европе. У нас есть таланты, и это самое сложное построить. Если у нас этого нет, то это таланты. Теперь, что нужно, это дать этим талантам средства для развития. И здесь Европа добивается прогресса, но не идеальна. Большая разница в том, что в США, например, существует относительно легкий доступ к капиталу. То есть, если вы хотите создать стартап и привлечь 500 миллионов, 1 миллиард, это делается. В Европе это сложнее. Но это начинает меняться. Так что я думаю, что будущее на самом деле довольно... Довольно блестящее. И нужно также сказать, что, как я говорил в начале конференции, что. Мы стали свидетелями нескольких революций ИИ за последние годы. Последней была LLM, генеративный ИИ. Это не последняя. Как я говорил, в ближайшие 3-5 лет произойдет еще одна, как раз к тому времени, когда вы закончите. Хорошее время, чтобы начать докторскую степень. И я думаю, что Европа должна сыграть очень важную роль в этой следующей революции. Спасибо, Ян. Я предлагаю нам поаплодировать.