Transcription
[Музыка] Приветствуем Ширану Дода Панини. [Музыка] [Аплодисменты] >> Привет, вселенная. Как у всех дела сегодня? >> Хорошо. Хорошо. Вокруг метрик есть какая-то энергия. Я Шария Давини, вице-президент по инжинирингу в GitHub. Вы, должно быть, уже инвестировали в ИИ или думаете об этом. Следующая задача — как измерить влияние ИИ? Метрики — это то, как вы связываете инновации в области ИИ с бизнес-результатами. Сегодня мы поговорим о том, как наши клиенты и мы в GitHub используем метрики для управления этим процессом. Итак, быстрый опрос. Поднимите руку, если вы считаете, что метрики важны. Это очень хорошо. Примерно 90% из вас так думают. Видите, метрики уже работают, даже до того, как я начал. Но если серьезно, это ближе к 100%. Мы рассматриваем метрики как путешествие. Оно начинается с метрик принятия и использования, показывающих, кто использует Copilot и как. Затем оно перерастает в метрики мастерства и эффективности, показывающие, насколько эффективен ИИ в вашей организации и как он трансформирует ваши рабочие процессы. Наконец, оно перерастает в бизнес-метрики и метрики влияния, показывающие, как это транслируется в скорость, качество и рентабельность инвестиций. Прямо сейчас мы находимся на первом этапе, помогая нашим клиентам понять, как измерять принятие и использование. Наша цель — получить представление о бизнес-результатах и рентабельности инвестиций. Мы еще не там, но планируем вас туда привести. Имея это в виду, я рад объявить о публичном предварительном просмотре обновленной панели метрик Copilot и API сегодня. [Аплодисменты] С помощью этого вы получаете доступ к метрикам использования и принятия по всему вашему предприятию. Мы создали метрики GA в феврале 2026 года. Это наша первая веха, но это только начало. Сегодня вы сможете выбрать участие в публичном предварительном просмотре и получить доступ к метрикам Copilot. Корпоративные администраторы могут включить это для своих предприятий через политики плоскости управления агентом. Давайте воплотим это в жизнь. Встречайте Mona, Inc., компанию, которая очень похожа на вашу. Они приняли Copilot и используют панель метрик Copilot, чтобы понять, куда движется ИИ и где им нужно сделать больше. Давайте пройдемся по нескольким реальным клиентским сценариям, вдохновленным Mona Inc. Мы также поговорим о том, как разные уровни в компании используют панель метрик для стимулирования и измерения влияния. Во-первых, у нас есть технический директор Mona Inc. Они используют метрики для принятия стратегических решений. Они хотят понять, как Mona Inc. позиционируется как организация, ориентированная на ИИ, с уровнем принятия агента 72%. У них есть конкретная базовая линия, против которой они могут работать, а не анекдотические отзывы. Технический директор хочет понять, как Mona Inc. добивается прогресса на пути трансформации ИИ, и эта метрика предоставляет именно это. Далее у нас вице-президент по инжинирингу Mona Inc., и это я. Их волнует счастье и продуктивность разработчиков. Они подходят к панели с вопросами стратегического инженерного руководства. Они ищут информацию, чтобы понять, как ИИ влияет на повседневную деятельность инженеров. Они просматривают тенденции активных пользователей с тенденцией активных пользователей 85%. Они могут уверенно сказать, что Copilot больше не является энтузиазмом ранних последователей, а стал неотъемлемой частью того, как инженеры доставляют код в продакшн. Далее у нас финансовый директор Mona Inc. Их волнуют расходы. Они хотят знать, что Copilot — это не просто приятный инструмент, а фактически критически важная для бизнеса инвестиция, и они хотят связать бизнес-ценность с расходами, а сделать это можно, просматривая метрики использования биллинга и связывая их с такими метриками, как строки кода. Например, принятые строки кода — это конкретные данные, которые они могут использовать для преобразования в бизнес-ценность. Для расходов они могут просматривать премиальную аналитику биллинга на уровне предприятия, организации и пользователя, чтобы наблюдать за тенденциями. Наконец, у нас есть трудолюбивый инженерный менеджер Mona Inc. Их волнует продуктивность команды и расширение возможностей. Они смотрят на метрики, чтобы принимать практические повседневные решения. Для них доступен загружаемый отчет на уровне пользователя через панель и API. В отличие от руководителей, которых волнуют широкие тенденции, инженерные менеджеры ищут детальные тенденции. С помощью загружаемого отчета на уровне пользователя вы сможете перейти на уровень члена команды, чтобы увидеть, кто преуспевает с ИИ, а кому нужна поддержка. Таким образом, вы сможете выявить самых активных пользователей и распространить знания. Теперь, когда я рассмотрел обзор панели метрик, почему бы нам не посмотреть на этот слайд, приветствуем Шути Корбетт, чтобы она продемонстрировала живую демонстрацию панели метрик Copilot. [Аплодисменты] [Музыка] Спасибо, Шири. И добрый день всем. Кто в восторге от метрик? Как видите, у нас есть мощный набор метрик прямо под рукой. Все аккуратно визуализировано на этой панели. Вы можете выявлять тенденции, углубляться с помощью API или загружать отчет на уровне пользователя. Эти параметры предоставляют вам 28 дней подробных данных, идеально подходящих для понимания закономерностей использования или обмена информацией с вашими командами. Теперь, вместо того чтобы просто говорить о графиках и числах, давайте воплотим это в жизнь с помощью демонстрации. Мы вернемся к нашей вымышленной компании Mona, Inc. и посмотрим, как инженеры-руководители используют эти метрики для измерения успеха, принятия решений и доказательства влияния ИИ в своей организации. И помните, эти метрики — только начало. Даже с сегодняшними данными о принятии мы уже строим будущие метрики влияния, которые расскажут еще более богатую историю. Итак, давайте погрузимся и посмотрим, как Mona Inc. превращает данные в решения. Итак, начнем с первых нескольких карточек. Наш технический директор стремится понять, насколько далеко продвинулась их организация в трансформации ИИ. Этот уровень принятия агента более 80% — это их путеводная звезда, реальная базовая линия, основанная на данных, а не просто анекдотические отзывы. С этим числом они могут видеть, кто принимает, а кто нет, и решать, как руководство может стимулировать большее принятие. Для инженерного менеджера здесь они спрашивают «почему». Они сегментируют принятие по командам или проектам, ища проблемы рабочего процесса, пробелы в обучении или проблемы с конфигурацией инструментов. Перемещаясь вниз по панели, наш технический директор рассматривает тенденции активных пользователей за месяц. Они сравнивают дневные закономерности с еженедельными, чтобы увидеть, где вовлеченность наиболее сильна. Когда они замечают спад, они не предполагают неудачу. Они обращаются, чтобы понять почему. Наш вице-президент по инжинирингу, однако, смотрит на те же данные под другим углом. Они фокусируются на том, как Copilot влияет на повседневную инженерную работу. С почти 400 активными пользователями в неделю они знают, что Copilot — это не новинка. Это часть основного рабочего процесса для инженерного менеджера. Здесь они объединяют данные Copilot с информацией о репозиториях GitHub и PR. Они накладывают активных пользователей на скорость создания pull request, чтобы увидеть, равно ли более высокое использование более высокой пропускной способности. Теперь, когда дело доходит до онбординга, наш вице-президент по инжинирингу отслеживает среднее количество чатов на пользователя. Новые команды начинают с высокого использования чата, а затем стабилизируются по мере того, как они привыкают. Если эта закономерность нарушается, это признак того, что команде нужна дополнительная помощь или поддержка. Но для нашего инженерного менеджера эта метрика становится картой онбординга. Низкое количество чатов может означать недостаточное принятие. Высокое количество постоянных чатов может означать чрезмерную зависимость. Они сопоставляют это с ретроспективами и обратной связью, чтобы точно настроить обучение и документацию. Далее, давайте посмотрим на наши запросы по режимам. Наш технический директор смотрит, какие функции приносят наибольшую ценность: чат, агент или встроенные правки. Это помогает решить, куда инвестировать и обучать. Наш вице-президент по инжинирингу сравнивает, как команды используют каждый режим. Они задают быстрые вопросы или углубляются в рабочие процессы агента? А затем инженерный менеджер ищет дисбаланс. Если команда полагается только на режим запроса, но пропускает режим редактирования или агента, они упускают скорость и автоматизацию. Это не просто обучение. Речь идет об устранении трения и изменении рабочих процессов. Таким образом, команды принимают режимы, которые стимулируют скорость слияния и уменьшают рутину проверки. Давайте перейдем ниже и посмотрим, как разработчики взаимодействуют с встроенными предложениями кода Copilot. Слева мы видим предложенные и завершенные completions. Ключевая информация здесь: принятые completions остаются сильными, в то время как предложения колеблются. Это последовательное вовлечение в действии. Справа у нас процент принятия. Mona, Inc. остается в пределах 25-30%. Здоровый диапазон, который показывает доверие и интеграцию. Теперь для нашего вице-президента по инжинирингу это чистое золото. Рост процента означает лучшее составление запросов и более быстрое кодирование. Спад может означать время для обучения или корректировки рабочего процесса. А для нашего технического директора это доказывает, что принятие Copilot устойчиво. Они используют это в квартальных обзорах, чтобы показать реальную рентабельность инвестиций. Для инженерного менеджера это возможность для коучинга. Они фильтруют по команде. Низкий процент принятия может означать сложный унаследованный код. Они сравнивают это с метриками проверки кода. Если команды с высоким процентом принятия также имеют меньше отказов, это доказательство того, что Copilot улучшает как скорость, так и качество. И помните, все эти данные критически важны, поскольку мы продолжаем создавать будущие метрики влияния, которые дадут нам более глубокое понимание. Теперь давайте посмотрим на использование моделей. Claude sonnet доминирует, составляя почти 80% активности. Технический директор видит большой интерес, но также видит потенциальную потребность в диверсификации и оптимизации. GPT5 и 4.1 составляют около 15%, показывая, что инженеры экспериментируют и используют модели для различных типов задач. Наш вице-президент по инжинирингу замечает, что большинство взаимодействий происходит в режимах запроса и агента, что доказывает, что инженеры используют ИИ для решения проблем, а не только для редактирования. И эта информация стимулирует обучение дизайну запросов и более глубокое владение ИИ. Вместе эти метрики показывают не только принятие, но и эволюцию и культуру инжиниринга. Теперь, прежде чем перейти к загружаемым данным, давайте посмотрим на тенденции использования языков. Go и Ruby составляют чуть более 18 или 15%, в то время как Typescript и React следуют за ними. Но большая история здесь — более 70% использования приходится на другие языки, что означает, что Copilot используется во всем технологическом стеке. Наш технический директор любит это. Это доказательство широкого принятия. Вице-президент по инжинирингу также замечает, что GPT5 набирает небольшую популярность в командах, работающих с бэкендом на Go, что показывает, что инженеры экспериментируют по языкам. Эти идеи стимулируют как широту, так и глубину, общекорпоративное владение ИИ и целенаправленное расширение возможностей команд. Теперь давайте перейдем к загружаемому отчету, который, как вы видите, можно скачать отсюда или получить через API. И давайте посмотрим на данные строк кода как в формате JSON, так и в обобщенном виде в нашем Jupyter Notebook. Как вы видите, это загруженный файл JSON. И если я переключусь на свой Jupyter Notebook, вы увидите наш анализ строк кода для инженерного менеджера. Речь идет о мотивации. Они могут сказать: «Наша команда произвела столько строк кода в этом квартале, сэкономив инженерные часы и ускоряя доставку. Это превращает метрики в смысл». Для нашего финансового директора это все о рентабельности инвестиций. Они отслеживают строки кода, сгенерированные ИИ, удаленные строки и повышение эффективности. И когда они видят строки, написанные с помощью ИИ, они оценивают сэкономленное время и затраты, преобразуя грубые часы в долларовую стоимость. Так что, когда наш финансовый директор спрашивает: «Что мы получаем за эти расходы?» Финансовый директор уверенно отвечает. Мы освобождаем инженеров, чтобы они могли сосредоточиться на том, что продвигает бизнес вперед. И интересный факт: вы можете использовать Jupyter Notebook или любой другой аналитический инструмент для самостоятельного анализа этих данных. Просто попросите Copilot сгенерировать информацию. Я не хочу портить то, о чем Ширани расскажет дальше, но наша цель проста. Сделать ценность видимой и быстрее превратить ее в действие. Как видите, данные рассказывают нам мощную историю. Каждая организация откроет для себя свои собственные закономерности и возможности, объединив метрики Copilot с информацией о коммитах и PR репозиториев GitHub. Руководители могут видеть полное влияние инжиниринга. С помощью этих панелей и того, что нас ждет, каждый руководитель от разработчика до финансового директора сможет увидеть, как Copilot стимулирует эффективность и трансформацию. И на этом я передаю слово Ширании, чтобы она рассказала нам о дальнейших шагах. Спасибо всем. [Аплодисменты] Отлично. Было ли захватывающе видеть демонстрацию? [Аплодисменты] >> Спасибо, Шири. Итак, вот что доступно сегодня. Панель и API корпоративного уровня для метрик использования и принятия. У вас также есть доступ к загружаемому отчету на уровне пользователя через панель и API. Все это доступно в скользящем окне за 28 дней. И у вас также есть доступ к аналитике биллинга на уровне предприятия, организации и пользователя. Метрики не просто измеряют прогресс. Они раскрывают истории. Они дают руководителям представление о том, что работает, на чем сосредоточиться и как действовать. Один из наших розничных клиентов начал с чего-то очень простого. Они начали отслеживать активных пользователей. И они смогли быстро выявить команды, которые преуспевали с ИИ. И эти команды стали примерами, чтобы показать остальной организации, как на самом деле выглядит эффективный ИИ. Так что в следующий раз, когда использование упадет, это не будет проблемой. Это будет сигналом для увеличения возможностей и поддержания высокого темпа. Мы сделали то же самое в GitHub, когда внедряли Copilot внутри GitHub. Мы проводили короткие целенаправленные эксперименты, в которых просили наших инженеров намеренно использовать ИИ для проектов. Результаты. Они использовали его для написания документации. И давайте будем честными, кто действительно любит писать документацию? Я нет. А вы? Они также использовали его для исправления проблем с доступностью, сохраняя при этом высокую скорость для функций. Они также использовали его для исправления проблем с техническим долгом в бэклоге, которые существовали месяцами. Эти истории стали заразительными. Они создали новые способы мышления и новые способы работы. И каждый из них начался с метрик, понимания влияния ИИ. Потому что, когда вы можете видеть, что работает, вы можете масштабировать это. И именно так метрики становятся двигателем трансформации. Метрики — это всего лишь одна точка данных в гораздо более широкой картине. Чтобы по-настоящему стать эффективными в области ИИ, организациям нужен цикл наблюдения, сбора обратной связи, развертывания решений и улучшения. Вы можете использовать метрики для наблюдения за тенденциями, закономерностями и проблемами. А затем вы собираете обратную связь. И в GitHub это означает опросы продуктивности, живые беседы в Slack-канале, а также у нас есть клуб по компьютерам, где энтузиасты ИИ собираются вместе, чтобы формировать продукт. Как только мы поймем обратную связь, вы действуете. Это могут быть учебные занятия, парные занятия или даже исправления продукта. Непрерывный цикл наблюдения, обучения и действий — это то, что делает нас лучше в использовании ИИ, а также заставляет ИИ работать лучше для нас. Метрики — это лишь часть головоломки. Это всего лишь один кусочек. С помощью API, которые вы предоставляете, которые мы предоставляем, вы можете напрямую интегрировать метрики Copilot в свою экосистему. Используйте данные GitHub, интегрируйте их в свои существующие инструменты. Наши клиенты уже делают это. Они интегрируют API в свои собственные пользовательские панели для использования в обзорах команд и обзорах руководителей, чтобы выявлять сквозные инсайты и создавать больше бизнес-влияния. Мы все находимся на разных этапах пути ИИ, но одна истина остается неизменной. Вовлеченность и видимость разработчиков необходимы для раскрытия потенциала Copilot. Если вы заинтересованы в том, чтобы узнать больше о наших клиентских сценариях, посетите стенд «Шоу и расскажи» в GitHub Central. Вы, наверное, задаетесь вопросом, что дальше в дорожной карте. Я знаю, что это большой вопрос, который может у вас возникнуть. То, что вы видели до сих пор, — это метрики использования фазы 1 как наша основа. Мы выпускаем обновления ежемесячно, и наш фокус ясен. Мы хотим провести вас от принятия к влиянию и ответить на такие вопросы, как: сколько кода генерирует ИИ? Как быстро он проходит через конвейер? И какова рентабельность инвестиций? Имея это в виду, давайте посмотрим на дорожную карту. В 2025 году, оставшуюся часть года, мы планируем предоставить метрики строк кода на панели. Они уже доступны через API. Мы также добавим поддержку аналитики на уровне организации. В начале 2026 года у вас будут детальные разрешения для ролей, чтобы вы могли контролировать доступ к метрикам Copilot. Метрики Copilot также будут предоставляться в рамках решения для хранения данных в январе 2026 года. В феврале 2026 года мы будем выпускать метрики. Продолжая наш путь добавления новых метрик, мы будем добавлять не-IDE источники, такие как метрики агента кодирования Copilot и метрики проверки кода Copilot. В дополнение к этому мы будем добавлять метрики предложений следующего редактирования. Вы все хотите смотреть на более длительные тенденции данных, и именно здесь мы увеличим окно данных для метрик за пределы 28 дней, которые у нас есть сегодня. Кроме того, мы создадим аналитический агент поверх инсайтов, чтобы вы могли в разговорной форме собирать метрики для наших опытных пользователей. Мы будем развертывать коннекторы хранилища данных, чтобы вы могли интегрировать данные в свои собственные аналитические решения для получения детальной информации. Вы сможете просматривать аналитику на уровне команды и репозитория для клиентов Copilot Pro и Pro Plus. У вас будет доступ к индивидуальной аналитике. Все это, в то время как мы продолжаем выпускать больше метрик влияния. Эта дорожная карта будет итерироваться на основе вашего использования и обратной связи. В ближайшие месяцы GitHub предоставит сквозные инсайты для вашего жизненного цикла разработки программного обеспечения, чтобы вы могли создавать эффективность с помощью GitHub и Copilot на этапах планирования, кодирования, проверки, развертывания и эксплуатации. Эти инсайты будут включать скорость PR, время до производства, метрики качества. С помощью этих метрик вы сможете осветить области, на которых вам нужно сосредоточиться, и увеличить влияние. Мы также сосредоточимся на предоставлении уникальных инсайтов, которые может предоставить только GitHub. К ним относятся такие метрики, как вклад ИИ и вклад разработчиков, а также метрика выживаемости кода ИИ в вашей кодовой базе и многое другое. Эти золотые метрики помогут вам получить полную сквозную историю того, как GitHub и Copilot обеспечивают вам необходимое влияние. Помните, мы находимся на общем пути к метрикам, и мы ценим ваше партнерство. Ландшафт ИИ быстро развивается, и поэтому должны развиваться и измерения. Мы создаем продукт для вас, с вами, и мы понимаем, что то, что измеряется, улучшается, а то, что улучшается, генерирует рентабельность инвестиций. Метрики — это не просто приятный инструмент. Это критически важный инструмент для стимулирования инвестиций в Copilot и влияния. На этом я проведу последний опрос. Поднимите руку, если вы считаете, что метрики важны. Отлично, мы ближе к 100%. Это означает, что метрики в моем докладе о метриках уже работают. Спасибо за ваше время сегодня. [Музыка]