Transcription
Та AI только что выпустила настолько мощный прорыв, который однозначно изменил границы возможности искусственного интеллекта. Он называется deep пконф, что означает глубокое мышление с уверенностью. И он набрал невероятные 99,9 баллов в одной из самых сложных тестов на решение задач. И они сделали это с помощью модели с открытым исходным кодом OS12B. Сам факт с такими рекордными показателями уже удивляет и завораживает. Так что давайте разбираться.
До сих пор большинство больших языковых моделей улучшали свои навыки решения сложных задач с помощью так называемого параллельного мышления. Ссылку мы оставили в нашем Telegram-канале в закреплённых сообщениях. По сути, вы просите модель предложить несколько разных путей решения одной и той же задачи. Затем вы просто выбираете ответ, который встречается чаще всего, как при голосовании. Это работает, но есть две большие проблемы. Во-первых, это приводит к снижению эффективности. Через некоторое время, когда модель думает сотнями или тысячами разных способов, это не сильно повышает точность, а иногда даже вредит, потому что неправильные пути мышления начинают влиять на голосование. Во-вторых, это дорого. Генерация всех этих вариантов требует огромного количества токенов, что означает больше вычислений, больше времени и больше затрат.
Deepf меняет правила игры, потому что не рассматривает все пути мышления как равнозначные. Вместо этого он анализирует сигналы уверенности модели, то есть насколько она уверена в каждом своём шаге. Представьте это так. Если вы решаете математическую задачу и вдруг чувствуете неуверенность в каком-то шаге, это признак того, что ваше решение может оказаться неверным. Deepfв даёт искусственному интеллекту нечто подобное. Он может выявлять участки с низкой уверенностью и либо отфильтровывать их, либо останавливать раньше, чтобы не тратить больше ресурсов на вычисление.
Они измеряют эту уверенность умным, но понятным способом. На самом базовом уровне есть уверенность в токенах. Каждое слово или символ, который генерирует модель, имеют свою вероятность. Чем выше вероятность, тем больше модель уверена в своём выборе. Deepfв усредняет эти вероятности по лучшим вариантам, чтобы увидеть, насколько стабильны решения.
Скорость развития технологий поражает, то, что было инструментом будущего, сегодня уже реальность. И чтобы не просто наблюдать со стороны, а по-настоящему использовать эти возможности, нужен доступ, нужен верный проводник и помощник. Но что выбрать и куда обратиться? Недавно в нашем Telegram-канале мы делали пост, что и кому юзать из Chat GPT. И знаете что? Я уже несколько лет пользуюсь GGcell, и это мой секрет бесперебойного доступа к Eи. Вот почему рекомендую именно Chat GPT+ на GG. Обходите региональные блокировки, даже если Open AI недоступен в вашей стране. Экономия до 30% против официальной цены. Мгновенная активация. Ключи в один клик после оплаты. Доступ к чат GPT 4 турбо без ограничений плюс генерация изображений. Кстати, важный лайфхак. На странице каталога используйте фильтры слева. Там можно выбрать разные варианты, например, годовые подписки, пожизненные лицензии, пакеты с дополнительными токенами. И всё это с защитой сделки через гаранта.
А теперь главное. GG не просто магазин. Это глобальный маркетплейс, где тысячи проверенных продавцов предлагают то, чего нет в обычных магазинах. Здесь вы найдёте игровые ключи и скины, софт для монтажа и дизайна, подписки на нейросети и даже такой эксклюзив, как пополнение Steam с пятипроцентной комиссией. Спецсылку найдёте в описании ролика. Все актуальные предложения Чат GPT плюс по ссылке в описании. Гарантия, безопасность, лучшие цены. Покупай программы и подписки только на GGcell.
Ладно, вернёмся к новостям. Затем есть групповая уверенность, которая рассматривает более крупные фрагменты токенов, например, по 2.000 за раз, чтобы сгладить шум. Хвостовая уверенность фокусируется на последнем участке цепочки рассуждений, потому что обычно именно там появляется ответ и чаще всего допускаются ошибки. Они также проверяют самую низкую групповую уверенность, самую слабую часть цепочки, а также нижнюю процентильную уверенность, которая выделяет худшие участки в целом. Вместе они дают своего рода отчёт о состоянии каждого пути решения, который генерирует модель.
Самое интересное, как они используют эти сигналы. В автономном режиме после генерации нескольких цепочек они просто отфильтровывают слабые и оставляют самые сильные. В онлайн-режиме модель может буквально остановиться на середине решения, если уверенность падает ниже определённого порога. Это означает, что не нужно тратить время на написание длинного ответа, который уже обречён на провал. В ходе тестов этот трюк позволил сэкономить от 43 до 85% токенов без потери точности. На самом деле точность часто повышалась, а когда они провели тесты, результаты были просто ошеломляющими.
На ИАме 25 первая попытка модели составила 91% точности. При традиционном голосовании большинством она поднялась до 97%. А вот с Deepков она достигла 99,9%, сэкономив при этом 84,7% токенов. Для понимания, тот же Deep ПСК с помощью Deepконф поднялся с 83% до 93,3%, сократив при этом использование токенов почти на 78%. Квен, например, поднялся с 80,6% до 90,8%, используя на 56% меньше токенов. Прирост очевиден, а интеграция, на удивление, проста. Вам не нужно переобучать модель, вам не нужны специальные данные, не нужна настройка гиперпараметров. Это буквально plug and play. Единственное, что вам нужно сделать - это настроить процессор логарифмической вероятности для отслеживания уверенности в скользящем окне, добавить проверку ранней остановки перед выдачей токенов и передать пороги уверенности через апи. Это примерно 50 строк кода. Вы можете развернуть это в продакшене без особых проблем.
Теперь стоит поговорить о модели, которую они использовали для установления рекорда. ГП ОС 12B. Это языковая модель на основе трансформера с миллиардами параметров, оптимизированная специально для математики. Вместо того, чтобы просто кормить её обычным текстом, они постепенно обучали её так называемому обучению по учебной программе. То есть она начинала с простых задач и постепенно переходила к более сложным. Они даже добавляли неправильные ответы во время обучения, чтобы она могла учиться на ошибках. Кроме того, они использовали специализированные математические данные, такие как учебники и наборы задач, и настроили механизмы внимания, чтобы лучше справляться с математическими рассуждениями. Эта комбинация сделала её намного более надёжной, чем модель общего назначения.
Сам Яйми заслуживает отдельного внимания. Это нестандартный тест с несколькими вариантами ответов. Ученики получают 3 часа на решение пятнадцати задач. И каждый ответ должен быть целым числом от нуля до тысячи. Никаких догадок. Задачи намерено сложные, чтобы ученики применяли концепции по-новому, мыслили нестандартно и избегали распространённых ошибок. По сути, это тест, который отделяет хороших учеников от абсолютных лидеров, тех, кто готовится к международной математической олимпиаде. Поэтому, когда пконф достигает 99,9 балла процента точности - это не просто заучивание формул. Это показывает, что он рассуждает наравне с лучшими людьми, решающими задачи.
Конечно, когда что-то настолько мощное становится открытым, люди беспокоятся о его неправильном использовании. Это справедливо. Ложная информация, предвзятые результаты, безответственные приложения. Эти риски реальны, но подход мета заключается в том, что открытый исходный код делает систему более прозрачной. Это можно настроить в зависимости от того, что для вас важнее: экономия средств или максимальная производительность. Таким образом, DeepCв доказывает, что она не нуждается в грубой силе. Она может использовать свою уверенность, чтобы рассуждать умнее, а с такой открытой моделью, как GPT OS, такая мощь теперь доступна всем, а не только крупным компаниям.
Спасибо, что досмотрели до конца. Подписывайтесь на YouTube и Telegram-канал, а также пишите своё мнение в комментариях. Благодарю за внимание и до встречи в новых выпусках.