Transcription
Что, если бы вы могли кодировать с ИИ полностью на своей собственной машине? Никаких подписок, никаких сборов за использование API и никаких ограничений на сообщения от провайдера, мешающих вам. В этом видео я покажу вам, как настроить VS Code, Klein, LM Studio и локальные LLM, чтобы вы могли создавать с помощью ИИ прямо на своем оборудовании. Давайте погрузимся. >> [музыка] >> Первое, что вам понадобится, это VS Code. Ссылка находится в описании, если у вас его еще нет. [музыка] Запустите VS Code и нажмите кнопку расширений слева. Найдите Klein и затем установите его. Это должно занять всего секунду. Пока это готовится, откройте LM [музыка] Studio. Ссылка находится в описании, если у вас это еще не установлено. Если у вас еще нет загруженных моделей, нажмите значок поиска моделей слева. Не стесняйтесь тестировать разные модели. Я обнаружил, что лучшие результаты у меня были при использовании модели, обученной для использования инструментов. Это не обязательно должна быть модель, предназначенная исключительно для кодирования. Обратите внимание, вы можете запускать их только на ЦП, но чем лучше у вас видеокарта, тем лучше будет производительность. Не менее важна ваша общая системная оперативная память. Вам понадобится достаточно памяти для загрузки модели. Чем больше памяти у вас есть, тем большую модель вы сможете загрузить. Это также определяет, какое большое контекстное окно вы можете предоставить моделям. LM Studio предоставляет некоторые индикаторы того, как каждая модель будет работать на вашей системе, но не стесняйтесь экспериментировать с моделями, контекстными окнами и другими настройками. В конце концов, это лучший способ учиться. Для демонстрации я начну с модели Qwen 3 с 4 миллиардами параметров. Теперь, когда вы загрузили модель, нажмите на вкладку разработчика слева. Убедитесь, что локальный сервер запущен. Включите его, если нет. Это позволяет другим приложениям подключаться к LM Studio и загруженным моделям. В [музыка] нашем случае VS Code подключится к нему. Это делается с помощью полностью локального API, который является стандартным в LM Studio. Далее нажмите "Загрузить модель" и выберите свою модель. Дайте ей минуту, чтобы полностью загрузиться. Теперь вернитесь в VS Code и нажмите на вкладку Klein слева. Мне нравится располагать моих агентов в правой боковой панели, поэтому я нажимаю "Переместить в" и затем выбираю "Вторичная боковая панель". Это более чистая настройка, поскольку мы можем видеть такие вещи, как структура папок нашего проекта слева и общаться с нашим агентом справа. Нажмите на маленький значок шестеренки, чтобы открыть настройки для Klein. В качестве поставщика API найдите LM Studio и выберите [музыка] его. Теперь, когда вы раскроете список моделей, он должен показать все модели, которые вы загрузили в LM Studio. Я выберу свою модель Qwen 3 4B, но не стесняйтесь тестировать любые модели, которые у вас есть. Обратите внимание на маленькое контекстное окно. Мы вернемся к этому через минуту. Я включаю компактный [музыка] промпт, который помогает, когда у вас маленькое ограниченное контекстное окно. Думайте о контекстных окнах как о кратковременной памяти. Если оно слишком маленькое, ваша модель превращается в 10-секундного Тома, который ничего не помнит из того, что вы ему только что сказали. >> в аварию? Это ужасно. Не волнуйся, ты полностью это переживешь примерно за 3 секунды. Теперь перейдите к настройкам функций для Klein. Если вы хотите получить настоящее ощущение агента, который будет автоматически создавать файлы и выполнять их, если вы ему скажете, вам нужно включить режим YOLO. Это, по сути, автоодобрение для Klein. Чтобы сохранить эти настройки, нажмите "Готово". Теперь мы готовы протестировать это. Я попрошу его написать и выполнить простой скрипт Python, который выводит список файлов в текущем каталоге. Как только я отправлю этот промпт, мы увидим, как шестеренки вращаются. Klein предоставляет нам информацию о том, что он делает. LM Studio регистрирует взаимодействие API и другие метрики, включая использование токенов, и мы также видим, как наша видеокарта работает. Помните, я упоминал 10-секундного Тома? Ну, вот он. С таким маленьким контекстным окном его [музыка] крошечная кратковременная память просто не справляется с задачей. >> [музыка] >> Как вы видите здесь, он постоянно начинает заново с первоначального рассуждения: "Хорошо, пользователь хочет скрипт Python". Да, Том, мы это определенно установили. Чтобы исправить это, вернитесь на вкладку разработчика LM Studio и извлеките модель. Затем снова нажмите "Загрузить модель", но на этот раз убедитесь, что включена опция для ручного выбора параметров [музыка] загрузки модели. Теперь, когда вы загрузите модель, вы увидите дополнительные параметры, включая длину контекста. Увеличьте ее до максимума, а затем нажмите "Загрузить". Теперь, когда у Тома гораздо большая кратковременная память, давайте попробуем снова. Вот оно. Агент создал скрипт Python, запустил его и отобразил результаты. Давайте посмотрим, сможет ли он сделать что-то немного более сложное. Я попрошу его создать игру "Змейка", которая отслеживает рекорд. Он создал ее с первой попытки, но игра не отвечает, поэтому я дал агенту обратную связь, и он переработал игру. Похоже, вторая попытка была успешной. У нас есть рабочая игра "Змейка", и все это было сделано локально. Когда вы закончите кодировать, не забудьте извлечь свою модель в LM Studio. Это позволит вашей видеокарте и памяти выдохнуть. [музыка] Надеюсь, это заставит вас задуматься обо всех возможностях кодирования. Моим предпочтительным вариантом по-прежнему остается Codex, потому что я плачу за подписку на ChatGPT, >> [музыка] >> но есть что-то в том, чтобы делать все локально, что просто круто. Если вам нравится локальные и приватные вычисления, обязательно зайдите в мой магазин по адресу bootableusbs.com и ознакомьтесь с кастомными USB-накопителями сегодня. Они набиты множеством загрузочных сред, инструментов, утилит для обеспечения конфиденциальности, локального ИИ и [музыка] многого другого. Оставьте комментарий и дайте мне знать, что вы хотите увидеть дальше. Если вы получили что-то из этого видео, пожалуйста, уделите секунду, чтобы нажать кнопку "Нравится", и обязательно подпишитесь, чтобы не пропустить следующее видео. >> [музыка] [музыка]