Transcription
Я нашёл способ получить доступ ко всем ИИ. Я говорю о чате, GPT, Claude, Gemini, Grok – всё из одного самохостингового интерфейса, и нет, я не плачу ни за один из этих планов. Убирайтесь отсюда. У меня неограниченное использование, и я получаю доступ к новейшим моделям, как только они выходят. Больше никакого ожидания. И самое лучшее – все мои люди могут им пользоваться. Я могу создавать учётные записи для своих сотрудников, для своей жены, для своих детей, и они могут получать доступ ко всем новым функциям, но лучшая часть в том, что у меня есть контроль, например, над моими детьми. Я не хочу, чтобы они получали доступ ко всем моделям ИИ, поэтому я могу это ограничить. Я также могу ограничить то, о чём они могут спрашивать, в чём они могут получить помощь, чтобы они не списывали домашнюю работу и не разглашали секреты проверки сети, и я могу видеть все их запросы. На самом деле, вы должны следить за чатами ваших детей с ИИ, если вы разрешаете им пользоваться ИИ, и вы должны разрешать им пользоваться ИИ – горячая новость, но я думаю, что дети должны научиться использовать его, потому что это своего рода будущее. Сейчас это никуда не денется, но серьёзно, я люблю это решение. Это лучшая безопасность. Мои данные немного безопаснее, и, о боже, сколько у него функций, я подсел. Это может быть лучший способ использовать ИИ. Это Open Web UI. Теперь вы, вероятно, слышали об этом. На самом деле, я уже говорил об этом, но это видео будет немного отличаться. Я попробую что-то новое, и если вы никогда о нём не слышали, приготовьте кофе. Я настрою всё примерно за пять минут. Поехали.
Хорошо. Open Web UI. Это открытый, самохостинговый веб-интерфейс для ИИ, и он позволяет использовать любую LLM или большую языковую модель, которую вы хотите использовать. И это не только облачные вещи, такие как чат, GPT и Claude, которые, кстати, вы, вероятно, задаётесь вопросом, как мы будем их запускать. Вы увидите, это действительно круто, но это не только они. Мы можем запускать самохостинговые модели типа Llama, например, Llama 3 и Myre, и DeepSeek. Вы можете запускать их все, и я на самом деле, я часто запускаю их бок о бок, два, три, иногда четыре. Одна из моих любимых функций. Кстати о функциях, предупреждение, ваш уик-энд пропал. Их так много, что это затягивает, но это также достаточно просто для того, чтобы кто угодно мог начать использовать его немедленно, так что не волнуйтесь, но я скажу вот это: *звёздочка*, это не для всех. Есть одна звёздочка, одна вещь, которая может вас отпугнуть, вы увидите, но я всё ещё здесь. Я всё ещё буду его использовать. Мы рассмотрим это позже. Что нам нужно, чтобы настроить это? Как я уже упоминал, это самохостинговый, то есть вы сами будете размещать это где-нибудь. Вы будете настраивать это, вы будете устанавливать это, и для этого у вас есть два варианта. Либо облако, это самый простой и быстрый метод, либо вы можете разместить у себя дома. Это может быть на вашем ноутбуке, на NAS, на Raspberry Pi. Я покажу оба варианта. Какой бы вы ни выбрали, это будет быстро и легко, и вы будете думать: "Как это так быстро? И как это так удивительно?" Поверьте мне, вы так подумаете. Мы начнём с облака. Не моргайте. Это будет быстро. И для этого варианта мы будем настраивать так называемый VPS или виртуальный частный сервер в облаке, и мы будем настраивать его на хостинге, спонсоре этого видео. Так что, очень быстро, в описании у меня есть ссылка hostingyour.com/network. Chuck VPS, заходите туда. Нажмите "Выберите свой план", и KVM 2 – мой любимый вариант, потому что вы, по сути, получаете себе очень здоровый дом. Смех.
Привет, Network, Chuck из будущего здесь. Я знаю, что вы, вероятно, думаете: шесть долларов в месяц. Почему бы просто не платить за ChatGPT? Эй, я понимаю, но вот почему я всё ещё люблю это. Во-первых, это дешевле, чем ChatGPT. Во-вторых, вы получаете свой собственный сервер, который может размещать ваш собственный ChatGPT, что просто круто. И в-третьих, вы можете размещать больше, чем просто Open Web UI. Сервер достаточно мощный, чтобы делать гораздо больше вещей. Это домашняя лаборатория. Я говорю вам – здоровая домашняя лаборатория. Просто хотел добавить этот контекст. В любом случае, вернёмся ко мне. Посмотрите на это. AMD, эпичный процессор, 8 ГБ оперативной памяти и NVMe хранилище. Много полосы пропускания, и моя любимая функция для всех вас, любителей домашних лабораторий, – резервные копии и снимки, потому что мы ломаем вещи, и вам это понадобится. Так что знайте, что этот малыш не только отлично запустит Open Web UI, вы сможете добавить к нему ещё больше вещей. Больше проектов, моменты построения резюме. Я только что начал снова смотреть "Улучшение жилищных условий", поэтому я чувствую, что мне нужно это сделать. Извини, я не смог. Это стыдно. Не пейте кофе, пока я разберусь с этим. Сделайте это дома. Попробуйте сделать это. Тим, мастер на все руки Тейлор, люблю это шоу. Это шоу до сих пор цепляет. В любом случае, давайте продолжим строить это. Итак, я выберу KVM 2. Если у вас ещё нет учётной записи, вас попросят создать учётную запись. Выберите срок. Я не буду делать 24 месяца, 12 месяцев звучит для меня довольно хорошо. Посмотрите. Купон, прямо здесь справа, введите network.Chuck10, примените его. Теперь это дешевле. Теперь выберите, где вы хотите, чтобы оно находилось. Где-то рядом с вами, да, Феникс хороший. Я думаю, он автоматически сообщит вам в зависимости от задержки для вас. А затем мы выберем нашу ОС. Теперь для нас, потому что мы хотим сделать Open Web UI, нам повезло. Мы на самом деле нажмём на приложение прямо здесь и нажмём "Показать больше". Я не вижу его прямо сейчас, где же ты, приятель. Мы будем искать Llama. А, вот он. Он прячется от меня. У них, наверное, один из самых милых логотипов в индустрии. Мы выберем это, потому что это не только установит Llama, который люди могут использовать для установки локальных LLM, он также установит Open Web UI вот так, и это будет на Ubuntu 24.04. Так что вы можете добавить много всего поверх этого. Хорошо, давайте выберем "Подтвердить". "Продолжить". На самом деле, я соврал. Вас зарегистрируют прямо здесь. Введите всю свою информацию, бесплатный сканер вредоносных программ. Конечно. Хорошо, нажмите "Продолжить". Введите root-пароль. Это будет пароль, который вы будете использовать для входа на свой VPS. Нажмите "Продолжить", и я думаю, мы почти закончили. Да, закончите это прямо здесь. Пойдём, и он настраивает его прямо сейчас, у вас есть виртуальный частный сервер, который запускается в облаке, и они устанавливают Open Web UI вместе с Llama, и всё, что вам нужно сделать, это попить кофе. Это довольно круто. Для локального варианта посмотрите это видео. Я проведу вас через это. Просто поставьте меня на паузу. Я всё ещё буду здесь. Вернитесь и посмотрите меня.
Ладно, всё готово. Мы нажмём на страницу управления VPS, посмотрим на неё, и вот мой. Нажмите "Управлять" здесь справа, и сейчас Open Web UI просто ждёт нас. Нажмите кнопку "Управлять приложением" прямо там. Это запустит другую вкладку. Нажмите на неё, по сути, ваш общедоступный IP-адрес на порту 8080. И вот мы здесь. Это ваш Open Web UI, разгадайте тайны, где бы вы ни находились. Похоже, ИИ написал это. Хорошо, нажмите "Начать" внизу, и здесь мы создадим нашу первую учётную запись для Open Web UI. Эта первая учётная запись будет вашей учётной записью администратора. Так что у вас будут всевластные полномочия над всем. Нажмите "Создать учётную запись администратора", и праздник. Мы здесь. Хорошо, поехали. Теперь, если вы следовали настройке hostingyour, вы увидите, что по умолчанию у нас есть симпатичная маленькая модель ИИ для игры. Llama 3.21B, в отличие от модели OpenAI, такой как ChatGPT. Llama 3.2 – это локальная модель. Она будет использовать ресурсы ваших серверов вместо ресурсов OpenAI. Давайте поговорим с ней. Эй, как дела? И это похоже на ChatGPT, верно? То же самое знакомое интерфейс, за исключением того, что, как вы можете видеть, он медленнее. На самом деле, это было неплохо, и это было неплохо, потому что это не очень умная модель. Она очень маленькая, а это значит, что она будет немного глупее, чем другие, и вы не сможете запускать большие умные модели, если у вас нет какого-то убийственного оборудования. Я закупаю графические процессоры, Терри, но нас это не волнует прямо сейчас, потому что мы ещё не закончили. Мы собираемся добавить несколько больших моделей из облака.
Теперь, когда вы хотите получить доступ к моделям ИИ, таким как ChatGPT или Claude, у вас обычно есть два варианта. Вариант один, режим "обычный пользователь", вы заходите в ChatGPT, платите ежемесячный план, платите много. Если вы хотите получить доступ ко всем новым функциям, и всё, вы закончили. Это легко. Без стыда, я делаю это. Но вариант два – это там, где всё становится интересно. API (интерфейсы прикладного программирования) – это то, что разработчики используют для интеграции ИИ, такого как ChatGPT, в свои приложения и программы. Ну и что, мы не пишем приложение, почему нас это волнует? Всё сводится к тому, как они платят за этот доступ. Обычные пользователи платят фиксированную цену в месяц. API вы платите по мере использования. Две причины, почему это удивительно. Во-первых, поставщики обычно предоставляют доступ к API ко всем своим моделям, особенно к тем, которые они только что выпустили. Так что подумайте о ChatGPT 4.5, который только что вышел, и люди, которые имеют к нему доступ по обычным планам, это только люди, которые платят 200 долларов в месяц, пользователи Pro за 20 долларов, извините, вам не повезло, но если вы используете API, вы получаете к нему доступ прямо сейчас. Вторая крутая вещь заключается в том, что вы можете сэкономить деньги, не гарантировано, большая звёздочка, но если люди в вашей команде или в вашем доме не являются действительно активными пользователями ИИ, оплата полного плана для них не имеет смысла, если они будут использовать только 50 центов в месяц. Хорошо, как это выглядит? Что ж, давайте зарегистрируемся для этого прямо сейчас. Давайте перейдём на OpenAI, и вместо того, чтобы перейти к ChatGPT, мы перейдём на openai.com/api, и мы войдём в систему или создадим учётную запись. Что бы вы ни сделали, войдя в систему, вы перейдёте в верхний правый угол и нажмёте "Начать создавать". И здесь, да, вас попросят указать кредитную карту, но с вас не будет взиматься плата ежемесячно. С вас будет взиматься плата только за то, что вы используете изначально. Вы можете добавить всего пять долларов. Это пять долларов, которые будут там, пока вы их не используете. Поэтому я добавлю кредитную карту прямо сейчас. Я пополню её на пять долларов, а затем создам так называемый API-ключ. Это на самом деле откроет для нас все эти модели ChatGPT в интерфейсе Open Web UI. Чтобы получить этот API-ключ, мы перейдём в "Настройки" в правом верхнем углу, просто нажмите на эту маленькую шестерёнку. Там мы перейдём налево и нажмём "API-ключи", и мы создадим новый секретный ключ. Назовём его, поместим в проект по умолчанию, оставим всё остальное как есть и нажмём "Создать секретный ключ". Вот ваш ключ. Скопируйте его. Давайте поместим его в Open Web UI прямо сейчас.
Здесь, в Open Web UI, мы перейдём в верхний правый угол и нажмём на значок нашего профиля и нажмём "Панель администратора". Отсюда мы нажмём "Настройки", а затем "Подключения". Подключения – это то, что даёт нам дополнительные функции, дополнительные LLM для Open Web UI, и прямо там есть пустое место, ждущее нас. Извини, Тейлор Свифт. Что ж, мы вставим наш API-ключ прямо туда и нажмём "Сохранить". Теперь нет фейерверков, ничего сумасшедшего. Что произошло? Давайте нажмём на маленькую вещь меню слева, чтобы открыть её, развернуть, а затем нажмём на карандаш, чтобы начать новый чат. И вверху мы изменим нашу модель с Llama на что мы там задумали? Посмотрите на все эти модели GPT. У нас есть доступ ко всему, включая новую модель 4.5. Давайте быстро её найдём. Где она? Вот она. Давайте начнём с ней чат. Давайте просто повеселимся, и прямо сейчас, если вы следовали за мной, вы используете модель за 200 долларов в месяц бесплатно. Ну, не бесплатно, мы сейчас увидим. Не сходите с ума ещё. Позвольте мне рассказать об этой части. Нам нужно поговорить о том, как мы платим за эти взаимодействия с ИИ, и это звёздочка, маленькая, загвоздка, о которой нужно быть осторожным. Итак, когда вы разговариваете с моделью ИИ, в частности, с LLM, большой языковой моделью, которая будет текстовой. Способ, которым они взимают с нас плату, это токены. Это как Chuck E. Cheese, только без ужасной пиццы и страшной мыши. Что такое токен? Токен – это слово в некоторых случаях. Например, маленькое слово "ты", это, вероятно, будет один токен, или более сложные слова могут быть разбиты. На самом деле, позвольте мне спросить его. Сколько токенов был ваш последний ответ? Это 15 токенов. Разбейте это, чтобы я мог увидеть, какие слова были токенами, а какие были разбиты. Это так круто. Хорошо, он делает мою работу за меня. Разбивает знаки препинания. Это отдельный токен. Какой обман. Если вы хотите сэкономить деньги с помощью ИИ, не используйте знаки препинания. Хорошо, слова равны токенам. Я всё ещё не понимаю, сколько денег мы платим. Давайте посмотрим на график. Сколько вы платите, будет зависеть от того, какую модель вы используете. Некоторые модели умнее, и для ответа на ваши вопросы им требуется больше ресурсов. И это показано здесь. Для модели 03 mini, которая является неплохой моделью, это будет стоить вам 1 доллар и 10 центов за 1 миллион токенов. Так что это здоровое количество взаимодействий, верно? С другой стороны, модель 01 reasoning будет стоить вам 15 долларов за миллион токенов. Это не страшно. Вы хотите увидеть, что страшно. Модель, которую мы только что использовали, 4.5 – это их самая дорогая модель, 75 долларов за 1 миллион токенов, и это только вход. Заметьте, у них есть и раздел вывода. Я хотел бы делать это для людей, для своих детей, взимать с них плату за разговоры со мной, а затем, когда я даю свою мудрость, делать её дороже. Это гениально. Теперь я знаю, что немного сложно понять, что означает миллион токенов, сколько денег я буду тратить, и буду ли я экономить деньги. Вот ваше предупреждение. Итак, случайный пользователь, скажем, у него 50 разговоров в месяц, около тысячи токенов каждый. Это может быть всего 50 центов, если предположить, что они используют модель, такую как 4.0. Теперь, если вы используете ИИ, как я, это очень низкое использование, но некоторые люди такие. Умеренный пользователь может иметь 200 разговоров в месяц, и это может быть от пяти до десяти долларов в месяц. Активные пользователи, и имейте в виду, что все это очень грубые оценки. Это может быть от 20 долларов до бесконечности, верно? 20 долларов до бесконечности. Итак, нарисуйте бесконечность. Просто подумай, я в ударе сегодня. Да, получилось. Я могу сказать вам прямо сейчас, я как активный пользователь, это будет не 20 долларов в месяц. Это будет намного больше. Что влияет на это? Ну, какие модели вы выбираете? Я много общаюсь с лучшими моделями. 4.5, да, 01, 03, целый день, и мои разговоры длинные, и это влияет на то, сколько это будет стоить. Контекст: когда вы используете Open Web UI, контекст наших сообщений отправляется каждый раз, когда я что-то говорю API, чтобы он знал, о чём я говорю. Поэтому количество токенов, которые я использую, экспоненциально растёт с длиной моего разговора, и иногда я сижу и долго говорю с ИИ, чтобы разобраться в чём-то. Теперь обратите внимание, как часть ценообразования OpenAI, это очень специфично для OpenAI, у них есть кэшированный ввод, который поможет компенсировать многие из этих затрат. Они будут кэшировать ваши ответы, как бы хранить их в памяти в течение некоторого времени. Я думаю, это 24 часа по умолчанию, они могут это изменить. Не цитируйте меня по этому поводу. Поэтому я скажу всё это как предупреждение. Будьте осторожны. Может ли это сэкономить вам деньги? Может быть, но я бы не делал это в качестве основной цели для экономии денег. Для меня это больше о том, что я хочу дать своей семье, себе и своим сотрудникам доступ ко всем ИИ, и я не хочу платить за 15 миллионов планов и управлять всеми этими разными вещами. Я хочу один интерфейс, одно место, куда можно пойти, и я хочу контроль. Теперь, если вы беспокоитесь об этом, я покажу вам способы, как можно установить бюджеты с помощью инструмента, который я собираюсь вам показать. Это так круто. Вы можете установить бюджет на человека, чтобы он не превысил, например, 20 долларов в месяц. Если вы используете 4.5 весь день, вы закончили, приятель. Вы будете говорить с Llama до конца дня. Почему работа Алекса такая плохая после трёх? Я не знаю. Давайте разберёмся с этим. Что это за каракули? Прекрасно, чувак, я сегодня в ударе. Давайте продолжим.
Теперь мы переходим к очень забавной части этого урока, и это решение довольно большой проблемы с Open Web UI. Посмотрите. Если я вернусь к своим настройкам, где я добавил API-ключ OpenAI и мои подключения, у меня на самом деле есть только варианты для двух типов подключений. OpenAI API и Llama API. Llama – это локальный вариант. А как насчёт Claude? А как насчёт Gemini? А как насчёт всех этих забавных? Я хочу попробовать всё. Да, это своего рода проблема, потому что вы не можете просто подключить Claude сюда или Anthropic. Этого не произойдёт. Именно здесь появляется инструмент, в который я влюбился. Он называется Light LLM. Light LLM – это прокси для ИИ или шлюз. Если мы быстро перейдём на веб-страницу, они подключаются ко многим ИИ. Я думаю, они говорят, что более ста, верно? И именно это мы и собираемся сделать. Итак, посмотрите. Open Web UI. Всё, что ему нужно будет сделать, это подключиться к Light LLM, и он делает это просто отлично, потому что у него есть совместимый с OpenAI API. Он работает отлично. А затем с помощью Light LLM мы подключаем всё остальное. OpenAI, Anthropic, это Claude, Gemini, Grok, DeepSeek, и нет, не тот, который размещён в Китае. Вы можете получить доступ к американскому DeepSeek на другом сервисе, называемом Grok с буквой Q. Очень запутанно, но очень круто. Теперь Light LLM будет прокси-сервером, который будет установлен вместе с Open Web UI. Это не страшно. Поверьте мне. Это займёт около трёх секунд. Готовы? Налейте кофе. Давайте установим Light LLM.
Итак, очень быстро, мы получим доступ к тому же серверу, на котором мы установили Open Web UI, если вы следовали за мной на стороне hostingyour, настроив VPS прямо здесь, в нашем портале, где мы управляем нашим VPS, мы получим доступ к терминалу, что очень легко для нас. Здесь есть кнопка, "Браузерный терминал". Нажмите на неё. Для всех остальных просто получите доступ к терминалу любого сервера, на котором вы хотите это развернуть. Мы развернём его через Docker, очень похоже на то, как мы запустили Open Web UI в другом уроке, который вы смотрели раньше. Я сказал "раньше" слишком много. Ладно, мы внутри терминала. У меня будут команды ниже, но сначала мы используем git для клонирования прокси-сервера LLM: git clone. Позвольте мне освободить здесь место. Вот так. git clone, а затем адрес Light LLM. Готово, начали, клонируем. Это клонирует этот репозиторий из GitHub и создаст для нас папку, в которую мы перейдём через минуту. Небольшой перерыв на кофе, и готово. Введите ls, чтобы увидеть нашу новую папку. Вот она. Введите cd light-llm, чтобы перейти в эту папку, в которой мы находимся. Теперь нам осталось всего две команды. Сначала мы используем nano, введите nano, лучший текстовый редактор всех времён, и мы отредактируем файл, скрытый файл .env, вот так. И мы добавим две строки конфигурации. Сначала мы введём LLM_MASTER_KEY, всё заглавными буквами, это будет равно кавычкам, двойным кавычкам, SK-, что-то. В идеале вы хотите, чтобы это был случайно сгенерированный ключ. На самом деле, я просто использую Dashlane, чтобы сделать это для меня прямо сейчас. Я просто сделаю цифры и буквы. Мы сделаем 10 из них, и вам нужно будет записать это где-нибудь. Это будет ваш пароль для входа на сервер после того, как мы его создадим. Я только что закрыл свой браузерный терминал. Хорошо, что я скопировал свой пароль. Ладно, мы закроем двойными кавычками. Нажмём Enter и добавим ещё одну строку конфигурации. Мы добавим ключ Light LLM salt, вот так, и приравняем его к той же отправной точке, SK-, а затем случайно сгенерированная строка символов. Это будет использоваться для шифрования и расшифровки ваших API-ключей LLM. Поэтому я быстро сгенерирую случайные символы, скопирую всё это. Поместите это куда-нибудь в безопасное место, затем нажмите Ctrl+X, Y, Enter, чтобы сохранить. И в большинстве случаев всё, что нам нужно сделать, это ввести docker-compose up -d, готово, начали, поехали. И это буквально создаёт наш сервер. Нам не нужно беспокоиться ни о чём, кроме того, чтобы убедиться, что мы пьём кофе, пока это происходит. Теперь, пока это устанавливается, давайте подготовим наши API-ключи. Готовы? Сначала нам нужен наш API-ключ OpenAI. Легко сказать. Обычно мне нравится создавать новый ключ для каждого сервиса. Поэтому я создам новый, назову его Light LLM, проект по умолчанию. Создадим, скопируем, подготовим. И тот же процесс вы можете повторить для Anthropic, для моделей Claude, Gemini, для моделей на основе Google. Я сделаю только Anthropic сейчас, и я возьму Grok тоже. Grok – это xAI, ИИ Илона Маска, который на самом деле довольно удивителен, к сожалению, я не думаю, что Grok 3 ещё доступен по API. Но я создам ключ, и готово. Если вы видите что-то вроде этого, всё в порядке. Если мы введём docker ps, потому что всё работает через Docker, мы увидим все наши здоровые контейнеры, работающие. Теперь мы откроем новую вкладку. На самом деле, мне нужно взять IP-адрес моего сервера, где он? Вот он. Возьмём этот IP-адрес, и в адресной строке перейдём на этот IP-адрес, порт. Я думаю, это 8000, что это было? О, это 4000, порт 4000. Вот так. А затем мы нажмём на панель администрирования Light LLM, нажмём на неё. Имя пользователя будет admin, а затем это будет тот мастер-ключ, который вы установили, переменная среды, SK-N или N. Много колокольчиков и свистков. Сейчас нас волнуют только несколько вещей. Во-первых, давайте перейдём к моделям слева, а затем здесь, в верхнем меню, вы увидите возможность нажать "Добавить модель", и затем мы добавим нашу первую модель. Давайте начнём с Claude. Итак, я хочу нажать на Anthropic, и мы можем либо выбрать все модели, просто сойти с ума, выбрать их все, либо быть очень конкретными. Поэтому, может быть, я хочу только три самых последних 7 и 2.1, чтобы сравнить, насколько он глуп. Затем я добавлю свой API-ключ сюда и добавлю модель вот так, внизу справа, нажав на "Все модели", вы можете видеть, что она находится там. 2.1, 3.7. И вот здесь крутая часть. Именно здесь происходит проксирование. Мы перейдём в верхний левый угол и нажмём "Виртуальные ключи". Мы собираемся создать свои собственные виртуальные API-ключи, которые могут управлять множеством вещей. Посмотрите. Мы создадим новый ключ сейчас. Мы скажем, что он принадлежит нам, нам не нужна команда или что-то ещё. Мы назовём ключ. Не знаю, дети. Допустим, мы создаём его для моих детей, и мы скажем, что модели, к которым они могут получить доступ, это 3.7 и 2.1. Проверяем дополнительные параметры. Вы можете добавить бюджет, 20 долларов, и это будет ежемесячный бюджет, и вы можете сделать многое, вы можете установить срок действия ключа. У них есть функция "ограничения", которую мы сейчас рассматривать не будем, но мы создадим ключ, и вот наш ключ. Мы скопируем его, и теперь мы добавим его в Open Web UI. Итак, мы находимся в Open Web UI, мы на нашей панели администратора в подключениях и скажем, что я хочу удалить свой API-ключ OpenAI. Удалить. Я собираюсь добавить. Вам не нужно это делать, кстати. Теперь я добавлю свой API-ключ Light LLM под API-ключом OpenAI. Мне кажется, я так много говорил "OpenAI API", базовый URL будет http://localhost:4000. Итак, :4000. А затем мы поместим наш API-ключ прямо сюда, вот так, и нажмём, на самом деле нет, мы проверим это. Проверить подключение, проверить. И это потому, что они находятся на одном сервере. Localhost находится прямо там. Нажмите "Сохранить". И теперь, если мы вернёмся и попробуем создать новый, о, вот новый чат. Claude находится прямо там. О, это так круто. Как дела, Claude? А, люблю это. Проверь.
Это всё. Я просто покажу вам это прямо сейчас. Я собирался подождать, но нажмите на «добавить модель». Мы можем добавить туда Claude 2.1 тоже. Давайте начнём новый чат. На самом деле, давайте добавим их бок о бок и скажем: «Загадайте загадку», и они ответят на неё одновременно. Как круто, правда? Теперь, быстро, я не заставлю вас ждать. Я добавлю Open AI и Grok. Теперь я добавил эти модели, и теперь у меня есть Aroc и четыре oh и oh три mini. Но никто внутри Open Web UI не будет иметь доступа, если я не дам ему доступ к этим виртуальным ключам. Поэтому я могу отредактировать свой ключ, перейти в настройки, отредактировать настройки и добавить дополнительные модели. Итак, я oh три mini, Grok, четыре oh, сохранить, а затем обратно в Open Web UI. Я обновлю страницу и посмотрю, появятся ли они. Я хочу начать новый чат. Вот оно. Я устроил вечеринку здесь. 4 0 0 3 mini. Так что теперь у меня четыре разных ИИ, и мы добавим для забавы ещё и Llama. Сколько букв R в слове «клубника»? И теперь все отвечают, кроме O3. Mini не нравится. Claude ответил правильно, Grok ответил правильно, четыре o ответили правильно, а Llama тупит. Как круто это всё? А здесь, на стороне Light LLM, вы можете добавлять столько виртуальных API-ключей, сколько захотите. Добавьте их в Open Web UI. На самом деле, посмотрите на это на стороне Light LLM, если я перейду к использованию, он покажет мне, сколько денег тратится. Мне, вероятно, потребуется некоторое время, чтобы догнать остальные, но это теперь мой центр ИИ, и здесь я буду контролировать бюджет. И затем обратно в Open Web UI. Несколько вещей, которые я хочу быстро обсудить. Во-первых, мои дети, давайте добавим моих детей в мою команду. Я перейду в настройки, настройки администратора, а затем в пользователи. Я могу создавать группы. Давайте создадим группу, назовём её «дети». Я вернусь к обзору и создам здесь некоторых пользователей, kid one и kid two. Я могу перейти к своим группам, добавить их в группу «дети», и здесь я могу указать, к каким разрешениям у них есть доступ. Могут ли они получить доступ к моделям? Могут ли они получить доступ к знаниям, подсказкам и инструментам, что является целым миром вещей, о которых я не могу говорить прямо сейчас. Это видео было бы слишком длинным. Я нажму «сохранить», и мы также можем контролировать, кто имеет доступ к каким моделям. Допустим, я хочу, чтобы у них был доступ только к Claude 3.7. Он самый умный. Я могу зайти сюда в модель, нажать на группы и сказать, что у детей есть доступ. Всем остальным, извините. Нет, я могу сделать и так. Дать ему системную подсказку: «Ты помощник в школе. Твоя работа — помогать моим детям, помогать детям со школой, но ты не должен делать за них их работу. Никогда не позволяй им списывать. Никогда не пиши сочинение и не решай задачи. Ты должен направлять их. И ты можешь говорить только о школьных предметах», ограничители на месте. Нажмите «сохранить», и я просто быстро возьму этот URL, открою его в окне инкогнито и войду в систему как мой ребёнок kid1@hotmail.com. Хорошо, у меня есть доступ только к одной модели. Напиши мне работу о Джордже Вашингтоне, и вот оно. Он не напишет её за меня. Что такое два плюс два? О, он дал мне ответ. Что такое девять умножить на семь, деленное на четыре? Хорошо, он поможет с математикой. Давайте спросим что-нибудь не связанное со школой. Каков сюжет фильма «Матрица»? О, это отвечает. О, урок киноведения. Хорошо, понял. Это то, что спросила бы моя дочь, поэтому он просто связывает это со школой. Это очень круто. Мне это нравится. Теперь самое лучшее — это вернуться к пользователям, к kid one, который только что вел разговор. Я могу нажать на чаты, и вот он, и я могу сразу же туда перейти и увидеть всё, что было сказано, чего я не буду делать для своих сотрудников, и я могу отключить это для своих детей на 100%. ИИ — это безумие. И вы должны следить за подобными вещами. Теперь это видео слишком длинное. Я сижу здесь, глядя на экран. Могу ли я поговорить об этом? Нет. Могу ли я поговорить об этом? Нет, это будет слишком долго. Дайте мне знать, если вы хотите, чтобы я сделал ещё одно видео, охватывающее все тонкости Open Web UI, потому что у него есть инструменты, подсказки, функции, конвейеры, генерация изображений. О, это так затягивает, и я хотел бы услышать, если вы тоже сделали что-нибудь крутое с этим. Теперь есть ещё одна деталь, которую я вам ещё не показал, и это этот A, сейчас это просто IP-адрес. Вы не хотите давать своей семье и друзьям IP-адрес. Типа: «Эй, перейдите на alto. 1 8 5 2 8 2 2 4. Это новый сервер ИИ». Нет, это ужасно. Я покажу вам, как настроить имя DNS. Мы купим его на хостинге здесь. Я покажу вам, как настроить удобное доменное имя для этого. Но мы сделаем это в отдельном видео прямо здесь. Это всё, что у меня есть. Спасибо ещё раз хостингу здесь за спонсорство этого видео, и я увижу вас в следующий раз. Возьмите себя в руки.