Transcription
Własne AI na Twoim komputerze za darmo, bez internetu, w pełni prywatne? Tak, to możliwe. W tym filmie pokażę Ci krok po kroku, jak zainstalować taki system, rozmawiać po polsku z własnymi dokumentami, generować obrazy i robić transkrypcję. Zaczynamy.
Po co w ogóle zajmować się tematem lokalnej sztucznej inteligencji? Są ku temu przynajmniej trzy powody. Przede wszystkim prywatność danych. Wykorzystując lokalne modele AI, wszystkie poufne dane mogą zostać na Twoim urządzeniu. Drugi powód to koszty. Korzystając z własnych modeli zainstalowanych na komputerze, możesz ograniczyć koszty. Często takie rozwiązania są znacznie tańsze. Trzeci punkt to dostępność. Wyobraź sobie, że Twoje ulubione narzędzie blokuje dostęp w Europie. Taka sytuacja niedawno miała miejsce. Jesteś odcięty od modeli, musisz szukać alternatywy. Jeśli masz wszystko u siebie, masz dostęp do systemu i możesz nad nim pracować.
Wszystkie prezentowane narzędzia zainstaluję i uruchomię na laptopie MSI Prestige 14 AI+. Więcej o tym laptopie powiem już za chwilę. Teraz przejdźmy do pierwszego narzędzia. Jak zainstalować lokalnie modele sztucznej inteligencji, żebyś mógł z nimi rozmawiać i wykonywać pewne akcje.
Żeby sztuczna inteligencja mogła działać na Twoim komputerze, potrzebujemy jednego z dostępnych narzędzi. Ja wybrałem Jana z powodu tego, że bardzo poważnie podchodzi do prywatności. Nasze dane zostają lokalnie. Wystarczy tylko odpowiednio ustawić cały system. Wejdź sobie na stronę w opisie. Pobierz tutaj odpowiednią wersję na Windowsa, albo właśnie Linuxa, albo Maca. No i zainstaluj na Twoim komputerze. Po uruchomieniu aplikacji przywita Cię takie właśnie okno. I tutaj musimy wprowadzić kilka podstawowych ustawień. Wejdź sobie na ustawienia. Na początek zmieniamy język na polski. Cały interfejs będzie po polsku. Najdziesz tutaj właśnie taką opcję. Następna zakładka prywatność. Tutaj odznacz to ustawienie, czyli zostaw tak jak widzisz na ekranie.
Następnie centrum modeli. To jest bardzo ważna zakładka. Bez tego nic nie zadziała. Czym są modele sztucznej inteligencji? To po prostu pliki, które instalujesz na Twoim komputerze. System używa ich jako mózgu całej aplikacji. Będzie ich wykorzystywał do tego, żeby dawać Ci odpowiedzi. Mamy przeróżne modele. Pokażę Ci te najpopularniejsze, które moim zdaniem warto wykorzystać pod konkretne zastosowania. Na początek zainstaluj sobie po prostu taki model rekomendowany Gemma 4. I to może chwilę potrwać. Te modele, tutaj mamy rozmiar 6 GB danych. Musisz mieć wolnego miejsca. Więc po prostu zainstaluj sobie taki model.
Następnie przejdź do nowego czata. I w tym miejscu możesz wybrać model, z którego będziesz korzystał. I ja wybieram sobie tutaj właśnie model, który zainstalowałem. I tutaj wpisuję pierwsze polecenie, na przykład cześć. Przy pierwszym poleceniu musisz poczekać trochę dłużej, bo model się wczytuje. Gdy zostanie już wczytany, ta praca będzie już znacznie szybsza. Po 5 sekundach mamy odpowiedź. Cześć, czym mogę Ci dzisiaj pomóc? Na przykład możemy przesłać tutaj plik w tym miejscu. I wybiorę sobie plik z mojego komputera, który wcześniej przygotowałem. Mamy tutaj faktury. Wysyłam takie dwie faktury. I mówię do systemu. Zczytaj mi dane z faktur i podsumuj kwotę. Po wpisaniu takiego polecenia Po 85 sekundach mamy odpowiedź. Wszystkie faktury są rozpisane w tabeli i podsumowane.
Możesz tutaj robić więcej rzeczy, ale zanim z tego przejdziemy, chciałbym, żebyś zrozumiał właśnie dokładniej, jak wybrać model pod Twoje zadania oraz jakiego sprzętu potrzebujesz, żeby go uruchomić i żeby te modele działały płynnie. Wróćmy do centrum modeli. Mamy tutaj nasz model i tutaj jest trochę dziwnych oznaczeń. Dodatkowo mamy jeszcze warianty. Można się w tym pogubić, ale uwaga, nie jest to tak trudne, jak może się wydawać. Rozbijmy sobie to na części. Gemma to po prostu nazwa modelu. Jest ich dużo. Mamy Qwena, Bielika Polskiego, którego zaraz Ci pokażę i wiele innych modeli. Każdy model pochodzi od innego producenta i daje nieco inne możliwości. Następnie mamy jego wersję. Zazwyczaj większy numer to po prostu nowsza wersja. Następnie rozmiar. I to jest liczone w miliardach parametrów. Im więcej parametrów, tym zazwyczaj model jest lepszy. Więc jest to ważny wskaźnik. Jednocześnie będzie miał większe wymagania sprzętowe. Zaraz do tego przejdziemy. I te, czyli do rozmowy. No i na końcu mamy kompresję modelu, kwantyzację, po to, żeby mógł działać właśnie na takich sprzętach, jak na przykład nawet laptopy, czy też komputery stacjonarne.
Dowiedziałeś się, jak czytać oznaczenia modeli. Teraz powstaje kluczowe pytanie. Czy dany model pójdzie na Twoim sprzęcie? Ja testuję dzisiaj wszystko na laptopie MSI Prestige AI+. Jest to laptop, który otrzymałem do testów od firmy MSI. Jest to również sponsor tego odcinka. I powiem szczerze, że byłem mocno sceptyczny. No bo jak taki mały, smukły, biznesowy laptop ma nadawać się do sztucznej inteligencji? Na szczęście jest tutaj najnowszy procesor Intela oraz mocno zintegrowana karta graficzna Intel Arc, która nawet sprawdza się w takich grach jak Cyberpunk. Co bardzo mnie zaskoczyło, byłem w stanie zagrać w normalnych klatkach na średnich ustawieniach i wszystko płynnie działało. Nie mówiąc już o starszych grach. Dlaczego o tym mówię? Ponieważ gry są bardzo wymagające, jeśli chodzi o obliczenia, a taki element przydaje się również w sztucznej inteligencji. Intel Arc B390 to najmocniejsza zintegrowana karta graficzna w historii Intela. Dzięki temu wszystko działa płynnie, bez żadnej dodatkowej karty graficznej, a sam procesor Intel Core Ultra X7 wyróżnia jeszcze jedna rzecz. Osobny układ do sztucznej inteligencji, czyli NPU. On wspiera małe zadanie, takie jak odszumianie dźwięku na żywo, czy efekty kamerki.
Jak sprawdzić, czy dany model będzie działać na Twoim komputerze? właśnie wielkości. I na przykład taki Qwen 3 .6, który jest również bardzo dobrym modelem, no niestety informacje mamy, że ten model może działać wolno. A jeśli mamy czerwony krzyżyk, to znaczy, że po prostu nawet się może nie załadować. Dlatego to też jest pewien wyznacznik. Jeśli pracujesz na laptopie, to zacznij od modeli 12 miliardów parametrów, a potem możesz sobie testować wyższe.
Ale teraz przejdziemy do czegoś wyjątkowego, co moim zdaniem warto wspierać, czyli polski model sztucznej inteligencji, który jest rozwijany od dłuższego czasu, nazywa się Bielik. Na tej stronie poczytasz więcej na temat tego modelu. Jego główna przewaga nad innymi modelami jest taka, że został wytronowany na polskim języku, na polskich danych i dzięki temu lepiej radzi sobie z naszym ojczystym językiem i wieloma sprawami, któremu możemy zlecić. Możesz sobie go przetestować tutaj, jeśli chcesz po prostu sprawdzić, czy się nada do Twoich potrzeb, ale możesz od razu zainstalować go również w naszym systemie. Wchodzimy sobie do centrum modeli i tutaj nie znajdziesz go w wyszukiwarce. Musisz wprowadzić dokładnie to, co znajdziesz w opisie lub w materiałach dodatkowych. W tym miejscu mamy właśnie taki model i możemy sobie pobrać różne wielkości tego modelu. Znowu polecam Ci wersję taką Q5. Myślę, że będzie optymalna. Model został zainstalowany i wpiszę tutaj polecenie. Załóżmy, że potrzebuje wpisu na media społecznościowe na temat sztucznej inteligencji. Zobaczymy, jak sobie poradzi. Zobaczymy, czy system będzie w stanie opisać sam siebie.
"Słyszeliście o Bieliku? To polski model sztucznej inteligencji, który robi furorę. Język polski, lokalny kontekst, zna polską kulturę, historię i aktualne wydarzenia." No tutaj troszkę przesadził, bo to nie jest do końca prawda, bo system musi mieć połączenie z internetem, wszechstronność, etyka i bezpieczeństwo. No właśnie, pewne rzeczy zawsze weryfikuj, bo nie wszystko będzie tutaj prawdą, szczególnie gdy korzystasz z tych lokalnych modeli. No i taki wpis jest fajnie sformatowany. Mamy emoji. Myślę, że jest całkiem nieźle.
Tutaj po prawej stronie, gdy rozmawiasz sobie z tymi modelami, mamy takie procenty. Gdy korzystałeś z czata, to pewnie nie zawracałeś sobie tym głowy, ale to jest bardzo ważny element. To jest kontekst, czyli ilość informacji, którą może przetworzyć system i gdy przekroczy ten kontekst, traci wątek, zapomina o czym w ogóle była ta rozmowa. Możemy sobie zmienić wielkość tego kontekstu, wchodząc w ustawienia i w tym miejscu możesz określić jego wielkość, ale uwaga, im większy kontekst, im dłuższa rozmowa, tym większe zużycie sprzętowe, więc trzeba sobie to dostosować. No i niektóre modele mają ograniczenia kontekstu, czyli nie możesz tutaj i tak przekroczyć pewnej liczby. Gdy wpiszemy sobie tutaj 20 tysięcy, no to będziemy mieć większy limit. I tak jak w innych sytuacjach, możemy właśnie pisać, żeby system poprawił nam pewne rzeczy, napisał je w inny sposób.
Ale jest tutaj kolejna funkcja, która jest bardzo przydatna i która sprawiła, że wybrałem właśnie Jana. Mamy projekty. W tym miejscu możemy tworzyć, podobnie jak w chatry Pt, projekty, czyli na przykład możemy sobie napisać umowy. Klikam utwórz i mamy miejsce na przesłanie plików. Mogę sobie wysłać tutaj pliki, na przykład umowy, które właśnie, takie szablony umów, które podpisuję z klientami. Wybieram sobie model i wpiszę polecenie stwórz umowę dla nowego klienta. Mam polecenie, ale możesz zrobić coś jeszcze. Do takiego projektu możesz przypisać sobie asystenta, czyli mówiąc w uproszczeniu, jest to dedykowana instrukcja. W instrukcji możesz określić na przykład, żeby system pisał do Ciebie formalnie, tylko po polsku, a potem zapisujesz takie zmiany. Ja nie będę tego robił, zostawimy to domyślnie. No i przejdźmy sobie do naszego polecenia. Wysyłam je do systemu. Teraz system powinien zapoznać się z plikami i dać nam odpowiedź. Zobaczymy, czy tak się stanie. Niektóre modele mają reasoning, czyli pogłębioną analizę, pogłębione myślenie. Dzięki temu dają nam lepsze odpowiedzi. Odpowiedź trwa nieco dłużej, ale w przypadku bardziej zaawansowanych zadań, no to warto właśnie włączać sobie taki model. Mamy odpowiedź. System myślał przez 72 sekundy. Wskazuje moje luki logiczne i strategiczne, czyli nie ma tutaj właśnie żadnych szczegółów. No i da nam właśnie projekt umowy przykładowy. Generuje go na żywo. To jest prędkość, którą możemy sobie osiągnąć. No i po chwili możesz sobie właśnie zobaczyć, co wygenerował. Nie musisz cały czas patrzeć sobie, jak ten tekst jest generowany. Możesz zmniejszyć sobie okno, otworzyć nowe i poczekać, aż system skończy. Wszystkie rozmowy, które mamy w tym wątku, znajdują się w umowach, więc mamy fajną segregację. A gdy skończy, pojawia się tutaj komunikat o skończonym działaniu.
Polecane modele znajdziesz w dodatkowych materiałach. Ten system skrywa coś jeszcze, ale o tym powiem Ci na końcu. Dzięki temu będziesz w stanie wykorzystać dowolny model AI, wychodząc z lokalności, ale dzięki temu zyskując pewne korzyści, o których Ci powiem.
Ale teraz przejdźmy do czegoś jeszcze. Możemy generować za darmo zdjęcia z pomocą sztucznej inteligencji. Jak to zrobić? Na początek zainstaluj sobie narzędzie ComfyUI. Wejdź sobie na taką stronę i tutaj mamy przycisk Pobierz wersję desktopową, czyli właśnie na komputer. Jest to bezpłatne narzędzie, które działa również lokalnie i uruchom sobie taką aplikację. Następnie wejdź sobie na New Instance. Wpisujesz sobie nazwę, na przykład grafiki. Wybierasz kartę graficzną, z której system ma korzystać. Jeśli masz komputer stacjonarny, to może się pojawić kilka. Ja mam tutaj zintegrowaną kartę, więc wybieram jedną. Wybieram folder i klikam Continue. Następnie będziesz mógł wybrać od razu kilka modeli, które będą służyć do generacji. Znowu one ważą kilkanaście gigabajtów, więc musisz sobie trochę poczekać. Wybieram sobie Pomiń i system instaluje wszystkie niezbędne paczki. Po konfiguracji środowiska przywita Cię taki panel. Jeśli jakiś model nie jest pobrany, to wyskoczy Ci komunikat i musisz po prostu sobie go pobrać na Twój komputer.
W tym miejscu ładujemy sobie model, na przykład Dream Shaper. W tym miejscu opisujemy, co ma znaleźć się na danej grafice, a w tym miejscu, czego tam nie ma być, czyli właśnie znaków wodnych albo tekstu. No i mamy tutaj właśnie taki domyślny prompt, czyli generujemy sobie butelkę, ale ja zrobię sobie tutaj coś innego. Załóżmy, że będzie to kobieta. W tym miejscu wklejam polecenie. Piękna kobieta spaceruje po parku. Następnie mamy rozdzielczość tej grafiki, no i dodatkowe elementy, na przykład kroki. Jeśli wybierzemy sobie tutaj większą wartość, to generacja będzie trwała dłużej, ale będzie bardziej szczegółowa. No i tutaj mamy takie bardziej specjalistyczne określenia. Nie potrzebujemy tego. Klikam Run i zaraz zobaczymy grafikę. W przypadku tego modelu po 40 sekundach mamy zdjęcie. Możemy sobie je pobrać, wykorzystać. Jeśli potrzebowałbyś więcej możliwości, to tutaj w szablonach masz różne modele do generacji zdjęć, ale również filmów. Filmy wymagają jeszcze mocniejszego sprzętu, więc raczej zostałbym przy zdjęciach, jeśli chcesz generować rzeczy na laptopie.
Teraz pokażę Ci kolejny sposób na to, jak wykorzystać sztuczną inteligencję na Twoim komputerze i ułatwić pewne zadanie, za które kiedyś płaciłem sporo pieniędzy w abonamentach. Na początek wejdź sobie na taką stronę i tutaj znajdziesz rozwiązanie Vibe, czyli transkrypcję za darmo, lokalnie na Twoim komputerze. Możesz sobie pobrać to na Windowsa albo na inną platformę. Jeśli masz taką potrzebę, wystarczy zmienić tutaj opcję. Pobierasz, instalujesz. Po instalacji przywita Cię taki panel. Na początek będziesz musiał pobrać model, który będzie obsługiwał transkrypcję. To trochę potrwa. Pobierz go, a potem wybierz sobie język. Ja wybieram język polski. Wybieram sobie tutaj plik z nagrania. Możesz albo kliknąć tutaj, albo przeciągnąć to do aplikacji. Mamy tutaj jeszcze dodatkowe opcje, gdyby coś było potrzebne. Teraz klikam transcribe i czekam, aż to nagranie zostanie przetranskrybowane. W zależności od tego, jaki masz sprzęt, może to trwać dłużej lub krócej. W przypadku tego nagrania na moim sprzęcie zajęło to 13 sekund. Możesz wybrać dowolny format i eksportować sobie taki plik. Program działa zarówno z audio, jak i wideo, więc jest to świetne narzędzie i wszystko dzieje się u Ciebie.
Pokazałem Ci, jak lokalnie wykorzystać sztuczną inteligencję na Twoim komputerze, jak generować obrazy, transkrypcję, ale teraz przejdę do jeszcze jednego ważnego punktu. Pamiętaj, że modele lokalne nie są tak dobre, jak te najlepsze, topowe, płatne modele na świecie, ale możesz je również wykorzystać w jednym ekosystemie bez konieczności płacenia abonamentów. Pokażę Ci teraz, jak to zrobić.
Jeśli wrócisz do Jana i wejdziesz sobie w ustawienia, to w tym miejscu mamy zdalne połączenia z różnymi modelami. Mamy tutaj OpenAI, Antropic i innych kluczowych graczy na rynku. Ale dzisiaj pokażę Ci, jak wykorzystać OpenRouter. OpenRouter to taki agregator modeli AI. Możesz tam wykupić modele od różnych dostawców w jednym miejscu. Musisz tutaj utworzyć konto. Następnie możesz doładować je dowolną kwotą, której potrzebujesz. Na przykład 10 dolarów 20. Dodatkowo mamy tutaj coś takiego jak API Keys. To jest taki klucz, który służy do łączenia się pomiędzy różnymi aplikacjami. Żeby połączyć się z naszym Janem, musisz wejść sobie tutaj, dodajesz nowy klucz. W tym miejscu wpisujesz na przykład Jan AI, to jest nazwa dla Ciebie. Tutaj dodajesz sobie limit. Warto to dodać, żeby nie wydać za dużo pieniędzy, na przykład 10 dolarów. Po przekroczeniu tego limitu ten klucz przestanie działać. No i na zakończenie klikasz Create. Następnie ten klucz, który został tutaj wyświetlony, kopiujesz sobie i wklejasz do systemu. Ja go usunę, ale Ty pamiętaj o tym, żeby nikomu go nie pokazywać. Wklej tutaj klucz, który skopiowałeś w OpenRouter. Następnie możesz sobie jeszcze kliknąć tutaj i kliknąć Test, żeby sprawdzić, czy wszystko działa. Jest OK. I teraz możesz sobie kliknąć plusik, odświeżyć listę modeli, które się tutaj znajdują. Następnie możesz kliknąć tutaj i możesz przebierać w setkach modeli, na przykład Opus. Wybieramy sobie Opusa i mamy model od Cloda albo GPT. Możesz wybrać dowolne, którego potrzebujesz i nie musisz od razu kupować abonamentu w ChatGPT w Clodzie, tylko możesz przy pomocy jednego narzędzia wykorzystać te wszystkie modele. Następnie otwieram nowy Chat i wybieram model. Te mamy lokalne, a poniżej mamy te z OpenRouter, czyli właśnie taki model i mogę napisać hej, żeby sprawdzić, czy wszystko działa. Pamiętaj tylko, że w tym wypadku, gdy wychodzisz z lokalności i korzystasz z tych modeli przez OpenRouter, no to każda wiadomość kosztuje Cię realne pieniądze, więc trzeba tych modeli używać tam, gdzie są realnie potrzebne, a do tych prostszych zadań możesz sobie wykorzystać lokalne modele, które w zupełności wystarczą.
Jak oceniam pracę z laptopem MSI Prestige 14 AI Plus? Laptop zrobił na mnie dobre wrażenie, metalowa obudowa jest bardzo lekka i solidna, zawiasy działają precyzyjnie, klawiatura jest przyjemna i dobrze się na niej pisze. Dodatkowo mamy ekran Full HD z dobrym odwzorowaniem kolorów, który jest w zupełności wystarczający do podstawowego użytkowania. Wydajność jest na bardzo wysokim poziomie, dzięki najnowszemu procesorowi Intela i zintegrowanej karcie graficznej, a dodatkowo bateria. Kilkanaście godzin pracy przy mniej wymagających zadaniach to jest naprawdę świetny wynik, a jeśli komuś byłoby mało, to mamy kompaktową ładowarkę, którą można zmieścić w kieszeni. Jeśli miałbym się do czegoś przyczepić, to na pewno temperatury pracy pod obciążeniem. Jeśli renderujesz filmy, grasz w gry, no to laptop w górnej części obudowy robi się momentami ciepły, a nawet gorący. Przy codziennej pracy nie zauważyłem problemów z temperaturą. Układ chłodzenia jak na tak małą konstrukcję jest dość wydajny. Mamy tutaj dwa wentylatory oraz komorę parową. Jest cichy, praktycznie niesłyszalny w normalnej pracy. Link do produktów serii Prestige znajdziesz w opisie pod tym filmem.
Niebawem wejdziemy w kolejny etap lokalnych agentów AI, ale to jeszcze przed nami. Na razie agenty najlepiej działają w środowisku chmurowym i o tym mówię w kolejnym filmie. Jeśli interesuje Cię ten temat, to tutaj masz kolejne materiały. Dziękuję Ci za oglądanie. Pozdrawiam. Krzysztof Gonet.