Install Qwen3-14B with vLLM Locally

こんにちは皆さん、Fahad Mirazaです。AIチャンネルへようこそ。今日はQuenの日です。この新しいQuenファミリーの多くのモデル、320億、60億、そしてそれらをOlamaでどのように実行するかについても既に説明しました。このビデオでは、VLLMを使用して、Coen 3から140億のフレーバーをインストールする方法を見ていきます。ローカルに、すべてプライベートにインストールし、その後テストします。このQuenファミリーのモデルが何か分からない場合は、私のチャンネルを検索してください。これに関する多くのビデオを作成しました。簡単に説明すると、これはアリババの最も高度な無料オープンソースApache 2ライセンスモデルの1つで、推論、数学、コーディング、エージェント、そしてMCPサーバーに関して優れています。そうです。そして、これについても近日中に新しいビデオを作成します。また、このモデルは多言語対応です。世界中から約119の言語をサポートしています。それでは始めましょう。ローカルにインストールします。そのため、このUbuntuのVMと、80GBのVRAMを搭載したNvidia H100である私のGPUカードをスポンサーしてくれたMast Computeに感謝しています。Gondaを使用して仮想環境を作成することから始めます。そして、VLLMをインストールしましょう。VLLMのバージョンが8.4以上であることを確認してください。これは、この新しいモデルをサポートする唯一のバージョンだからです。これは数分かかります。その間に、このビデオのスポンサーであるCamel AIをご紹介しましょう。Camelは、データ生成、タスク自動化、ワールドシミュレーションにおけるアプリケーションでスケーリングロスを見つけるためのマルチエージェントインフラストラクチャの構築に焦点を当てたオープンソースコミュニティです。彼らのウェブサイトへのリンクは、ビデオの説明にあります。すべてインストールされました。次に、Hugging Faceにログインしましょう。Hugging Faceのプロファイルから無料の読み取りトークンが必要です。既に持っているので、読み取りトークンをここに貼り付けます。そして、ログインしました。これで、モデルをダウンロードして提供する時間です。ここでコマンドを示します。このコマンドを見ると、ここでは単にこの140億のモデルをローカルで提供し、推論を有効にしています。この新しいQuen 3ファミリーのモデルには、推論と非推論の2つのモードがあります。数学やコーディングなどをしている場合は、推論を有効にすることをお勧めします。そうでない場合は、これを削除するだけで、推論は行われません。指示に従うだけです。通常のチャットのプロンプトやダイアログでは、推論は実際には必要ありません。起動するまで待ちましょう。モデルがダウンロードされます。上に移動すると、興味深いことに、DeepCar 1の推論パーサーを使用しています。素晴らしいですね。そして、そこにあります。モデルがダウンロードされています。待ちましょう。VLLMが起動しました。では、テキスト生成Web UIを開始しましょう。それが何か分からない場合は、モデルと話すことができるシンプルなWeb UIです。独自のアプリケーションを使用して、ポート8080または任意の互換性のあるオープンエンドポイントで提供されるこのVLLMにアクセスすることもできます。DockerでこのオープンWeb UIを使用します。既にインストールされていますが、そのコンテナを再びプロビジョニングしています。必要なのは、open Web UIのリポジトリをクローンして、このコマンドdocker compose upを実行するだけです。これにより、ローカルシステムでこのopen Web UIが起動します。初めて実行する場合は、これらのイメージをすべてプルします。待ちましょう。それで終わりです。open Web UIもローカルシステムで準備完了し、実行されています。ブラウザでアクセスできます。初めてアクセスすると、このウェルカム画面が表示されます。メールアドレスとパスワード、名前を入力してください。任意のランダムなものを作成してください。これが私たちのopen Web UIです。右側のアイコンをクリックします。次に設定をクリックし、管理設定をクリックします。ここから、一般に関するさまざまなオプションを確認できます。接続を設定できる接続があります。既にOlamaなどを実行している場合は、それらも表示される可能性があります。しかし、今は接続に移動し、API基本URLのプラスアイコンをクリックしましょう。これを単純に入力します。これはVLLMが実行されている場所です。skllのような任意のランダムなものを入力します。それでほぼ終わりだと思います。ここで保存をクリックします。カスタムOpenAI互換エンドポイントもここにあります。通常、私は実際のOpenAI互換のものを無効にします。ここに移動しましょう。無効にして保存します。これで、このポート8080とlocalhostのみが実行されています。使用していない場合は、必要に応じて無効にすることもできます。そして、おそらくこれも。これで、VLLMのみになりました。保存をクリックします。VLLM APIキーを求められています。では、よろしいです。今はそのままにしておきましょう。チャットに戻りましょう。モデルがチャットの上部に表示されているのがわかります。では、テストを始めましょう。まず、数学の論理問題を尋ねます。最初の問題では、列車が時速60kmでA市からB市に向かって出発し、別の列車が時速40kmでB市からA市に向かって出発し、両都市間の距離が200kmである場合、列車はどこでいつ出会うかを段階的に解くように求めます。見てみましょう。その思考を見ることが楽しみです。そして、ご覧の通りです。私のチャンネルをフォローしていて、今日の午前中のコイン3に関するビデオを視聴したことがある場合は、すべてのモデルが推論モデルであり、その思考は簡潔であるだけでなく、非常に根拠があり、的を射ていることに気付いたかもしれません。そして、それはただ流れるだけです。例えば、ここを見てください。問題はこれであることを理解しようとしており、次に考え、深く掘り下げようとしており、ここでいくつかの数学を行い、おおよその方程式を計算し、上にタイプしたものに戻り、自分自身でいくつかの方程式を作成しています。tなどのこの表記を見て、そして思考を進めています。思考を確認するのは常に非常に魅力的で、次に応答を確認し、代替案を探求しており、これは既に正しいように見える最終的な答えですが、手順1、手順2、そして手順3を見てください。そして、これが正しい最終的な答えです。別の論理的な問題を試してみましょう。この問題では、外側に3つのライトスイッチ、内側に3つのランプのある部屋があるとします。部屋には一度しか入れません。どのスイッチがどのランプを制御するかをどのように判断しますか？答えを説明してください。思考を確認しましょう。ご覧の通りです。ライトスイッチパズルであることを非常にうまく理解しています。そして、それを調べているのがわかります。そして、戦略を立てています。考えられる戦略を概説しています。素晴らしいですね。非常に、非常に熟考されています。そして、それが理にかなっているかどうかを確認しています。素晴らしいですね。そして、思考全体を見てください。そして、これが段階的な解決策で結果を解釈しています。そして、これが結論です。そして、最終的な答えは的を得ています。では、コーディングの問題を試してみましょう。ここでは、コードを与えて、尋ねています。これは、直接的なものを削除するかもしれません。混乱するかもしれません。これは単なる単純なコードの部分であり、エラーがあるので、それを解決するように求めています。デバッグできるかどうか見てみましょう。はい、既に実行しました。これは簡単だと思います。はい、既に変換を行い、非常に、非常に迅速です。これは素晴らしいですね。そして、これが結論です。素晴らしいですね。では、クリエイティブライティングを見てみましょう。火星への最初の有人居住地に関する短いSFストーリーを書いてくれるように求めています。ご覧の通り、既に非常に、非常に迅速に、植物学者であるDr. Aaravosの役割を受け入れました。彼女の役割は食料を栽培することで非常に重要であり、生存要素であるため緊張感が加わります。新しい夜明けについて話していて、これは150語です。迅速に読んでみればわかるように、非常に、非常に巧みに書かれており、非常に自然で、私が求めたことに本当に基づいています。単語の構成、不毛の言葉、赤い塵（もちろん火星）を通してこだまする笑い声を見てください。素晴らしいですね。それがエージェント的なことができることは私たち全員が知っています。それをシミュレートできるかどうか見てみましょう。そのため、ニューヨークからパリへのフライトを予約し、ミシュラン星付きレストランで2人用のテーブルを予約し、現在の旅行制限を要約するように求めています。段階的な推論を示してください。見てみましょう。ご覧の通りです。予約をすべて確認し、ミシュラン星に関する最新の情報を収集し、すべてをまとめて、段階的に説明しています。もちろん、最新のデータではありませんが、かなり良いです。エージェントとしてもかなり良いです。素晴らしいですね。リアルタイムのデータが必要な場合は、ライブアップデートのためにAPIを統合します。素晴らしいですね。次に、複数回にわたる会話を確認しましょう。まず、ジャカルタでの1週間の旅程を計画するのを手伝ってくれるかどうか尋ねます。それを考えさせ、それが終わったら、予算をよりフレンドリーなものにし、自然とハイキングが好きな人に適したものにするように求めます。興味深い点は、ジャカルタにはハイキングする場所があまりなく、中に自然があまりないと思うことです。素晴らしい都市であることは承知していますが、それはそこにありません。では、どうなるか見てみましょう。上に移動すると、7日間のジャカルタのことです。スカルノハッタ空港に到着するのは正しいです。モナス、ポンデック・バリ、歴史を訪れることも確認しています。いくつかの博物館があり、素晴らしい文化体験、ジャカルタ大聖堂、自然公園があります。いくつかの公園があり、次にこのエノールのビーチに行き、ショッピング、ナイトライフ、モールはデカートで大きいです。そして、出発、キーチップの無料日、ゴジェックを使用し、孤立した地域を避けること。いくつかの食べ物を勧めています。もう少し話しましょう。予算に優しく、自然とハイキングが好きな人に適した計画にするように求めます。楽しいはずです。では、応答が来ました。予算モードでは、輸送手段を変更し、いくつかの予算エリアで、トゥン・ビサタなどへ連れて行ってくれます。ジャカルタの住民の方、正しいかどうかアドバイスをお願いします。そして、サマロンで夕食、これがハイキングです。ジャカルタの外、約1.5時間ほど連れて行ってくれます。賢いですね。そして、そこに帰り、そこを散歩し、マングローブウォークがあり、素晴らしいですね。これは素晴らしいバセルバルなどで、もちろんかなり手頃な価格で、次にブロモメオの1日旅行があります。ジャカルタの外に連れて行ってくれます。これはかなり良いです。そして、無料の公園すべてと最終的なハイキングに連れて行ってくれ、そしていくつかの予算のヒント、ジャカルタの外に滞在すること。ピカシなど、主要都市の外にあると思います。ゴジェックとグラブを使用する。素晴らしいですね。新しいチャットを開く必要があることはわかっているので、まさにそれを行うでしょう。次に、これらの50の言語に「愛してる」と翻訳するように求めます。多言語対応です。そして、選択したランダムな言語を選択するように求めています。確認しましょう。既にかなりの思考が見られます。ウドゥは正しいと思います。ヒンディー語も良さそうです。タミル語、テリュグ語など、インドの言語も美しく見えます。東南アジアの言語、ヨーロッパの言語も既にいくつかあります。うまくいっていることがすぐにわかります。インドの別の非常に美しい言語であるプーリー語も良いです。パキスタンの言語であるサラキ語も良いですね。サハリー語など、アフリカの言語も良いですね。ご覧の通りです。終了するまで待ち、次に確認します。そして、この翻訳を見てください。ほとんどが完全に正しいようです。すぐに確認しています。言語を話す方、修正とアドバイスをお願いします。すべて良いと思います。非常に素晴らしいですね。南アジアの地方言語もかなり良いですね。バイジャニ語もいくつかあり、古代ルーンのエルダースフターも試しています。非常に興味深いですね。ランダムな言語としてバスク語を選択しました。素晴らしいですね。では、最後の現実世界の問題を行いましょう。私は毎晩、裏庭で炎のトーチをジャグリングの練習をしていると、新しく独身の隣人、見事な27歳がバルコニーに出て絵を描いており、私が成功するたびに、いつもちらっと見てキスをしてくれます。私はついに演技をやめて彼女にデートを申し込むべきでしょうか、それともショーをもう少し続けるべきでしょうか？私は自分がどうなるかを見るのが楽しみです。ジャグリングをしていることを理解しています。状況を理解し、ここでのダイナミクスを理解しています。素晴らしいですね。そして、それぞれの選択肢の考えられる結果。別の角度はユーザーの自信です。次に、拒絶を心配する必要があります。それはかなり深く、イニシアチブについて話しています。サインは明確なので、デートを申し込むことを提案しています。あなたは既に成功しています。タイミングが重要です。それを捨てていません。高めています。やりすぎないで。瞬間を捉えているのがわかります。デートアドバイザーと言えるでしょう。失礼ではなく、押しつけがましくありません。なぜしないのですか？待つと、考えすぎかもしれません。そして、これが最終的な考えです。やってみましょう。もし彼女がイエスと言ったら、ジャグリングを続けましょう。もし彼女がノーと言ったら、あなたは語るべき物語を持つでしょう。そして、洗練するべき新しい行為、そしておそらく次のモデルのための新しいプロンプト。ご覧の通り、それだけです。素晴らしい、素晴らしいモデルです。数週間後、Llama 4が明日リリースされることを信じているので、最高のものの1つだと思います。そして、訪問モデルになるかもしれません。どうなるか見てみましょう。コンテンツが気に入ったら、チャンネルの登録をご検討ください。既に登録している場合は、ネットワーク間で共有してください。非常に役立ちます。ご視聴ありがとうございました。