Transcription
はい、こんにちは。はやたスです。今回の動画は検証企画ということで、今話題のAIコーディングツール、クロードコードを使って、データ分析をどこまでAIに任せられるのか、これを実際にやってみました。
で、先に言っちゃうと、本当に人がいらなくなるんじゃないかっていうレベルだったんですね。実際、クロードコードにやってもらった分析結果がこれなんですけど、こんな感じでデータの読み込み、前処理、グラフ作成、レポート生成まで、僕は一切コードを書かず、全てAIがやってくれました。
多分この動画を見てるあなたもこう思ったことないですか？「データ分析ってなんか難しそう。経験権から勉強するにはハードルが高いな。」正直、このように感じた人もいますよね。確かに気持ちも分かります。実際、僕もデータ分析の勉強を始めるまではそう思っていました。それに、高度な分析になるとAIだけじゃ限界があるのも事実です。
でも、もし今のまま「データ分析なんて自分には無理だ」と思って何もしないままだと、会社で「このプロジェクト、データ分析できる人いない？」って話が来た時に、チャンスを逃すかもしれません。他にも、AI活用がどんどん当たり前になっている中で、自分だけ取り残されている可能性もあります。要するに、AIを使える人と使えない人で差がついてしまう未来が来るかもしれないってことなんです。
じゃあ、どうすればいいのか？その答えが今日の動画になります。この動画では、クロードコードがどんなAIツールなのか、どうやって指示を出して使うのか、実際にどこまでデータ分析してくれるのか、これらをリアルな操作画面を見ながら一緒に検証していきます。つまり、この動画を見ることで「AIを使えばこんな風に分析が進むんだ。自分にもできそう」っていう、最初の一歩を踏み出すきっかけになるはずです。
僕自身も初めてクロードコードを使った時、「え、こんなことまでやってくれるの？」って正直びっくりしました。今ではもう、コーディング作業の多くをクロードコードに任せています。もちろん、AIが全て完璧にこなすわけじゃない。でも、0から全部自分でやるっていう時代ではなく、AIと一緒に進められるっていう時代に確実に入っていると感じています。
ここからは、実際にクロードコードを使って、どんな風にプロンプトを出せばいいのか、どこまでAIがやってくれるのか、どこで人間の判断が必要になるのか。その一部始終をリアルな操作画面と一緒にお見せしていきます。この動画を見終わる頃にはきっと、「これなら自分にもできそう。AIと一緒にやればデータ分析のハードルってこんなに下がるんだ」って感じてもらえると思います。それでは早速、本編に行ってみましょう。
はい。そしたらですね、まずは今回使用するAIツールについて紹介していきます。で、今回使用するのがこのクロードコードっていうやつですね。で、これ一体何なのかと言うと、クロードコードっていうのはAIコーディングアシスタントですよと。で、まあ、もっと具体的に言うとですね、アンソルピックっていうところが開発している最新の自然言語処理モデルですね。これがクロード4オーパスとソネットっていうんですけども、これに対応したターミナルで動作するAIツールです。なんで、普通のクロードみたいにそのWeb上で使っていくんじゃなくて、自分のパソコン上で動くってことですね。なので、このターミナルで直接動作もしますし、あとファイル編集とかGit操作とか、まあ、そういったこともできます。で、これが何でできるのかと言うと、Web上で動かすんじゃなくて、自分のパソコンにね、インストールして、それで使っていくからですね。他にもね、テスト実行とか、そういうところもAIが支援してくれます。
で、このクロードコードの主な特徴なんですけども、まあ、改めてね、確認していくと、まずこのCLIで動作しますよと。まあ、これ簡単に言えばターミナルのことですね。Linuxで言うと、ターミナルから直接使用することができます。まあ、あとはVSコードのターミナルとかね、まあ、そういうところでも動きます。で、クロードと対話するようにコーディングしていきます。何かね、「じゃあ、こういうコードを作ってください」みたいな指示してあげると、それに沿ってコードを提案して、修正して、で、保存まで実行してくれます。で、これ従来のWeb版のクロードとかだと、こういうコードをね、「教えてください」みたいな依頼題すると、そのコードを強くしてもらって、で、そのコード自体は自分でコピーアンドペーストをしてたんですよね。なんだけど、このクロードコードに関しては、自分のパソコン上にね、インストールするので、こういうコード作ってくださいっていう風に依頼したら、あとはね、もうそれに沿ってファイルも作ってくれますし、そのファイルの中にコードも書いてくれると。まあ、要は何を言ってるかと言うと、コピーアンドペーストする必要がないんですよね。とか、あと、まあ、ファイルを安全に読み書き編集してくれますと。まあ、これ今言ったところですよね。で、セッションごとのコンテキストも保持できますし、実行結果ももちろん確認することができますと。
でね、こういう話をしているとおそらくね、ChatGPTとかと何が違うんだろうって話になると思うんですけども、これ結構明確な違いがありまして、まずクロードコードなんですけども、これは主な使い方が開発を手伝うAIって感じですね。なんで、そのプログラミングとかコーディングの分野で使われます。まあ、最近だとね、結構ライティングで使ってる人も多いんですけども、主にはやっぱり開発になるかなと思います。で、一方でChatGPTっていうのは、雑談とか調べ物とかね、また簡単なコード作成するとか、そういうところにされますよね。ていうのと、やっぱり一番大きな違いがこの実行環境ですね。クロードコードに関しては、あそこのターミナルで動作しますと。で、一方でこのChatGPTとかはこのブラウザで動作しますよね。なんで、皆さんもおそらくGoogle Chromeとか開いていって、で、そこでまあ、ChatGPT検索すると思うんですよ。一方でクロードコードっていうのは、そういうブラウザを開かずに、自分のパソコンに入っているターミナルで動かしていくということになります。
で、まあ、特徴としては、クロードコードの方が開発の作業をね、丸ごと支援してくれますと。ファイルの作成から動作チェックとかね、まあ、ここら辺もやってくれますと。なので、Pythonだとね、pipコマンドでインストールするとかありますけども、そういうところもやってくれます。これってすごいですよね。ChatGPTだと、そのインストールとか勝手にやってくれないんですけども、まあ、クロードコードだとそれもやってくれると。はい。で、ChatGPTの方は基本的にコードを出すだけですよと。で、その後は自分でコピー&ペーストが必要ですよってことですね。で、あと強みとしては、このデータ容量の制限もないですし、ライブラリもね、自由にインストールできます。まあ、逆に言うと、このChatGPTだとアップロードできるCSVファイルとかExcelファイルとか、まあ、そのデータ容量に制限があるんですよね。ていうのと、ライブラリ自体も自由に自分で入れられないと、まあ、例えばLightGBMとかって使えないんですよ。これとかは、まあ、クロードコードを使っていけば自由にね、インストールできるので、そういったね、何か自分でこういうの使っていきたいな、っていうのがあったら、やっぱりクロードコードがいいかなと思います。
で、今解説した通りなんですけども、今までの問題点っていうのが、まあ、ChatGPTとかもね、簡単なデータ分析全然できたんですよ。できたんですけど、そのデータ容量に制限がありましたと。で、一方でこのクロードコードに関しては、自分のパソコン上でね、AIが動作するんで、その容量制限とかがありませんということです。あと二つ目に、ライブラリのインストール制限っていうところで、必要なね、ライブラリがあったとしても、それはインストールできなかったと。これChatGPTだとね、自分でライブラリインストールができないんですけども、このね、クロードコードに関してはAIエージェントとして動作するので、このライブラリね、自分で自由にインストールすることができます。なので、例えばこういうライブラリをね、インストールしてくださいっていう風にクロードコードにお願いすると、それをインストールしてくれるということですね。っていうのが、まあ、クロードコードの特徴になってくるかなと思います。
で、今回ね、このクロードコードを使って実際にデータ分析していきたいんですけども、まあ、どんなね、データ使っていくかって言うと、こちらのKaggle申請のね、承認費を予測するコンペのデータセットを使って行きたいかなと思います。まあ、これKaggleで提供されてるデータなんですけども、今回ね、こちらを使ってデータ分析をクロードコード使ってやっていきましょう。で、これなんでこれ選んでるかって言うとですね、これのプレイグラウンドっていうね、ジャンルのものになるんですけども、だとですね、一般開催されてるコンペのデータって利用禁止されてるんですよ。これ、あの、最近僕も書籍を出してね、その時に結構注意して見ていたんですけども、一般開催のコンペだとこのデータを商用利用するのが禁止されてますと。一方でこのプレイグラウンドに関しては商用利用で書かれてるんですね。で、まあ、このYouTubeもやっぱり多少なりとも広告収入が入ってきてしまうわけなんで、ていう時に、まあ、このね、商用利用可能なものっていうことで、このプレイグラウンドを選んでいます。なんでね、今回はこのコンペのデータセットを使って実際にクロードコードでデータ分析をしていきましょう。
はい。そしたらね、早速実演ということで一緒に見ていきたいかなと思います。はい。そうしたらですね、ここからクロードコードを使って実際にデータ分析をやっていきたいかなと思います。で、まずはKaggleでデータをダウンロードしていきたいかなと思いますので、こちらのコンペページを開いていきましょう。まあ、このページはね、YouTubeの概要欄に貼っておきたいかなと思います。で、この中のデータっていうところに入っているですね。下の方に行くとダウンロードオールですね。ここでデータセットダウンロードしていきます。で、これ下の方に行ってですね。で、まあ、レートサブミッションということで、こちらもね、利用しましたということで、で、これでOKということになったら、データタブ、もう一度開いてあげて、で、ここでですね、ダウンロードオールをクリックしていきましょう。はい、ダウンロードが完了しましたら、このブラウザね、一旦いらないのでちょっとどかしてあげたいと思います。はい。
そうしたらですね、ここから実際にやっていきたいと思うんですけども、まずはターミナルを開いていきましょう。で、Macを使っている方はこのターミナルって検索してもらえればね、出てくると思いますし、iTermとか入れている方であればこちら使っていってもいいと思います。で、僕はiTerm使っていきますね。まずはチェンジディレクトリでデスクトップちょっと今回ね、使っていきます。で、今このフローしかないので、まあ、これね、カーソルプロジェクトっていうことになってますね。で、ここで、まあ、今回用のフォルダー作成していきたくて、ここちょっとね、以前に作成したことあるんで、これ予測で出てるんですけども、まあ、オートデータアナリシスみたいなね、こういうフォルダー作っていきます。で、まあ、チェンジディレクトリにしてあげて、まあ、このフォルダーを今回ね、使っていきたいかなと思います。で、この後なんですけども、まあ、僕の場合はちょっとこれターミナルをね、おしゃれにしておきたいと思うので、この辺りは全然やらなくてもいいんですけども、一応これターミナルを2分割にしておきたいと思います。これちょっと皆さんにね、解説する時に分かりやすいようにってことでやっておきたいかなと思います。で、左を使っていきたいかなと思うんですけども、こっちでちょっとクロード立ち上げてみますね。で、これクロード立ち上げる時は、まあ、このクロードっていうのをね、入力してあげるだけで大丈夫です。このコンティニューとかいらないですね。はい。そうすると、ウェルカム・トゥ・クロードコードという風に出てきました。で、この辺りね、何か言われてますよね。で、まあ、この辺りは最初に始めるにあたってのチップスなので、別に気にしなくて大丈夫です。で、僕はですね、今回この新しく作ったフォルダーがありますよね。このフォルダーでまず環境構築をしていきたいんですよ。で、環境を構築するっていう時もこれがですね、クロードコードを使えばできてしまいます。なんでね、ちょっと一緒にやっていきたいと思うんですけども、ここでね、まずこの環境構築する方法を聞いていきます。で、僕の場合はこのパソコンの中にpyenvが入っていますので、pyenvを使ってこのフォルダーでローカルの環境構築をしたい。どうすればいいですか？みたいな、こんな感じで聞いてあげましょう。そうするとこれね、クロードいつも使ってるみたいな感じでちょっとリクエストね、待っていって、で、このpyenvを使ってローカル環境を構築する手順を説明しますという風に出てきました。そうするとですね、色々と今やってくれてますので、ちょっと待っていきましょう。こんな感じでですね、クロードコードの使い方っていうところも、このターミナルでシンプルに質問投げてあげる。普段だとWeb上 でやってると思うんですけども、まあ、それをこうやってターミナルでやっていけば大丈夫ですね。で、ちょっとするとbashコマンドでpyenv versionsでインストール済みのPythonのバージョン確認しますっていうことなんで、これyesで大丈夫ですね。yesしていきましょう。で、僕の場合は確か3.11入れてあったと思うので、で、これでcreate fileしていいですかってことなんで、OKですよと。はい。こんな感じでですね、このフォルダーを作ってくれるんですよね。で、今度は仮想環境作成ってことで、次の手に勝手に進んでくれてます。はい。で、今度bashコマンドでpyenv virtualenv.venvですね。で、この時にyesすれば、この通りに仮想環境を作成してくれます。この2番を選ぶとyesしつつも、今後はこうやって確認しなくていいですよという風に選ぶこともできます。で、3番選ぶとnoっていうことでね、これを実行せずにselect clodeってことなんで、何をすべきか教えてくださいという風に出てきます。で、僕の場合はですね、これちょっとフォルダ名を 変えて欲しいんですよね。venvじゃなくて普通のvenvにしたいので、ちょっと3にしてあげて、venvではなくてvenvで作成してくださいと、こんなね、リクエストを投げたいと思います。で、そうするとまたね、クロードが勝手に考えてくれて、で、先ほどのコマンドのね、確認の時にvenvではなくてvenvを出してくれるはずです。はい、この通りですよね。これで問題ない のでyesしていきましょう、という感じで、これね、自分で何かLinuxのね、コマンドを操作するとか、まあ、ファイルを操作するっていうのやらなくていいんですよ。これすごくないですか？だから昔までだとなんか仮想環境のね、作成とかもどうやってやるんだっけっていうので、色々と調べながらやっていたと思うんですけども、まあ、それもやる必要がないということですね。仮想環境の設定が完了しましたっていうことで、まあ、このコマンド使えばね、有効化できますという風に出ていきました。はい。で、そしたらちょっと一旦これね、クロードを終了してあげて、で、この左側じゃなくて右側にですね、映ってあげて、で、lsしてあげると、こんな感じでしっかりvenv作成できていることが分かります。で、これ有効化するにはsourceコマンドを使ってくれってことなんで、使ってあげると、今ね、これPythonをしっかり と有効にできているかなと思います。which pythonで実際に実行していくと、ちゃんとね、このオートデータアナリシスの下のvenvの下のPythonを使えていることが分かります。で、まあ、一応Pythonのバージョンも見ましょうか。そうすると3.11ということでね、しっかりインストールしたPython使えていることが分かります。で、まあ、あとpip listとか実行すると、何もね、今んとこインストールしていないので、まあ、この2つで問題ないかなと思います。まあ、一応これね、pip installのアップグレードだけしておきましょう。はい。ていう感じで、仮想環境の作成も簡単にできることが分かります。
で、そうしたらなんですけども、まあ、もう一度ね、これクロード立ち上げ直してあげたいと思っていて、今度左に戻るんですけども、またクロードっていう風に入力していきますと。で、この後にこの前のね、会話を続けたいということであれば、このハイフンハイフンコンティニュー使ってあげます。そうすると、この前のね、会話の続きから入力することができます。はい。
そうしたらですね、この画面は一旦閉じてあげて、ここからですね、ちょっとVSコードを使っていきたいかなと思います。なので、このフォルダーでVSコードを立ち上げてあげて、で、現状はですね、venvフォルダーとあと.python-versionですね。まあ、これが作成されてますと。一応which pythonで今Pythonがこれがあれですね。で、これでPython立ち上げてあげて、もう一度ね、これ仮想環境を有効にしておいてあげましょう。で、あとは先ほどダウンロードしておいたデータがありますよね。あれをですね、この中に入れておいてあげたいと思います。なんでKaggleでダウンロードしたデータをこの中に入れてあげましょう。で、そうするとですね、まあ、こんな感じでtrain.csvとかtest.csvが入っていることが分かります。はい。
ではですね、ここからもう一度クロード立ち上げてあげて、で、まあ、これはね、エンターでスキップしていくんですけども、ここからね、クロードコード使って実際に分析をしていきましょう。で、まずはこれからtrain.csvのデータを使ってデータ分析していきたいですと。こんぐらいね、もうざっくりした依頼大丈夫です。で、どんな手順でどんなことを分析するといいですか？と。まあ、このね、何を分析すればいいのかもクロードコードに聞いていきたいと思い ます。で、そうするとクロード側が考えてくれますので少し待っていきましょう。
はい。train.csv使ったね、分析の提案をしてくれますと。まあ、アップデートto doということでね、この項目をやっていきますという風に出ています。はい。でね、今ファイル読み込みのところでtrain.csvがないですよという風に出てるんんですけども、これなかったらですね、このパスを色々見ていって、で、これすごくないですか？train.csvがこの中にありましたと。この状態だと見つからないんだけど、このプレイグラウンドのね、この下を見ていったらtrain.csvあったよってことでね、こういうのも勝手に見つけてくれるんですね。こういうのって今までであれば自分の方でね、これ僕らがこれ発見してあげて、で、それをAIに教え込まないといけなかったんですけども、それも勝手にやってくれるっていうことですね。て考えるとね、ここでかなりすごいことが分かるんじゃないかなって思います。で、分析の提案もしてくれていて、まずEDAして、この基本的なところですよね。で、データの可視化もしてくれて、で、特徴量エンジニアリングから予測モデルの構築までやりますという ことですね。はい。ていう感じなんですけども、これすごくないですか？もうこの辺りを勝手に考えてくれて、でね、これ分析を始めるために、まずはライブラリインストールしますか？みたいなね、ライブラリインストールも提案してくれるんですね。この時点でね、かなりすごいことが分かると思うんですけども、今回は一旦ですね、まあ、この日予測とか日分類とかやらずに基礎的なデータ分析の範囲までにしたいと思うので、で、大丈夫です。それを踏まえた上でもう一度やるべきことを考えてみたいな、めちゃくちゃふわってしてますけど、ちょっとこれでオーダーしてみたいと思います。まあ、これ普段だったんでね、もうちょっとちゃんとクロードにプロンプト与えるんですけども、今回はこれぐらいでちょっとやっていきたいと思います。あえてですね。で、そうするとちょっとふわっとしたオーダーだったんだけども、これ見てください。これすごくないですか？この基礎分析の範囲でやるべきことを提案してくれています。で、まず仮想環境をアクティブにして、その後pip installでpandas, numpy, matplotlib, seabornインストールするよってことなんで、これOKですね。yesをしていきましょう。ていう感じで、このライブラリをインストールしたら、もうクロードが勝手に実行してくれます。はい。これめちゃくちゃ便利ですよね。で、ちょっとライブラリのインストールは時間かかると思いますので、少し待っていきましょう。
はい。ライブラリのインストールが完了して、次にね、このPythonファイルを作成しますという風に出てきています。で、これ出てきたんですけども、Visual Studio Codeでファイルをセーブしていいですか？ってことで、まあ、もちろんyesですね。yesをしていきましょう。で、そうするとPythonファイルを作成してくれます。まあ、これ今回Pythonファイルになってるんですけども、この後ね、これをノートブックにしてくださいっていう風に依頼を投げたいと思います。で、これ実行しますか？ってことなんですけど、実行しなくていいですね。一旦実行せずにファイルの中身見ていきましょう。で、そうするとはい。こちらどうでしょうかね。今僕クロードコードの依頼にyesってしただけなんですけども、これだけのコードを作成してくれました。これすごくないですか？で、これをちょっとね、僕は見やすくやっぱ使っていきたいので、今作成してもらったPythonファイル、これをPythonノートブックにしてくださいと。はい。これで依頼投げてみましょう。で、そうするとですね、これもまたなんとPythonファイルからPythonノートブックの形式に変換してくれます。で、このPythonファイルからノートブックファイルに変更するのも結構ね、自分でやろうと思うと手間に なるんですよ。っていうのもコピーアンドペーストしていかないといけないんでね。これ逆にノートブックからPythonファイルだとコマンド一つで簡単にできるんですけども、これ逆だとね、ちょっと時間かかりますよっていうことで、これもクロードコードにやらせます。こんな感じでデータ分析も自動化できるんですよ。すごくないですか、これ。で、ちょっとね、これ出来上がるまで少し待っていきたいと思います。
はい。しばらくするとですね、こんな感じでクロードコードがね、提案してくれて、で、yesかnoかね、選べるところまで出てきたんですけども、ちょっとここでエラーになってしまってますね。これなんかノートがおかしいのかな？ノートってあのクロードコード動かす時に使ってるやつなんですけども、もしかしたらそれがおかしいかもしれないんですけど、一応もう一度立ち上げてみたいと思います。で、続きをお願いと、ちょっとね、依頼してみましょう。もしかしたらこのクロードコードを動かしてるノートにね、ちょっとこのびっくりマークも出てますけど、問題があるかもしれないんです。ちょっと問題ありそうであればね、その辺りはおいおい対応していきたいかなと思います。あとはあれですかね、動作確認とかせずにもシンプルにこのJupyter Notebookを作成してもらうだけ。それで、まあ、ファイルとか開かずにね、そんな感じで依頼するのもいいかなって思いますね。まあ、何と思わね、ちょっとこれ完成するまで少し待っていきましょう。
はい。というわけでもう一度実行してみたんですけども、やっぱりですね、ちょっとこれなんかエラーになってしまいますね。なんでこれはちょっとアップグレードしてみようかな。クロードコードアップグレードしてみたいと思うので、npm installこれですね。このコマンドもう一度実行していきましょう。はい。その後でもう一度クロードコードね、実行していきたいと思います。で、この次からやっていくんですけども、ノートブック形式に変換してくださいと。これでオーダー投げていきましょう。で、また改めてですね、Jupyter Notebook形式のファイル作成が完了するまで少し待っていきたいかなと思います。
はい。ちょっと今ですね、VSコードでうまく動かなかったのでターミナルでやり直してみました。で、そうすると問題なく動作したので、まあ、こっちでね、このyesをしていきたいかなと思います。多分ね、ここら辺のファイル作成がうまくいかなかったのかなって思うんですけども、これでね、問題なく作れそうなので、無事に実行も完了したので、ちょっとね、このファイル見ていきましょう。で、そうするとこんな感じで基礎的なデータ分析ということでね、train.csvのデータをEDA行いますっていうことで、まずライブラリインポートから行われていて、で、データの読み込みですよね。で、データサイズの確認と、まあ、戦闘行の確認と、あと、まあ、カラム名とデータ型の確認と、はい。こんな感じで、まあ、よく見るね、項目はちゃんと確認できてるんじゃないかなって思います。で、そしたらですね、ちょっとこれ実行していきましょう。で、こちら実行するためにはまずPython環境を選んであげて、今使ってるvenvですね。はい。で、そうするとこんな感じで、まあ、このIPythonカーネルのね、パッケージが必要ですってことなんで、これインストールしてあげましょう。ていうのは、今の仮想環境の中に、ちょっとこれ一旦終了してあげて、仮想環境の中にです、ね、このpip listをしてあげると、まあ、デフォルトというか、今の状態ではIPython入ってなかったんですよね。なんで今これを入れてあげたということになります。で、これ入れてあげないとこれ動作しないということですね。で、しばらくすると、まあ、完了すると思いますので、もう一度ね、これクロードコード立ち上げて置いてあげて、で、こっちは実行していきましょう。はい。そうするとライブラリのインポートが完了して、データの読み込み行っていきます。で、そうすると今回は5万8000行で13列のデータがあることが分かって、で、戦闘行を見ていくとこんな感じですね。人の年齢、人の収入。まあ、あとオーナーシップとかね、まあ、この借りてるのか所有物件なのかっていうね、この辺りが分かります。まあ、確かにね、ここら辺の情報が分かるとローンのね、融資の可否とか分かってきそうだな、ってことも分かりますね。で、この後これがカラムとデータ型の確認で、で、基本統計量の確認ですね。はい。まあ、IDはスルーするとして、パーソンの年齢層なんですけども、まあ、平均27歳とか、まあ、この辺りが確認できます。で、欠損値あるのかというと、これがないんですね。なくて、カテゴリー変数の分布を確認していくと、これはvalue_counts見てるんですね。なんで何がいくつあるかっていうのと、ユニークの値がどれぐらいあるか、これですね。この辺りを確認できるようになっています。あともターゲット変数の分布も確認することができて、こんな感じですと。デフォルトが1で正常が0ってことなんですけども、これはちょっとラベルが良くないですよね。ラベルがおかしいかなって思うんで、一旦これ削除しておきましょう。まあ、要はこれ1が14%で0が85%ってことですね。はい。で、基本的な可視化を見ていくとはい。この辺りもね、こんな感じでしっかり確認することができます。で、こういうコードとかも自分で書くってなったら結構大変ですよね。だし、今回のこのデータセットでグラフを書くってなった時にChatGPTとかだとこれにね、対応する形で書くってちょっと難しかったりするじゃないですか。まあ、もちろんプロンプトでね、こういう方もあるよっていう風に教えてあげればいいんですけども、それもちょっと手間ですよね。いう時に、このクロードコードであればどういうデータがね、そもそも入っていて、で、どの項目を可視化しないといけないのかっていうのも勝手に判断してくれますね。この辺りも大体数値変数見るっていう時はヒストグラムと散布図とか見ていくといいんですけども、まあ、だからね、この2つのグラフしっかり準備してくれてますよね。あと、まあ、相関分析ってことで、はい。この辺りのグラフもね、しっかり作成するコード書いてくれてますという風に見ていくと、これすごくないですか？これ1から書こうと思ったら結構時間かかりますよね。こんな感じです。素晴らしいですね。まとめと考察も入れてくれてますね。はい。まあ、ただちょっとこれはあんまり良くないというか、そんなにレベル高く ないですね。はい。ということが分かります。ていうところでね、もうコードとしては素晴らしいですし、これ確認してる項目もすごくいいかなって思います。なんだけど、まあ、このデータね、じゃ、こうやって見せられた時に、じゃあこれが一体何なんだろうとかね、あとはちょっとこのまとめと考察がね、浅かったりしますので、これをもう一度ね、クロードコード使ってあげて、この続きからちょっと書いていくんですけども、この分析結果から分かることをノートブック上にマークダウンで記載してと、はい、こんな感じで依頼してみましょう。で、そうするとこのね、分析結果から分かることを考察して、その結果もこのクロードコードが書いてくれると、まあ、そんなことがね、できるようになります。はい。
今ですね、こんな感じで分析結果の考察をノートに追加してもらってます。ここまでできてしまうの本当にすごいですよね。これを1から書いて、で、考察もしてってなると本当だったら、というか、それこそこういうAIが登場する前までとかは、まあ、僕だとやっぱ言っても数十時間とかかかったと思うんですよ。もちろんね、その扱うデータが実際にもっと多いってのはあるんですけども、とはいえね、このコード書くのも結構大変でしたから、こんなことがね、こうやって自動でできてしまうっていうのは本当にすごいことかなって思いますよね。で、今ね、ノートブック読み込んでもらって、おそらくまとめを書いてくれてるんじゃないかなって思いますね。なんでこれもちょっとね、あ、今作成できましたね。そしたらこれyesってことでセルにね、追加してもらいましょう。はい。今ね、これ画面の表示切り替わったと思うんですけども、ちょっとこれの動作が終わるまで少し待っていきましょう。はい。またね、この実行が終わるのも早いですよね。いうので見ていくと、今回はどこに追加してくれたのかというと、項目の10にしてくれたのかな。おそらくですね、こちらですね。分析結果から得られた洞察っていうことで、まずデータセットの特徴を見ていって、デフォルト率が14%、正常ローンが85%で、欠損値が存在せず、データ品質は良好です。で、サンプルサイズが5万8000円ですと。はい。ここの辺りあたりをまとめてくれていて、あと重要な発見項目っていうことで、収入に対するローン比率が最重要。あ、すごいですね。こういうの分かるんだ。ちょっと僕もこれ今デモを紹介しながら感心しちゃってるんですけども、でもこれすごくないですか？金利とデフォルトの強い関係。金利が高いとこのデフォルトリスクも上がるってことですよね。まあ、これでも確かにそうですよね。要はその5%で貸してる人よりも10%の人の方がなんかデフォルトしそうじゃないですか？いや、これはすごいですね。うん。で、ビジネス性の差ってことで、審査基準の見直し。例えば収入の20%を超えるローンは特に慎重な資金が必要だよとかね。これすごくないですか？てかこのビジネス性まで入れてくれるって結構良くていうのも、このデータ分析しましたっていう時に、データ分析する目的ってやっぱそのビジネス課題を解決するためなんですよね。そのビジネス課題を解決するっていうのは売上を上げるか、それともコストを削減するか、っていう話なんですけども、例えばこれ審査基準の見直しっていう時に、じゃあね、この収入の20万超えるローンは特に慎重な審査していこうみたいな、これ判断したとすると、これって元々はそのお金を貸して貸倒れしちゃう人がいたかもしれないけど、これ審査強化することによってちゃんとみんなね、返してくれる人にだけ貸せるようになる。要はこれってコストが減るんですよ。ね。っていうのは貸倒れしちゃう人ってこのうちの会社のね、うちの会社って僕は別に貸してないですけど、うちの会社のお金がなくなってしまうってことじゃないですか。例えば僕がAさんに100万円貸しましたと。でもAさんがそのトンずらこいてどっか行っちゃったら、まあ、その100万円分僕損してますよねっていうところなんで、そのコストが削減できるってことですね。はい。だからこれすごい良いですね。はい。なんでこれ結構もうこのままでも完成度高いんですけど、もうちょっと追加しようかな。ありがとうと。で、今回追加してもらった考察結果たちなんだけど、これ各コードの実行結果の下に書いてくれる。その方が見やすいと思うんだよね、みたいな。はい。こんな感じでね、ちょっとラフに投げてみます。で、まあ、これ実際に今お願いした通りなんですけども、この下に全部まとめてもらうよりも、何かそのグラフが表示されていて、その下に何か考察をまとめてくれていた方がノートブックとしては確認しやすいですよね。なので、まあ、こういう依頼を今投げました。で、あとちょっと思ったんですけど、ノートブックの一番上にどういうノートブックなのかもね、書きたいですね。なんでこの処理が終わったらちょっとやらせようかなって思います。で、この辺りも編集していいですよってことでyesにしていきます。ちなみにですね、これこういう各アクションごとにどれぐらいトークン数消費したかっていうのも出てきます。で、これもインサートってことなんで、まあ、追加ですよね。OKです。OKです。で、ちなみにこれ今僕いちいち確認して1万選択して、あ、これですね。いちいちこれどういうことしてるのか確認してからこれ1って選択してるんですけども、これ面倒っていうことであれば、これ2番選択してあげれば、これいちいち確認せずにどんどん実行してくれます。まあ、でも僕の場合はね、これちょっと一応全部確認していて、なんでかって言うと、例えばライブラリのインストールとかで勝手に何かインストールされて、で、それで不具合起こすとかが嫌なので、僕の場合はこれいちいちちょっと確認してます。で、これでアップデートセルってことで、これもおっけーです。なんかこれ今OKでーすっていうのでね、結構どんどん進めてますけど、かなり追加してくれてるんじゃないかな。この辺りサンプリング手法の検討も必要かもみたいな、あんま書いてなかったですよね、多分。もしかしたら僕が見落としてるだけかもしれないんですけど、多分なかったと思うんですよね。というところで、まあ、どんどん進めていきましょう。で、こちらもいいやですね。で、ノートブックちょっと見ていくんですけど、あ、この辺りですね。はい。まあ、ちょっとこれ位置ミスってますけどね。相関係数はどこだっけ？下の方だったかな？ここではないですよね。多少のミスはありますけども、まあまあまあ、それは後で修正してあげればいいですかね。多少ずれちゃってますね。まあ、これは後で修正しましょう。こうやってね、まとめてくれるだけかなりありがたいですからね。はい。ていうところでこれで完成したということですね。で、まあ、これ見ていくんですけども、まあ、相関ここですね。相関分析なんで、としてはこのグラフを見た後にさっきの相関に関する分析が出てくるというのが望ましいですね。で、まあ、これまとめて考察いらないな。はい。で、まあ、この辺りの修正っていうのは後でね、自分で手動でやってもいいかなって思うので、一旦スルーして、で、そもそもこのノートブックが何のためのノートブックか、これが分かるようにノートブックの1つ目のセルにしてと、こんな依頼も投げたいと思います。え、そうするとですね、そもそもこのノートブック何のノートブックなんだっけっていうのを追加してくれます。こちらですよね。最初のセルにノートブックの目的と概要を追加しますという風に書かれています。で、こちらyesで大丈夫ですね。で、まあ、これね、ここにも書かれてるんですけども、データセットについてとか、まあ、あと分析の流れとかね、これ目次形式でまとめてくれています。で、実際に見ていくとこんな感じですね。このノートブックはKaggleのね、データセットのローンデフォルト予測データセットに対する基礎的な分析を行うものですと。やっぱね、こうやって書かれていると分かりやすいですよね。で、データセットもこんな感じで、分析の流れはこんな感じと、非常によくできてるかなと思います。
というわけで僕はですね、今回何もしてないんですけども、まあ、強いて言うならこのノートブックを実行していっただけなんですけども、これだけでこの分析のレポートができてしまいました。実際これ見ていくと、年齢が27.5歳で比較的若めだよとか、これ合ってるんですよ。全然間違ってないですよね。で、収入も平均がこれぐらい、重要値これぐらいで、まあ、極端な収入者が存在するよと。これも間違ってないです。というところでですね、もうしっかり分析結果を読み取って考察をまとめてくれています。で、まあ、レポートとしてもね、これもう全然いいかなって思います。こういう基礎的な分析であればしっかりできてるかなって思います。
じゃあですね、これ最後にレポート形式にしたいので、何か修正点があれば教えてと教えてというか、修正点があれば改善してんでしょうかな。別に教えてもらわなくてもね、勝手に改善してくれればいいので。はい。なんでまあ、これも勝手に修正させます。で、そうするとですね、今度アップデートとしては、Executive Summaryの追加とセクション番号の整理と階層構造の改善、あと図表番号とキャプションの追加とかね、あと結論と推奨事項のセクションの強化という風に、まあ、勝手に考えてね、勝手に変更してくれます。素晴らしいですね。で、推奨アクションがこれさっきもね、書かれてましたけど、収入の20%超えるローン申請に対する追加審査のGCとかね、非常にいいかなって思います。で、ちょっとこれ完了するまで少し待っていきましょう。
はい。しばらくするとですね、こんな感じでClaude Opus 4 limit reachってことで、このOpus 4が制限に達したよという風に出てきます。で、今この使ってるのがSonnet 4っていうことですね。はい。これですね、月額プランを使っていると、デフォルトの状態だとOpus 4から使われます。で、その後に使用制限が達してしまったらSonnet 4に切り替えられるよってことですね。まあ、正直ね、これどっちでもあの精度高いです。Opus 4でもSonnetでもどっちもね、いいのであんまり気にしなくて大丈夫かなって思います。で、今Sonnet 4を使ってくれてるってことなんで、まあ、そのまま修正していきましょう。で、またしばらくしてね、これ修正が全部終わるまでやっていきたいかなと思います。
はい。というわけでしばらくすると、クロードコードがレポートを修正してくれました。で、実際にどんなレポートになったかね、ちょっと見ていくと、ノートの目的とかね、分析の流れ、あと、あ、こんな感じで戦闘にExecutive Summaryを追加してくれて、で、主要な発見事項と推奨アクションをまとめてくれていますね。まあ、確かにこれ戦闘にあった方が分かりやすいですよね。で、ここら辺がちょっとマークダウンにしたいですよね。マークダウンのセルにしてあげて。データの読み込みとかなくなってるかな？ちょっとなんかバグがありますね。コードがなくなっちゃってますね。アップデートした結果コードが消えてしまっていますと。ちゃんと動作する形にして、元々確認していた項目を確認できるようにしてと。このままだと急にレポートの結果が出てきて不自然だよと。はい。これでもう一度依頼を投げていきたいかなと思います。で、この辺りね、ちゃんと整合性が取れるように今修正してくれてますので、完了するまで少し待っていきましょう。ちなみにさっきの選択オプションの時に1ではなくて2を選択するとこんな感じで表示されます。この自動で編集を受け付けてますよっていう風に出てくるんですね。はい。なんで、まあ、これね、ちょっと試しに2番押してみたんですけども、こんな感じで僕が11を押さなくてもどんどん修正してくれます。なので、ある程度立ってきて、この毎回ね、1を選択するの大変だなんて思ったら、まあ、2を選択してもらえるといいかなって思います。まあ、特にこのデータ分析とかだと1回だけね、そのライブラリインストールしてあげれば、あとインストールすることあんまなかったりするんでね。ただこうやって基本的なデータ分析から機械学習モデルを導入したいみたいな、そういう話になってくるとちょっとインストールが必要になるかもしれないんで、その時はね、2位押さない方がいいんですけども、今回は基礎分析の範囲ってね、あらかじめ指示してありますので、まあ、ライブラリのインストール勝手にされることもないかなって思います。で、今修正かけてくれていて、なんか良さそうですね。これ完成されるまでね、少し待っていきましょう。
はい。というわけでしばらくするとですね、修正が完了しました。で、この状態でちょっと改めて見ていきましょうか。で、ライブラリのインストールがあって、で、初めにがあって、えっと、あ、ありました、ありました。データの読み込み、この辺りだからいらないんですよね。データの読み込みがあって、で、describeあって、で、それに対する考察があって、あれ、これdescribe2つあるな。2つはいらないですね。1個でいいですね。で、欠損値の確認があります。で、これでカテゴリー変数の確認があって、うん。まあ、これちょっといらない。このセクションだ、いらないかもしんないですけど、ちょっとずれてますね。うん。ちょっとずれてしまってますね。はい。はい。はい。なるほど。そしたらね、この後にもう一度セクション構成を見直してみたいな指示してあげても大丈夫です。まあ、ただちょっと面倒なんでね、もういいかなって思います。まあ、あとはそれやるだけなんでね、ちょっとやってもらえればいいかなって思うんですけど、この辺りしっかりね、やられているので非常にいいんじゃないか なっ て思います。今後の展望とかね、課題も書かれていますし、あとレポート作成日とかもね、この辺りも追加されていて、レポートとしてしっかりいいものができてるかなって思います。あとはこのセクション番号だけ修正してあげればもう完璧なレポートになります。はい。
そしたらですね、最後にちょっとやりたいことがあって、ではこの、えっと、ノートをHTML形式にしてくださいと。はい。これで依頼投げていきましょう。で、そうするとですね、まずそもそもなんですけども、ノートブックコンバートをインストールしますか？っていうことで、これOKにしましょう。で、これOKしていくと、おそらく今度ね、変換するコマンドを提案されると思うん ですよね。なんでそれ提案されたらそれもOKしていきたいかなと思います。はい。で、しばらくするとね、まあ、やっぱりこれ提案されますよね。jupyter notebook convertのHTMLっていうことで、これOKにしていきましょう。で、これHTMLにすると何がいいかって言うと、まあ、レポートとして確認しやすくなるんですよね。ていうのも僕たちはこれIPythonノートブックね、普通に使えるかもしれないんですけども、まあ、例えば初心者の人とかまたあとは非エンジニアの人だと、これわざわざインストールするのってめちゃくちゃ大変ですよね。そもそもこのVSコードインストールするの大変ですし、その後にこの環境を構築するのも大変ですと。でもこうやってHTMLを準備しておけば、これ誰でも確認することができます。で、これちょっとブラウザに開きたいんで、一旦これクロードコード閉じてあげて、で、こっちのね、右側でこのフォルダーオープンしますと。で、この中に入っているHTMLですね。これ開いていきます。で、そうするとちょっと別のブラウザで今開けてたんですけども、こちらですね。はい。こんな感じで、このPythonの環境構築をしなくても誰でも確認することができますということを考えていくと、これすごい便利ですよね。で、もしもこれHTMLではなくてPDFがいいよみたいな、そういう話であれば、これ印刷をしてもらえればね、全然PDFにもできますし、で、これ見た目としてもすごいよくできてますよね。
という感じで、このクロードコードっていうのを使ってあげる と、分析の実行からあとは考察の作成ですよ。ね。で、そしてこうやって分析レポートの形にもしてくれます。で、今回はこれ基礎分析の範囲までしかやってないんですけども、例えばこれもコード開いていくんですけども、例えばじゃこの後に機械学習モデルを使って、そのデフォルトリスクを予測したいみたいな話になれば、それもまたクロードコードを使えばね、モデル作成のコードを作成して、で、実際にどれぐらいね、正解できたのかとかも確認できてていうところでね、さらに追加することもできます。で、不足しているライブラリがあれば、それをインストールすることもできます。というところで、今までここまでの範囲でも、まあ、10時間ぐらいは軽くかかっていたんですけども、まあ、今回のね、この動画見てもらえれば分かると思うんですけども、まあ、数十分ぐらいでできるようになったということですね。で、僕今こうやって話してるからちょっと時間かかってるんですけども、1人で黙々とやってれば結構10分ぐらいでできちゃうかなって思います。で、僕の場合は結構ね、このコードとかも読めば分かるので、ちょっと手直ししてっ ていう風にやっていけば、まあ、もっと早くできるかもしれません。はい。
というところでね、以上がクロードコードを使ったデータ分析でした。
はい、というわけでクロードコードの実演を見ていったんですけども、どうだったでしょうか？意外とこんなにできてしまうのかってびっくりされた方も多いんじゃないかなって思うんですけども、ただですね、ちょっとこの動画の最後のところでAIの限界とか注意点とかね、その辺りを解説しておきたいかなと思います。
で、まずですね、抑えておきたいのが、AIっていうのも全ての分析作業を任せられるわけではないんですね。例えば文法とかグラフは結構完璧だとしても、意図した分析ができているかとかね、まあ、その辺りの確認はやっぱり人がやる必要があります。例えば今回の例で行くと、どういう分析をすればいいですか？って僕聞いていたと思うんですね。なんですけど、じゃあその帰ってきた結果が本当にこれでいいかどうかって、どうやったら判断できると思いますか？今回で言うと、簡単なデータ確認から始まっていて、で、今度基本統計量の確認やってたかな。で、その後にカテゴリー変数とか数値変数ごとの確認をしているみたいな流れだったと思うんですけども、そもそもその流れって本当に正しいのかどうか、どうやって確認すればいいと思いますか？はい。それはですね、やっぱりこの人間がやる必要があるんですね。で、実際僕もこのデータ分析とかPythonについて分かっているから、これで問題ないっていう判断を下せるわけなんですよ。つまり、このデータ分析とかPythonについて理解していることで、適切な判断が可能になっているわけです。なので、これ重要なポイントなんですけども、AIを使いこなすためには最低限の分析知識が必要になります。こういう時にね、プログラムや文法を覚える必要は全くないんですけども、やっぱり分析の良きさとかは学んでおいた方がいいかなって思います。
で、あとAIが得意なのってデータの処理とか計算とか、まあ、パターン認識とかコード生成とかね、あと単純作業のこの反復的な作業ですよね。この辺りが、まあ、得意にはなるんですけども、一方で人間に求められることですね。これっていうのは、まあ、意思決定するとか判断するとか、また想像的な思考するとか、まあ、この辺りが求められるわけです。今回の例で言うと、AIが生成してくれたコードとかを見ていて、本当に正しいのかっていうのを判断するってことですね。まあ、この辺りがやっぱり求められますよっていうところで、なので今後はですね、まあ、手を動かせる人ではなくて、AIにやらせるために何を指示すべきかを理解している人、これが重宝されるかなって思います。まあ、そういった面で適切な意思決定や判断ができるようになるためにも、まあ、データ分析の人はやっぱり学んでおいた方がいいかなって思いますね。
そもそものなんですけども、現実のデータっていうのはデータが整っていなかったりとか、そもそもデータが存在しなかったりとか、また複数のソースからデータを統合する必要があるんですね。今回はのデータセットでもう既に整ったデータを使っていただわけなんですけども、実際のデータだとこんな感じになっていますと。なので、これデータ収集の技術とか、まあ、あとデータクレンジングの技術とかね、あとそもそもデータ基盤の構築とか、これ結構近年ね、データエンジニアの需要とかも高まっていたりするんですけども、この辺りのスキルはやっぱり求められるかなって思います。なのでこの分析も大事だし、データ基盤の構築も学んでおけるとすごくいいかなって思います。
あとは最後にAI時代に求められるスキルですね。これも解説しておこうかなって思います。で、現段階で考えられるのはこの4つになるかなって思いますね。まず一つにデータ分析ですね。これはやっぱり今回ね、データ分析の実演を見せましたけども、そもそもどうやって分析をやっていけばいいのかとか、まあ、その辺りが分かっているからこそ使いこなせるものになっているので、そもそものこの基礎は抑えたいですよと。で、二つ目にプロンプトエンジニアリングですね。AIに適切な指示を出す能力なんですけども、これも本来はあった方がいいです。今回ね、適当にもうどんどん指示しちゃいましたけども、やっぱりね、適切な指示ができた方がAIのアウトプットも高くなりますので、この辺りもやっぱりできた方がいいかなって思います。あとそもそも三つ目のこのITの基礎スキルですね。これ何のことを言ってるかと言うと、プログラミングの基礎とか、マット、データベースの知識とか、ツールの活用能力とか、この辺りですねっていうのも今回僕iTermとかあとVSコードとかあとiTerm使う時にもいろんなツールがね、あん中に入っていたわけなんですけども、っていうところで、そのITとかプログラミングの基礎のスキルとかね、その辺りもやっぱりあった方がいいかなって思います。そうすると今回のクロードコードなんかもITスキルがあるからこそ不自由なく使えたりするので、なんでね、この辺りの基礎スキルもしっかり抑えておきましょう。あと四つ目が課題解決能力です。まあ、これ問題特定して解決する能力なわけなんですけども、そもそもね、さっきのデータ分析もそうなんですけども、なんでこれ分析やるんだっけとか、これ分析した結果、これデータ分析して何の問題を解決したいんだっけ？みたいなね、まあ、そういうところもしっかり補っていけるとさらにいいかなって思います。やっぱりね、ただ作業するだけとか、ただコードを書くだけってもうAIがやってくれるわけですよ。なんですけども、まあ、さっきもね、お伝えした通りで、この人間に求められることっていうのは意思決定するとか判断するとか、まあ、この辺りが大事になってくるので、てなったらこのね、課題解決能力ですね。そもそも何が課題なんだっけ？と。で、その課題解決するにはどうやってAIを使いこなせばいいんだろうっていうね、そのベースとなるところがやっぱり分かってないとなかなかAIもね、十分に使いこなせないかなって思いますので、この能力もね、しっかり身につけていけるといいかなって思います。ていう以上の4つがAI時代に求められるスキルになります。
というわけで今回はクロードコードを使ってデータ分析を効率化する様子をお届けしていたんですけど、どうだったでしょうか？実は僕が主催するTech Flow内でも同じ内容でセミナーをやったんですけど、実演を見ていて衝撃的でしたとか、さすがにヤバいことになってるな、など、多くの受講生がAIの性能の高さに衝撃を受けていました。もしかしたら今日の動画を見て、「本当にエンジニアとかデータサイエンティストは不要になるんじゃないか」と感じた人もいるかもしれません。確かに僕の周りのフリーランスエンジニア仲間はもうみんなAIツールを使っていて、7、8割のコードは自動で作成できると言っています。だから、ただコードを書くだけのプログラマーなんかは、あと数年で必要なくなるかもしれません。
でも、今日の動画で紹介したように、何不自由なくクロードコードを使ったり、AIの出力に対して適切に判断を下せたりするのは、やっぱりPythonにはデータサイエンスの実務経験があって、基礎がしっかり身についているからなんですね。事実、生成AI系の案件ではPythonやデータサイエンスの知識を求められることが多いです。つまり、ただAIを操作できるだけでは意味がなくて、AIの出力に対して判断を下せるだけの知識やスキルが必要になります。だから、今Pythonやデータを勉強している人は、自信を持ってこのまま学習を継続してみてください。
そもそも今回紹介したクロードコードは、元を辿ればLLMであり、LLMはデータの領域です。データサイエンスを学んでおけば、生成AIに対する理解も深まるし、今増え続けているデータ活用したい企業で活躍することもできます。そうすれば、業界企業問わず、どんな場所でも活躍できる人材になれます。このままじゃ将来が不安だななんて怯えることなく、強みとなるスキルを身につけて、毎日に自信を持って楽しく仕事に取り組めるようになります。だから、諦めずにPythonやデータの学習を続けていきましょう。
ただし、Pythonやデータは正しい学習法で勉強しないと絶対にスキルが身につくことはありません。例えば、基礎を完璧にしようとすると99%の人は挫折していきます。では、その正しい学習法とは何なのか。これについて解説した動画を、概要欄にあるLINEを友達追加してくれた方にプレゼントしています。1時間を超える超対策になるんですけど、Pythonやデータサイエンスを学ぶなら絶対に知っておいて欲しい内容を盛り込んだので、次回やお金を無駄にせず、どんな企業や業界でも勝ち上がれる人材になりたい。そう思っている人は是非、動画の概要欄からLINEを友達追加して受け取ってみてください。
それではまた次回の動画でお会いしましょう。
[音楽]