Transcription
検索してみましょう。いいですね。出てきました。例えば、こういったところで使えるんじゃないかなという風に思っております。
すでにGitHubに公開しておりまして、いいですね。出してくれましたね。価格計算結果とかですね。サンシャイン池崎の。
はい、どうもギークです。今回はPower AppsとAIビルダーのGPT-4を利用して作成した社内ドキュメント検索アプリについて、GitHubにソリューションを公開しましたので、使い方とどんなアプリなのかというのと、ソリューションの入手方法についてご紹介いたします。
では、このようにですね、モデル駆動型アプリという風にちょっと検索をしてみたいなと思います。ですね、検索ボタンを押してみます。で、これを行いますと、自分の権限がある範囲でSharePointとOneDriveの範囲でドキュメントを検索してくれます。
ドキュメントが検索されました。このように、え、履歴が残りまして、で、さらにこういった、え、検索結果ですね。検索結果の一覧というのが表示されまして、で、それが1項目1項目ですね。これ例えばPowerPointであれば、ま、ダウンロードができますよと。こういう風にダウンロードボタンを押しますと、このファイル開きますかというように直接リンクを開くことができます。
PDFであればですね、このように直接画面上に表示させるということもできるようになっております。で、PDFであったりPowerPoint、様々なドキュメントの形式を要約することができます。で、一方で、今のところですね、画像形式に関してはこのまま要約の対象外としておりますけれども、で、基本的には色々なファイルのフォーマットに対してですね、要約のボタンというのが活性化してるのが分かるかなと思います。
それでは、例えばこちらですね、作って学ぶPower BIのレクチャーのコースですけれども、こちらをボタンワンクリックで要約してみたいと思います。いいですね。このようにPower Platformの概要というのを、この資料を開かずとも中を、中身をですね、要約してくれました。そして、このように見出しをちゃんとつけて、見やすく表示してくれたのが分かるんじゃないかなと思います。
では、こちらをですね、保存してさらに質問をしてみたいなと思います。で、保存したものを選択してですね、さらにこの中身を見ることができます。で、要約結果というのがまずこういう風に見ることができまして、で、全てOCRで取得した、え、元のデータですね。こちらが要約前のフルテキストになっておりますけれども、そちらも同時に保存をさせてます。
で、このフルテキストに対して質問を投げることができますので、え、要約だけではなくてですね、その全体に対して質問することができるようになっております。で、必要であればここからドキュメントを開くことができますし、え、原文と要約を同時に切り替えながらですね、確認することができるようになっております。
で、それではこのPower Platformの概要について質問してみたいなと思い ます。はい。で、Power Automateでできることを教えてと、こういう風にちょっと聞いてみたいなと思い ます。結果が書いてました。Power Automateでできることっていうのはこういうことがありますよっていうのを返してくれまし たね。はい。いいですね。
ま、このようにさらに深掘りしたい時に関しては、ドキュメントを選択して、で、さらにAIに質問するという風に続けることができるようになっております。ちなみにですね、こういう風にマウスオーバーすると中身を見ることができるようにもなっております。
ま、このようなアプリですね。え、すでにGitHubに公開しておりまして、このdogsearch_geek_fujiwara_dossaというリポジトリに保管されております。で、今ご覧いただいたようなデモンストレーションはですね、このように、ま、動画形式で、ま、どんな動きをするかっていうのを短い動画ですね、確認していただくことができるようになっておりますし、で、前提条件だとか制限事項ですね、こちらにまとめております。
でもしですね、試してみましたっていう風な方はいらっしゃいましたら、是非私のXのポストまでコメントをしていただけるとありがたいです。
で、前提条件としまして、ま、どんなライセンスが必要かというと、Power Appsのプレミアムのライセンスが最低限必要となります。でもしAIビルダーのライセンスが、ま、クレジットがですね、かなり消費されていて、え、このPower AppsプレミアムのライセンスにもAIビルダーのクレジットがついてくるんですけれども、それをすでに消費し切ってしまっているという方は、オプションとしてAIビルダーのドオライセンスというのも提供されております。
で、事前にですね、SharePointドキュメントライブラリーに検索可能なファイルを保存しておいてください。で、AIビルダーのAIプランとで治療しているモデルはGPT-4ですので、ま、そのため12万18000トークンが上限となっておりますので、ま、それを超えないドキュメントであれば要約することができます。
で、要約に対応しているファイル形式はこのようなものになっておりまして、ま、ほとんどのテキスト的なものに対しては対応できるんじゃないかなという風に思っております。で、検索はですね、え、SharePoint検索できるファイル形式全般に対応しております。
で、こだわっているポイントはですね、様々なファイル形式に対応しているということで、え、PowerPointファイルであっても、ま、Excelファイルであってもですね、え、それ を入力して要約させることができるようになっております。で、収録結果をさらに保存することができますので、で、保存して後で見直すことができるようになっております。
で、ファイルの С内容についてさらに追加で質問することができますので、より詳しく知りたいだとか、え、何かFAQを作成したいとかですね、ま、そういった時にこの質問機能っていうのは、ま、依頼とすることもできますので、ま、非常に便利なんじゃないかなと思っております。
で、ソリューションのインストール方法ですが、え、make.powerapps.comに移動していただいて、このリリースのところにですね、え、ソリューションが提供されておりますので、こちらですね、こちらをダウンロードしていただいて、これがZIP形式になっておりますので、そのZIP形式のままですね、アップロードしていただいて、このソリューションインポートというボタンを押してインポートを行っていくと。
で、このウィザードはそのまま次へ、次へ、次へ、そしてインポートとしていただくと、ま、インポートが開始します。で、開始しましたらそのまま待っていただいて、そうするとこのマネージドというタブに、ドキュメントサーチというソリューションが自動的にインポートされます。
で、インポートされまし たら、全てのカスタマイズの公開としていただいて、え、クラウドフロー全てオンにしていただいて、こですね、このように選択してから有効にするというすればですね、クラウドフローを有効化することができます。で、これでアプリを実行していただきまし たら、え、利用できますよと、え、そういった動きで、え、利用まで行うことができるようになっております。
はい。でもしですね、こうトラブルシューティングもちょっと用意しておりますけれども、ま、何かエラーが発生しましたっていうことがありましたら、ま、大体ですね、こういったことが起きえるかなっていうところですが、接続情報を確認していただくのが良いかなと思い ます。
このAI_Docs_Summary_Flow.Lineが失敗しましたという風に書かれているんですけれども、このAI_Docs_Summary_Flow.Lineが失敗しましたみたいなことがありまし たら、こちらですね、AI_Docs_Summary_Flowというのがソリューションの中に 入っておりますので、こちら開いていただく と、このようにですね、接続情報がえ有効になっていないというケースがあります。
え、そうしましたら、Power Automateを開いていただきまして、え、自分と同じ環境ですね、インポートしたソリューション、インポートした環境と同じ環境に揃えていただきますと、このようにダイアログが表示されて、え、この使用しているフローていうのを再認証してくださいってなるんじゃないかなと思い ます。もしならなかったらですね、この詳細から接続という風に移っていただければ問題ないかと思います。
で、これでですね、出てきた画面で再接続というのをクリックをしていただきます。え、そうしますと、え、問題が解消しますので、アプリが実行できるように なるんじゃないかなと思い ます。
こっからですね、社内ドキュメント検索アプリのもう少し中身について紹介していきたいなと思います。それではAIですね。このAIプロンプトが一体どうなっているかと言いますと、このソリューションの中に入っているシンプルGPTを確認してみると、もう本当にシンプルで、このプロンプトを受け取るということしか設定されてないですね。まなの で、Power AppsてやったりPower Automate側でプロンプトを自由に書けるという風にしております。これを受け取るという風にしてるんですね。で、GPT-4を使っていて、え、テンパチャー温度はま0.7に設定していますと、ま、これぐらいの調整にしております。
では次ですね、フローを確認していきたいなと思います。ちょ、ソリューションに戻りまして、このドキュメントサーチですね。ま、ここの中に入っている、ま、要約のフローと、え、もう1つSharePointのサーチのものがありますけれども、え、まずはSharePointのサーチの方のフローですね、ご紹介していきたいなと思います。ま、検索一番最初にする時にどんな動きをしているかというところです。
ではちょっとここ編集してみていきましょう。最初にPower Appsから受け取りますと、このサーチテキストということで、検索語を受け取るようにしております。で、そうしましたらGPTで検索キーワードを、え、スペース区切りで出力するようにさせてます。ま、2、3個のスペース区切りでという風にしておりますので、このPower Appsで受け取った言語というのは自然言語であっても問題なくですね、え、この後のGraph APIを利用して、で、こっからサーチクエリーをこうしていくんですけれども、その時のえ、キーワードというのを自由にGPTがですね、加工してくれるという風になっておりますので、いわゆる検索ぽいキーワード、キーワードで、空白で区切ったようなものに変換してから渡していると。ま、これによって検索精度を少し高くしているという風になっております。
で、その後、その結果をですね、受け取って、え、検索の結果があった場合、なかった場合というのを、ま、このように個数で判定させてます。え、もしですね、結果が、ま、0ということでなかった場合というのは、え、社内文書検索したところ見つかりませんでしたという風に返すようにしていて、ま、1個でもあった場合というのはちゃんと返すという風にしております。
で、そうしまし たら、その結果というのをJSON形式にしてあげて、で、全体としてですね、GPTでまたシンプルGPTを使って、ま、このようなプロンプトで、え、要約結果のテキストを出力せよという風にしておいて、で、それをですね、え、返してあげるメッセージの中の、ま、こちらですね、要約の後に続けて、で、その後検索結果ですね、というのもさらに、え、ここで1つにしてあげて、その結果を返してあげるという風にしております。ま、これによってですね、検索結果を渡すようにしております。
え、次に、え、要約のフローですね。こちらもご紹介していき ます。え、先ほどの検索のフローにをって、そのドキュメントのURLであったりだとかというのは、え、取得することができますので、そのURLの中にファイルのタイプですね、拡張子とも取れますし、それでPower Apps側で事前にですね、これがPDFなのかどうかっていうのもチェックしておりますので、ま、それを受け取って後で使っていくという風にしております。
で、このURLの中からサイトのアドレスとファイルのパスというのを分割したりですね、え、してですね、え、加工をしてます。それにて直接コンテンツを取得して、で、コンテンツの中身を入れるですね、変数を準備した後、え、もしですね、これがPDFのコンテンツであった場合というの はそのまま取得したコンテンツと入れてあげます。
え、そうではなくて、ま、対応しているファイル形式だけれども、ま、違うものになっているよという場合に関してはですね、変換というのを1度挟んであげてから出力するようにしております。で、そうしましたら全てがですね、PDFになっておりますので、え、そのコンテンツを渡して、OCRをさせます。で、OCRの結果というの はここにフルテキストが入ってきますので、全文のテキストですね。で、これでここまででPDFの情報というのを全てテキスト化することができましたと。
で、これを利用してですね、このテキストを渡してあげて、日本語で要約してあげると。で、それを返しているという流れになっております。で、返す結果というのは、ま、要約の内容と、あ、全文ですね、というのを両方返す、そんな仕組みにしております。で、この要約全部の結果ですね、要約と全部の結果というのはこの後Power Appsで保存ができるようになっ ております。
このように社内ドキュメント検索アプリというのは動いております。社内ドキュメント検索アプリについて少しだけ面でご説明いたします。例えばです ね、ここのようにですね、ライセンスという風に、ま、自由に検索をしてあげると、え、SharePointとOneDriveで、ま、自分のアクセス権がある範囲についてGraph APIを経由して、え、検索をしますと。で、それによって出てきた結果というのがこういう風に出てきまして、で、ボタンをポチっと押したら要約ができるという風になっております。
ま、こういったソリューションになっておりますけれども、ま、どういったところで使えるかと言うと、例えばこういったところで使えるんじゃないかなという風に思っております。え、例えば、ま、英語で書かれたりとか、他の言語で書かれまするような長い論文であったり、え、そういったものを全て日本語、自分の言語に、え、してですね、さらに要約もしてくれるというところでもお使いいただけますし、で、そのですね、え、全文テキストというのを保持してますので、ま、全文テキストにした、え、内容に対してFAQを作成してもらうと、ま、そう想定する質問と、え、その、え、回答例というのを5個作成してみたいにお願いすると、ま、そういったこともやってくれますし、あとはですね、表にまとめてもらうみたいなことも実現できます。
ま、AとBというのを比較して、それを表にまとめてみたいなところですね。で、さらに、え、何か改善すべきアイデアみたいのがあれば、あるいは学習プランみたいなですね、こういった資格を勉強したいみたい な資格のレジュメを読み込ませて、え、そこはですね、その資格を取得するにあたっての、え、手順、どういった学習プランでやれば資格を取得できますかみたいなところにもご利用いただけますし、あとは少し難しいような話がありましたら、もう少し分かりやすい変異な表現に変更してくださいみたいなこともできたりするんじゃないかなと思い ます。
それではですね、ちょっと事前にPower Platformの従量課金に関するPDFを説明資料ですね、置いておきましたので、それをベースに検索してみたいなと思います。従量課金っていうちょっと検索してみましょう。いいですね。出てきました。従量課金プランに関する問題FAQとかありますね。
ではまず、この従量課金メーター何が書かれているかというと、こんな感じですね。はい。ま、それぞれの価格があったりとかての書かれてますね。はい。ではこれ要約という風にしてみましょう。従量課金メーターについて、ちょっと要約してくれるでしょうかと。いいですね。要約してくれましたね。これをちょっと保存して、ま、これについて、ちょっと質問してみましょう。え、価格を円にをし て。はい。さっきドルベースで書かれてましたよね。ですね、ちょっとドルベースで月ごとに10ドルとかですね。要約の方にはいくらかというのは省略されてますね。ですね、こちら原文の方には書かれてますね。
では価格を日本円に直してもらいましょう。やってくれるかどうかですね。いいですね。出してくれましたね。価格計算結果とかですね。150円ぐらいでこれ直し てくれて。そうですね。え、アプリごとだったらこれで日本円換算額とか、え、そんな風にです。ね、表にもまとめてくれましたね。非常に分かりやすく返してくれたんじゃないかなと思います。いいですね。ま、こういった使い方もできますので、ま、非常にえ、便利なんじゃないかなと思います。
ではここからですね、え、想定される質問とその回答例を5個作成して、と、ま、こんなお願いもしてみましょうかね。いわゆるFAQを作成してください。そんなえ、質問ですね。そんな依頼事項になりますと。AIへの質問事項ですけれども、はい、ま、こういったお願いもしてみましょう。いいですね。従量課金メーターとは何ですかと。え、回答こんな感じですね。サブスクリプションリングすることで、みたいなこ、非常にですね、この方が理解がしやすかったりしますよね。うん、いいですね。いいです。うん。価格は日本円にしてと。さらに表形式。表形式でまとめてと。ここまでお願いしてみましょうかね。いいですね。想定される質問回答例こんな感じでまとめてくれましたね。で、実際に金額も、え、日本円に直してくれてますね。こんな感じでです。ね、色々これをデータソースとしながら、もっと分かりやすく書き換えてくれるみたいなことに利用することができます。
ではですね、もう少しやりましょうかね。ま、こんなちょっと遊びもできますよっていうところですけれども、従量課金性メーターについて。そうですね。ま、芸人さんのサンシャイン池崎の風に説明してと。いいですね。ちょっと言い換えてもらいましょう。ま、ハイテンションな原芸人さんなんですけれども、ま、サンシャイン池崎とというのを理解してくれてますでしょうかてもありますけどもね。はい。
従量課金性メーターの説明だぜと始まってですね。確かにこうハイテンションな感じで始まっていい感じです。安心して使えるのさ。自動的に有効になるからとですね。メーターの種類、請求方法とこうちゃっかり表にまとめてくれてますね。分かりやすいです。ね。うん、いいです。ね。スマートにコストを管理しようみたいな。いいですね。最後ちょっと優しい感じになってますけど、ななだぜみたいな感じでちゃんとサンシャイン池崎さん風になってくれてますね。いいですね。こんな使い方もできますよと。
え、というわけで今ご覧いただいた通りで、長い論文みたいな今のPDFですね。そういったものの要約であったり、想定質問作ってもらったり、表にまとめてもらったりとか、あ、手順の作成やってなかったですね。え、平易な表現に変更する手順の作成。ちょっとやってみましょうか。手順の作成ですね。手順に有効化するに強要なな手順を教えてと。これちょっとお願いしましょう。今これはタブ2回押すとですね、このボタンのところにカーソルが当たるので、タブ2回押してエンターを押してると、え、そうすると簡単にですね、ここマウスでポチっと押さなくても実行できますので、結構便利ですよ。はい。そんな風に使っていただいてもいいですね。
あ、いいですね。有効化する手順っていう何 を有効化するかっていうのを私あえて言わなかったんですけども、このですね、文脈から理解してやってくれましたね。え、課金性メーターを有効化する手順は、ま、こういった手順でやってくださいねと。さらに注意事項についても、え、指摘してくれるようになっておりますと。これですね、実は、え、このプロンプトの中にですね、アドバイスをちゃんと中に入れるようにっていう風に事前に組み込んでますので、これが出てくるようになってます。いいですね。Power Appsと価格のページみたい出てますね。ちょっとここクリックしてみますかね。あ、いいですね。ちゃんとはい、実際の価格も見れるようになってますね。うん、レジに過ぎませんと。ま、色々なですね、契約によって異なる場合もありますみたいなこともちゃんと言ってくれてますね。はい。
え、というわけで少しですね、ちょっと前後してしまって申し訳なかったんですけれども、ま、手順の作成のところだとか、ま、サンシャイン池崎さん風に、ま、表現を変更するみたいなことまでできてしまいますよと。ま、そういったソリューションになっておりますので、是非ご活用ください。
もしですね、このソリューションが参考になった、今回の動画が良かったと思われた方は、是非高評価とチャンネル登録をお願いいたします。今日もどうもありがとうございました。
[音楽]