Transcription
はい、皆さんこんばんは。本日はですね、あの、生成業界のトップランナーが語るビジネスへのアドオンで抑えるべき知識と最新動向にご参加いただき、誠にありがとうございます。
本日はですね、イベントのあの司会進行を務めさせていただきます、デロイトトーマツの山本と申します。本日どうぞよろしくお願い致します。
あの、告知分の方ではですね、あの、「JDLA緊急企画」というですね、あの、文字列が入っておりまして、で、本当にあの緊急企画で、この1週間で作り上げてきた、緊急ピッチですね。それがゆえに、ちょっとあの告知期間も多分確かあの火曜日とかでしたよね。まあ、5日間ぐらいの告知期間で、非常にあのたくさんの方々に今、あの、ご参加いただいてるというところで、ビジネスのアドオンと、まあビジネス×生成AIという、まあ、トピックにですね、非常に多くの方が関心をを持たれてるのかなという風に、あの、認識しています。
本日はですね、まさにこういったあの生成AIの、えっと、業界にですね、まあ、多様な立場から、あの、まあ、携わっておられる、もう本当にあのトップランナーの方々をお招きしまして、まあ、生成AI×ビジネスについて、ちょっと時間が許す限りですね、あの、語り尽くせるばと思っておりますので、どうぞよろしくお願いします。
今、あの、多分私しか映ってないと思うんですけども、あの、こちらトップランナーの方々がおりまして、すごくあのアットホームな雰囲気で、あの、渋谷のスタジオからお送りさせていただいております。今日ですね、あの試験の、あの、話もあって、ちょっとやりますけども、JDLAのジェネラティブAIテスト、こちらの試験作成の時の、まあ、アットホームなんですね、感じもちょっと出しながら、あのお話できればと思います。よろしくお願い致します。
では早速ですね、あの、イベントの方を進めさせていただければと思いますけれども、本日はですね、こちらのようなアジェンダで進めさせていただければという風に思います。
まあ、あの、「生成AI×ビジネス」というところでですね、あの、私もあのデロイトトーマツにおりまして、本当に日々ですね、いろんな方々と話させていただくんですけども、まあ、生成AIのですね、話題が出ないことはないっていうぐらいですね、まあ、本当に非常に多くの方々が、あの、ビジネス×生成AIに、まあ、ご関心を持ちであると。ただ一方でですね、まあ、非常にいろんな、あの、課題もあるところで、どうやって使えばいいのか分からないとかですね、結局何が分かるの、結局何ができるのか分からないとかですね、まあ、そういった課題感であったりとか。一方で、その生成AIをどうやってビジネスに活用していくかって、大きな方向性みたいな、まあ、見えてきてるところがありまして、まあ、その辺りのですね、まあ、知見のところとかも、まあ、今回ですね、あれこれちょっと挟んでお話できればという風に考えております。
本日はですね、大きく3つの、あの、パネルディスカッションを用意しておりまして、まあ、生成AIの技術・利活用、それから、あの、リスクのところですね、大きくこの、あの、3つのテーマでですね、あの、まあ、トップランナーたちと一緒に、あの、ディスカッションできればという風に、あの、考えております。
まず、あの、ちょっと私の方からですね、冒頭ちょっとお時間いただきまして、え、まあ、生成AIに関してですね、そのパネルディスカッションの、まあ、前提と言いますか、結局、そういったところが、まあ、従来のAIと違うのかみたいなところです。ちょっと簡単にお話しさせていただいて、で、その後にですね、パネルディスカッションに移ればと思います。よろしくお願い致します。
これ、どっから話そうかという風にですね、あ、ちょっと渋谷っぽい音が聞こえておりますけれども、まあ、生放送あるあるですかね。はい、ちょっと気を取り直して、はい。で、まあ、生成AIも非常に多くのトピックがある中で、まあ、どっから話そうかという風にちょっと考えた中でですね、まあ、今日はちょっとCIの影響のところから、あのお話できればなという風に思います。
まあ、皆さんご承知の通りですね、生成AIも本当に他方面に大きな影響を与えてるかなと。ただ一方でですね、まあ、特徴がすごくあるなという風に思ってるのが、まあ、ちょっとここですね、あの、まあ、コンサルっぽくちょっとまとめておりますけど、けれども、まあ、これからですね、おそらくあの、どんどんトピックに上がってくると思いますけども、生成AIは、まあ、言葉を使い、振舞をコントロールできるとも非常に大きな特徴があって、であるがゆえに誰でも使えるというようなところが大きな特徴であると。なので、まあ、ちょっと産官民、あの、民っていう風に書かせております、と書かせていただいておりますけれども、特にあの民のところですね、利用者側への影響が非常に大きくて、で、まあ、あの、2022年11月30日にチャットGPTが出ましたけれども、その当時ですね、まあ、1週間で100万ユーザー、2ヶ月で1億ユーザーに到達したということで、まあ、人間がこれまで作ったものの中で最も早い、あの、普及速度であるという風に言われてるほどです。
まあ、こういったあの民の、民への、まあ、ユーザー側への大きな影響が起点となってですね、産官学それぞれに影響与えてるのかなという風に、あの、認識してます。で、特にこちらのですね、左側、3Aの影響のところが、まさにあの本日のトピックでもあるビジネス×世のところになるのかなという風に思います。
じゃ、なぜですね、こんな感じで、まあ、利用者にとって、まあ、非常に大きな影響を与えているのかといったところですね、まあ、これまでのAIとの違いといったところからちょっと紐解いて、紐解きたいという風に思います。
こちらですね、あの、これまでのAI、まあ、生成AI以前のAIで、特にあの用途特化型のAIについて、まあ、その振る舞いというものをですね、ちょっと端的に表した図になりますけれども、まあ、これまでのAIって、まあ、データが、あの、活用できるいろんなところでですね、あの、モデルが構築されて活用されてきたわけですけども、まあ、それぞれですね、まあ、に応じてAIを、あの、モデルをですね、あの、作る必要があったかなという風に思います。で、作ったAIを使う際はですね、あの、まあ、入力データとして、まあ、決まった形式を入れてですね、で、出力データとして、まあ、決まった形式を、あの、まあ、想定すると、まあ、こういった形だったのかなと。で、例えば、あの、一番上のところにありますけれども、例えば、あの、まあ、中古商品のですね、価格を、あの、予測するようなAIでしたら、その、あの、商品に関する情報を入力データとして入れて、で、それに基づいて、まあ、予測価格を出力するといったような、まあ、決まった形式の入力と出力があって、で、まあ、用途に応じたAIを作る必要があったと。で、その下は、あの、ローン申し込み者データの、あの、え、まあ、申し込み者がですね、信用に足りるかを、あの、判定するようなAIですけれども、まあ、こちらも同様ですね。で、その以下も、まあ、同様であると。まあ、要は、あの、入出力の形式が、まあ、あらかじめ決められた景色があって、で、それぞれ用途に特化したですね、AIを作る必要があったっていうところが、まあ、これまでのAIかなという風に思います。
これに対してですね、あの、生成AI、例えば、あの、チャットGPTのような対話型AIをちょっと例に取りますと、まあ、先ほどのような構図がですね、ちょっと一変しますと。で、まず、あの、すぐ分かるのが、あの、モデルですね、あの、真ん中にあります生成AIがですね、あの、先ほど用途ごとにそれぞれ3つあったと思うんですけれども、それが、まあ、1つでいいと。で、かつですね、入力データが自然言語になってると。ユーザーが、えっと、与える、まあ、自然言語ですね、「AIとは何ですか」とかですね、「コールセンターのオペレーターとして振る舞ってください」とかですね、まあ、先ほどは決められた形式だったのが、まあ、自然言語という、まあ、非常に柔軟で自由な、あの、入力データになったと。で、それに対して出力データもですね、入力データ、まあ、自然言語に合わせてですね、まあ、柔軟に、あの、出力をしてくれるといったような、あの、形になってます。
ここで、まあ、非常に重要かなという風に思うのがですね、まあ、人間であれば誰でも使えるような、まあ、言葉というものを持ってですね、AIの振舞をコントロールできるようになったと。これが、まあ、非常に大きな特徴であるかなという風に思います。で、前までは、あの、まあ、用途ごとにAIを作る必要がありましたので、まあ、用途ごとにですね、まあ、専門家が作る必要があった、まあ、プログラミング言語とかがあったりとか、あの、技術をちゃんと学んでですね、まあ、作る必要があったんですけども、まあ、今、あの、人間であれば誰もが使える言葉で持って振舞をコントロールできるということは、まあ、従来、あの、AIの専門家がやっていたことをですね、もう普通の誰でもができるようになったと。まあ、そういった、あの、時代になったかなという風に思います。本当に、あの、誰もが、あの、簡単にですね、まあ、どこでも、まあ、最先端のAIを活用できる時代になったのかなという風に思います。
まであるがゆえにですね、まあ、誰でも使えるという特徴があると。で、これをですね、まあ、ビジネスに、えっと、適用していく、ビジネスで導入していくということを考えると、まあ、いかに、あの、自信を持ってですね、活用していけるかがあのポイントであるかなという風に思います。
ただ、こういったですね、あの、まあ、自信を持った活用というのは非常に難しいということが結構ですね、まあ、色々なお客様であったり、まあ、色々な人と、あの、話してる中ですごく、あの、思うことになります。これは、まあ、誰もが使えるという特徴があるが故の難しさであるという風にもちょっと感じてまして、で、まあ、誰もが使えるので、まあ、世界中でですね、新たな活用の方法を、まあ、いろんな人が見出していって、で、いろんなメディアで発信してるんですよね。で、まあ、情報がすごく、あの、溢れているような形で、すごく繁雑ですね。で、結局何ができるのか分からないっていうことが、まあ、結構課題としてあるのかなという風に思います。
まあ、あの、こちら書かせていただいてるところですと、あの、体系的な理解が難しいというところに、あの、相当しますね。で、さらに、まあ、それに、まあ、禁止するんでしょうけども、あの、業務のどこに生成AIが活用できるか分からないであったりとかですね、あとは、リテラシーが足りない、具体的なリスク対策の方法が分からないといった、まあ、具体的な課題も出てきていると。まあ、こういったところから、まあ、本日はですね、あの、本イベントに、あの、ご参加の皆様がですね、まあ、自信を持って生成AIを活用していくために、まあ、必要なですね、こういった課題の解決をですね、あの、本日の、あの、トーク、パネルディスカッションを通して、是非ですね、あの、獲得、あの、課題解決の、あの、1つの、えっと、ツールとしてですね、扱っていただければという風に考えています。
特に、あの、体系的な理解のところですと、あの、生成AIの技術・利活用・リスクで、誰でも使えるというところを考えると、やはりですね、まあ、基本的な技術のところを踏まえつつ、あの、利活用とですね、リスクについてちゃんと知るっていうところが非常に重要かなと思います。なので、まあ、本日こちらのですね、あの、3つのテーマで持って、パネルディスカッションの方を、であの、進めさせていただければと思います。
最後にですね、あの、JDLAジェネラティブAIテストということで、まさにこういった課題をですね、解決する1つのツールとして、我々、このJDLAのジェネラティブAIテストをですね、あの、開発してるところになります。ここでは、まあ、誰もが使えるですね、この生成AIをちゃんとビジネスで皆さんが主体的に、あの、まあ、活用を推進していけるような、そういったテストを目指しておりまして、で、まさにそういったテーマとですね、本日のパネルディスカッションのテーマはもうオーバーラップしておりますので、まさにこちらの、あの、JDLAジェネラティブAIテストのですね、試験作成に関わる、あの、プロジェクトメンバーで持ってですね、あの、パネルディスカッションの方をやらせていただければという風に考えてます。じゃ、ちょっと、あの、私の方からの、あの、話はですね、まあ、これくらいにしておいて、こっからですね、実際にあのパネルディスカッションの方にですね、入っていければという風に思います。
では、まずはですね、あの、生成AIの、あの、技術についての、あの、パネルになります。で、それぞれの、あの、パネルディスカッションところでですね、あの、メインパネラーということで、あの、3名もしくは2名ですね、あの、ちょっと選出させていただきました。で、えっと、ちょっと、あの、進め方なんですけれども、まあ、メインパネラーの方に、まあ、メインで、まあ、お話しいただく一方でですね、まあ、おそらくかなり、あの、多様な話題が出てきますので、ちょっとそれに応じてですね、あの、メインパネルじゃない方もですね、是非、あの、口を挟んでいただければと思いますので、是非、あの、積極的なご発言を、あの、いつも通り、あの、試験策定してる時の、ような感じですね、あの、挟んでいただければと思いますので、どうぞよろしくお願いします。
じゃ、まずはですね、あの、生成AIの技術のところで、あの、メインパネラーとしてですね、井上さん、川原先生、そして佐々木さんの3名で、あの、お送りさせていただければと思います。ちょっと、あの、3名ですね、それぞれ、あの、自己紹介の方していただければと思います。で、その際にですね、是非、あの、まあ、生成AIとの関わり方とか、生成AIが自身に与えた影響とかですね、その辺りもちょっと交えてお話しいただければ、あの、幸いです。と、あの、井上さんからよろしくお願いします。
はい、株式会社エリスの副社長、あの、CDOをやっています井上孝喜と申します。よろしくお願いします。普段はですね、あの、東北大学の医学研究科の助手で、医療とAIの研究をしておりまして、であとは、あの、生成AIの関わり方で言いますと、あの、雑誌に、あの、寄稿させていただいたりとか、あの、講演的な、あの、活動をしています。で、私の与えた影響で言うと、私、あの、助手教員で、元々ゼロショットセグメンテーションと色塗りの研究やってたんですけど、なぜかあのLLMが、あの、研究テーマに変わりまして、「白紙の状態」っていうぐらい、あの、インパクトが、あの、自分的に、あの、大きくて、最近変わったんですけど、はい。なので、まあ、それぐらいあのインパクトが大きいなっていうぐらいのすごいものでした。はい、ちょっとすごい大変なんですけど、はい、頑張ってます。以上です。
ありがとうございます。はい、あの、川原と申します。え、私、あの、早稲田大学で、あの、自然言語処理の研究をしておりまして、えっと、もう25、6年、この自然言語処理の研究をしております。であの、まあ、2018年に、あの、まあ、GPTとかBERTとか、まあ、そういったモデルが出てきて、まあ、そこにも結構驚いたんですけど、まあ、かなりいろんなタスクで高精度に、いろんなタスクが解けるという風になりました。で、さらに、あの、先ほども話ありましたけれども、2022年の11月にチャットGPTが出てきまして、さらに、あの、びっくりしまして、あの、我々研究者の中でもかなり「これはできるぞ」みたいな話になりまして、で、そっからもうすごい勢いでいろんな生成AIのモデルが出てきて、まあ、ずっとびっくりし続けるって、まあ、そういったあり様です。はい、よろしくお願い致します。
はい、よろしくお願いします。あの、スパイラルエアの佐々木と申します。えっと、元々ですね、あの、ニューラルポケットっていう会社のCTOをやっていたんですけれども、あの、そちらから今、生成AI文書処理系のところに、こう、あの、独立して会社を立ち上げたような形になっております。で、えっとですね、私があの、一番この生成AIに一つきっかけになったところでいくと、あの、去年の夏頃ですかね、あの、GalacticaっていうMetaが作った言語モデルがありました。何かっていうと、あの、科学論文とかに対して非常にこう高精度に答えてくれるとか、あの、非常にこうすごい知識持ってるとか、そういうものがありまして、私、元々出身自体も研究者なんですけれども、あの、その業界がですね、もはやなんか一変されそうな、すごいパワフルさを感じたと。ちょっと残念ながらパワフルすぎるのと、まあ、当時まだハルシネーションの問題とか色々あったんで、あの、3日ぐらいで、あの、まあ、ちょっとこう、あの、閉じられちゃった、あの、企画になりましたけれども、でも、そういうなんか非常に強いパワーを持ったものが現モデルであるというところに衝撃を受けてですね、あの、今後の生成AIモデル業界に捧げていこうかなという風に思ったという経緯になります。はい、よろしくお願いします。
ありがとうございます。じゃ、あの、まずはですね、技術について、このメインパネルは3名とですね、お話していければと思います。で、ちょっと、あの、おそらく、あの、話題がですね、結構発散するというところも、リスクもですね、ちょっと見越しまして、ちょっと簡単に私の方から、まあ、前提となるような知識のところ、あの、最低限抑えておかなければならないようなところについて、お話させていただければと思います。
で、今ですね、ちょっと、あの、スライド投影させていただいておりますけれども、あの、まあ、人工知能と呼ばれるですね、あの、技術が、まあ、どのように進化してきたのか、まあ、ちょっと、あの、汎用性と性能とを、それぞれ横軸・縦軸にとってですね、まあ、これあくまでイメージ図なんですけども、ちょっと、あの、その進化をですね、あの、たどれるような、あの、ちょっと整理をですね、させていただきました。で、まあ、一番左にありますルールベースの、これをですね、人工知能と呼ぶかどうかってのも意見が分かれるところだと思うんですけど、まあ、基本的に、あの、まあ、全処理をですね、人間が作るるところから、まあ、機械学習という、まあ、技術が出てきて、まあ、これは、あの、データに基づいてその特徴を学習して、それを再表現するような、そういった技術になりますね。で、そういったところから、まあ、深層学習と言って、えっと、まあ、特に、あの、出力に影響を与えるニューラルネットワークデータの中で、まあ、非常に特徴的な成分ですね、特徴量と言われるものを統計的に抽出できるようになったと。で、さらに、えっと、まあ、トランスフォーマーベースの手法という風に書かせていただきましたけれども、まあ、チャットGPTのベースになってる、あの、技術になりますけれども、2017年、18年ぐらいですかね、まあ、あらかじめ、あの、大量の、あの、言語データを与えることによって、まあ、基礎的な言語能力を身につけた上で、で、まあ、用途に特化させるところについては、そのモデルのですね、あの、まあ、微妙な、あの、微修正っていうんですかね、まあ、ファインチューニング等で行えるようになったといった技術になります。で、こういった、あの、ファインチューニングであったりとか、あとは、追加的な強化学習等をですね、この、あの、LLM、トランスフォーマーベースの手法が、あの、適用された、あの、モデルに適用すると。で、しかもその適用の仕方をですね、「人間のライン」っていう風にちょっと書かせていただきましたけども、まあ、自然で倫理的な受け答えに特化したような、まあ、ファインチューニングであったり、強化学習を施けることによって、まあ、チャットGPTのようなですね、まあ、倫理性であったりとか、まあ、そういう、まあ、かなりその人間に近しい振る舞いを するような、あの、先進的なLLMができたという風に言われてるところになります。まあ、こういった、あの、まあ、技術的なですね、進化があって、まあ、ちょっと先ほどボードでお話ししたような、まあ、言葉で挙動を、あの、コントロールできるような、そういったAIが出てきたと。まあ、大きくはこういった、あの、AIの進化があったのかなという風に思います。
で、ちょっとこういったですね、まあ、AIの進化、そういったところをちょっと踏まえまして、あの、パネルディスカッションの方に移らさせていただければと思います。で、本日はですね、それぞれの、あの、パネルについて4つのテーマを用意しておりまして、で、ちょっと私の独断と偏見、もしくは、あの、視聴者の方からのですね、ちょっと多数決で、あの、テーマを決めていければと思います。で、まず私の方からですね、ちょっと独断と偏見でですね、偏見じゃない、独断でですね、Aのところですね、「最先端のLLM、結局何がすごいのか」と。今、ちょっと、あの、AIの進化のところをお話しさせていただきましたけども、特に、あの、お三方から見て、あの、ちょっと、あの、ご意見をですね、伺えればと思います。で、まず、あの、川原先生いかがでしょうか。
えっと、はい、あの、「何がすごいのか」っていうことですけれども、あの、2点あると思います。で、1つ目は、先ほど、あの、山本さんがおっしゃったように、汎用性ですよね。あの、まあ、自然言語で、あの、指示ができるという点にあります。でもう1個、あの、高性能さにありまして、あの、まあ、すごい流暢な、あの、日本語でも英語でも、あの、言語を返してくるっていうところが、あの、大きいと思います。で、それは、まあ、なぜできているのかって言うと、わかんないんですけれども、まあ、よく言われるのはスケーリングローと言って、あの、モデルの大きさ、まあ、パラメーター数とか言いますけれども、モデルの複雑さが、あの、大きくなると、それに伴って、あの、高性能になると。で、さらに、あの、学習するテキスト量を、あの、増やしていくと、どんどん、あの、賢くなると。まあ、そういったところにあって、まあ、それによって、あの、高性能差が出てきてるというところがすごいというところだと思います。
ありがとうございます。この「なぜ良くなってるのかわからない」、すごく、あの、惹かれるんですけれども、こういった「なぜ良くなってるのか」っていうところに対する研究も、今、アカデミアのところでは進んでるんでしょうか。
あの、まあ、いろんな研究がなされておりますし、あの、まあ、なんでこの、まあ、例えばチャットGPT、ほとんど英語でしか学習していないのに、日本語もかなり喋れるのはなんで、なぜだろうというところもありまして、まあ、いろんな研究をなされてますけれども、まだ全然分かってないというところだと思いますね。
ありがとうございます。では、ちょっと是非ですね、あの、井上さん、あの、「人生を変えたLLM」という風に先ほどおっしゃってましたが。
そうですね、私の人生を変えてくれたLLMなんですけど、まあ、2つあると思ってまして。で、1つ目が、まあ、シンプルにパラメーター数っていうのがあると思います。例えば、あの、今までの、その、言語モデルっていうのは、BERTとかだと3億4000万ぐらいのパラメーター数があって、で、GPT-3.5とかだと、これリファレンスちゃんとないんですけど、3500億ぐらいのパラメーター数があるんですね。で、シンプルに1000倍ぐらい違うっていうところが、まず1つあって。で、2つ目が、先ほど、あの、川原先生おっしゃってくれたんですけど、あの、ゼロショットの、あの、性能の良さっていうところで。今まではやはり学習しないと性能が出なかったんですけど、そこが学習しなくても、ゼロショットである程度使えるようになる。これが、まあ、素晴らしいとこかなっていう風に認識しております。以上です。
ありがとうございます。一方であの、まあ、これまでのAIを知ってる我々からするとですね、そのパラメーター数が多いっていうことは、あの、説明可能性っていうんですかね、なぜそのAIが、あの、その出力を出したのかっていう根拠が分かりづらくなるっていうですね、負の側面があると思うんですけど、この辺についてはいかがお考えですかね。
そう、透明性みたいなところは、まあ、元々だと、あの、Grad-CAMとか、あの、画像だとあったんですけど、この辺りも、まあ、今後研究は進んでいくんだろうなって。あの、画像でもやはりそういう流れになって、まあ、後に発展はしていったので、あの、言語モデルでもこういう風に進んでいくとは思います。
なるほど。結構その先ほどの、えっと、川原先生の話じゃないですけど、「なんで良くなってるのか分からない」っていうところがありつつも、まあ、そのパラメーター数が多くなることによって、で、さらにその説明可能性っていうところが、多分損なわれていくっていう、まあ、側面もありつつも、ただですね、あの、チャットGPTの先進的なLLMに根拠と共に教えてくださいっていうとですね、まあ、人間が納得するような形で根拠を教えてくれるんですよね。なので、なぜその根拠が出てくるのかっていうのは、まあ、理解はすごく難しいと思うんですよ。パラメーターが多いから。一方で、人間が理解しやすい、あの、まあ、情報を得ることは簡単になってるって、このなんかすごいなんて言うんでしょうか、トレードオフっていうんですかね、あの、アンバランスな感じがすごいしてるんですよね。その辺り何かご意見はお持ちでしょうか。
そうですね、結構発散しそうだな話題かなと。これ僕ばっか喋って大丈夫なんですか？はい、まあ、なんだろうな。この辺りは、やっぱあの、頑張り屋さんな新入社員みたいな、僕イメージあって、とりあえず何でも喋るんですよ、あの、間違えてても。なので、これ辺、あの、ファインチューニング後で出てくると思うんですけど、ちゃんと学習でそこら辺は、あの、学習させるみたいの必要で、後でまたこれ出ると思うんですけど、あの、ラグとか最近あると思うんですけど、あれ使ってもやっぱり、あの、答えなんとなく出しちゃうみたいな、あったりするんで、ファインチューニングとか、もっとそれ以前のAIのルールベースであったりとか、そういうところは必要になってくるのかなっていう風に思ってます。
ありがとうございます。まさに、なんかビジネス×生成AIの話題に、なんか繋がりそうな回答いただけたのかなと思いました。ありがとうございます。ありがとうございました。
じゃ、じゃ、あの、是非佐々木さんの方からも、あの、「これからの人生をLLMにささげます」とおっしゃっておりましてけれども。
えっと、いや、やっぱすごいのは、もうお二方おっしゃった通りだと思うんですよね。まず、あの、いわゆるインコンテキストラーニングと呼ばれる、その、チューニング独自に学習させなくても、文章で「こうしてください」って言えば、どんなタスクでもやってくれますっていう、この手軽さは、もう、あの、何者にも変えがたい、あの、それまでって結局、あの、GPU、あの、例えば、いわゆるBERTの時代だと、まだタスクごとにチューニングしないと性能出ないよねっていう時代だったわけです。こうなると、結局、GPU持ってないとどうしようもないですっていうところで、学習データの準備もやっぱり専門性欲しくなるという世界観から、もう文章の中にプロンプトで指示書けば、もうそれでやってくれますってなったら、日本語とか、まあ、言葉喋れる方だったら誰でもできるってことを意味してるわけですよね。もう偉いっす、その広がったなっていう風なことが、まず大きく違うのかなという風に、もう大きなポイントなのかなという風に、まず思いますね。
うん。ありがとうございます。まさにその通りかなという風に思います。はい、ではですね、えっと、次のテーマにちょっと移れるばと思いますけども、ABCDでですね、今Aのテーマについてお話しさせていただきましたけど、あの、BCDで、えっと、どのテーマについて、あの、話すかについですね、えっと、視聴者の方にあ、えっと、多数決でアンケート取っていただいたということで、こちら、結果、どのような形になってますか？ちょっと私の、こちらですね。
はい、で、えっと、Dの「技術動向、何を注目すべきか」といったテーマについて、皆さん、あの、お聞きになりたいということなんで、ちょっとこの辺りについてですね、お話いただければと思います。まあ、まさに、あの、先ほどちょっとスケーリングローみたいな話ありましたけども、あの、データ量とか計算量とかパラメーター数、まあ、これを上げれば上げるほど性能が良くなっていくっていう、その量的な観点と、一方で、ちょっと冒頭にもお話しましたアライメントみたいな、その学習のさせ方を工夫することによって、まあ、あの、高性能にしていくっていう、この量的・質的2つの観点で、まあ、基本的には動向点が、あると思うんですけど、ちょっと是非ですね、お三方から、まあ、どういったところに、まあ、これから注目すべきかといったところを、ちょっとお話しいただければと思います。
じゃ、まず、あの、川原先生いかがでしょうか。
はい、あの、色々あるんですけれども、あの、1ついうのであれば、まず、あの、チャットGPTとかは、あの、まあ、言語モデルですよね。言語なんですよね。であの、まあ、今最近よく聞くのはマルチモーダルっていうキーワードだと思うんですけれども、あの、例えば画像であったりとか、映像、そして音声であったりとか、まあ、そういったいろんなモーダルのものをくっつけたマルチモーダルモデルっていうのは、まあ、これからどんどん出てきて、まあ、重要になっていくっていうのは間違いないと思います。で、さらに、あの、まあ、ロボットを制御するとか、まあ、そういったこともあると思いますので、まあ、そこら辺に広がっていくと思っていまして。え、そもそも、あの、こう人間、まあ、赤ちゃんの時から言語学習するっていうのは、まあ、言語だけじゃなくて、あの、こういう実環境から学ぶっていうのが大きいと思います。まあ、そういったことを、あの、学習させて、あの、まさに人間のような、あの、モデル、基盤モデルって呼ばれるかもしんないですけど、そういうものを作っていって、それが、まあ、応用に使われていくっていうのが今後だと思います。
なるほど。まさにそのテキストだけじゃなくて、あの、モダリティのお話されてましたけども、ロボットのお話もされてましたけど、まあ、肉体を与えるであったりとか、人間の知覚を与えるという観点と、まあ、人間により近づける方向での動向というところになりますかね。
はい。是非井上さん。
はい、あの、最初に言おうと思っていたことを言われてしまっどうしようかな、今ちょっと考えてるんですけど、まあ、何個かありまして。マルチモーダルがまず1つあって、そっから発展したとこで、あの、ドメイン適用みたいなところがあって。で、これは、あの、医療とか、最近、あの、Microsoftさんとか、Googleさんとか、あの、MedPaLMとか、あの、LaMDA Medとか、色々モデルがあるんですけど、医療特化にドメイン適用っていうところがありますと。で、3つ目だと、あの、例えばGPT-4とかの学習のさせ方で言うと、いろんな実は、あの、モデルが、んだみたいな、MOみたいなとこであのエキスパートなモデルがたくさんあってやっていくみたいなところで、専門的なドメインを作るみたいな流れになっていくと思うんですね。っていう、そういうマルチプルなところが3つ目と。4つ目が学習のデータの質ですね。これは、あの、コーパスとか呼ばれる、この学習データをやっぱり綺麗にしたりとか、え、学習方法でも少ないデータでも綺麗にすればかなり性能が上がるみたいなのが知られてるんで、この辺りの、まあ、4つぐらいを注目すると結構、あの、面白いのかなっていう風に、はい、思います。
ありがとうございます。さらに4つを出しましたというところで、ちょっとハドルがハドしません、全部っちゃいました。はい。で、僕は、あの、じゃあ逆の視点からあえて言うと、あの、もう社会応用の時代に入ったと思うんですよね。だから、実際使ってみて使いづらいと思ったものが、全部技術的に解決されるべき課題だと思います。例えば、コンテキスト長が限定的で、長い文章入れられなくて困ってますっていうのからドライブされて、最近コンテキスト長めのやつも出てきてますよね。ストリーミングLLMとかですけれども、まあ、みたいなものも、あの、もちろん研究者の方ってそういう、あの、使いづらさを一番よく理解されてるので、まあ、当然裏で研究動いてるんですけれども、そういうのが結局関係してくると。であとは、関連する話で、コストみたいなところも今度聞いてくるでしょうね。で、言語モデルが大きくなってけば大きくなってくほどコストかかっちゃいますので、あの、まさに今お話ありましたけど、ドメイン特化型みたいなところで、あの、必要十分サイズみたいなものに分化していくんだろうなという風に思っていたりとか。あと、速度が遅いよねって話も、あの、先ほどね、あの、えっと、事前の、あの、顔合わせみたいなところでも速度問題話出てましたけれども、やっぱり速度遅いんであればそれを解消してあげるべきと。あと、さらに言うとあれですね、あの、その実行環境をきちんとホストしてあげるっていうのは、思ってるより難度が高いので、その辺りの実用的な技術課題とかあたりも含めて。あと、もうさらに言うとあれですね、言語モデルを個別に作って、よく、あの、お客様からも話伺うんですけれども、「事業部ごとに、あの、言語モデル作ります。この事業部の知識持たせます」って言って、あの、やるのはいいんですけれども、でも、やっぱり細分化していくと情報のセキュリティの話とかあって、「この役職の人はここの情報にアクセスしていい、この情報はダメ」みたいな時に、じゃあどうやってそれ制御するのとか、結構現実問題色々出てくるはずなので、その辺りが全部今後解決されるべき技術動向の、あの、論点になってくんだろうなという風に思いますね。
ありがとうございます。今すごくいい視点を、あの、ご提供いただけたのかなという風に思います。あの、まあ、いろんな、まあ、技術課題は、まあ、ニーズから生まれるというようなお話いただけたのかなと。まあ、誰もが使える、あの、生成AIが出てきて、で、これをビジネスに応用しようとすると、本当にビジネスに関わる全ての人から、おそらくニーズが出てくるんじゃないかなっていう風に思います。なので。
そうですね、あの、ビジネスで実際に使っていて、えっと、不満に思うところであったりとか、課題に思うところ、まあ、こういったところは、まあ、それぞれの、方々、まあ、結構、で、まあ、これまでだとその技術に直接影響を与えるような、あの、まあ、インタラクションって、結構ビジネスサイドからは結構しづらい部分あると思うんですけど、そういったところがより活性化していくんじゃないかなっていう風な、ちょっと、あの、印象を持ちました。で、ちょっと先ほどからですね、あの、不活さんが結構やりとされてる「何ができてないか」みたいな話とかが、僕なんかは、あの、結構どっちかっていうと、あの、後で自己紹介で言おうと思ったんですけど、MLそのもののプロじゃなくて、結局言語モデル使ってどうサービス作るか、どう実レベルでいい出力出すみたいなとこで考えちゃう側なので、さっきの、あの、民の問題みたいなとかも、エージェントでやる時は、「うんなるほど、それね」みたいなとかを喋らせて、間にGPT-4に投げるとかみたいな、結構卑怯なことで解決とかもしてたりするかもです。
面白いですね。ちょ是非後でその辺り詳しくお聞かせください。ありがとうございます。
そうですね、あと5分とちょっと迫ってきましたけれども、えっと、そうですね。じゃ、ちょっと私の方から選ばせていただいて、Cのところですね、「各種用途で性能を上げる方法」で。結構、その、まあ、すごく性能がいいチャットGPTのようなLLMが出てきて、まあ、ちょっとした調整で性能を劇的に上げる事ができるような世界になってきてると。まあ、大きくはプロンプトエンジニアリングみたいな、その、あの、質問文を変えることによって、まあ、調整と、もう1個は、あの、モデル自体をちょっと調整する、まあ、ファインチューニングみたいな方向性があると思うんですけど、このプロンプトエンジニアリングvsファインチューニングについてですね、ちょっとご意見を伺わせていただければと思います。川原先生いかがでしょうか。
えっと、はい、これは派閥があります。えっと、閥がありまして、あの、私はどちらかというとファインチューニング派なんですけれども、あの、まあ、少量でいいので、あの、高品質な、あの、データを作ると。つまり、プロンプトに対してこうレスポンスしたらいいよっていうデータを、まあ、数百でも作ってあげて、まあ、それでファインチューニングすると、まあ、驚くほど精度は上がるケースが、まあ、多いとは思いますので、まあ、そっち派なんですけれども、まあ、一方で手軽にプロンプトエンジニアリングで、あの、精度上がるっていうのはありますので、まあ、それはちょっとその用途によって使い分ける必要があるかなとは思います。
ありがとうございます。井上さんは？
はい、あえて、あの、議論を崩したいと思っていて、「プロンプトエンジニアリングvsファインチューニングがない」ってところで、これは両立できるよって話なんですよ、実は。はい。で、こちらファインチューニングの方は、RLHFとかで強化学習で人間が好ましいようなやつに作れるってのありますし、あとは、インストラクションチューニングとかでもこれ学習結構いい感じにできますし。で、プロンプトエンジニアリングは、まあ、さらに、あの、学習しなくてもできるっていうとこあるんですけど、やっぱりプロンプトエンジニアリングだと、ちょっと、あの、お金かかっちゃったりとか、あの、Few-shotで結構文章長くなっちゃったりするんで、実行の時間かかったりとか、色々問題あるんですね。だから、ちゃんと学習させようと思うとファインチューニングが必要なんですけど、これは、まあ、競合するものではないっていうところで、あえてちょっと、あの、議論を崩してみたっていうところです。はい。
ありがとうございます。佐々木さんはいかがでしょう？
えっと、まあ、これは、だからケースバイケースですよね。ケースバイケースなので、まあ、そこら辺の体系的な知識を持つのが、この、あの、生成AIの試験であるというところだと思うんですけれども、まあ、そうですね。で、難しいですよね。プロンプトエンジニアリングで、まず突き詰めるだけ突き詰めておいて、で、そうすると、結局コストの問題もそうですし、やっぱりこうプロンプトインジェクション系のものに対して、あの、どんなに言ってもやっぱり、あの、露出しちゃうみたいな話も出てきくるんで、そういう時に、あの、まあ、ファインチューニングみたいなテクノロジーにスイッチしていくみたいな、なんかそういうこう、開発前半は起動性優先で、なるべくプロンプト、あの、レベルで処理しといて、その後もうプロダクションでもうマネタイズのスキーム、あの、段階に入ってきたらファインチューニングとか、なんかそういう切り替え方なのかなっていう風な感じを今のところ思