Transcription
私は、これについて話したくなかったのです。幻覚について話しましょう。幻覚について話さなければならない理由は、人々が幻覚について話しまくるのを止めさせられないからです。だから、今、こうして話しているのです。
結局のところ、ChatGPTがその能力レベルでリリースされたということは、私たちは計り知れないほどの信用問題を抱えているということです。ChatGPTは、人々が信じているよりもはるかに信頼できます。Claudeも、人々が信じているよりもはるかに信頼できます。ChatGPTだけの話ではありませんが、このことを気にする人々にとって、それは常にChatGPTです。なぜなら、彼らが知っている言語モデルだからです。Geminiも同じです。
私が言いたいのは、ChatGPTが2022年にリリースされたとき、非常に注目を集めた幻覚があり、人々はAIが実際に何ができるのかを誤解し、それをたくさんの嘘だと決めつけてしまったということです。今でもそれをよく聞きます。毎日毎日聞いていて、ただ対処しているだけです。だから、これについて話そうと思っています。
AIに対する私たちの基準は、人間に対する基準とは異なります。もし、信頼性の低い研究者、例えばインターンである人間研究者がいて、そのインターンが1週間かけて40ページのレポートを作成し、そのレポートに3つの間違いがあったとしたら、「素晴らしい」と言い、そのレポートを私の仕事で喜んで使います。しかし、AIが30分以内に40ページのレポートを提出して3つの間違いがあった場合、「不十分だ。完璧でなければならない」と言います。なぜ完璧でなければならないのでしょうか？なぜ人間よりも完璧でなければならないのでしょうか？
他にも、幻覚はそれほど大したことではないと言う理由がありますが、私が最も説得力のある理由だと思います。AIに役に立つ仕事をしてほしいのであれば、AIができる仕事の有用性が、幻覚の確認に費やす時間よりも大きいと信じなければならないのです。そして、私たちは既にその基準を超えています。
だからと言って、幻覚が問題にならないという意味ではありません。弁護士がAIを使用する際に、ケースバイケースで引用を確認する必要がないという意味ではありません。医師がAIの医学的推論を確認する必要がないという意味でもありません。もちろん、確認するべきであり、幻覚を減らす努力をするべきです。しかし、AIが明らかに有用な仕事ができるようになったという事実は、AIがイベントホライズンを超えたということです。もはや単なる遊び道具ではなく、私たちが一緒に仕事ができるものなのです。残念ながら、その信用問題がこの業界を苦しめていると思います。
結局のところ、このYouTubeの輪の中にいない人々とAIの幻覚について話すと、最初に口にするのは、「幻覚はどうですか？何かを作り上げると聞きました。嘘をつくと聞きました」ということです。正直に言うと、AIは平均的な人間よりも嘘をつきません。ほとんどの場合です。
ちなみに、幻覚率を測定するのは本当に難しいです。私はこれについて調べて、Substackに記事を書きました。読んでみたい方は読んでください。そうでなくても構いません。良い読み物だと思います。幻覚とは何かを深く掘り下げています。
私が非常に興味深いと思うことの1つは、いわゆる幻覚率が、与えるタスクによって10倍も変化することです。同じモデルでも、1.5％から15％になる可能性があります。ちなみに、これは作り話ではありません。ChatGPT 4.5が、使用する幻覚測定方法によって、おおよそその範囲に入るということです。文脈は本当に重要です。与えるタスクの種類は本当に重要です。
私が個人的に幻覚を心配していない理由の1つは、AIに幻覚を起こしそうな状況を与えないようにしているからです。それはまるで、従業員を誤管理しているようなものです。なぜそんなことをするのでしょうか？AIに事実上不可能なことをするように頼むことはありません。なぜなら、それは役に立たないからです。なぜそんなことをするのでしょうか？AIは非常に強力なツールなので、それを得意とすることをするべきです。ソースを指定したり、調べさせたい場所を指定したりするべきです。プロンプトを注意深く、明確で構造化されたものにするべきです。そうすれば、AIはうまく機能します。それは私にとって簡単です。
実際には幻覚を減らすこれらの対策の多くは、AIを使用するためのベストプラクティスであることが分かりました。ベストプラクティスに従うべきだと思います。
OpenAIやAnthropicはこれに取り組んでいますか？そうです。GoogleのDeepMindはこれに取り組んでいますか？もちろんそうです。来年には、幻覚が全くないモデルができるという意味でしょうか？保証できません。また、実際の仕事にはほとんど影響がないとほぼ保証できます。しかし、世間の認識には大きな影響があります。なぜなら、私たちはコンピューターは完璧でなければならないと考えるように訓練されてきたからです。
過去100年間、いや、100年間とは言わずに60年間、私たちがコンピューターで使用してきたものは、決定論的計算でした。a + b = cであれば、常にそうなるというプログラムです。つまり、数学です。アルゴリズムです。すべてがプログラムの実行時に決定されます。そのため、完璧さを期待することができます。私たちの映画もすべて同じことを言っています。
私たちは、岩に思考を教えたら、それらが詩的な夢想家になるようなAIには、まだ準備ができていません。私たちは、そのようなAIには準備ができていません。AIが本質的に事実の世界モデルを持っていないという事実、ChatGPT 4.5の一部の幻覚テストにおける1.5％の誤差率について話せるという事実は、奇跡です。私は本当に驚いています。これらのものは、夢を見ます。あなたが求めているものと一致すると考える確率的なトークンを考え出します。それらには、事実の世界モデルは存在しません。何かが正しく認識されること自体が驚くべきことです。
だから、その中で、人間を基準にすべきだと思います。AIが機能するという事実を真剣に受け止めるべきだと思います。そして、業界として、「AIは嘘をつくだけだ」「AIは何かを作り上げるだけだ」と言う人々に対して、より良い答えを出す必要があると思います。
ちなみに、そう言う人々は、自分自身もかなり信頼できない語り手であることが多いです。私は、ある程度AIに個人的な脅威を感じて、AIを軽視する必要のある人以外から、そのような攻撃的な反論を聞いたことはありません。
ここに変化の最先端があります。自分の仕事について心配している人、自分の仕事に何が起こるかを心配している人は、AIを軽視する可能性が高くなります。それについての研究はありますか？正直に言うと、ありません。それは、何百人もの人々と話をした私の経験に基づいています。私が観察したことです。
それでは、結局どうなるのでしょうか？AIは、ほとんどの分野でほとんどの人間よりも信頼できるようになるでしょう。実際、既にその線を越えつつあります。そうなれば、AIの幻覚についてこれほど心配するのを止め、自分自身の幻覚について心配するべきです。しかし、私たちはそうしていません。
その理由は非常に単純です。自動運転車がより人気がない理由と同じです。自動運転車がはるかに安全であるにもかかわらずです。米国で人間の運転を禁止していない理由と同じです。統計的に言えば、米国のテストでは、自動運転は既にはるかに安全であるにもかかわらずです。人間の運転手を道路に残しておくことは、人々の命を奪っています。米国と言ったのは、そこでテストされたからです。世界中の他の地域でもおそらく同じでしょう。
私たちは頑固な種族です。私たちは頑固な種です。私たちは、真実だと考えていることを容易に諦めることはありません。人間は運転すべきだと考えています。たとえそれが人を殺すとしても、それはすぐに消えるとは思いません。AIは幻覚を起こすと私たちは考えています。たとえそれが明らかに役に立たない考えであることが証明されていても、その考えは消えるとは思いません。
しかし、私たちは努力しなければならないのです。私たちは、何が本当に重要なのかを人々に説明しようと努力しなければならないのです。私たちは最善を尽くして教育しなければならないのです。これは、業界の私たち全員にとって課題です。
幻覚について聞かされることにうんざりして、Substackに巨大な記事を書きました。本当にこれについて話したくなかったのです。私たちは、能力を身につけなければならないのです。