chatGPTマスターを目指して vol.5 chatGPTの弱点、見つけたり
chatGPTに助けてもらう中で、悲しいことにchatGPTの苦手分野に気づいてしまいました。万能すぎないことに安心したのは内緒です。
これは本当にあった恐ろしい話です。
私「chatGPTさん、サーバーOSの導入の仕方を教えてほしいです。私は全然この領域に詳しくないので、初心者に教えるつもりで教えてください。」
GPT「わかりました。まずはAをダウンロードします。そして…」
私「GPTさん、これをしてもうまくいかないんだけど、どうしたらいい？」
GPT「大変失礼いたしました。先ほどの文章は間違っていました。正しくは…」
私「…？それ、同じことじゃない？」
GPT「大変失礼いたしました。先ほどの文章は間違っていました。正しくは…」
私「だから、何も内容変わって無くない？」
GPT「大変失礼いたしました（以下繰り返し）」
なんということでしょうか。
GPTさん、自分の間違いを素直に認めてくれることは良いのですが、間違ったことを、手を変え品を変え繰り返すだけで、一向に新しい情報を追加してはくれません。
こちらが何度同じ質問をしようが快く返答をくれるのはchatGPTの良いところですが、とはいえ同じ間違いを繰り返されるのはいただけたものではありません。
そしてこのような「何度も同じ間違いを言う」ことは、他の場面でもありました。
例えば、プログラムの実行に必要なアプリケーションの導入。
あるいは、数式の導出。
おそらくchatGPTの構造を考えると、このような「一つのことを突き詰める」ことは苦手なのかもしれません。
そもそも自然言語モデルはどんな構造をしているかと言えば、インターネット上にあふれる言語を用いて、その仕組みを学習しています。
ですが、学習するには教師が必要です。
つまり、どのようなインプットがあれば、どういったアウトプットになるべきか？という教師データを与える必要があります。
言語はとても複雑なので、非常にたくさんのデータを与える必要がありますが、人がすべての正解を用意していては、一生をかけても十分な量のデータをそろえることはできません。
では、どうするかと言いますと、とある文章の任意の文字数までを入力して、次の単語を当てる、という学習をさせます。
あるいは特定の単語だけ隠しておいて、この中に入る単語は何？といった学習をします。
そうすることで、人間が明示的に正解となる教師データを与えることなく機械にルールを教え込むことができます。
ただしこのような教え方をした場合、学習するデータは「多くの人が書いた雑多な文章」となります。
私が今回困っていた、例えばOSのインストール方法。
人それぞれにやり方は違うため、こちらは多くの人の意見を取り入れるというよりも、一人の人が実施して成功した内容をなぞる方が成功率が高いように思えます。
つまり、そういった「特定の正解だけを取ってくる」ような問題は、少し、chatGPTには難しいのではないか、という仮説が、これまでの利用状況からわかってきました。
一方で、もちろん、弱点さえ分かってしまえば、そのような内容は使わないようにすれば良いだけです。
いろいろな意見を要約したり。
関連する研究を探してきてもらったり。
chatGPTの得意分野はたくさんあります。
それらをうまく使い分けることが、chatGPTマスターには欠かせないのだと思います。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
