chatGPTマスターを目指して vol.33 chatGPTへの感謝度合いが2上がって信頼度が5下がった話

この処理ってどうやればできるんだろう…？

論文に追加で載せる実験のため、新しくデータを作り始めて早3日。

眠くなるときもありながら、何とか作成していたのですが、大問題が発生しました。

というのも、私の作成したプログラムのミスにより、データを作る対象を間違えてしまっていたのです。

言うなれば、本来であれば大学生のみにアンケートを取るべきであったにもかかわらず、高校生にもアンケートを取ってしまったような感じでしょうか。

しかも最悪なことに、だれが大学生か（残すべきデータ）で誰が高校生（削除すべきデータ）かどうか、すぐには判別できないというおまけつき。

そもそもプログラムを間違えていたことに気づかなかった私が悪いのですが、かなりの衝撃を受けました。

どうしよう。

締め切りも迫っている。

できるだけデータは活かしたいけど、そもそも大学生と高校生のデータの区別はどうすれば良いんだろう。

…そうだ！chatGPTに相談してみよう！！

そう思い立った私はさっそくchatGPTに事情を説明し、自分が実施したい処理について聞いてみました。

するとすぐに「このようにやれば実行できます！」という、頼もしい返答。

さすがchatGPTさんです。感謝の気持ちが2上がりました。

ただ、事件は終わってはいませんでした。

言われたとおりに処理を行い、データを分割して、必要なデータの作成を引き続き行って、準備が完了したときのことです。

…あれ？chatGPTの教えてくれたロジックだと、結局データをうまく分割で来てなくない？

詳細は省かせていただきますが、なんと、chatGPTの提案してくれたロジックではうまく大学生と高校生を分けることができておらず、つまり私は二度手間をしてしまったようなのです。

…許すまじ！

信頼度、5ポイント減です。

結局今回はchatGPTだけに頼らず自分の手元でもデータを確認したため大事には至らなかったのですが、もし気づかずに分析を進めていたとしたら…。とても恐ろしいことです。

ちなみにこちらを受けて、chatGPTにプログラムを書かせるための工夫に関する論文を探してみたのですが、このような論文が2023年に発表されていました。

【Improving ChatGPT Prompt for Code Generation】

https://arxiv.org/abs/2305.08360

タイトルの通り、どうすればchatGPTにコードをうまく書いてもらえるか？という問題についての論文です。

その中ではこのようにまとめられていました。

『多段階の最適化を伴う思考連鎖を明確にすることで、有効なプロンプトを書くことができる。』

正直なところ、この内容だけでは「結局どのようなプロンプトが良いのか？」という具体的なことはわからないのですが、少なくとも私たち分析者がきちんとプログラムの構造を考えて、わかりやすい形に落とし込んであげることが必要のようです。

今回のことを考えると検証も必要そうでした。

つまり、利用者である私たち自身が明確に理解できていないことについてchatGPTに頼むのは危険、ということが言えそうです。

まだまだ、万能のAIと言えるようになるには時間がかかるかもしれません。

P.S.

↓メルマガの新規登録はこちらから↓

https://48auto.biz/keieijinji/touroku/sp/scenario13.htm

（スマートフォンよりご登録いただけます）