chatGPTマスターを目指して vol.34 陰に陽に変わりゆくchatGPT
chatGPTの登場とともに脚光を浴びたあの職業。もしかすると、その職業の重要性が揺るがされる日が近いかもしれません。
しばらく見ないうちになんだか変わった？
久しぶりに友人と会ったとき、まれに感じるこの感覚。
もちろん話をしていると「やっぱり全然変わってないね！」と思うこともあるのですが。
同じようなことがchatGPTでも起きている可能性があります。
chatGPTはこれまで、大きなモデルチェンジを何回も繰り返してきました。
世に広く知られるきっかけとなったバージョンはchatGPT-3ですが、その後chatGPT-3.5、chatGPT-3.5turbo、chatGPT-4、chatGPT-4o、と様々なモデルが公開されています。
これらはいわば車のモデルチェンジ（あるいはビッグマイナーチェンジ）であり、傍目に見ても何かが変わった！と明らかにわかる現象です。
ですが実は、名前は変わらないものの、その中身が変わっていることがあるらしいのです。
これまでと同じプロンプトであったにもかかわらず、なぜだか求める回答をくれない。
回答の質が明らかに変わった。
この変化は必ずしも新しいモデルが悪い、ということではなく、過去のモデルに合致していたプロンプトが新しい物に合わなくなってしまった、ということであると考えられます。
一方で問題が発生することも確かであり、APIを使ってサービスに組み込んでいる場合には定期的なメンテナンスが必要である…ということを話されている技術者の方もいらっしゃいました。
このような「陰」の変化は主に、学習データセットやパラメータ変更によって起きるものと考えられますが、モデル名が変わった時にはさらに大きな違いが生じます。
そして先日、このような研究が公開されていました。
【Does Prompt Formatting Have Any Impact on LLM Performance?】
https://arxiv.org/abs/2411.10541
chatGPTが3から4にアップデートされて、プロンプトエンジニアリングの必要性は変わったのか？ということについて調べた論文です。
結論から言うと、chatGPT-3.5 turboのころはプロンプトの工夫によって精度が最大40%程度向上していたにもかかわらず、最新のchatGPT-4ではどんなプロンプトでも対応できるようになったことが示されています。
かつてchatGPTが登場した直後、LLMをうまく扱うためのプロンプトエンジニアリングが脚光を浴びました。
今現在でも、どのようなプロンプトを入力すれば精度が上がるのか？という研究が多数なされています。
ただ、これからもモデルの改善によってどんなプロンプトでもいい返答を返してくれるようになるとするならば。
かつて様々な場所で注目されていたプロンプトエンジニアリングの重要性が、がくっと下がってしまう日が、近い将来来てしまうのかもしれません。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
