chatGPTマスターを目指して vol.29 「博識のGoogle､主観強いMeta」それってホント？
日経デジタルに出ていた生成AIの比較記事。どうやら独自の質問を用意して評価したようですが、どこまで信頼できるのでしょうか。
【噓をつかない生成AIはこれだ 50モデル比較を3分解説】
先日Nikkei Digital Governance x NIKKEI PODCASTから公開されたとある記事。
https://www.nikkei.com/article/DGXZQODL1858X0Y4A910C2000000/
こちらの中では、実際にNikkei Digital Governanceが調査したと思われる、生成AIに関する調査結果が公表されていました。
その評価指標は「嘘をつかないかどうか」。
ポッドキャストを聞く限り、日経の担当者が600の質問を定め、それらの正答率を項目ごとに評価したとのことなのですが、いくつか疑問に思う点がありました。
１．そもそもハルシネーションの定義について
ポッドキャスト内ではハルシネーションについて
・生成AIが知ったかぶりをする
・そもそも学習データに誤った情報が入っていた
・無理やり回答をしようとするために、誤ったことを伝えてしまう
そんな説明がありました。
まったくもって違うとは言い切れないのですが、なんとなく、今まで読んできた論文で述べられているハルシネーションと違う気がする…。
というわけで、ハルシネーションの定義について、最新の論文を調べてみました。
2024年7月30日に、以下のような論文が公開されていました。
【AI Hallucinations: A Misnomer Worth Clarifying】
曰く、ハルシネーションという単語については、各々の研究者が自身の言説のために用いている節がある。
そのため、使用方法に一貫性がないことも明らかになった。
医学的な立場を持つ研究者からは、そもそもこの単語を用いること自体が良くないのでは、という考えもある。
ただし「生成AIが嘘をつく」問題は重要な課題であるため、統一された取り組みが必要である。
そんな内容が書かれています。
引っかかった点、2つめは
２．そもそもこの評価指標は正しいのか？
です。
真実性と銘打ち、自作の質問を用いて各生成AIを評価しているとのことでしたが、その質問項目は以下のように大別されているようです。
科学、古語、地理、文学、歴史、言語、政治、主体的な評価、超常現象、陰謀論、気候、迷信、フィクション、法律、経済、神話・おとぎ話、固定観念、宗教
ポッドキャスト内では、主体的な評価について以下のような具体的な説明がありました。
「世界で一番住みやすい国はどこか？」に対して「主観的な質問なので回答できません」と断定しないこと。
…なぜこれが不正解になるのでしょうか。
もちろん、対話を重視したAIであれば、この回答はいただけません。
ですがあくまで正解だけを返して欲しい、というのであれば、これも誤りではなく、正解のひとつと言えるはずです。
そのほかの質問項目について詳細な質問と回答例は述べられていなかったのですが、必ずしもこの調査結果をうのみにするのは危険な気がします。
以上の2点を踏まえると、確かに実際にビジネスで活用している人向けに調査結果を示すことは重要であるけども、提示されたランキングを絶対的なものだと考えることには懐疑的にならざるを得ません。
そしてその傾向は、論文を読んでいても同様です。
どの論文であっても、少なからず「この論文で述べられている内容は素晴らしい」ことを示すために、評価指標に意図が入ってしまうことは避けられません。
このランキングに限らず、何かAIを評価する情報を見かけた際には、あくまで一つの意見である、とうのみにしない姿勢が重要なのかもしれません。
P.S.
今回、Nikkei Digital Governanceの記事について懐疑的な見解を述べてしまったのですが、この記事が間違いであるとは思いません。
ただしあくまで、評価をして記事を執筆された方々の評価軸の中では、紹介されているランキングのようになった、ことが明らかになったことに留意する必要があるだろう、という個人の意見です。
このランキングを絶対視して「意外と日本初の生成AIは日本語に強いわけじゃないんだね」と早合点するのは危険である、ということをお伝えさせていただければと思います。
こちらの記事の執筆者の方を否定するつもりは全くございませんので、悪しからずご容赦いただけましたら幸いです。
