AI研究最前線vol.11 AIの「カンニング」防止策
AIモデルが本当に「求めるAIモデル」になっているのか。その評価のためには、課題の内容だけではなく提示方法も考える必要があるようです。
「このAIは、数学のテストで90点を取ったAIです」
そう言われると、何だかとても賢そうなAIであるように聞こえます。
（もちろん、何の数学のテストなのか？によって変動するとは思いますが。）
ですが仮に、もしその「90点を取ったAI」が、すでにテスト問題とその答えを見ていたとしたらどうでしょうか。
8月27日、Google DeepMindが「AIのカンニングを防ぐ」ための取り組みを発表しました。
【Piloting the world’s first double-blind AI evaluations】
https://deepmind.google/blog/piloting-the-worlds-first-double-blind-ai-evaluations/
世界初となる、最新のAIモデルに対する「double-blind」評価の試みです。
AIモデルの開発においては、モデルの能力を比較するために「ベンチマーク」と呼ばれる共通試験がよく使われます。
ところが、この「ベンチマーク」の利用には、大きな問題があります。
そもそも現在広く使われている生成AIは、インターネット上にある大量のデータを使って学習しています。
そのため、ベンチマークに含まれる問題そのもの、あるいはそれによく似た問題が、AIを学習する際のデータに紛れ込んでしまう可能性があります。
大学入試の問題を、受験者が事前に見てしまっているようなものです。
人間も勉強をする際に、過去問などを使うことがありますが、過去問ではなく実際の入試問題を見てしまっているとしたら、それは本当に正しく実力が測れていると言えるのでしょうか。
そこでGoogle DeepMindが考えたのが「評価のための問題そのものを、モデル開発の場面から技術的に隔離した状態にしてしまえば良い」というアイディアでした。
今回の試みでは、いくつかの企業（Singapore AI Safety Institute、OpenMined、AVERI、MLCommons）と協力し、Google社のAIであるGemini Flash Liteモデルを秘密のベンチマークで評価しています。
ポイントは、暗号技術を使うことによって、AIモデルを開発するGoogleが問題を見ないことはもちろん、モデルを評価する側にも、Googleが作るモデルの中身を見せない、という点です。
これが「double-blind」と呼ばれる理由です。
ところで、少し前にこちらのメルマガでご紹介した、OpenAIが発表した「A scorecard for the AI age」。
このscorecardでは、AIを「ベンチマークで何点取ったか」だけで評価するのではなく、
「実際にどれだけ有用な仕事を完了できたか」
「成功した仕事にはいくらかかったか」
「その結果をどれだけ信頼できるか」
などを見るべきだという考え方が示されていました。
OpenAI社はこれを「Useful Intelligence per Dollar」という考え方で整理しています。
こちらもAIを評価する新たな基準ではあるのですが、今回のGoogle DeepMindの発表は、これとは似ているようで、少し違います。
scorecardが「AIの何を測るべきか」という話なら、今回のdouble-blind評価は「その測り方自体を信用できるのか」という話です。
つまり、AIが進化するにつれて、「どんな指標で評価するか」だけでなく、「その評価結果は、本当にそのAIの実力を表しているのか」まで考えなければならなくなってしまったのが現状です。
かつてここまでAIが成長する前は、単純に「上手く翻訳できるのか？」という課題に対する成果を見ていればよかったのですが、今ではそのような単純なタスクでは、AIモデルの性能を評価することができなくなってしまいます。
実際に、すでに公開された特定のタスクに対する正解率は、多くのAIモデルにとって「100点満点を取れるテスト」になってしまっていました。
これはまるで、特定のKPIに最適化する営業マンのようなものです。
例えば人事評価で「営業件数」をKPIにすれば、営業件数を増やす行動が促されますし、あるいは採用試験で特定の問題形式を使い続ければ、その問題への対策が上手な人が高得点を取るようになります。
評価指標を作ると、人もAIも、その指標で良い評価を得る方法を学びます。
ですが、「評価点が高いこと」と「本当に欲しかった能力が高いこと」は、必ずしも同じではありません。
汎用的に、何にでも使えるAIが欲しいのに、特定の問題に特化したAIになってしまうのは本末転倒です。
真に求める「理想状態」を作るため、評価指標を常にブラッシュアップしなければいけないのは、人間もAIも同じなのかもしれません。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
