『その答えは〇〇です』
「いいえ違います。もう一度きちんと考えてください。」
『大変申し訳ございません。先ほどの私の返答は誤りでした。正しくは△△です』
「違います。もう一度考えてください。」
『大変申し訳ございません。答えは〇〇です』
（どうしてこんな簡単な問題に答えてくれないんだろう…！）
インターネット上でchatGPTとのやり取りを見ていると、まれに目撃するやり取り。
『』がchatGPTの発言で、「」が人間の発言です。
とても便利なchatGPTなのですが、ときおり、回答が誤ってしまうことがあります。
そして何度質問文を変えて聞き直しても、正しい答えにたどり着かないことも多々あります。
利用者として一番イラっとするのが、何度もやり取りを重ねるうちに、最初の「誤った答え」に戻ってきてしまうこと。
（だから違うって言ったじゃーん！）
思わず画面の前で叫んでしまったこともしばしば。。。
それはさておき。
chatGPTだけでなく、多くのAI、およびその背後で動いている機械学習がどんな考え方をして、その結論にたどり着いたのか？というのはブラックボックスになっています。
それもそのはずで、数千億にも上るパラメータの一つ一つを解釈したところで「AIが何を考えて答えを出したか？」は到底わかりません。
ですが、わからないものについて知りたくなるのが人の性。
それでは困る！
何故AIがその結論を出して、そしてなぜ間違えてしまったのかを知りたい！
というモチベーションが多くの「AIを解釈するための手法」を生み出してきました。
いわば「AIと意思疎通をする方法」と言えるかもしれません。
例えばshap値という値を用いた手法では、各パラメータたちが結果に対してどのように影響を与えているのか？という観点からパラメータを解釈します。
ただし膨大な数のパラメータが相互に影響を与え合う深層学習のモデルでは個々のパラメータの分析はそれほど意味がないため、例えば画像のどこの部分が影響しているのだろう？といったように、人間がわかる形で解釈していきます。
他にも、Attentionと呼ばれる「AIがどこにAttention（注目）しているのか」を見ることができる変数を使って、結果の解釈をすることもできます。
これらの手法を使ってAIが何を考えているのかをある程度知ることはできますが、それでもまだ、翻訳こんにゃくのような道具を使って解釈をしているにすぎません。
もっとAIが人間と同じ考え方を持つことができたなら。
道具を使わなくとも、意思疎通が取れるようになる日が来るのかもしれません。
P.S.
とはいえ、私たち人間も自分の考えについて、その考えに至った経緯は説明できますが、脳のシナプスがどんな働きをしたのかを知ることはできません。
そう考えると、具体的なモデルの働きというよりも、現在の手法が目指しているような「どうしてAIはそのように出力したか？」がわかれば十分のような気もしてきました。
P.P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
