chatGPTをはじめとする生成AI はとても便利です。
英語のメール文を作成してもらったり。
（もちろん先方に送る前に一度確認はしますが、作成スピードが段違いです。）
調べ物をしてもらったり、論文の概要をまとめてもらったり。
あとは、数学が苦手な私に変わって数式の解き方を丁寧にまとめてもらっていたりします。
もう、なかった頃には戻れません。
そんな便利な生成AIですが、実用の観点ではいくつか問題があります。
まずは嘘をついてしまうこと。
ハルシネーションと呼ばれるそれは、自然な言葉を操る代わりにでっちあげの内容も含まれてしまう、ということから生じています。
他の問題として、モデルが大きすぎる、ということがあります。
数億、数兆のモデルパラメータによってモデルが構築されているため、モデルの学習はもちろんのこと、既存のモデルそのものを手元の計算機で動かそうとしただけで、かなりの計算コストがかかってしまいます。
このメルマガを書いているノートPCでは間違っても動かすことはできません。
そんな問題を解決するための手法として、蒸留という手法が注目を浴びています。
蒸留酒がアルコールの蒸発と冷却を繰り返してアルコール度数を上げるように、モデルの重要な部分を別のモデルに反映する手法です。
その反映先の「別のモデル」を小さくすることで、より柔軟な利用が可能になります。
そんな蒸留に関する調査論文が昨年発表されていました。
https://arxiv.org/abs/2402.13116
実は私もきちんと把握していなかったのですが、蒸留する「重要な部分」にはさまざまな種類があるようでした。
まず、一番オーソドックスなのは「このデータが何を示すか？」という情報を蒸留する手法です。
この画像が犬である、という情報が元々のデータに付与されていたとして、蒸留されるのは「この画像は犬っぽさ90%、狼らしさ10%」のように情報量を付与することも可能です。
他にはモデルがどのようにデータの推論を行うか？といういわば考え方の肝を蒸留する手法。
さらにそれらは対象問題や蒸溜の方法で細別することができるため、本当にたくさんの種類が存在しているようです。
巨大なモデルをそのまま使うには、電気代や計算機のコストがかかりすぎる。
一方で、その素晴らしい性能は活用したい。
そんないいとこ取りの手法が注目されるのは、当然のことなのかもしれません。
私も周りの人のいいところを、考え方や仕事の仕方だけでなく、仕草や表情に至るまで、可能な限り吸収できれば、より効率的かつ効果的に過ごすことができるようになりそうです。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
