ずっと開けていたはずのピアスホール。
外す時にちょっと引っ掛けてしまったせいでしょうか。
瞬く間に赤く腫れ、ピアスを通す時に痛みが出るようになり。
これはもう病院に行くしかない！
そして処方してもらった薬を毎朝毎晩塗るうちに、徐々に快方に向かっていた、はずでした。
「これ、一体いつまで続ければいいのだろうか」
病院では「治らなかったらまた来てください」と言われたものの、逆に治った時のやめ時はいつなのだろうか。
痛みなくピアスを通せるようになったらもう大丈夫なのか？
あるいは、痛みがとれてからも1ヶ月程度は薬を使い続けた方がいいのか。
薬の専門家ではない私にはわからないため、自分で実験するしかありません。
腫れも引いたし、通す時の痛みもない。
というわけで夜だけ外してみたのですが、次の日の朝ピアスを通す時、また痛んでしまいました。
もういっそのこと、薬がなくなるまで（おそらく半年以上かかりそうな気がするのですが）使おうかと今は考えています。
…終わりどき、難しすぎませんか！
ところで「一体いつまで続ければ」と言えば、機械学習におけるモデル学習とパラメータ更新をいつまで続けるか？も重要な問題です。
モデルの表現力が十分ある場合、例えばパラメータを大量に用意した深層学習モデルを使う場合には、学習を進めれば進めるほど、手元の学習用データに対して合致するように学習が進みます。
ですがその場合、学習に用いていないテストデータに対しては精度が全く出なくなってしまい、それはそれで大問題。
では検証用にデータをとっておきたいのですが、一般に学習用のデータをたくさん用意するほどいいモデルが学習できる、ということもあり、そのバランスをとることもまた、一つの研究課題となるほどです。
少し前まで、学習データに対して過剰に学習してしまう前にモデルの更新を止めてしまうのが良い、と考えられてきました。
ですが今では十分なデータがある元で、という前提のもとではありますが、「過剰に学習したと思っても、そのままさらに学習することで精度にブレークスルーが起きる」ということが知られています。
機械学習におけるスケーリング則と呼ばれるこの特徴は、特にchatGPTに代表される大規模自然言語モデルの大幅な機能向上をもたらしました。
一方で、そのことにより、こういった言語の研究を大学の一研究室のみで行い成果をあげることは不可能になってしまいました。
もちろん応用などの研究はできるのですが、大規模自然減モデルそのものの研究では全く既存手法に太刀打ちができないのです。
スケーリング則では「データの量」「学習時間」「モデルの複雑さ」によってモデルの性能が決まると言われており、そのいずれも用意するには膨大な予算が必要になるのですが、それらを用意することができないためです。
最近、このスケーリング則に限界が出てきたのではないか？という主張もあるのですが、自分で検証するのは予算の都合上難しいため、新しい論文を読んで勉強したいなあと思います。
「いつまで続ければいいのか」
この問題は、実生活でも研究でも、しばらくお付き合いしなければならない課題になりそうです。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
