恐らく小学生の頃、温故知新という言葉を習いました。
昔のことをたずね求めて、そこから新しい知識・見解を導くこと、と定義にはあります。
過去に起こったことや先人の知恵を活用することで、新しい発明ができる。
機械学習の分野でも、これまで登場したあらゆる知識や発見を総動員して、日々新しい研究がなされています。
例えば「機械学習モデルはデータのどの部分に着目することが望ましいか？」というAttentionという機構とその概念は、今や最新の自然言語処理モデルには欠かせない基盤技術となっています。
しかも、その適用範囲は日々広がっていて、例えば画像に適用すれば「この画像のどの部分が犬に該当するのか？」と言った解釈性向上に活用することもできますし。
他にも、構造化されたデータや時系列データへの適用においても「どこが重要なポイントか？」ということを明示的に示すことができることが知られています。
では逆に、今の新しい知識を使って、過去に存在した「素晴らしい」発明に再度スポットライトを当てることはできるのでしょうか。
今年開催された機械学習や深層学習のトップ会議であるNeurIPS(Neural Information Processing Systems)に、こんな論文が出ていました。
【xLSTM: Extended Long Short-Term Memory】
https://neurips.cc/virtual/2024/poster/96260
このモデルでスポットライトが当てられているLSTMというモデルは、時系列データを対象として1997年に発表されたものです。
LSTMの前に存在したモデルでは、直前の情報だけを重視してしまうという構造的な問題がありました。
その点について、LSTMでは明示的に少し遠い過去の情報であっても保持するための構造を追加することにより、より柔軟なモデル化を可能としています。
今でも様々な対象に適用されている手法ではありますが、chatGPTなど超高性能なモデルの出現により、自然言語モデルの領域においてはすっかり影が薄くなってしまったことも事実です。
（もともとはLSTMも、自然言語処理のためのモデルでした。）
そんな中、先ほど紹介したxLSTMという手法は、現在の最新のモデルの知見を活かすことにより、LSTM自体の拡張が可能なのではないか？ということで取り組んだものとなります。
結論から言えば、既存の最新モデルに精度の面ではたどり着かなかったようなのですが、それでも従来のLSTMに比べれば高い精度を出すことができたようです。
古きを温めて新しきを知ることももちろん大事ですが、もしかすると、今の知識があるからこそ輝く過去のモノが、他にもたくさんあるのかもしれません。
P.S.
↓メルマガの新規登録はこちらから↓
https://48auto.biz/keieijinji/touroku/sp/scenario13.htm
（スマートフォンよりご登録いただけます）
