chatGPTマスターを目指して vol.20 AIにAIの最新ニュースを聞いてみた

chatGPTが世に発表されたころ。

これほどまでに高性能な自然言語モデルは存在せず、一世を風靡しました。

普通に話しかければ、いろいろな回答をくれる。

プログラミング言語に関する質問も答えてくれる。

外国語との翻訳も思いのまま。

その注目度は機械学習の研究者界隈をあっという間に飛び越え、ニュースなどを通じて多くの人の知るところとなりました。

それではいまはどうなっているかと言いますと、他にも高性能なモデルが多数公開されるようになっています。

例えば日本語に特化した自然言語AIも発表されましたし、Googleが発表したGeminiという自然言語AIも、とても使い勝手のいいAIとなっています。

どんなデータでモデルを学習するか。

パラメータの数やモデルの複雑さ。

どんなチューニングをしたかによって多くのモデルが存在しており、さながら群雄割拠と言っても過言ではないかもしれません。

実際に、それぞれのモデルを活用したときの精度の差についてまとめた論文もたくさん出版されています。

正直、利用者目線からは、一体何が変わっているのかよくわからないこともしばしばあります。

とはいえ、chatGPTと仲良くなるためには、他のAIについても知っておく必要があります。

他との違いについて知れば、chatGPTのことがもっとよくわかるかもしれません。

それに、各モデルで得意分野は違うはずなので、より効率的にAIとの協業をすることができそうです。

というわけで今回は、機械学習の最新ニュースについて、chatGPTをはじめ、他のいくつかの手法で聞いてみることにしました。

まずはchatGPTに以下の文章を投げてみます。

「機械学習の最新のニュースを教えてください。

できるだけ、理論に関するニュースが良いです。」

*******************

6 件のサイト を検索しました

最近の機械学習の理論に関するニュースについて以下のような進展があります。

1. メタラーニングの新技術: ニューヨーク大学の研究者たちは、メタラーニングを利用した新しい学習手法「Meta-learning for Compositionality (MLC)」を開発しました。この技術は、人間のように新しい概念を組み合わせて学ぶ能力をAIに持たせることができるとされています。実験では、MLCが人間と同等またはそれ以上の性能を発揮し、特に大規模言語モデル（LLM）においてもその効果が期待されています​ (SciTechDaily)​。
2. ディープラーニングの共通の学習パターン: コーネル大学の研究では、さまざまなディープラーニングモデルが「低次元多様体」を探索するという共通の学習パターンを持つことが示されました。この発見は、異なるアーキテクチャやハイパーパラメータ設定のモデルでも、同様の予測軌跡をたどることを明らかにしています。これにより、ディープラーニングの理論的理解が進むことが期待されています​ (Tech Xplore)​。
3. 幾何学的機械学習: ハーバード大学のGeometric Machine Learning Groupでは、データの幾何学的構造を活用することで、効率的な機械学習アルゴリズムを設計する研究が進められています。特に、グラフ機械学習や幾何学的深層学習の分野での最適化やアルゴリズム開発に焦点を当てています​ (GeoML Group)​。

これらの進展は、機械学習の理論的理解を深め、新しい応用の可能性を広げるものです。今後もこれらの分野での研究がさらに進むことが期待されます。

*****************

実際にいくつかのリンクを見てみると、確かに数日前の情報もきちんと反映されているようです。

特に2番の「ディープラーニングの共通の学習パターン」はとても興味があるところなので、後程しっかり見てみようと思います。

では次にGoogleのGeminiに聞いてみました。

質問をするプロンプトは同じものを使っています。

*******************

機械学習の最新理論ニュース

2024年6月

• 大規模言語モデルの能力限界に迫る：GPT-3を超える新たな課題と評価指標 (https://arxiv.org/pdf/2302.04761)
  • 従来の評価指標では捉えきれない、大規模言語モデルの真の能力を評価する方法を提案。
  • ベンチマークタスクに加え、人間との対話や創造的なタスクなど、より現実的な評価指標を導入。
  • GPT-3を超えるモデルの開発競争を活性化し、機械学習理論の進歩に繋がる可能性。
• 自己教師あり学習の新たな可能性：教師なし学習と強化学習の融合 (https://arxiv.org/abs/2110.09327)
  • ラベル付きデータに頼らず、教師なし学習と強化学習を組み合わせることで、より効率的な学習方法を提案。
  • 限られたラベル付きデータと豊富な未ラベル付きデータを活用し、従来の教師あり学習よりも高い精度と汎化性能を実現。
  • ロボット制御や自然言語処理など、様々な分野での応用が期待される。
• 説明可能AIの進化：ニューラルネットワークの内部構造を可視化 (https://arxiv.org/abs/2107.07045)
  • 「SHAP」と呼ばれる新しい手法を用いて、ニューラルネットワークの各ニューロンが意思決定に与える影響を可視化。
  • AIモデルの透明性を高め、意思決定の根拠を理解しやすくすることで、信頼性の向上に貢献。
  • 医療診断や金融審査など、説明責任が求められる分野でのAI活用を促進。

その他

• 上記以外にも、様々な理論に関するニュースが日々発表されています。
• 最新の情報については、以下のサイトなどを参照することをお勧めします。
  • arXiv: https://arxiv.org/
  • Google AI Blog: http://research.google/blog/
  • OpenAI Blog: https://openai.com/

補足

• 上記のニュースは、あくまでも一例です。
• 興味のある分野や研究者名で絞り込むことで、より具体的な情報を見つけることができます。

機械学習の理論は、日々進歩しており、新しい発見や技術が続々と発表されています。 最新情報を追いかけることで、AI技術の理解を深め、研究開発に活かすことができます。

*******************

はて。

私の記憶違いでなければ、3つ目に記載されているSHAPの話題は、だいぶ前の話であったはずです。

念のためリンクを見てみると、案の定2021年の論文が表示されていました。

今回私が求めていた最新のニュースは、可能な限り直近のニュースだったことを考えると、2021年というのは少し前すぎる気がします。

恐らく「最新」の定義が違うのだとは思いますが、この質問についてはchatGPTに軍配が上がったようです。

ちなみに同様の検索ワードでgoogleの一般検索をしてみたところ、テックブログなど、理論に関するものというよりも、よりふんわりとした説明がヒットしました。

きちんとプロンプトで質問できる分、通常の検索よりも自然言語処理AIの方が調べ物には向いているのかもしれません。

【AIにAIの最新ニュースを聞いてみた】

結果をまとめると、以下のような結果になりました。

・Googleにキーワードを入れて検索するよりも、より自分の意図を伝えられる自然言語処理AIの方が調べ物には良いかもしれない

・chatGPTとGeminiでは、入力されたプロンプトに対する対応が異なる

・きちんと自分が求める条件がAIに伝わるように詳細なプロンプトを記入することで、さらに有効な検索ができる可能性がある

個人的に、何よりも素晴らしいのは、人に質問するようにAIに尋ねられることだと思っています。

これまでは研究者のみの間でだけ共有されていたノウハウなどが広く知られることで、よりいろいろな場面でAIが活用されることを祈ります。

P.S.

↓メルマガの新規登録はこちらから↓

https://48auto.biz/keieijinji/touroku/sp/scenario13.htm

（スマートフォンよりご登録いただけます）