どうすれば大規模自然言語モデルは嘘をつかなくなる？

とても便利な自然言語AIですが、まだ解決されていない大問題のひとつに「幻覚」を見てしまうことがあります。解決することはできるのでしょうか

2024年9月19日

昨今研究が進む大規模自然言語モデル。

chatGPTやGeminiだけでなく様々な問題に特化した自然言語モデルが提案されているのですが、それらに共通して発生する問題があります。

それは、機械学習が「幻覚」を見てしまうことです。

Hallucinationと呼ばれるその現象は、ありもしないことをまるで事実のように話してしまう、と言った問題を指します。

実際にchatGPTについて何かを尋ねると、情報元も何もかもめちゃくちゃな内容を返してくることが多々あります。

思わず「嘘つき！」と返答してしまったのは内緒です。

大規模自然言語AIが登場した直後から、この問題はとても重要視されてきました。

ただでさえブラックボックス的なAIにおいて、その出力が間違っているなど、許されることではありません。

その為、多くの研究が今日まで続けられてきています。

ただ、続けられているのですが、現時点では決定的な対処法が見つかっていないのです。

例えば今年の8月にAIが見る幻覚に関する新しい論文が発表されていました。

タイトル：Training Language Models on the Knowledge Graph: Insights on Hallucinations and Their Detectability

曰く、多くのデータ、多くのパラメータを使って複雑なモデルを作れば作るほど、様々なタスクでの精度は向上するものの、その分多様な情報が入ることで「幻覚」を見やすくなったりしてしまうようです。

加えて、幻覚をなくすためには、これまでに考えられてきたものより1桁多い計算コストがかかるのでは、という分析もなされていました。

ただでさえ数千億を超えるパラメータを持っている自然言語モデルで、1桁増えるとすると、そのコスト増加代はとんでもないものになります。

計算のために必要な電力も、メモリも、あまり環境にやさしいものではなさそうです。

便利になる一方で、信頼性が失われるかもしれない。

そんな風に信頼できないままAIが進化してしまったら、SF映画でよくあるような「人間だったら絶対にしない結論を出す」ようなAIがいつか誕生してしまうかもしれません。

（地球を守るには人間がいなくなればいい！といったAIが出てくるのは、SF映画の常套手段である気がします。）

そんな世界はあまり見たくないので、研究が進んで、幻覚を押さえる方法が見つかることを祈っています。。。

P.S.

↓メルマガの新規登録はこちらから↓

（スマートフォンよりご登録いただけます）

大学にてデータサイエンスを学ぶ傍ら、多くの人にデータ分析の面白さを伝えたいと日々奮闘中。