AI、ちょっと忘れん坊さん？LLMの「記憶力」問題と、その解決策をわかりやすく解説！
ChatGPTを使っていて、「あれ？さっき言ったこと、もう忘れちゃったの？」って思ったことはありませんか？ 例えば、使えないライブラリ（プログラムの部品みたいなもの）を削除したはずなのに、何度もおすすめしてきたり…。
これ、実はただのバグじゃないんです。LLM（大規模言語モデル）を使ったAIアプリケーションが抱える、ちょっと深い問題のサインなんです。
LLMって、そもそも記憶力がないの？
開発者のみんなは、AIがどんどん賢くなって、間違いから学んで、どんどん進化していくって思ってるよね？ でも、残念ながら、LLMの基本的な仕組みはちょっと違うんです。LLMは、基本的に「ステートレス」って呼ばれる状態で動いています。これはどういうことかというと、一つ一つの質問やお願いを、完全に独立したものとして処理するってことなんです。
まるで、毎回新しい人に話しかけているようなもの。前に話した内容を知らないから、必要な情報を全部伝え直さないといけないんです。
だから、LLMの「記憶」って、実はモデル自体に組み込まれているわけじゃなくて、後から付け加えられたものなんです。そして、この「後付けの記憶」が、うまくいかないことがあるんですね。
LLMの「記憶」の仕組みを覗いてみよう
LLM自体は記憶を持っていないので、ChatGPTみたいなアプリケーションでは、いくつかの「記憶装置」を組み合わせて、あたかも記憶があるかのように見せかけています。
- コンテキストウィンドウ：これは、直前の会話を一時的に覚えておくための場所。でも、容量には限界があります。GPT-4oっていうモデルだと128Kトークン（文字数みたいなもの）までらしいけど、モデルによって違います。
- 長期記憶：これは、長期的に覚えておきたい情報を保存しておく場所。でも、何が残るかは、ちょっと気まぐれみたい。
- システムメッセージ：これは、AIの性格や役割を設定するための秘密の指示。このメッセージを通して、長期記憶の内容をAIに伝えることもあります。
- 実行コンテキスト：これは、プログラムが一時的に覚えておく情報。例えば、Pythonの変数とか。でも、セッションが終わると、全部忘れちゃいます。
これらの「記憶装置」がないと、LLMは毎回まっさらな状態で会話を始めることになります。だから、前の会話の内容をちゃんと伝え直さないと、話が繋がらなくなっちゃうんです。
なぜLLMは、わざわざ「忘れん坊」なの？
API（プログラム同士がやり取りするための窓口みたいなもの）を通してLLMを使う場合、モデルはリクエストとリクエストの間で、何も覚えていません。つまり、前の会話の内容をわざわざ送ってあげないと、AIは完全に新しい質問として受け取ってしまうんです。
もし、会話がすごく長くなったら、全部の情報を送るのは大変ですよね？ だから、記憶を管理するシステムが必要になるんです。そうしないと、AIは大事なことを忘れてしまったり、古い情報にしがみついてしまったりするんです。
忘れちゃいけないことを、いつまでも覚えてる！？
LLMアプリケーションには、忘れすぎる問題だけじゃなくて、「忘れちゃいけないことを、いつまでも覚えてる」っていう問題もあるんです。例えば、ChatGPTに「さっきのことは忘れといて」って言ったのに、なぜか後でまたその話を持ち出してくる、みたいな経験ありませんか？
これは、まるで「トラウマ記憶」みたい。AIが古い情報や間違った情報に固執して、役に立たなくなってしまうんです。
記事の中では、Pythonのライブラリ（便利な道具箱みたいなもの）を削除したことを伝えたのに、ChatGPTがそのライブラリを使ったコードを提案し続ける例が紹介されていました。
これからのAIに必要なのは、「賢く忘れる」こと
人間の記憶って、ただ情報を詰め込むだけじゃなくて、必要な情報を選び取って、不要な情報を捨てるっていう、高度なフィルタリング機能を持っていますよね。LLMアプリケーションには、今のところ、この機能がありません。
現在のLLMの記憶システムは、大きく分けて以下の2つのパターンに分かれます。
- ステートレスAI：過去の会話を完全に忘れてしまう（毎回情報を伝え直す必要がある）。
- 記憶増強AI：何かを覚えているけど、優先順位がないので、間違った情報を削除してしまう。
これからのLLMアプリケーションには、以下の要素が必要になります。
- 文脈に応じたワーキングメモリ：会話の流れを要約したり、重要な情報を選択的に思い出したりして、容量オーバーを防ぐ。
- 永続的な記憶システム：関連性の高い情報を長期的に保存し、必要な時に取り出せるようにする（過去の会話を意味的に検索するなど）。
- 注意機構による記憶制御：重要な情報を優先的に扱い、古い情報を徐々に忘れさせる。
例えば、プログラミングを支援するAIなら、何度も修正された古いライブラリを、おすすめしないようにする必要があります。
今のAIツールは、
- すべてを忘れて、毎回同じことを聞くか、
- 不要な情報まで覚えていて、混乱させてしまうかのどちらかです。
これからのAIに必要なのは、ただ記憶容量を増やすことではなく、「賢く忘れる」ことなんです。
記憶容量よりも、賢さ！
ただ単にコンテキストウィンドウを大きくするだけでは、記憶の問題は解決しません。LLMアプリケーションに必要なのは、
- 選択的な保持：重要な情報だけを保存する。
- 注意機構による検索：重要な情報を優先的に取り出し、古い情報を忘れさせる。
- 忘却メカニズム：古い情報や価値の低い情報を、時間とともに消去する。
これからのAIは、何でもかんでも覚えているAIではなく、「何を忘れるべきか」を知っているAIになるでしょう。LLMアプリケーションを開発する人は、まずワーキングメモリの設計から始めるべきです。長期的な記憶容量を増やすことよりも、文脈に応じた関連性を重視することが大切です。
まとめと感想
今回の記事では、LLMの「記憶力」の問題と、その解決策について解説しました。AIがもっと賢くなるためには、ただ情報を詰め込むだけでなく、賢く忘れる能力が不可欠なんですね。私もAIと会話していて「あれ？」と思うことがよくあるので、この記事の内容はとても参考になりました。これからのAIの進化に期待したいです！
この記事は、以下の元記事をもとに筆者の視点でまとめたものです：
Why LLM applications need better memory management