AIエージェントの記憶課題を解決！Astraの「Observational Memory」とは？

近年、AIエージェントは多岐にわたるタスクで活躍していますが、その性能を最大限に引き出す上で「記憶」は避けて通れない課題です。特に、長時間にわたる対話や複雑なタスクにおいて、エージェントが過去の情報を適切に保持し、必要に応じて想起することは極めて重要です。しかし、既存のAIモデルやメモリシステムには、コンテキストウィンドウの限界や情報過多によるフォーカスの喪失といった根本的な問題が伴いました。

本記事では、Astra社が提唱する画期的な新しい記憶システム「Observational Memory」について深掘りします。これは、人間がどのように情報を記憶し、忘れるかというメカニズムに着想を得て設計された、AIエージェントのためのシステムです。Astraの開発者であるAlex Booker氏と、Observational MemoryリードエンジニアのTyler Barnes氏が、従来のメモリシステムの課題を解説し、Observational Memoryがどのようにそれらを解決し、AIエージェントの能力を飛躍的に向上させるのかを詳しくご紹介します。このシステムはオープンソースとして公開されており、そのデモもGitHubで利用可能です。

AIエージェントのメモリが重要な理由と、直面する課題

まず、AIエージェントにとってメモリがいかに不可欠であるかを理解することから始めましょう。

エージェントメモリの役割とメリット

エージェントメモリは、AIエージェントがユーザーからのメッセージ、エージェント自身の応答、そしてツール利用の結果といった情報を、複数のインタラクションにわたって記憶することを可能にします。これにより、以下のような重要なメリットが生まれます。

• 一貫性の維持: 会話の流れの中でエージェントが一貫した振る舞いを保ち、文脈に応じた適切な応答を生成できるようになります。
• 長期タスクの遂行能力向上: コーディングエージェントが良い例です。彼らは問題を複数のステップに分解し、途中の結果を記憶することで、複雑なプログラミングタスクを効率的に解決します。数分前、あるいは数日前の情報が、現在のタスク遂行に役立つこともあります。
• ユーザー体験の向上: ユーザーが設定した好み（例: 口調、簡潔さ）や、「二度とこれを行わないでほしい」といった指示をエージェントが記憶していれば、ユーザーは毎回同じことを繰り返す必要がなくなります。これにより、よりスムーズで自然なインタラクションが実現します。

AIモデルの根本的な「記憶喪失」問題

これらのメリットにもかかわらず、大きな問題が一つあります。それは、AIモデル自体にはデフォルトでメモリが搭載されていないという点です。たとえ最も強力なモデルであっても、直前に伝えられた内容をデフォルトでは記憶できません。モデルとのインタラクションは、会話の途中であっても常にゼロから始まります。

例えば、メモリシステムが有効になっていないモデルと直接対話した場合、最初のメッセージで「犬」について話した後に、次のメッセージで「それら」と参照しても、モデルは「それら」が何を指しているのか理解できません。これはユーザー体験として非常に劣悪です。

コンテキストウィンドウの限界

AIエージェントのメモリを実現するための最も基本的な技術は、過去のユーザーメッセージ、アシスタントの応答、システムメッセージを収集し、新しいリクエストごとにそれらをシステムプロンプトに詰め込む方法です。これはシンプルで効果的ですが、「コンテキストウィンドウ」の限界に直面します。

コンテキストウィンドウとは モデルが一度のインタラクションで「見ることができる」情報の総量です。これはモデルによって大きく異なります。

• ハードリミット: コンテキストウィンドウの制限を超過すると、ハードエラーが発生し、エージェントは機能しなくなります。
• ソフトリミット: ハードリミットに達する前でも、コンテキストウィンドウの上限に近づくにつれて問題が発生し始めます。
  • コストと速度の増加: より多くのトークン（モデルが処理する最小単位のテキスト）を使用するため、処理コストが増加し、応答速度が低下します。
  • コンテキストロト (Context Rot) とフォーカスの喪失: これが最も重要な問題かもしれません。過去のメッセージ全てをコンテキストウィンドウに詰め込みすぎると、モデルは重要な情報とそうでない情報の区別が難しくなり、タスクに対する「フォーカス」を失い始めます。関連性の低い情報が多すぎると、モデルは現在のインタラクションにとって何が重要かを判断するためにより多くの処理を必要とし、最終的にはパフォーマンスが低下します。この現象は「コンテキストロト」と呼ばれます。

つまり、エージェントが有用であるためには十分なコンテキストが必要ですが、パフォーマンスを低下させるほどの過剰なコンテキストは避ける必要があります。ここで、効率的なメモリシステムが求められるのです。

従来のメモリシステムとその限界

既存のメモリシステムにはいくつかの選択肢がありますが、それぞれにトレードオフがあります。ここでは、いくつかの一般的なアプローチとその限界について見ていきましょう。

1. 全てをコンテキストウィンドウに投入する

これは最もシンプルな方法ですが、前述の通り、コストの増加、速度の低下、そして最も深刻な問題であるコンテキストロトによるフォーカスの喪失とパフォーマンス低下という課題を抱えています。長期的なタスクや大規模な対話では現実的ではありません。

2. RAG (Retrieval Augmented Generation)

RAGは、外部の知識ベースから関連情報を検索し、それをプロンプトに追加することでモデルの知識を補強する手法です。Astra社では「Semantic Recall」という独自のRAGシステムを提供しています。しかし、RAGにも限界があります。

• プロンプトキャッシュの破壊: 検索されたコンテキストは、ターンごとに動的にプロンプトに挿入されます。これにより、プロンプトのキャッシュが壊れてしまうことがあります。
• 一貫した記憶の欠如: RAGは「事実を記憶」し、それを次のターンで利用するような働きをしますが、エージェント全体を継続的に「操縦する」ような一貫した記憶を提供するわけではありません。特定の情報検索には優れていますが、長期的な対話の流れを記憶し、エージェントの振る舞いを一貫して方向付けるのには適していません。

3. コンパクション (Compaction)

コンパクションは、コンテキストウィンドウが満杯になった際に、過去の対話履歴を要約する技術です。多くのクラウドサービスなどで利用されています。しかし、この手法が適用される段階では、すでに問題が発生していることが多いとされています。

• 応答品質の劣化: コンパクションが適用されると、モデルの応答品質が著しく低下し、「最初からやり直している」ような感覚に陥ることがあります。要約によって重要な詳細が失われたり、文脈が不正確になったりするためです。

これらの既存のメモリシステムは、それぞれ特定の課題を解決しようとしますが、長期にわたるタスクやインタラクションにおいて、「高度に効果的でありながら効率的なメモリ」を実現することは困難でした。

Observational Memoryの登場：人間らしい記憶システムへの挑戦

Astra社が開発したObservational Memoryは、これらの課題を解決するために登場しました。Tyler Barnes氏によると、現代のLLM（大規模言語モデル）は膨大な量の情報を処理し、テキストを理解する能力に優れています。しかし、長期セッションにおける記憶力は、人間と比較すると著しく劣るという矛盾が存在します。人間はLLMほど高速にテキストを処理できませんが、非常に長い期間にわたって情報を記憶することができます。

Astra社の理論では、この二つの特性（LLMの高速処理能力と人間の長期記憶力）は関連していると考えられています。Observational Memoryは、「忘却もまた機能である」という人間の記憶システムからヒントを得て、AIエージェントに特化した設計がされています。

従来のシステムがコンテキストウィンドウの「詰め込みすぎ」や「要約」に苦しんでいたのに対し、Observational Memoryはエージェントが過去のどの情報に「注目」し、何を「記憶」として保持すべきかをより賢く判断することで、この矛盾に挑みます。これにより、エージェントは長期的なタスクにおいてもパフォーマンスを維持し、より人間らしい、一貫性のある対話が可能になることを目指しています。

まとめ

AIエージェントの記憶は、その応用範囲を広げ、ユーザー体験を向上させる上で不可欠な要素です。しかし、コンテキストウィンドウの制限、コンテキストロト、そして既存のメモリ技術の限界は、長年にわたり開発者にとって大きな壁となっていました。

Astra社の「Observational Memory」は、人間がどのように記憶し、そして忘れるかというメカニズムに着想を得ることで、これらの課題に対する画期的な解決策を提供します。これにより、AIエージェントは長期にわたるインタラクションにおいても一貫性を保ち、より賢く、より効率的にタスクを遂行できるようになるでしょう。この新しいシステムがオープンソースとして公開されたことは、AIエージェント開発の未来に大きな影響を与えることが期待されます。

参考動画

• When Forgetting is a Feature: Observational Memory for AI Agents