LLMにはコンテキストウィンドウという処理上限があり、長期的な記憶を保持できません。そのため、長編小説作成などで物語の整合性が崩れる問題が発生します。これはモデルの性能ではなく、AIのアーキテクチャ上の仕様です。AIの特性を理解し、長期記憶を補う設計や運用を検討する必要があります。
階層型記憶3層設計 — LLMの「忘れる」問題を設計で解く
編集メモ: LLMの長期記憶保持能力の限界という仕様を前提とし、整合性を維持するために外部記憶や運用設計で補うシステムアーキテクチャの構築が重要です。