システムプロンプト3万トークンのLLMに作業をさせてはいけない

長い会話でLLMの出力が雑になる理由を解説。論文に基づき、コンテキスト長そのものがモデル性能低下の原因であることを指摘。/clearの重要性や、ペルソナ維持の困難さについて、実用的な解決策を考察します。