MLエンジニアのための本質から理解するLLM推論 KV cache編

LLM推論のKV cacheにおいて「なぜKeyとValueだけを保存し、Queryは保存しないのか」という疑問に焦点を当て、その理由を技術的に詳細解説。低精度化等の周辺知識を除き、本質的な仕組みの理解を目指す。