データの圧縮と大規模言語モデル（LLM）は、一見異なりながらも「予測」という同じ本質的な課題を抱えています。情報理論のエントロピーという枠組みから、両者の数学的な共通点と効率的なデータ表現のメカニズムを解説します。