LLMが次トークン予測を行う仕組みを解説。Tokenizerによる文字列分割の性質と、モデルが賢くなるほど重要になる「事実・制約・状態」をモデル以外でいかに管理・補完すべきかという設計上の課題を考察する。