LLMの事前学習を実装の視点から解説。トークンの入力と正解ラベルの定義に基づき、label shiftやattention mask、teacher forcingなどの重要概念を整理。代表的な学習手法の比較と実装論を扱う。