LLMの学習目標である「次のtoken予測」と、質問応答や翻訳などの高度なタスクとの間にある飛躍を解説。目的関数が単純でも内部計算が複雑になるメカニズムや、LLMが賢くなったかを判定する指標について考察します。