Googleの新しいGemma4シリーズ（E2B/E4B）に採用された「Per-Layer Embeddings」について解説。有効パラメータ数と全体のパラメータ数の違いを、埋め込みパラメータの観点から端的に説明します。
Per-Layer Embeddingsの中身
編集メモ: モデルの構造を理解する際、有効パラメータ数と埋め込みパラメータの違いを把握することは、LLMの推論効率やメモリ管理を最適化する上で極めて重要なエンジニアリングの基礎です。