VRAM 8GB・12GB でローカルLLMはどれだけ遅くなる？ 同じモデルで実測した

PCのVRAM容量がLLMの動作速度に与える影響を検証。RTX 4080を使用し、VRAM制限を変えて推論速度を比較。VRAM容量がLLMのパフォーマンスに及ぼす重要性をデータに基づいて解説する。