VRAM 6GBのPCで国立情報学研究所のLLM-jp-4.1を動作させた検証結果。8Bと32B-A3Bモデルを比較し、MoEモデルの専門家部分をCPUに配置する設定を活用することで、32B-A3Bの方が8Bより生成速度が速くなるという興味深い結果が得られた。