RTX 5090とWSL UbuntuでQwen3.6-27B-MTP-GGUFを動かす環境構築の続編。前回のDockerベースのOpenAI互換API構築に加え、今回はLiteLLM Proを用いた構成変更について解説する。
Windows11 RTX 5090 で AI Agent 用 Qwen3.6-27B LLM 環 その2: チューニング
編集メモ: RTX 5090とWSL環境でLiteLLM Proを活用し、LLMの推論APIを柔軟かつ高度に構築する技術的知見。