予算を抑えつつCPUのみで運用するLLMサーバーの構築記録。i9-13900を活用し、Qwen3.6等のモデルを常駐させOpen WebUIで利用可能にするまでの設計とハマりポイントを解説します。
64GB の RAM & Podman と格闘しながら専用 ChatGPT を立てた話
編集メモ: オンプレミスでのLLM構築記録は、予算制約下でのインフラ選定やPodman活用など、AIを自律的な社内インフラとして安定運用するための実践的な知見をエンジニアに提供します。