ラボのRTX 4090環境でローカルLLMを運用中、CUDAのハングにより16時間の停止と2,500処理分の機会損失が発生した。監視系が正常応答を返していたために検知が遅れた事例から、GPU管理の難しさを考察する。
nvidia-smiは正常なのにGPUが16時間ハング:進捗監視がなかった話
編集メモ: GPUの死活監視では、応答の正常性だけでなく実際の処理進捗まで検知する仕組みを構築しなければ、長時間の機会損失を防げないという教訓を肝に銘じるべきです。