Jetson AGX OrinとXavierを連携させ、llama.cppのRPC機能で大規模LLMを分散実行する構成と手順を紹介する技術的挑戦の記録。
Jetson AGX Orin(32GB) + Xavier(32GB) を繋いで、32GB超えのLLMをllama.cppで動かした話
編集メモ: 限られたエッジコンピューティング環境で分散処理を行い、大規模なLLMを動作させる技術は、ハードウェア制約下でのAI実装の可能性を広げる画期的な挑戦です。