画面画像からAIでPC操作を自動化する研究の紹介。UFO(UI-Focused Agent)とChatGPT APIを用いた手法を試した際、オンライン通信の遅延が課題となり、ローカルLLM環境での実行を模索するまでの経緯と試行錯誤をまとめた記事。