最近在做 RLHF 場景下的訓練和推理複用機器的優化,需要及時釋放掉不用的 GPU 資源。翻出了之前和同事一起寫的這篇文章,雖然過去 2 年了,但依然好看,因此轉載到這裏。本文使用的 PyTorch 源碼爲 master 分支,commit id 爲 a5b848aec10b15b1f903804308eed4140c5263cb。背景介紹----剖析 PyTorch 顯存管理機制主要是爲了減少顯 ⌘ Read more
最近在做 RLHF 場景下的訓練和推理複用機器的優化,需要及時釋放掉不用的 GPU 資源。翻出了之前和同事一起寫的這篇文章,雖然過去 2 年了,但依然好看,因此轉載到這裏。本文使用的 PyTorch 源碼爲 master 分支,commit id 爲 a5b848aec10b15b1f903804308eed4140c5263cb。背景介紹----剖析 PyTorch 顯存管理機制主要是爲了減少顯 ⌘ Read more