0 開始之前本文從 Llama 3 報告出發,基本整理一些現代 LLM 的技術。'基本',是說對一些具體細節不會過於詳盡,而是希望得到一篇相對全面,包括預訓練,後訓練,推理,又能介紹清楚一些具體技術,例如 RM,DPO,KV Cache,GQA,PagedAttention,Data Parallelism 等等的索引向文章。由於東西比較多,且無法詳盡細節,所以推薦大家二次整理爲自己的筆記。本文的 ⌘ Read more
0 開始之前本文從 Llama 3 報告出發,基本整理一些現代 LLM 的技術。'基本',是說對一些具體細節不會過於詳盡,而是希望得到一篇相對全面,包括預訓練,後訓練,推理,又能介紹清楚一些具體技術,例如 RM,DPO,KV Cache,GQA,PagedAttention,Data Parallelism 等等的索引向文章。由於東西比較多,且無法詳盡細節,所以推薦大家二次整理爲自己的筆記。本文的 ⌘ Read more