作爲一名互聯網技術愛好者,我一直對大型語言模型和高效推理技術充滿熱情。本文基於基於 Qwen2.5 實現 DeepSeek 推理功能。本文使用 unsloth 框架,這個輕量高效、易於上手的工具,加上 SFT 中文數據集的加持,測試了在醫療領域的推理應用。當然,過程中還遇到了諸如 GRPO 等新概念的挑戰與啓示,這一切都讓我對整個系統有了更深的認識。接下來,我就以親歷者的角度,帶大家走進這個既枯燥 ⌘ Read more
作爲一名互聯網技術愛好者,我一直對大型語言模型和高效推理技術充滿熱情。本文基於基於 Qwen2.5 實現 DeepSeek 推理功能。本文使用 unsloth 框架,這個輕量高效、易於上手的工具,加上 SFT 中文數據集的加持,測試了在醫療領域的推理應用。當然,過程中還遇到了諸如 GRPO 等新概念的挑戰與啓示,這一切都讓我對整個系統有了更深的認識。接下來,我就以親歷者的角度,帶大家走進這個既枯燥 ⌘ Read more