在本篇文章中,我們將使用 LangChainGo + Gin 框架,結合 Ollama 大語言模型,實現一個流式 AI 問答系統。最終,我們還會使用 curl 進行測試,由於是實戰例子所以我會提供一個簡單的 html+css+js 的前端來實時顯示 AI 的回答。流式響應的意義在傳統 API 調用中,我們往往要等到大語言模型(LLM) 計算完成後,才能返回完整的回答。這會導致:等待時間長:用戶需要 ⌘ Read more
在本篇文章中,我們將使用 LangChainGo + Gin 框架,結合 Ollama 大語言模型,實現一個流式 AI 問答系統。最終,我們還會使用 curl 進行測試,由於是實戰例子所以我會提供一個簡單的 html+css+js 的前端來實時顯示 AI 的回答。流式響應的意義在傳統 API 調用中,我們往往要等到大語言模型(LLM) 計算完成後,才能返回完整的回答。這會導致:等待時間長:用戶需要 ⌘ Read more