RAG 應用中遇到的外部文檔可能會非常大。因此，需要通過分塊（chunking）將大型文檔劃分爲更小且可管理的部分。這樣可以確保文本適配嵌入模型的輸入大小，同時還能夠提高檢索質量。接下來我將會介紹適用於 RAG 的五種分塊策略。1) 固定大小分塊 按預定義的字符數、單詞數或 Token 數量對文本進行切分，同時保留一定的重疊部分。這種方法實現簡單，但可能會將句子截斷，從而導致信息分散在不同的塊中 ⌘ Read more
RAG 應用中遇到的外部文檔可能會非常大。因此，需要通過分塊（chunking）將大型文檔劃分爲更小且可管理的部分。這樣可以確保文本適配嵌入模型的輸入大小，同時還能夠提高檢索質量。接下來我將會介紹適用於 RAG 的五種分塊策略。1) 固定大小分塊 按預定義的字符數、單詞數或 Token 數量對文本進行切分，同時保留一定的重疊部分。這種方法實現簡單，但可能會將句子截斷，從而導致信息分散在不同的塊中 ⌘ Read more