" 如果说思维导图是给人看的,那么知识图谱就是给计算机看的。" 大型语言模型(LLM, Large Language Model)是一种基于 Transformer 架构的神经网络,通过大量数据训练来识别和生成文本。但是大语言模型有上下文字数限制,较大的文档不可以一次读入,这就需要对文档进行切割(Splitting)。文档会被切割成小的片段(Chuck),片段的大小可以定义,同时为了保持上下文的连续性,片段之间还可以保留部分重叠,如下图 [^1] 所示。 Pasted image 20240812180031.png300 文档片段会被