一、RAG概念 RAG(Retrieval Augmented Generation, 检索增强生成),即 LLM 在回答问题或生成文本时,从外挂上知识库中检索出相...[作者空间]
tokens tokens是模型处理文本的基本单位。通常由分词器生成,分词器将一段文本拆分成多个tokens,可以是单词、标点符号、数字、特殊字符或子词。在NLP中,一个...[作者空间]