Chatbot应用训练
Chatbot训练是通过不断训练、验证和调优，让Chatbot应用达到最优的一个过程。
- 不断地训练和验证找到的Chatbot应用参数的最优解。
- 最优解具有最好的拟合和泛化能力，也是Chatbot应用训练的核心目标。
Chatbot训练步骤
-
语料收集，搭建知识库体系
-
语料预处理
-
第一步：为了易于区分和管理，我们需要将收集的语料进行体系归类，并制定命名规则。
-
第二步：阅读各个语料文档，做相关整理
需要注意的是，目前大模型的理解能力识别的都是文字，并不能识别word文档的目录、排版等格式。知识库中涉及这一点，则一定要对文档进行对应的优化，否则可能会出现答案遗漏或混乱等问题。（这地方雷不少） -
第三步：部分语料文档可能会涉及到分解到多个文档的情况（具体视情况而定）
-
第四步：补充一下基本概念类的语料（常识性问题，但语料库中没有的）
- 设置Chatbot应用提示词
- 创建好Chatbot应用后，需要设置提示词，根据Chatbot应用的角色初步撰写提示词
- 意图训练及验证
1）结合知识库调示提示词，达到提示词的“最优解”
2）根据训练情况，再次对语料进行预处理优化（调优语料库）
3）再次验证，对提示词进行调优（实现语料库、提示词的最优解）
5.Chatbot应用的回答训练设置及验证
1）知识库中没有的问题不回答（提示语可设置）
- 优先基于知识库中的内容，如果知识库中没有相关信息，则基于通用功能回答（提示语可设置）
这两个设置，思考及调试了好久，终于弄出提示词了，如果想知道，接着看下文。
-
知识库中没有的问题不回答
前面加上提示语：
网友评论