rasa对话系统踩坑记（二）

rasa_nlu模型训练

当我们准备好了rasa_nlu需要的训练数据后，就可以开始训练rasa_nlu模型。github贡献的中文rasa_nlu的配置文件常见的有两种，一种是 Rasa_NLU_Chi贡献的基于mitie预训练中文词向量模型，yml配置文件如下：

language: "zh"

pipeline:
- name: "nlp_mitie"
  model: "data/total_word_feature_extractor_zh.dat"
- name: "tokenizer_jieba"
- name: "ner_mitie"
- name: "ner_synonyms"
- name: "intent_entity_featurizer_regex"
- name: "intent_classifier_mitie"

而total_word_feature_extractor_zh.dat清一色的都是使用的原作者基于wiki百科训练的数据模型；第二种是直接使用tensorflow_embedding，词向量转换后使用cos余弦相似度实现意图区分，配置文件如下：

 language: "zh"

 pipeline:
 - name: "tokenizer_jieba"
 - name: "ner_crf"
 - name: "intent_featurizer_count_vectors"
   OOV_token: oov
   token_pattern: '(?u)\b\w+\b'
 - name: "intent_classifier_tensorflow_embedding"

官网提出的建议是如果训练数据小于1000条采用第一种方案，如果训练数据大于1000条采用第二种方案，第二种方案存在的问题是oov（未登录词）问题。

rasa_nlu自定义component

ner_bilstm_crf

上面两套yml配置是比较常见的，但是在slot filling精确度上有时候不是很准确，所以我自定义了一套component，可以实现bilstm+ crf 和idcnn + crf两套实体识别的模型，然后将代码rasa_nlu_gao部署在pypi上，可以通过

pip install rasa-nlu-gao

将依赖install。在rasa_chatbot_cn这个demo中可以使用这两套模型，具体yml配置如下：

language: "zh"

 pipeline:
   - name: "tokenizer_jieba"

   - name: "intent_featurizer_count_vectors"
     token_pattern: '(?u)\b\w+\b'
   - name: "intent_classifier_tensorflow_embedding"

   - name: "ner_bilstm_crf"
     lr: 0.001
     char_dim: 100
     lstm_dim: 100
     batches_per_epoch: 10
     seg_dim: 20
     num_segs: 4
     batch_size: 200
     tag_schema: "iobes"
     model_type: "bilstm" # 模型支持两种idcnn膨胀卷积模型或bilstm双向lstm模型
     clip: 5
     optimizer: "adam"
     dropout_keep: 0.5
     steps_check: 100

jieba_pseg_extractor

上面对slot filling的精度进行了提高，但是前提还是需要有大量的训练数据，如果训练数据不多的话还是建议使用ner_crf。在项目过程中还遇到了一个问题，就是在人名识别卡住了，我们总不可能在训练数据上写满人名做训练，这不切实际。好在jieba有词性标注这个功能，帮我们实现人名的识别。然后我将jieba.posseg 实现在了rasa_nlu中，自定义了一个组件jieba_pseg_extractor，也是需要通过pip install rasa-nlu-gao下载，具体的yml配置文件如下：

language: "zh"

 pipeline:
 - name: "tokenizer_jieba"
 - name: "ner_crf"
 - name: "jieba_pseg_extractor"
   part_of_speech: ["nr", "ns", "nt"]
 - name: "intent_featurizer_count_vectors"
   OOV_token: oov
   token_pattern: '(?u)\b\w+\b'
 - name: "intent_classifier_tensorflow_embedding"

意外的惊喜是只要jieba能够实现的实体识别，这里都可以支持。除了可以人名识别，还可以做机构名识别，地名识别等等。

总结

上面是我在项目过程中自定义的两套components并将其部署到了pypi上，可以方便使用和下载，当然还会继续维护。其实rasa这套框架很好，特别方便自定义组件。源码也很好阅读。后续文章会分享rasa-core实现中的坑和解决方案。原创文章，转载请说明出处