📜 这一节还是简单地介绍了一下常见应用场景
🥰 2020年9月7日
一、句法分析(Syntactic Analysis)
- 对于一个句子的词语句法做分词，比如主谓宾，可以构建成一颗语法树
二、语义理解
1. 主要两个问题
- 如何理解一个单词的意思
- 如何理解一个文本的意思
2. 主要技术
- SkipGram, CBOW, Glove, ELMo, BERT, ALBERT
- XLNet, GPT-2, GPT-3, Tiny-BERT
三、常见的应用
1. 写作助手
语言模型可以来判断一个句子在语法的角度来说是否通顺，另外语言模型本身是可以帮助我们生成一些文本的，例如填空题的形式
2. 文本分类
- 情感分析 (sentiment analysis)
- 情绪分析 (emotion analysis)
- 主题分类 (topic classification)
3. 信息检索(information retrieval)
搜索引擎检索一个问题，首先会经过一系列的文本处理，再通过索引在文本库中搜索出结果进行排序
💡 文本库：爬虫的方式收集网站的信息，构成文本库
索引：一般都是使用倒排表(inverted list)的形式构建索引(inverted index)
排序：PageRank常用搜索引擎的算法 (基于马尔科夫来做的)
网友评论