在PYTHON中进行主题模型LDA分析

作者: 拓端tecdat | 来源:发表于2020-04-10 19:26 被阅读0次

原文链接:http://tecdat.cn/?p=6227

主题建模是一种在大量文档中查找抽象主题的艺术方法。一种作为监督无的机器学习方法,主题模型不容易评估,因为没有标记的“基础事实”数据可供比较。然而,由于主题建模通常需要预先定义一些参数(首先是要发现的主题的数量),因此模型评估对于找到给定数据的“最佳”参数集是至关重要的。

概率LDA主题模型的评估方法

使用未标记的数据时,模型评估很难。这里描述的指标都试图用理论方法评估模型的质量,以便找到“最佳”模型。

评估后部分布的密度或发散度

有些指标仅用于评估后验分布(主题 - 单词和文档 - 主题分布),而无需以某种方式将模型与观察到的数据进行比较。

使用美联社数据查找最佳主题模型

计算和评估主题模型

主题建模的主要功能位于tmtoolkit.lda_utils。

相关文章

网友评论

    本文标题:在PYTHON中进行主题模型LDA分析

    本文链接:https://www.haomeiwen.com/subject/dyedmhtx.html