APP下载
[00027963]一种基于词向量语义分析的海量短文本聚类方法
联系人： 中山大学
所在地：广东 广州市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
摘要：本发明提供一种基于词向量语义分析的海量短文本聚类方法，该方法针对海量短文本提供一种基于词向量语义分析的聚类方法。首先利用使用海量文本数据进行word2vec的训练，将文本单词映射到256维的向量空间，然后对需要聚类的文本进行单词tfidf值的计算作为权重，将预处理后的文本进行加权求和，将短文本的向量化，相对于传统的tfidf模型，加入了word2vec训练好的词向量语义信息。得到更高质量的“文本向量”，从而提高聚类效果，采用大数据实时流处理框架Spark进行K‑means或Dbscan算法进行聚类，加速得到聚类结果。
