APP下载
[00031886]面向海量数据流的实时并行分类方法
联系人： 四川大学
所在地：四川 成都市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种面向海量数据流的实时并行分类方法，所述的方法包括以下步骤：步骤一、数据Spout；步骤二、过滤批化Bolt；步骤三、模型Bolt；步骤四、局部统计与计算Bolt；步骤五、评估Bolt。本发明针对大数据“4V”特点中Volume(海量)、Velocity(高速)、Value(价值)这“3V”特点和海量数据高效处理的需求，实现了基于Storm平台的垂直并行化P‑VFDT算法；在大规模数据上的实验表明，P‑VFDT算法和VFDT算法有着相近的分类性能，但是单机多核环境的P‑VFDT算法比VFDT算法耗时约少12％，集群环境的P‑VFDT算法比VFDT算法耗时约少8％。
