APP下载
[00068961]基于异构硬件的大数据计算引擎
联系人： 南方科技大学
所在地：
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
项目介绍
现代许多企业中，有大量的分析型计算任务使用大数据系统，如Hive进行运算。这些任务的特点是计算负载比较高，通常在工作负载需求较少的夜间进行计算。大量的计算需求导致大量的计算时间消耗及运行成本的损失。在本项目中，我们以Hive为例提出了一套基于异构计算硬件的大数据计算引擎加速技术。
技术优势
跨编程语言，跨硬件的数据模型:更少的数据复制，更轻的数据移动。
基于GPU的通用SQL运算符库:兼具高效型、通用性和定制扩展性。
基于代价估计的智能硬件调度器:根据硬件特性智能决策任务执行方式。
项目资助
该项目受华为科技有限公司的支持。
该项目成果在SIGMOD进行系统展示，技术成果被云计算领域顶会SoCC接收。
该项目在中国数据库学术会议NDBC进行海报展示。
产业应用
该项目是已知在学术界及工业界第一个基于异构硬件的大数据处理引擎，并且在顶尖IT企业的生产测试环境中验证。同时，该项目具有良好的通用性和扩展性，可以通过相对较小的成本实现对其他系统的迁移。目前使用异构硬件对数据集进行查询优化是企业中的热点问题。特别是计算时间、计算成本等指标直接影响着企业的盈利和核心竞争力。当前业界对于基于异构硬件的查询优化仍处理探索阶段，有非常强的技术发展前景。
