X为了获得更好的用户体验,请使用火狐、谷歌、360浏览器极速模式或IE8及以上版本的浏览器
APP下载
欢迎光临,请  登录  |  注册
尊敬的,欢迎光临!  [会员中心]    [退出登录]
成果
成果 专家 院校 需求 政策
当前位置: 首页 >  科技成果  > 详细页

[00035104]一种基于历史信息的HDFS数据块放置策略

交易价格: 面议

所属行业: 分析仪器

类型: 发明专利

技术成熟度: 正在研发

专利所属地:中国

专利号:CN201410475802.8

交易方式: 完全转让 许可转让 技术入股

联系人: 西安交通大学

所在地:陕西 西安市

服务承诺
产权明晰
资料保密
对所交付的所有资料进行保密
如实描述
分享
|
收藏
|

技术详细介绍

一种基于历史信息的HDFS数据块放置策略,先判定集群中各机架的性能差异,再根据数据块的总数和各个机架的性能差异,在各个机架之间进行有区别的数据块分配,对一个机架中的各个节点的性能差异进行判定,将分配到该机架的数据块有区别的放置在该机架中的节点上,最后进行数据节点选择策略,本发明通过对历史日志信息的分析和统计,判定各个节点的处理能力的差异,并根据节点的处理能力来放置数据块,从而提高作业运行时map任务数据本地性,从而提高Map阶段的完成效率。

推荐服务:

龙岩市科技创新服务平台

福建省龙岩市龙岩大道1号市行政办公中心

联系方式:0597-2601001,400-649-1633

|    关于我们    |    帮助中心    |

Copyright © 2019 龙岩市科技开发与科技特派员服务中心 版权所有

闽ICP备20015298号-1

闽公网安备 35080202351102号