文献类型：期刊文献

中文题名：一种改进的Hadoop数据负载均衡算法

英文题名：An improved data load balancing algorithm for hadoop

作者：刘琨[1,2];钮文良[1]

第一作者：刘琨

机构：[1]北京联合大学应用科技学院;[2]吉林大学计算机科学与技术学院

第一机构：北京联合大学应用科技学院

年份：2013

卷号：32

期号：3

起止页码：332-336

中文期刊名：河南理工大学学报：自然科学版

收录：CSTPCD;;北大核心:【北大核心2011】；

基金：北京市教育委员会科技计划面上项目(SQKM201211417008)

语种：中文

中文关键词：关键词;Hadoop;负载均衡;云计算;云存储

外文关键词：hadoop; load balancing; cloud computing; cloud storage

摘要：在介绍Hadoop,HDFS的原理的基础上,分析了Hadoop的数据负载均衡算法.Hadoop负载均衡算法只是根据空间使用率对各个结点的负载进行均衡,这种均衡方法没有考虑结点的处理能力、带宽、文件访问频度等因素,因此,造成了基本相同的文件的响应时间存在很大的差别.提出了一种改进的负载均衡的模型,该模型综合了文件大小、文件并发访问时间、文件访问频度、结点的处理能力、带宽、结点的可用存储空间等因素进行负载均衡.试验结果表明,改进模型不仅实现了存储空间的负载均衡,而且使得同类文件的响应时间更一致.
This paper first introduces the principle of Hadoop and HDFS.Then the algorithm of Hadoop data load balancing is analyzed.This Hadoop algorithm balances the data according to the space usage of each node and does not handle the factors as processing power,bandwidth,files＇ access frequency.Thusly there is a big difference in response time for the similar files.This paper devises a novel load balancing model based on the factors of files＇ size,files＇ concurrent access time,files＇ access frequency,nodes＇ processing power,bandwidth and nodes＇ available storage space.Experimental results show that the devised model cannot only guarantee the storage space load balancing,but also make the similar files＇ response time more consistent.