欢迎访问机床与液压官方网站!

咨询热线:020-32385312 32385313 RSS EMAIL-ALERT
云计算平台中分布式Hadoop数据挖掘关键技术研究
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

基金项目:

重庆市教委科学技术研究项目(KJ1737458)


Research on key technologies of distributed Hadoop data mining in cloud computing platform
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    云计算环境下的大数据特征挖掘是大数据统计及分析的基础。为了提高聚类的准确度和速度,设计了一种基于分布式Hadoop平台和熵加权特征选择的数据挖掘方案。该方案首先采用无回路有向图对Hadoop平台下的Map Reduce 作业流调度问题进行了分析。然后采用并行 Map Reduce执行过程完成分布式计算。最后,采用熵加权聚类算法实现海量数据挖掘。仿真结果显示,提出的数据挖掘方案具有较好聚类效果和运行效率。

    Abstract:

    Big data feature mining in cloud computing environment is the basis for big data statistics and analysis. In order to improve the accuracy and speed of clustering, a data mining scheme based on distributed Hadoop platform and entropy weighted feature selection was designed in this paper. This scheme firstly uses the noloop directed graph to analyze the problem of Map Reduce job stream scheduling under Hadoop platform, and then uses the parallel Map Reduce execution to complete the distributed computing. Finally, massive data mining is implemented by using the entropy weighted clustering algorithm. Simulation results show that the proposed data mining scheme has good clustering effect and operation efficiency.

    参考文献
    相似文献
    引证文献
引用本文

何婕,赖敏.云计算平台中分布式Hadoop数据挖掘关键技术研究[J].机床与液压,2018,46(24):144-149.
. Research on key technologies of distributed Hadoop data mining in cloud computing platform[J]. Machine Tool & Hydraulics,2018,46(24):144-149

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2019-07-09
  • 出版日期: