基于Hadoop的大数据分析与优化略论

宋柯萱

摘要：作为开源软件的Hadoop具有强大的数据处理功能，具有容错性强，能够快速地对网络中的大数据信息进行获取与处理，可以有效解决数据处理过程中的伸缩性问题，为用户获取有用的信息，通过对用户主题行为数据挖掘方式特征进行分析，探究了对用户行为数据挖掘的聚类处理的方法与用户特征聚类数据的处理方法，该方法具有很强的适应性，能够保证Hadoop平台对大数据进行处理与分析。

关键词：Hadoop;大数据;分析;优化

中图分类号：TP391  文献标识码：A

文章编号：1009-3044（2021）29-0037-03

在具体的大数据处理与分析的过程中，Hadoop平台具有很强的适应新，它分别利用MapReduce 和HDFS 的功能来实现数据分析，而HDFS是一个可靠的分布式的文件系统，便于对分布式的数据进行处理。Hadoop 的优势在于它具有超高的数据吞吐量和访问能力，能够对海量的信息数据进行存储与处理。在进行数据挖掘时，利用 MapReduce 向 Hadoop建立群体信息提交时，相应的数据就会按照片段划分处理，并结合相应的数据聚合、关键词来完成海量数据的处理。

1基于用户主题行为数据挖掘

Hadoop平台在进行数据挖掘时，需要为不同数据的挖掘提供接口服务，结合数据挖掘设计的主题，利用 Map/Reduce 算法，将文本划分为几个小的模块进行处理，在不同的模块之间都重复执行相同的算法，直到完成整个数据的挖掘。利用Ha⁃doop平台可通过分布式存储技术对挖掘的数据进行存储，而且处理效率与吞吐率高。Hadoop平台能自动处理分析失败的节点，并重新按照数据 ……此处隐藏5315个字…… 行分析，在不同的节点具体的运行效果如图2所示。

通过图2 的分析可以看出，在用户的行为特征数据低于400M 的情况下，Hadoop平台在并行节点数量增加的情况下，平台的运行效率保持稳定，在用户的行为特征数据量达到2000M 的情况下，Hadoop平台的并行节点数量增加的情况下，系统平台运行效率也保持着稳定，说明采用 Hadoop平台对大规模的数据进行挖掘出来的数据集具有良好的扩展性，也说明Hadoop 平台比较适合进行大数据处理与分析。

4结束语

通过以大规模用户行为数据为基础，以 Hadoop平台为技术来分析大数据特征提取的方法，不仅能够有效地完成用户特征数据的聚类处理分析，为用户特征数据提取提供依据，设计的数据处理方法还具有良好的拓展性，能有效地对用户的特征数据进行分析与提取，从而能够得到大数据环境下用户的关键性特征数据。

参考文献：

[1]朱月琴，谭永杰，张建通，等.基于 Hadoop 的地质大数据融合与挖掘技术框架[J].测绘学报，2015，44（S1）：152-159.

[2]谷红勋，杨珂.基于大数据的移动用户行为分析系统与应用案例[J].电信科学，2016，32（3）：139-146.

[3]耿志强，张杨，韩永明.基于矩阵的关联规则增量更新及其改进算法[J].北京化工大学学报（自然科学版），2016，43（5）：89-94.

[4]于兆良，张文涛，葛慧，等.基于 Hadoop平台的日志分析模型[J].计算机工程与设计，2016，37（2）：338-344，428.

【通联编辑：唐一东】