运维开发网

MapReduce

0
  • mapReduce模式的最佳python实现是什么?

    什么是MapReduce,一个框架或库的最佳 Python实现,可能与Apache hadoop一样好,但如果它只是在Python中,并且在良好的文档和易于理解方面最好,完全实现MapReduce模式,高可扩展性,高稳定性,轻巧. 我用谷歌搜索了一个叫做百果馅的,不确定它,但...[详细]

    2020-05-17 15:44 分类:大数据
  • 长时间的hadoop运行,卡在减少>减少

    我有hadoop运行,基本上只是聚合键,它的代码: (mapper是身份映射器) public void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Text> results, Reporter reporter) throws IOException { ...[详细]

    2020-05-17 15:24 分类:大数据
  • Hadoop gen1 vs Hadoop gen2

    我对Hadoop-2.x中tasktracker的位置感到有点困惑. Hadoop-1.x中的守护进程是namenode,datanode,jobtracker,taskracker和secondarynamenode Hadoop-2.x中的守护进程是namenode,datanode,resourcemanager,applicationmaster,secondarynamen...[详细]

    2020-05-17 15:18 分类:大数据
  • Hadoop上的MapReduce说“输出文件已经存在”

    我第一次使用Mapreduce运行了一个wordcount示例,并且它有效.然后,我停止了群集,暂时启动它,并按照相同的步骤. 显示此错误: 10P:/$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount...[详细]

    2020-05-17 15:08 分类:大数据
  • 比hive快10倍的大数据查询利器presto部署

    目前最流行的大数据查询引擎非hive莫属,它是基于MR的类SQL查询工具,会把输入的查询SQL解释为MapReduce,能极大的降低使用大数据查询的门槛, 让一般的业务人员也可以直接对大数据进行查询。但因其基于MR,运行速度是一个弊端,通常运行...[详细]

    2020-05-17 14:15 分类:大数据
  • HUE安装与使用

    1、介绍 HUE是一个开源的Apache Hadoop UI系统,早期由Cloudera开发,后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue我们可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce Job等等。 2、安装 2.1 ...[详细]

    2020-05-17 13:30 分类:大数据
  • flink 并行计数器实现

    1、flink实现计数器的灵感来源于Hadoop的MapReduce计算框架里的理念。 flink通过实现Accumulator接口实现并行计数。并行管理是由flink实现的。 public interface Accumulator<V, R extends Serializable> extends Serializable, Cl...[详细]

    2020-05-17 10:38 分类:大数据
  • Hadoop地图/减少链接

    我想链接2个Map / Reduce作业.我正在尝试使用JobControl来实现相同的目标.我的问题是 – JobControl需要org.apache.hadoop.mapred.jobcontrol.Job,而这又需要不推荐使用的org.apache.hadoop.mapred.JobConf.如何绕过这个问题来链接我的Ma...[详细]

    2020-05-17 10:35 分类:大数据
  • 如何使用新的Hadoop API使用MultipleTextOutputFormat?

    我想写多个输出文件. 如何使用Job而不是JobConf执行此操作? 一种创建基于密钥的输出文件名的简便方法 input data type //key //value cupertino apple sunnyvale banana cupertino pear MultipleTextOutputFormat类 ...[详细]

    2020-05-17 10:28 分类:大数据
  • 人工智能 – 神经网络实现MapReduce风格

    我正在研究一个项目,我正在尝试将NEAT(增强拓扑的神经进化)方法实现到神经网络.这已经做了很多次了,在过去的几年中,甚至已经用几种语言对方法进行了更新修订,所以我现在还没有制作任何新内容.我对该方法的一点“扭曲”是尝试分布式实现(最...[详细]

    2020-05-17 10:25 分类:大数据