运维开发网

Hadoop

0
  • VMware虚拟机下hadoop1.x的安装方法

    这是Hadoop学习全程记录第1篇,在这篇里我将介绍一下如何在Linux下安装Hadoop1.x。[详细]

    2020-06-02 18:13 分类:编程语言
  • scala – flink reduceGroup中的迭代器行为

    我正在创建一个应该处理大量数据的系统,我需要了解reduce group运算符的工作原理 我有一个数据集,我在其中应用groupby,然后是reduceGroup 传递给reduceGroup函数的迭代器如何表现? 它是一个懒惰的迭代器,在请求它们时加载数据,还是一个在...[详细]

    2020-06-02 17:43 分类:编程语言
  • 如何连接在同一主机上运行的两个docker容器?

    我有两个docker容器正在运行 docker ps 结果 CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 0bfd25abbfc6 f_service:latest "/usr/local/start-fl[详细]

    2020-06-01 11:14 分类:云计算
  • 在Docker-spark上,Hadoop“无法为您的平台加载native-hadoop库”错误?

    我使用 docker-spark.启动spark-shell后,它输出: 15/05/21 04:28:22 DEBUG NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError:no hadoop in java.library.path 15/05/21 04:28:22[详细]

    2020-05-31 11:39 分类:云计算
  • docker for spark

    项目需求,有一个spark-streaming的程序,读kafka的数据,需要构建一个不使用hadoop的spark 以下建立的镜像参考网络,可以稍加修改就可以使用不同的版本。 可单独启动master,worker来构建一个standaline的集群。 也可以默认启动,启动后,...[详细]

    2020-05-31 10:59 分类:云计算
  • scala – 通过键Scalding Hadoop写入多个输出,一个MapReduce作业

    如何在单个Map Reduce作业中使用Scalding(/ cascading)写入依赖于键的多个输出.我当然可以使用.filter来获取所有可能的密钥,但这是一个可怕的黑客攻击,它将启动许多工作. Scalding中有 TemplatedTsv(从0.9.0rc16及更高版本开始),与Cascad...[详细]

    2020-05-31 09:57 分类:编程语言
  • scala – 从一个hive表中读取并使用spark sql写回来

    我正在使用Spark SQL读取Hive表并将其分配给 scala val val x = sqlContext.sql("select * from some_table") 然后我正在使用数据帧x进行一些处理,最后得到一个数据帧y,它具有与表some_table一样的精确模式. 最后,我试图将y数据帧...[详细]

    2020-05-30 10:00 分类:编程语言
  • Docker生态不会重蹈Hadoop的覆辙

    本文原作者是晏东(精灵云Ghostcould创始人),在读到《Docker生态会重蹈Hadoop的覆辙吗?》文章后的个人思考,里面的不少观点也是很不错的。 1、形态上的差异 2013年的时候,Hadoop确实很火,不过当时的感觉是安装和操作极其不方便,如果...[详细]

    2020-05-29 14:33 分类:云计算
  • 在docker容器上运行hadoop集群

    我想运行一个多节点hadoop集群,每个节点位于不同主机上的docker容器中.这个图像- https://github.com/sequenceiq/hadoop-docker可以很好地在伪分布式模式下启动hadoop,修改它的最简单方法是将每个节点放在一个单独的ec2主机上的不同容器中...[详细]

    2020-05-29 08:57 分类:云计算
  • 常用Linux 命令

    计算 除以 [[email protected]]$ echo expr 9 / 3 3加 [[email protected]]$ echo expr 9 + 3 12[详细]

    2020-05-27 10:45 分类:Linux