Hadoop
Hadoop Combiner使用方法详解
Hadoop Combiner使用方法详解 Combiner函数是一个可选的中间函数，发生在Map阶段，Mapper执行完成后立即执行。使用Combiner有如下两个优势：[详细]
2020-06-07 14:27 分类：编程语言Hadoop MultipleOutputs输出到多个文件中的实现方法
Hadoop MultipleOutputs输出到多个文件中的实现方法 1.输出到多个文件或多个文件夹：[详细]
2020-06-07 14:13 分类：编程语言Hadoop 中 HBase Shell命令的详解
Hadoop 中 HBase Shell命令的详解 HBase包含可以与HBase进行通信的Shell。 HBase使用Hadoop文件系统来存储数据。所有这些任务发生在HDFS。下面给出的是一些由[详细]
2020-06-06 15:13 分类：编程语言scala – 写入Apache Spark中的文件
我正在写一个 Scala代码,要求我写入HDFS中的文件. 当我在本地使用Filewriter.write时,它可以工作.同样的事情不适用于HDFS. 检查后,我发现Apache Spark中有以下选项可供编写 – RDD.saveAsTextFile和DataFrame.write.format. 我的问题是：...[详细]
2020-06-05 19:46 分类：编程语言docker – Sqoop – 导入作业失败
我试图通过Sqoop将一个包含3200万条记录的表从SQL Server导入Hive.连接是SQL Server成功的.但Map / Reduce作业无法成功执行.它给出以下错误： 18/07/19 04:00:11 INFO client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8032...[详细]
2020-06-05 14:38 分类：云计算-
Hadoop组件简介
安装hbase 首先下载hbase的最新稳定版本 http://www.apache.org/dyn/closer.cgi/hbase/ 安装到本地目录中，我安装的是当前用户的hadoop/hbase中[详细]
2020-06-04 15:00 分类：编程语言 hadoop上传文件功能实例代码
hdfs上的文件是手动执行命令从本地linux上传至hdfs的。在真实的运行环境中，我们不可能每次手动执行命令上传的，这样太过繁琐。那么，我们可以使用hdfs提供的Java api实现文件上传至hdfs，或者直接从ftp上传至h[详细]
2020-06-04 10:48 分类：编程语言scala – spark：在s3上写入镶木地板时出现SAXParseException
我试图读一些json,推断出一个模式,然后将它再次写成s3(s3a).由于某种原因,大约三分之一的通过写入部分的运行,火花始终错误输出,下面包含错误.我找不到任何明显的理由：这不是内存不足;没有长时间的GC暂停.在各个执行程序的日志中似乎没有...[详细]
2020-06-03 14:40 分类：编程语言-
使用root配置的hadoop启动时报错
一、报错信息： Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as root[详细]
2020-06-03 13:51 分类：Linux
加载中,请稍侯......