Hadoop
scala – 如果RDD无法适应Spark中的内存会怎样？
参见英文答案 > What will spark do if I don’t have enough memory? 3个 据我所知,Spark会尝试在内存中进行所有计算,除非您使用磁盘存储选项调用persist.但...[详细]
2020-06-22 10:02 分类：编程语言-
[AWS][大数据][Hadoop] 使用EMR做大数据分析
实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过HiveQL分析数据，并将分析结果保存到S3上4.下载已经分析结果数据。Task1：创建一个S3桶创建一个存储桶比如hadoop202006…Task2：创建EMR集群这里我解释一下Hadoop集群...[详细]
2020-06-22 09:21 分类：云计算 为什么要禁用IpV6 Hadoop安装
我在Ubuntu系统上成功安装和运行Hadoop. 我正在关注一些文章的教程. 我很困惑为什么每一步建议禁用ipv6？ 如果我不在我的系统上禁用我的ipv6,有效吗？ 有人可以回答吗？ 如 here所述：IPv6网络目前不支持Apache Hadoop.它仅在IPv4堆栈上进...[详细]
2020-06-21 20:58 分类：路由交换scala – Spark数据帧：基于列的数据透视表和组
我用id,app和customer输入如下数据帧 输入数据帧 +--------------------+-----+---------+ | id|app |customer | +--------------------+-----+---------+ |id1 | fw| WM | |id1[详细]
2020-06-21 16:39 分类：编程语言scala – 创建像TextLine一样的Scalding Source,它将多个文件组合成单个映射器
我们有许多需要组合的小文件.在Scalding中,您可以使用TextLine将文件作为文本行读取.问题是我们每个文件得到1个映射器,但我们想要组合多个文件,以便它们由1个映射器处理. 我知道我们需要将输入格式更改为CombineFileInputFormat的实现,这...[详细]
2020-06-20 17:06 分类：编程语言hadoop的wordcount实例代码
可以通过一个简单的例子来说明MapReduce到底是什么： 我们要统计一个大文件中的各个单词出现的次数。由于文件太大。我们把这个文件切分成如果小文件，然后安排多个人去统计。这个过程就是”Map”。然后把每个人统[详细]
2020-06-20 12:24 分类：编程语言Scala spark通过键减少并找到共同的价值
我有一个csv数据文件存储在HDFS上的sequenceFile中,格式为name,zip,country,fav_food1,fav_food2,fav_food3,fav_colour.可能有许多具有相同名称的条目,我需要找出他们最喜欢的食物是什么(即计算所有具有该名称的记录中的所有食物条目并返...[详细]
2020-06-20 12:07 分类：编程语言scala – 为什么Spark reduceByKey的结果不一致
我试图通过使用 scala的spark来计算每行的迭代次数. 以下是我的意见： 1维克拉姆 2萨钦 3个shobit 4 alok 5 akul 5 akul 1维克拉姆 1维克拉姆 3个shobit 10 ashu 5 akul 1维克拉姆 2萨钦 7维克拉姆 现在我创建2个单独的RDD,如下所示. val...[详细]
2020-06-20 08:56 分类：编程语言Python API 操作Hadoop hdfs详解
http://pyhdfs.readthedocs.io/en/latest/ 1：安装 由于是windows环境（linux其实也一样），只要有pip或者setup_install安装起来都是很方便的[详细]
2020-06-19 18:35 分类：Python
加载中,请稍侯......