spark
-
Jupyter生态二次开发系列(三)
这次改的是用jupyterlab跑sparkonk8sjupyterlab本身是跑在k8s里面的，然后甲方因为无论开多大内存，无论用vaex还是pandas都会内存溢出，所以打算用sparkonk8s方式跑，认为这样就不会溢出了，当然，实际上还是会溢出的。如何搭建sparkonk8...[详细]
2020-10-01 09:42 分类：自动化 -
大数据技术发展(三)：Spark 代替 Hadoop ? Spark Or Flink ?
在大数据领域中，选择使用 Hadoop、还是 Spark、还是 Flink，这个话题是一个非常热门的话题，这篇文章就带你探个究竟，看看到底选择哪一个技术？[详细]
2020-08-21 09:25 分类：编程语言 从0开始学习大数据之java spark编程入门与项目实践
本文实例讲述了大数据java spark编程。分享给大家供大家参考，具体如下： 上节搭建好了eclipse spark编程环境[详细]
2020-08-09 13:51 分类：编程语言Spark随机森林实现票房预测
前言 最近一段时间都在处理电影领域的数据, 而电影票房预测是电影领域数据建模中的一个重要模块, 所以我们针对电影数据做了票房预测建模.[详细]
2020-08-01 18:19 分类：编程语言-
03.Scala编程实战
Scala编程实战 1. 课程目标 1.1. 目标：使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql----------> select count(*) from user----->整个表只有1条数据 Map 0% reduce ...[详细]
2020-07-31 12:38 分类：编程语言 Spark操作之aggregate、aggregateByKey详解
1. aggregate函数 将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。[详细]
2020-07-29 17:50 分类：编程语言Spark学习笔记之Spark SQL的具体使用
1. Spark SQL是什么? 处理结构化数据的一个spark的模块 它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用[详细]
2020-07-29 17:05 分类：编程语言-
Spark Streaming算子开发实例
Spark Streaming算子开发实例 transform算子开发 transform操作应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作，还可以用于实现DStream API中所没有提供的操作，比如说，DStreamAPI中并没有提供将一个DSt[详细]
2020-07-29 16:53 分类：编程语言
加载中,请稍侯......