spark
-
03.Scala编程实战
Scala编程实战 1. 课程目标 1.1. 目标：使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql----------> select count(*) from user----->整个表只有1条数据 Map 0% reduce ...[详细]
2020-07-31 12:38 分类：编程语言 Spark操作之aggregate、aggregateByKey详解
1. aggregate函数 将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。[详细]
2020-07-29 17:50 分类：编程语言Spark学习笔记之Spark SQL的具体使用
1. Spark SQL是什么? 处理结构化数据的一个spark的模块 它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用[详细]
2020-07-29 17:05 分类：编程语言-
Spark Streaming算子开发实例
Spark Streaming算子开发实例 transform算子开发 transform操作应用在DStream上时，可以用于执行任意的RDD到RDD的转换操作，还可以用于实现DStream API中所没有提供的操作，比如说，DStreamAPI中并没有提供将一个DSt[详细]
2020-07-29 16:53 分类：编程语言 Spark学习笔记Spark Streaming的使用
1. Spark Streaming Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行处理[详细]
2020-07-29 16:41 分类：编程语言Spark学习笔记之Spark中的RDD的具体使用
1. Spark中的RDD Resilient Distributed Datasets(弹性分布式数据集) Spark中的最基本的抽象[详细]
2020-07-29 16:34 分类：编程语言-
Python3实战spark大数据分析及调度 ???
Python3实战spark大数据分析及调度 ??? 一、实例分析 1.1 数据 student.txt [详细]
2020-07-21 07:29 分类：Python Spark MLlib随机梯度下降法概述与实例
机器学习算法中回归算法有很多，例如神经网络回归算法、蚁群回归算法，支持向量机回归算法等，其中也包括本篇文章要讲述的梯度下降算法，本篇文章将主要讲解其基本原理以及基于Spark MLlib进行实例示范，不足之处请多[详细]
2020-07-17 11:27 分类：编程语言
加载中,请稍侯......