spark
Could not initialize derby.jdbc.AutoloadedDriver40
操作:执行Spark任务查询hive表时报NoClassDefFoundError异常异常日志:javax.jdo.JDOFatalInternalException:Unexpectedexceptioncaught.atjavax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:11[详细]
2021-01-15 12:10 分类:LinuxSpark调优多线程并行处理任务实现方式
方式1: 1. 明确 Spark中Job 与 Streaming中 Job 的区别 1.1 Spark Core 一个 RDD DAG Graph 可以生成一个或多个 Job(Action操作)[详细]
2020-12-24 15:10 分类:编程语言Spark项目案例实战和分布式部署
本节使用Scala语言通过Spark平台来实现分布式操作Hbase数据库,并且打包部署到Spark集群上面。这样我们对Spark+Scala项目开发有一个完整的认识和实际工作场景的一个体会。[详细]
2020-12-01 09:31 分类:自动化-
Jupyter生态二次开发系列(三)
这次改的是用jupyterlab跑sparkonk8sjupyterlab本身是跑在k8s里面的,然后甲方因为无论开多大内存,无论用vaex还是pandas都会内存溢出,所以打算用sparkonk8s方式跑,认为这样就不会溢出了,当然,实际上还是会溢出的。如何搭建sparkonk8...[详细]
2020-10-01 09:42 分类:自动化 -
大数据技术发展(三):Spark 代替 Hadoop ? Spark Or Flink ?
在大数据领域中,选择使用 Hadoop、还是 Spark、还是 Flink,这个话题是一个非常热门的话题,这篇文章就带你探个究竟,看看到底选择哪一个技术?[详细]
2020-08-21 09:25 分类:编程语言 从0开始学习大数据之java spark编程入门与项目实践
本文实例讲述了大数据java spark编程。分享给大家供大家参考,具体如下: 上节搭建好了eclipse spark编程环境[详细]
2020-08-09 13:51 分类:编程语言Spark随机森林实现票房预测
前言 最近一段时间都在处理电影领域的数据, 而电影票房预测是电影领域数据建模中的一个重要模块, 所以我们针对电影数据做了票房预测建模.[详细]
2020-08-01 18:19 分类:编程语言-
03.Scala编程实战
Scala编程实战 1. 课程目标 1.1. 目标:使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql----------> select count(*) from user----->整个表只有1条数据 Map 0% reduce ...[详细]
2020-07-31 12:38 分类:编程语言