运维开发网

spark

0
  • SparkSQL 编程

    第 2 章 SparkSQL 编程 2.1 SparkSession 新的起始点   在老的版本中,SparkSQL 提供两种 SQL 查询起始点:一个叫 SQLContext,用于 Spark 自己 提供的 SQL 查询;一个叫 HiveContext,用于连接 Hive 的查询。   SparkSession 是 Spa...[详细]

    2020-05-16 17:36 分类:大数据
  • 访问hive显示原数据报错

    访问hive报错如下: FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClien[详细]

    2020-05-15 11:08 分类:大数据
  • 大数据数据仓库-基于大数据体系构建数据仓库(Hive,Flume,Kafka,Azkaban,Oozie,SparkSQL)

    背景 接着上个文章数据仓库简述,想写一篇数据仓库常用模型的文章,但是自己对数据仓库模型的理解程度和建设架构并没有下面这个技术专家理解的深刻,并且自己去组织语言,可能会有不准确的地方,怕影响大家对数据仓库建模的理解,数据仓库...[详细]

    2020-05-13 20:04 分类:大数据
  • centos6.8安装单机spark2.2.3

      https://blog.csdn.net/uq_jin/article/details/51513307 https://www.cnblogs.com/zengxiaoliang/p/6478859.html[详细]

    2020-05-13 16:48 分类:Linux
  • 记一次Hbase的行键过滤器事故问题

    数据总数:746条数据 因为后面需要进行算法合成,而且spark目前对这种算法支持并不好,因此采用代码编写,所以在查询hbase的过程中采用的是java直接查询, 但是为了加快查询速度,我尽可能的使用了过滤器   1:初期Hbase的rowkey组合:时...[详细]

    2020-05-13 10:33 分类:大数据
  • scala wordcount

    一.不使用spark 1 package cn.scala_base.collection 2 import scala.io.Source.fromFile; 3 import scala.io.Source 4 import scala.collection.mutable.Map 5 6 /** 7 * 借助scala实现wordcount 8 */ 9 object WordCou[详细]

    2020-05-12 14:07 分类:编程语言
  • HBase读写的几种方式(三)flink篇

    1. HBase连接的方式概况 主要分为: 纯Java API读写HBase的方式; Spark读写HBase的方式; Flink读写HBase的方式; HBase通过Phoenix读写的方式; 第一种方式是HBase自身提供的比较原始的高效操作方式,而第二、第三则分别是Spark、Flin...[详细]

    2020-05-10 19:36 分类:大数据
  • HBase连接的几种方式(二)

    1. HBase连接的方式概况 主要分为: 纯Java API连接HBase的方式; Spark连接HBase的方式; Flink连接HBase的方式; HBase通过Phoenix连接的方式; 第一种方式是HBase自身提供的比较原始的高效操作方式,而第二、第三则分别是Spark、Flin...[详细]

    2020-05-10 16:39 分类:大数据
  • Scala实战高手****第4课:零基础彻底实战Scala控制结构及Spark源码解析

    1.环境搭建  基础环境配置 jdk+idea+maven+scala2.11。以上工具安装配置此处不再赘述。   2.源码导入 官网下载spark源码后解压到合适的项目目录下,打开idea,File->open 找到源码文件夹,选中spark-parent的pom文件,确定-> ope...[详细]

    2020-05-09 16:36 分类:编程语言
  • sparksql hive作为数据源

    根据官方文档的说法,要把hive-site.xml,core-site.xml,hdfs-site.xml拷贝到spark的conf目录下,保证mysql已经启动 java 1 public class Demo { 2 private static SparkSession session = SparkSession.builder().appName("demo...[详细]

    2020-05-09 13:34 分类:大数据