hive
hive beeline ClassNotFoundException
异常现象：使用beeline或者jdbc连接hive执行createtable异常为ClassNotFoundException:org.apache.hudi.hadoop.HoodieParquetInputFormat使用hiveclient可以正常执行cretetable异常分析：beeline是通过hiveserver2服务连接的hive，检查hi...[详细]
2021-01-16 12:48 分类：LinuxCould not initialize derby.jdbc.AutoloadedDriver40
操作：执行Spark任务查询hive表时报NoClassDefFoundError异常异常日志：javax.jdo.JDOFatalInternalException:Unexpectedexceptioncaught.atjavax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:11[详细]
2021-01-15 12:10 分类：Linux-
大数据 java hive udf函数的示例代码（手机号码脱敏）
Hive UDFHive UDF 函数1 POM 文件2.UDF 函数3 利用idea打包4 添加hive udf函数4.1 上传jar包到集群4.2 修改集群hdfs文件权限4.3 注册UDF4.4 使用UDF[详细]
2020-12-23 23:39 分类：编程语言 Hive数据仓库实战
Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。[详细]
2020-12-09 09:49 分类：自动化-
-
03.Scala编程实战
Scala编程实战 1. 课程目标 1.1. 目标：使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql----------> select count(*) from user----->整个表只有1条数据 Map 0% reduce ...[详细]
2020-07-31 12:38 分类：编程语言 scala – 需要使用spark中的数据库限定符访问Hive表
我可以从spark- shell访问hive表,但在提交作为工作的一部分时接收下面指定的异常： val df = sqlContext.table("dbName.tableName") 线程“main”中的异常org.apache.spark.sql.AnalysisException：临时表不允许指定数据库名称或...[详细]
2020-07-28 08:22 分类：编程语言scala – 无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
我想使用我的本地代码通过spark-sql连接到远程配置单元. 这是我的代码： package src.main.scala import org.apache.spark.{SparkConf, SparkContext} import com.datastax.spark.connector.cql.CassandraConnector import org.apache.s...[详细]
2020-07-23 18:30 分类：编程语言-
Kali Linux install "Veil-Evasion"
Xx_Step wget https://github.com/ChrisTruncer/Veil/archive/master.zip unzip master.zip cd Veil-Evasion-master/setup[详细]
2020-07-21 09:24 分类：Linux scala – 对Spark数据框/ Hive结果集进行排序
我正在尝试从Hive表中检索列列表并将结果存储在spark数据帧中. var my_column_list = hiveContext.sql(s""" SHOW COLUMNS IN $my_hive_table""") 但我无法按字母顺序对数据帧进行排序,甚至无法对显示列查询的结果...[详细]
2020-07-20 17:03 分类：编程语言
加载中,请稍侯......