hive
-
Redis可视化客户端小结
Redis是一个超精简的基于内存的键值对数据库(key-value),一般对并发有一定要求的应用都用其储存session,乃至整个数据库。redis的可视化客户端目前较流行的有三个:RedisCli...[详细]
2021-06-11 07:12 分类:大数据 解决hive中导入text文件遇到的坑
今天帮一同学导入一个excel数据,我把excel保存为txt格式,然后建表导入,失败!分隔符格式不匹配,无法导入!!!!怎么看两边都是\\t,怎么不匹配呢?[详细]
2021-04-08 10:32 分类:Pythonhive beeline ClassNotFoundException
异常现象:使用beeline或者jdbc连接hive执行createtable异常为ClassNotFoundException:org.apache.hudi.hadoop.HoodieParquetInputFormat使用hiveclient可以正常执行cretetable异常分析:beeline是通过hiveserver2服务连接的hive,检查hi...[详细]
2021-01-16 12:48 分类:LinuxCould not initialize derby.jdbc.AutoloadedDriver40
操作:执行Spark任务查询hive表时报NoClassDefFoundError异常异常日志:javax.jdo.JDOFatalInternalException:Unexpectedexceptioncaught.atjavax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:11[详细]
2021-01-15 12:10 分类:Linux-
大数据 java hive udf函数的示例代码(手机号码脱敏)
Hive UDFHive UDF 函数1 POM 文件2.UDF 函数3 利用idea打包4 添加hive udf函数4.1 上传jar包到集群4.2 修改集群hdfs文件权限4.3 注册UDF4.4 使用UDF[详细]
2020-12-23 23:39 分类:编程语言 Hive数据仓库实战
Hive作为大数据平台Hadoop之上的主流应用,公司一般都是用它作为公司的数据仓库,分布式机器学习的训练数据和数据处理也经常用它来处理,下面介绍下它的常用功能。[详细]
2020-12-09 09:49 分类:自动化-
-
03.Scala编程实战
Scala编程实战 1. 课程目标 1.1. 目标:使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql----------> select count(*) from user----->整个表只有1条数据 Map 0% reduce ...[详细]
2020-07-31 12:38 分类:编程语言 scala – 需要使用spark中的数据库限定符访问Hive表
我可以从spark- shell访问hive表,但在提交作为工作的一部分时接收下面指定的异常: val df = sqlContext.table("dbName.tableName") 线程“main”中的异常org.apache.spark.sql.AnalysisException:临时表不允许指定数据库名称或...[详细]
2020-07-28 08:22 分类:编程语言scala – 无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
我想使用我的本地代码通过spark-sql连接到远程配置单元. 这是我的代码: package src.main.scala import org.apache.spark.{SparkConf, SparkContext} import com.datastax.spark.connector.cql.CassandraConnector import org.apache.s...[详细]
2020-07-23 18:30 分类:编程语言