hive
-
Redis可视化客户端小结
Redis是一个超精简的基于内存的键值对数据库(key-value)，一般对并发有一定要求的应用都用其储存session，乃至整个数据库。redis的可视化客户端目前较流行的有三个：RedisCli...[详细]
2021-06-11 07:12 分类：大数据 解决hive中导入text文件遇到的坑
今天帮一同学导入一个excel数据，我把excel保存为txt格式，然后建表导入，失败！分隔符格式不匹配，无法导入！！！！怎么看两边都是\\t，怎么不匹配呢？[详细]
2021-04-08 10:32 分类：Pythonhive beeline ClassNotFoundException
异常现象：使用beeline或者jdbc连接hive执行createtable异常为ClassNotFoundException:org.apache.hudi.hadoop.HoodieParquetInputFormat使用hiveclient可以正常执行cretetable异常分析：beeline是通过hiveserver2服务连接的hive，检查hi...[详细]
2021-01-16 12:48 分类：LinuxCould not initialize derby.jdbc.AutoloadedDriver40
操作：执行Spark任务查询hive表时报NoClassDefFoundError异常异常日志：javax.jdo.JDOFatalInternalException:Unexpectedexceptioncaught.atjavax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:11[详细]
2021-01-15 12:10 分类：Linux-
大数据 java hive udf函数的示例代码（手机号码脱敏）
Hive UDFHive UDF 函数1 POM 文件2.UDF 函数3 利用idea打包4 添加hive udf函数4.1 上传jar包到集群4.2 修改集群hdfs文件权限4.3 注册UDF4.4 使用UDF[详细]
2020-12-23 23:39 分类：编程语言 Hive数据仓库实战
Hive作为大数据平台Hadoop之上的主流应用，公司一般都是用它作为公司的数据仓库，分布式机器学习的训练数据和数据处理也经常用它来处理，下面介绍下它的常用功能。[详细]
2020-12-09 09:49 分类：自动化-
-
03.Scala编程实战
Scala编程实战 1. 课程目标 1.1. 目标：使用Akka实现一个简易版的spark通信框架 2. 项目概述 2.1. 需求 Hivesql----------> select count(*) from user----->整个表只有1条数据 Map 0% reduce ...[详细]
2020-07-31 12:38 分类：编程语言 scala – 需要使用spark中的数据库限定符访问Hive表
我可以从spark- shell访问hive表,但在提交作为工作的一部分时接收下面指定的异常： val df = sqlContext.table("dbName.tableName") 线程“main”中的异常org.apache.spark.sql.AnalysisException：临时表不允许指定数据库名称或...[详细]
2020-07-28 08:22 分类：编程语言scala – 无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
我想使用我的本地代码通过spark-sql连接到远程配置单元. 这是我的代码： package src.main.scala import org.apache.spark.{SparkConf, SparkContext} import com.datastax.spark.connector.cql.CassandraConnector import org.apache.s...[详细]
2020-07-23 18:30 分类：编程语言
加载中,请稍侯......