运维开发网

hive

0
  • Hive date_trunc函数

    The function date_trunc is conceptually similar to the trunc function for numbers.   date_trunc(‘field‘, source) source is a value expression of type timestamp or interval. (Values of type date and ti[详细]

    2020-05-18 17:07 分类:大数据
  • 【原创】大叔经验分享(86)hive和mysql数据互导

    hive和mysql数据互导,首先想到的是sqoop,并且可以和调度框架(比如oozie等)配合配置定时任务,还有一种更简单的方式是通过spark-sql: CREATE OR REPLACE TEMPORARY VIEW tmp_tbl_test USING org.apache.spark.sql.jdbc OPTIONS ( url...[详细]

    2020-05-18 16:44 分类:大数据
  • (解决)dbeaver连接hive报错:User: hadoop is not allowed to impersonate XXX

    这个坑肯可能是在java操作hive 和 python操作hive都会遇到的配置问题 如下解决方法: 1.配置 hive-site.xml <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hadoop</value> <des...[详细]

    2020-05-18 16:35 分类:大数据
  • HiveSQL——row_number() over() 使用

    语法格式:row_number() over(partition by 分组列 order by 排序列 desc) row_number() over()分组排序功能: 在使用 row_number() over()函数时候,over()里头的分组以及排序的执行晚于 where 、group by、  order by 的执行。 例一:...[详细]

    2020-05-18 16:24 分类:大数据
  • hive自定义udaf函数

    自定义udaf函数的代码框架 1 //首先继承一个类AbstractGenericUDAFResolver,然后实现里面的getevaluate方法 2 public GenericUDAFEvaluator getEvaluator(TypeInfo[] parameters) throws SemanticException {} 3 4 //在类里面再定义...[详细]

    2020-05-18 16:16 分类:大数据
  • Hive-安装

    Hive 官网地址:https://hive.apache.org/ 文档查看地址:https://cwiki.apache.org/confluence/display/Hive/GettingStarted 下载地址:https://hive.apache.org/downloads.html & https://archive.apache.org/dist/hive/ Hadoop ...[详细]

    2020-05-18 16:11 分类:大数据
  • ubuntu16.04安装cuDNN

    cudnn的安装非常简单 (1)下载安装文件 按需求下载cudnn的安装文件:https://developer.nvidia.com/rdp/cudnn-archive[详细]

    2020-05-18 16:09 分类:Linux
  • hive基础知识五

    Hive 主流文件存储格式对比 1、存储文件的压缩比测试 1.1 测试数据 https://github.com/liufengji/Compression_Format_Data ? log.txt 大小为18.1 M 1.2 TextFile 创建表,存储数据格式为TextFile create table log_text ( track_time st...[详细]

    2020-05-18 16:04 分类:大数据
  • hive基础知识二

    1. Hive的分区表 1.1 hive的分区表的概念 在文件系统上建立文件夹,把表的数据放在不同文件夹下面,加快查询速度。   1.2 hive分区表的构建 创建一个分区字段的分区表 hive> create table student_partition1( id int, name...[详细]

    2020-05-18 16:00 分类:大数据
  • hive基础知识四

    1. hive表的数据压缩 1.1 数据的压缩说明 压缩模式评价 可使用以下三种标准对压缩方式进行评价 1、压缩比:压缩比越高,压缩后文件越小,所以压缩比越高越好 2、压缩时间:越快越好 3、已经压缩的格式文件是否可以再分割:可以分割的格式...[详细]

    2020-05-18 15:58 分类:大数据