运维开发网

hive

0
  • 数字IC设计一些总结

    原文参考:http://www.cnblogs.com/jyaray/archive/2011/05/11/2043091.html 参数化的全局定义 全局定义会给书写和仿真带来很大方便,在编写testbench过程中,如果激励中有一些重复的事件,可以考虑将这些语句编写成一个task。比如: 1.R...[详细]

    2020-05-18 14:40 分类:大数据
  • Hive-排序

    排序 dense_rank() over 成绩相同的两个人编号也相同, 且下一个编号是连续的, 不会跨越 rank() over 成绩相同的两个人编号也是相同的, 且下一个编号是不连续的。 row_number() over 成绩相同的两个人编号也不相同 ntile(n)over() ntile的...[详细]

    2020-05-18 14:18 分类:大数据
  • Hive2优化参数

    最近为了调试hive试了很多hive参数,对于hive任务优化,减少使用内存有一些自己的见解,在此做一个记录。 一:Hive是什么  Hive是面向大数据的数据仓库,是一种将SQL转换为mapreduce的工具。 二:mapreduce的基本流程及阶段可进行的优化...[详细]

    2020-05-18 14:02 分类:大数据
  • Hive调优-萌贝树母婴无骗子

    1 Fetch 抓取   Hive调优-萌贝树母婴无骗子,Fectch 抓取是指对某些情况下的查询不必使用 MapReduce 计算将 hive.fetch.task.conversion 设置成 more,在全局查找、字段查找、limit查找等都不走 MapReduce2 本地模式   Hive调优-萌贝...[详细]

    2020-05-18 13:58 分类:大数据
  • 集成Hive和HBase

    1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中, 比如从HBase中读取一些原始数据后使用MapReduce做数据分析。 结合计算型框架进行计算统计 查看HBase的MapReduce任务的执行,把jar打印出来的就是需要添加到hadoop的CLA...[详细]

    2020-05-18 13:41 分类:大数据
  • NS3安装

    1、添加源 sudo vim /etc/apt/sources.list deb http://archive.ubuntu.com/ubuntu/ trusty main universe restricted multiverse sudo apt-get update 2、编写脚本安装依赖包 vim pre.sh #!/bin/sh sudo apt-get install gcc g++[详细]

    2020-05-18 13:38 分类:大数据
  • Hive部分函数解析

    Hive部分函数解析   Hive里的exists ,in ,not exists ,not in 相关函数 表数据准备: 1.选择指定数据库 eg:  use bg_database1;   2. 创建表 drop table demo0919 ; create table demo0919( name string ,age int ,sex int ) row fo...[详细]

    2020-05-18 13:30 分类:大数据
  • hbase数据迁移到hive中

    描述: 原先数据是存储在hbase中的,但是直接查询hbase速度慢(hbase是宽表结构),所以想把数据迁移到hive中; 1.先hbase 和 hive创建 外部表链接, 可以在hive直接查询; 2.利用创建的外部表,直接在hive中创建内部表; 直接上代码: #...[详细]

    2020-05-18 13:12 分类:大数据
  • hive常用函数1

    Hive概念 Hive最适合于数据仓库应用程序,使用该应用程序进行相关静态数据分析,不需要快速响应出结果,而数据本身不会发生频繁变化。 Hdfs分布式文件系统限制了hive,使其不支持记录级别的更新、插入、删除。但是支持用户通过查询生成新...[详细]

    2020-05-18 13:06 分类:大数据
  • ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法

    ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法 方法一: 参考: http://blog.csdn.net/panys/article/details/3838846 archive log日志已满 ORA-00257: archiver error. Connect internal only, unti[详细]

    2020-05-18 12:55 分类:大数据