hive

相关标签：python Ruby 51cto博客网络 c++

数字IC设计一些总结

原文参考：http://www.cnblogs.com/jyaray/archive/2011/05/11/2043091.html 参数化的全局定义全局定义会给书写和仿真带来很大方便，在编写testbench过程中，如果激励中有一些重复的事件，可以考虑将这些语句编写成一个task。比如： 1.R...[详细]

2020-05-18 14:40 分类：大数据
Hive-排序

排序 dense_rank() over 成绩相同的两个人编号也相同, 且下一个编号是连续的, 不会跨越 rank() over 成绩相同的两个人编号也是相同的, 且下一个编号是不连续的。 row_number() over 成绩相同的两个人编号也不相同 ntile(n)over() ntile的...[详细]

2020-05-18 14:18 分类：大数据
Hive2优化参数

最近为了调试hive试了很多hive参数，对于hive任务优化，减少使用内存有一些自己的见解，在此做一个记录。一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。二：mapreduce的基本流程及阶段可进行的优化...[详细]

2020-05-18 14:02 分类：大数据
Hive调优-萌贝树母婴无骗子

1 Fetch 抓取　　Hive调优-萌贝树母婴无骗子，Fectch 抓取是指对某些情况下的查询不必使用 MapReduce 计算将 hive.fetch.task.conversion 设置成 more，在全局查找、字段查找、limit查找等都不走 MapReduce2 本地模式　　Hive调优-萌贝...[详细]

2020-05-18 13:58 分类：大数据
集成Hive和HBase

1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中，比如从HBase中读取一些原始数据后使用MapReduce做数据分析。结合计算型框架进行计算统计查看HBase的MapReduce任务的执行，把jar打印出来的就是需要添加到hadoop的CLA...[详细]

2020-05-18 13:41 分类：大数据
NS3安装

1、添加源 sudo vim /etc/apt/sources.list deb http://archive.ubuntu.com/ubuntu/ trusty main universe restricted multiverse sudo apt-get update 2、编写脚本安装依赖包 vim pre.sh #!/bin/sh sudo apt-get install gcc g++[详细]

2020-05-18 13:38 分类：大数据
Hive部分函数解析

Hive部分函数解析 Hive里的exists ,in ,not exists ,not in 相关函数表数据准备： 1.选择指定数据库 eg: use bg_database1; 2. 创建表 drop table demo0919 ; create table demo0919( name string ,age int ,sex int ) row fo...[详细]

2020-05-18 13:30 分类：大数据
hbase数据迁移到hive中

描述：原先数据是存储在hbase中的，但是直接查询hbase速度慢（hbase是宽表结构），所以想把数据迁移到hive中； 1.先hbase 和 hive创建外部表链接，可以在hive直接查询； 2.利用创建的外部表，直接在hive中创建内部表；直接上代码： #...[详细]

2020-05-18 13:12 分类：大数据
hive常用函数1

Hive概念 Hive最适合于数据仓库应用程序，使用该应用程序进行相关静态数据分析，不需要快速响应出结果，而数据本身不会发生频繁变化。 Hdfs分布式文件系统限制了hive，使其不支持记录级别的更新、插入、删除。但是支持用户通过查询生成新...[详细]

2020-05-18 13:06 分类：大数据
ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法

ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法方法一: 参考: http://blog.csdn.net/panys/article/details/3838846 archive log日志已满 ORA-00257: archiver error. Connect internal only, unti[详细]

2020-05-18 12:55 分类：大数据