hive
-
-
Hive调优-萌贝树母婴无骗子
1 Fetch 抓取 Hive调优-萌贝树母婴无骗子,Fectch 抓取是指对某些情况下的查询不必使用 MapReduce 计算将 hive.fetch.task.conversion 设置成 more,在全局查找、字段查找、limit查找等都不走 MapReduce2 本地模式 Hive调优-萌贝...[详细]
2020-05-18 13:58 分类:大数据-
集成Hive和HBase
1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中, 比如从HBase中读取一些原始数据后使用MapReduce做数据分析。 结合计算型框架进行计算统计 查看HBase的MapReduce任务的执行,把jar打印出来的就是需要添加到hadoop的CLA...[详细]
2020-05-18 13:41 分类:大数据 -
Hive部分函数解析
Hive部分函数解析 Hive里的exists ,in ,not exists ,not in 相关函数 表数据准备: 1.选择指定数据库 eg: use bg_database1; 2. 创建表 drop table demo0919 ; create table demo0919( name string ,age int ,sex int ) row fo...[详细]
2020-05-18 13:30 分类:大数据 hbase数据迁移到hive中
描述: 原先数据是存储在hbase中的,但是直接查询hbase速度慢(hbase是宽表结构),所以想把数据迁移到hive中; 1.先hbase 和 hive创建 外部表链接, 可以在hive直接查询; 2.利用创建的外部表,直接在hive中创建内部表; 直接上代码: #...[详细]
2020-05-18 13:12 分类:大数据ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法
ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法 方法一: 参考: http://blog.csdn.net/panys/article/details/3838846 archive log日志已满 ORA-00257: archiver error. Connect internal only, unti[详细]
2020-05-18 12:55 分类:大数据-
大数据在公司使用的阶段
虽然大家都在玩大数据,但是大部分人还是在第1和2阶段,部分公司可能到了第3阶段,因为其中涉及的专业知识太多,运维工程师,开发工程师,数据工程师,云工程师等等不一而足。 阶段1 技术试验阶段 在此阶段,你的团队可能会安装一个Ha...[详细]
2020-05-18 12:18 分类:大数据