运维开发网

HBase

0
  • 集成Hive和HBase

    1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中, 比如从HBase中读取一些原始数据后使用MapReduce做数据分析。 结合计算型框架进行计算统计 查看HBase的MapReduce任务的执行,把jar打印出来的就是需要添加到hadoop的CLA...[详细]

    2020-05-18 13:41 分类:大数据
  • hbase数据迁移到hive中

    描述: 原先数据是存储在hbase中的,但是直接查询hbase速度慢(hbase是宽表结构),所以想把数据迁移到hive中; 1.先hbase 和 hive创建 外部表链接, 可以在hive直接查询; 2.利用创建的外部表,直接在hive中创建内部表; 直接上代码: #...[详细]

    2020-05-18 13:12 分类:大数据
  • HBase 使用与原理总结

    window启动: 点击 bin/start-hbase.cmd 即可; UI: 16010 创建连接: public static Connection Conn() { Configuration config = HBaseConfiguration.create(); // 本地测试 config.set("hbase.zookeeper.quorum", "127.0....[详细]

    2020-05-18 13:03 分类:大数据
  • HBase数据迁移到Kafka实战

    1.概述 在实际的应用场景中,数据存储在HBase集群中,但是由于一些特殊的原因,需要将数据从HBase迁移到Kafka。正常情况下,一般都是源数据到Kafka,再有消费者处理数据,将数据写入HBase。但是,如果逆向处理,如何将HBase的数据迁移到K...[详细]

    2020-05-18 12:47 分类:大数据
  • HBase的二级索引

    使用HBase存储中国好声音数据的案例,业务描述如下: 为了能高效的查询到我们需要的数据,我们在RowKey的设计上下了不少功夫,因为过滤RowKey或者根据RowKey查询数据的效率是最高的,我们的RowKey的设计是:UserID + CreateTime + FileID...[详细]

    2020-05-18 12:22 分类:大数据
  • HBase应用

    太多column family的影响 每个 MemoryStore分配到的内存较少,进而导致过多的合并,影响性能   几个column family比较合适呢 推荐是:1-3个 划分column family的原则: 1、是否具有相似的数据格式 2、是否具有相似的访问类型 例子一: 相...[详细]

    2020-05-18 11:36 分类:大数据
  • HBase 系列(九)——HBase 容灾与备份

    一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable、Export/Import、Snapshot。分别介绍如下: 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中,具有以下特点: 支持时间区间 、row 区间 、改变...[详细]

    2020-05-17 22:04 分类:大数据
  • Hbase 0.92.1集群数据迁移到新集群

    老集群 hbase(main):001:0> status 4 servers, 0 dead, 0.0000 average load hbase(main):002:0> list TABLE[详细]

    2020-05-17 21:40 分类:大数据
  • HBase 系列(二)—— HBase 系统架构及数据结构

    一、基本概念 一个典型的 Hbase Table 表如下: 1.1 Row Key (行键) Row Key 是用来检索记录的主键。想要访问 HBase Table 中的数据,只有以下三种方式: 通过指定的 Row Key 进行访问; 通过 Row Key 的 range 进行访问,即访问指定范围...[详细]

    2020-05-17 21:27 分类:大数据
  • hbase报Dead Region Servers

    问题描述: 16010端口启动成功,16020未启动。 hbase-root-regionserver-hbase2.log日志: 2019-08-14 16:45:10,552 WARN [Thread-37] hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOExce[详细]

    2020-05-17 19:37 分类:大数据