运维开发网

HBase

0
  • HBase导入数据同时与Phoenix实现同步映射

    1.HDFS上数据准备 2019-03-24 09:21:57.347,869454021315519,8,1 2019-03-24 22:07:15.513,867789020387791,8,1 2019-03-24 21:43:34.81,357008082359524,8,1 2019-03-24 16:05:32.227,860201045831206,8,1 2019-03-24 18[详细]

    2020-05-18 14:38 分类:大数据
  • HBase伪分布部署

    1、基础配置 #配置主机名 hostnamectl set-hostname {master, node1, node2} #配置hosts cat <<EOF >> /etc/hosts 192.168.2.124 master 192.168.2.125 node1 192.168.2.126 node2 EOF #安装JDK yum install -y java-1.8.0-o...[详细]

    2020-05-18 14:25 分类:大数据
  • 最近装Hadoop的心得

    以前装Hadoop是跟着厦大林子雨的详细教程装的,所以遇到的问题不多,自己没怎么思考,导致跟着Hbase官网单机配置时出了很多问题,现在记下来以免以后再犯。 首先,安装软件首先看官网教程。但官网的教程是很简单的,比如Hadoop的安装。默...[详细]

    2020-05-18 14:21 分类:大数据
  • 集成Hive和HBase

    1. MapReduce 用MapReduce将数据从本地文件系统导入到HBase的表中, 比如从HBase中读取一些原始数据后使用MapReduce做数据分析。 结合计算型框架进行计算统计 查看HBase的MapReduce任务的执行,把jar打印出来的就是需要添加到hadoop的CLA...[详细]

    2020-05-18 13:41 分类:大数据
  • hbase数据迁移到hive中

    描述: 原先数据是存储在hbase中的,但是直接查询hbase速度慢(hbase是宽表结构),所以想把数据迁移到hive中; 1.先hbase 和 hive创建 外部表链接, 可以在hive直接查询; 2.利用创建的外部表,直接在hive中创建内部表; 直接上代码: #...[详细]

    2020-05-18 13:12 分类:大数据
  • HBase 使用与原理总结

    window启动: 点击 bin/start-hbase.cmd 即可; UI: 16010 创建连接: public static Connection Conn() { Configuration config = HBaseConfiguration.create(); // 本地测试 config.set("hbase.zookeeper.quorum", "127.0....[详细]

    2020-05-18 13:03 分类:大数据
  • HBase数据迁移到Kafka实战

    1.概述 在实际的应用场景中,数据存储在HBase集群中,但是由于一些特殊的原因,需要将数据从HBase迁移到Kafka。正常情况下,一般都是源数据到Kafka,再有消费者处理数据,将数据写入HBase。但是,如果逆向处理,如何将HBase的数据迁移到K...[详细]

    2020-05-18 12:47 分类:大数据
  • HBase的二级索引

    使用HBase存储中国好声音数据的案例,业务描述如下: 为了能高效的查询到我们需要的数据,我们在RowKey的设计上下了不少功夫,因为过滤RowKey或者根据RowKey查询数据的效率是最高的,我们的RowKey的设计是:UserID + CreateTime + FileID...[详细]

    2020-05-18 12:22 分类:大数据
  • HBase应用

    太多column family的影响 每个 MemoryStore分配到的内存较少,进而导致过多的合并,影响性能   几个column family比较合适呢 推荐是:1-3个 划分column family的原则: 1、是否具有相似的数据格式 2、是否具有相似的访问类型 例子一: 相...[详细]

    2020-05-18 11:36 分类:大数据
  • HBase 系列(九)——HBase 容灾与备份

    一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable、Export/Import、Snapshot。分别介绍如下: 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中,具有以下特点: 支持时间区间 、row 区间 、改变...[详细]

    2020-05-17 22:04 分类:大数据