运维开发网

HBase

0
  • hadoop – 无法确定zookeeper合奏的健康状况

    我在RHEL 5.5机器上设置了3节点Zookeeper cdh4集合.我已经通过在每个节点上运行zkServer.sh来启动该服务. ZooKeeper实例正在所有节点上运行,但我如何知道它是否是整体的一部分,还是作为单独的服务运行? 我试图在Cloudera的网站上启动该服...[详细]

    2020-05-17 18:20 分类:大数据
  • 单元测试 – HBase应用:通过模拟HBase进行单元测试

    我的应用程序中有一个方法是从HBase访问数据.它使用scan方法查询hbase.我想编写单元测试用例来测试这个函数.所以我想模仿hbase调用.怎么做?我正在使用Mockit进行嘲弄. 如果你正在使用Mockito,你可以存根你的类,让它们返回你想要的. 假设...[详细]

    2020-05-17 17:41 分类:大数据
  • hadoop – 使用pyspark流式传输到HBase

    关于使用 Scala进行Spark流媒体( these two特别有用)以及Java的一些信息,有大量关于批量加载到HBase的信息,但似乎缺乏使用PySpark进行此操作的信息.所以我的问题是: >如何使用PySpark将数据批量加载到HBase中? >任何语言的大多数...[详细]

    2020-05-17 17:02 分类:大数据
  • 用于Secure Hbase的Java客户端

    嗨,我正在尝试为安全的hbase编写一个 java客户端. 我想从代码本身做kinit,因为我使用的是用户组信息类. 任何人都可以指出我在哪里错了吗? 这是我试图连接o hbase的主要方法. 我必须在CONfiguration对象中添加配置而不是使用xml,因为客户...[详细]

    2020-05-17 16:04 分类:大数据
  • 如何将新节点添加到实时hbase / hadoop集群?

    我运行一些批处理作业,数据输入不断变化,我在配置容量方面遇到问题.我正在使用旋转进行初始设置但是一旦我开始,例如,5台机器我不知道如何在它运行时添加新机器.我事先不知道数据有多复杂或多大,所以我想知道是否有办法将新机器添加到集群...[详细]

    2020-05-17 15:31 分类:大数据
  • HBase的完全分布式搭建

    阅读声明:以下内容是结合网上材料及工作所写的个人理解,如有不当,欢迎大家指正~~~谢谢啦 一、HBase的安装模式   ①单机安装:不依赖于Hadoop的HDFS,配置完即可使用,好处是便于测试,坏处是不具备分布式数据存储的能力。   ②伪分...[详细]

    2020-05-17 14:33 分类:大数据
  • Hbase表两种数据备份方法

    Hbase表两种数据备份方法-导入和导出示例 本文将提供两种备份方法 —— 1) 基于Hbase提供的类对hbase中某张表进行备份 2) 基于Hbase snapshot数据快速备份方法 场合:由于线上和测试环境是分离的,无法在测试环境访问线上库,所以需要将线...[详细]

    2020-05-17 14:05 分类:大数据
  • HBase 2.1.3 集群 web 报错InvalidProtocolBufferException 解决方法

    搭建好HBase 集群后,各种后台进程都正常,搭建手册参考: Hbase 2.1.3 集群搭建手册 https://www.cndba.cn/dave/article/3322   但是通过web访问,却报如下错误:   2019-03-05 23:13:49,508 WARN [qtp1911600942-82] servlet.Servle...[详细]

    2020-05-17 13:55 分类:大数据
  • HBase(二)——搭建Standalone HBase

    HBase搭建--Standalone HBase 1、搭建方式说明 the setup of a single-node standalone HBase. A standalone instance has all HBase daemons — the Master, RegionServers, and ZooKeeper — running in a single JVM persist[详细]

    2020-05-17 13:39 分类:大数据
  • HBase(三)——搭建Fully-distributed

    HBase搭建--Fully-distributed 1、搭建方式说明 By default, HBase runs in standalone mode. Both standalone mode and pseudo-distributed mode are provided for the purposes of small-scale testing. For a production e[详细]

    2020-05-17 13:36 分类:大数据