运维开发网

HBase

0
  • 与REST / Thrift相比,为何HBase Java Client速度较慢

    我正在HBase Java客户端/ Thrift / REST接口上运行一些性能测试. 我有一个名为“航空公司”的表,有500K行. 我通过4个不同的Java程序从表中获取所有500K行. (使用JAVA Client,Thrift,Thrift2和REST) 以下是具有各种提取大小的性能数字. 对...[详细]

    2020-05-16 17:29 分类:大数据
  • 如何使用HBase和Hadoop来提供实时流量并执行分析? (单个群集与单独的群集?)

    我们的主要目的是使用Hadoop进行分析.在这个用例中,我们进行批量处理,因此吞吐量比延迟更重要,这意味着HBase不一定非常适合(尽管接近实时分析确实听起来很吸引人).我们正在玩Hive,到目前为止我们都喜欢它. 虽然分析是我们希望在不久的将来...[详细]

    2020-05-16 15:42 分类:大数据
  • 如何在文本文件中转储hbase表?

    我需要在HBase中转储一个表并以文本文件/ csv格式需要它吗?我在HBase shell中寻找扫描,导出和获取命令,但它不起作用. 有很多方法可以从HBase表中获取数据,例如运行导出映射/减少作业.你可以在这里阅读这个和其他 http://blog.sematext.c...[详细]

    2020-05-16 15:35 分类:大数据
  • hadoop – HBase中的压缩

    我正在使用HBase存储大量传感器数据. 我试图使用txt文件来存储我的传感器数据,对于20MB的文件,如果我压缩它,它将减少到1MB的磁盘. 我的问题是:HBase本身在将数据存储到磁盘时会自动进行压缩吗? 谢谢 你可以使用lzo,gzip或snappy进行hba...[详细]

    2020-05-16 15:15 分类:大数据
  • hadoop – 使用coprocesor HBase创建二级索引

    我一直在尝试编写自己的协处理器,使用prePut钩子创建二级索引.首先,我一直在努力让prePut协处理器工作.到目前为止,我可以将协处理器添加到传递给它的put对象.我发现我无法让协处理器写入与传入的put对象写入的行分开的行.显然要创建一个二...[详细]

    2020-05-16 14:34 分类:大数据
  • 如何在HBase 0.96.0下使用avro?

    我的项目正在使用Avro与其他项目集成.该项目开始使用HBase,使用一些HBase Avro API会很有用,但根据 HBASE-6653,在HBase 0.96.0中删除了avro网关支持. 是否有可能在开源土地的任何地方找到这个网关?我正在挖掘github和* .apache.org,但没...[详细]

    2020-05-16 14:32 分类:大数据
  • HIVE JOIN不起作用

    JobTracker和TaskTracker正在运行,简单的查询正在运行! 它的’metaore是 mysql并与hbase-0.94.16集成. 我的桌子是外部的 我的加入查询: SELECT * FROM t1 JOIN t2 ON (t1.key = t2.key); 要么 SELECT * FROM t1 x JOIN t2 y ON (x.key...[详细]

    2020-05-16 13:40 分类:大数据
  • hbase – Nutch 2.x没有抓取像flipkart和jabong这样的网站

    我已经做了一些实验,用nutch来抓取没有任何ajax调用的网站,我得到了所有的数据. 我执行了以下步骤来获取数据. > user @ localhost:〜/ sample / nutch / runtime / local / bin $./nutch inject /path/to/the/seed.txt > $:./ .n...[详细]

    2020-05-16 13:37 分类:大数据
  • HBase Zookeeper关闭连接

    我正在尝试创建一个在Apache Tomcat上运行的简单Web服务,并且只有一个操作可以进行HBase表扫描. 这是我如何得到配置: Configuration config = HBaseConfiguration.create(); config.set("hbase.zookeeper.quorum", "hdp-nod...[详细]

    2020-05-16 11:27 分类:大数据
  • asynchbase教程?

    StumbleUpon有一个他们称之为 AsynchBase的HBase库 – 他们将它用于他们的 OpenTSDB项目. 它似乎非常适合作为HBase的库,但我似乎无法找到任何关于AsynchBase的教程.有谁知道一个好的? 我知道这不是你想要的,但这里是一个scala示例,因为回...[详细]

    2020-05-16 10:56 分类:大数据