运维开发网

Hadoop

0
  • hbase常识及habse适合什么场景

    我们对于数据结构字段不够确定或杂乱无章很难按一个概念去进行抽取的数据适合用使用什么数据库?答案是什么,如果我们使用的传统数据库,肯定留有多余的字段,10个不行,20个,但是这个严重影响了质量。并且如果面对大数据库,pt级别的数...[详细]

    2020-04-08 10:09 分类:大数据
  • HBase涔婱emstore鍒峰啓

    聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽聽 浣滆€咃細Aaron_Wjf Hbase涓奟egionserver鐨勫唴瀛樺垎涓轰袱涓儴鍒嗭紝涓€閮ㄥ垎浣滀负Memstore锛屼富瑕佺敤鏉ュ啓锛涘彟澶栦竴閮ㄥ垎浣滀负BlockCach...[详细]

    2020-04-08 10:06 分类:大数据
  • hbase编程指南

    hbase编程指南 @(HBASE)[hbase, 大数据] hbase编程指南 一概述 一创建项目 1pomxml 2在eclipse中运行的注意事项 3关于addResource的说明 二Best Practices 三常用API 一创建Configuration及Connection对象 二表管理 1创建表 2判断表是否存...[详细]

    2020-04-08 10:01 分类:大数据
  • HadoopHelper使用说明

    HadoopHelper使用说明 @(HADOOP)[hadoop] 1、获取某个HDFS目录的du大小 官方竟然没有提供API。 public long getDirSize(String dir) throws IOException { Long blockSize = 0L; FileSystem fs = FileSystem.get(URI.create(dir)...[详细]

    2020-04-08 09:57 分类:大数据
  • 在hadoop中传递变量

    在hadoop中传递变量 @(HADOOP)[hadoop] 在主类中定义的变量,如定义了一个outputname,需要将其写入conf分发至其它nodemanager: Configuration conf = new Configuration(); //需要将变量分发至所有的nodemanager conf.set("...[详细]

    2020-04-08 09:55 分类:大数据
  • Hadoop使用MultipleOutputs输出多文件或者指定命名

    Hadoop使用MultipleOutputs输出多文件或者指定命名 @(HADOOP)[hadoop] (一)输出多文件(未测试) 比如将不同国家的信息分别输出到一份对应的文件中。 1、在reduce或map类中创建MultipleOutputs对象,将结果输出 class reduceStatistics...[详细]

    2020-04-08 09:51 分类:大数据
  • HBase 1.x Coprocessor使用指南

    HBase 1.x Coprocessor使用指南 @(HBASE)[hbase] HBase 1x Coprocessor使用指南 一概述 1起因Why HBase Coprocessor 2灵感来源 Source of Inspration 3细节剖析Implementation 1观察者Observer 2终端Endpoint 二Observer 一示例 1准备类文...[详细]

    2020-04-08 09:46 分类:大数据
  • hbase获取region以及读取每个region的第一行

    hbase获取region以及读取每个region的第一行 @(HBASE)[hbase] 1、通过HRegionInfo可以获取region的详细信息 2、Scan#setBatch(1)可以指定每次读取多少行,但必须马上Scan#close(),否则会一直读下去。 private static void checkTable(St...[详细]

    2020-04-08 09:43 分类:大数据
  • 编译Hadoop并给HBase应用Snappy本地库

    编译方法: 官方文档(英文,对基础知识要求较高) https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/NativeLibraries.html 开发者头条文档(中文,内容写的很具体) https://toutiao.io/posts/luh8tq/preview ...[详细]

    2020-04-08 09:39 分类:大数据
  • hbase phoenix 插入数据

    hbase phoenix批量插入数据例子:http://www.voidcn.com/article/p-damnftus-ber.html hbase phoenix 插数据 https://github.com/wayss000/PracticeCode/tree/master/SQL/PhoenixInsertHBase[详细]

    2020-04-08 09:34 分类:大数据