HBase
-
HBase/TiDB都在用的数据结构：LSM Tree，不得了解一下？
LSMTree（Log-structuredmerge-tree）广泛应用在HBase，TiDB等诸多数据库和存储引擎上，我们先来看一下它的一些应用：这么牛X的名单，你不想了解下LSMTree吗？装X之前，我们先来了解一些基本概念。设计数据存储系统可能需要考虑的一些问题...[详细]
2020-08-15 08:52 分类：编程语言 基于springboot集成hbase过程解析
这篇文章主要介绍了基于springboot集成hbase过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下[详细]
2020-08-11 13:29 分类：编程语言scala – 构建一个火花流示例应用程序
我正在尝试构建一个简单的spark作业,它从kafka集群读取,计算Hbase中的单词和存储. 我使用的代码基于此处的示例： Importing data in Hbase using Spark and Kafka 这是scala代码： package org.example.main import java.util.Propertie...[详细]
2020-07-26 09:50 分类：编程语言scala – 使用Spark批量加载到Phoenix
我试图编写一些实用程序来通过Spark RDDs中的HFiles批量加载数据. 我从凤凰采取了CSVBulkLoadTool的模式.我设法生成了一些HFile并将它们加载到HBase中,但我看不到使用sqlline的行(例如使用hbase shell它是可能的).对于任何建议我都会感激...[详细]
2020-07-24 12:57 分类：编程语言在线仓库 nfs网络文件系统！
-----------yum 本地仓库----------umount /dev/sr0mount /dev/sr0 /mediacd /etc/yum.r*mkdir amv C* acat > local.repo<<EOF[hfh]name=hfhbaseurl=file:///mediaenable=1gpgcheck=0EOFyum clean allyum m[详细]
2020-07-11 14:43 分类：Linux在Linux中结合HBase和HDFS会在makeDirOnFileSystem中导致异常
介绍 尝试将HBase和HDFS结合使用会产生以下结果： 2014-06-09 00:15:14,777 WARN org.apache.hadoop.hbase.HBaseFileSystem: Create Dir[详细]
2020-07-07 11:26 分类：Linux-
10大HBase常见运维工具整理小结
摘要：HBase自带许多运维工具，为用户提供管理、分析、修复和调试功能。本文将列举一些常用HBase工具，开发人员和运维人员可以参考本文内容，利用这些工具对HBase进行日常管理和运维。[详细]
2020-07-05 11:13 分类：Linux scala – 在Spark工作中写入HBase：存在类型的难题
我正在尝试编写一个应该将其输出放入HBase的Spark作业.据我所知,正确的方法是在org.apache.spark.rdd.PairRDDFunctions上使用saveAsHadoopDataset方法 – 这要求我的RDD由对组成. saveAsHadoopDataset方法需要一个JobConf,这就是我想要构...[详细]
2020-06-19 10:46 分类：编程语言scala – Spark在InputSplit for Hbase期间给出Null指针异常
我使用的是Spark 1.2.1,Hbase 0.98.10和Hadoop 2.6.0.从hbase检索数据时,我得到了一个零点异常. 在下面找到堆栈跟踪. [sparkDriver-akka.actor.default-dispatcher-2] DEBUG NewHadoopRDD – Failed to use InputSplit#getLocationInfo. ...[详细]
2020-06-13 16:59 分类：编程语言-
Redis持久化的取舍和选择
七.Redis持久化的取舍和选择 1.持久化的作用 2.什么是持久化：redis所有数据保持在内存中，对数据的更新将异步地保存到磁盘上 3.持久化的实现方式 方式一：快照 实现方式一：mysql dump 实现方式二：redis RDB 方式二：写日志 实现方式一...[详细]
2020-06-11 15:04 分类：大数据
加载中,请稍侯......