运维开发网

kafka

0
  • Kafka consumer rebalance解析

    线上使用Kafka0.72+Flume-ng 1.4的消息架构;流入到HDFS使用的Flume根据容量分析使用率太低了,决定从8个实例缩减到4个实例,在down实例的过程中的消息流入量per sec如下图: 这个Kafka的Topic共有10个partitions;在down实例的时候发生了...[详细]

    2020-03-05 10:17 分类:大数据
  • kafka 监控之mx4j-tool

    线上运行kafka集群,集群运行状态察看是非常必要的。kafka本身在该方面也做的比较到位,目前从源码级反应我们可以大致有两种方式。我下面一一细说。       kafka源码包中有kafka.tools.JmxTool.scala,部分代码如下: object JmxTool...[详细]

    2020-03-05 10:09 分类:大数据
  • kafka producer 中partition 使用方式

    为了更好的实现负载均衡和消息的顺序性,kafka的producer在分发消息时可以通过分发策略发送给指定的partition。实现分发的程序是需要制定消息的key值,而kafka通过key进行策略分发。      为了更好的弄清楚相关原理,我们从kafka本身...[详细]

    2020-03-05 10:02 分类:大数据
  • librdkafka 0.8 源码解析与bug分析

    librdkafka 0.8 的官网 https://github.com/edenhill/librdkafka/tree/0.8-wip 这份代码是我现在能够看到的最新的代码,在未来的版本中代码会发生改动。为了方便查看我现在所分析的源码,我已经将它上传到资源http://download.csdn.net/d...[详细]

    2020-03-05 09:53 分类:大数据
  • kafka第四篇--快速入门(如何使用kafka)

    Quick Start Step 1: Download the code Download  the 0.8 release. > tar xzf kafka-<VERSION>.tgz > cd kafka-<VERSION> > ./sbt update > ./sbt package > ./sbt assembly-package-dependency This tut...[详细]

    2020-03-05 09:36 分类:大数据
  • kafka第三篇--安装使用

    说明:直接下载二进制包可省略安装过程,省略很多麻烦。 1单机 安装 安装过程,参考官网: > tar xzf kafka-<VERSION>.tgz > cd kafka-<VERSION> > ./sbt update > ./sbt package > ./sbt assembly-package-d...[详细]

    2020-03-05 09:29 分类:大数据
  • kafka 源码调研系列1 特色

    kafka 相关调研很多,其中以FrankHui大神(http://my.oschina.net/ielts0909)的kafka系列文章非常精彩,悲催的是,前期调研时候没有看到,老老实实的看完了Apache kafka官方文档(http://kafka.apache.org/introduction.html),但还是云...[详细]

    2020-03-05 09:22 分类:大数据
  • Kafka 0.8的一些变化

    之前分享了一个英文版的变化,一直没时间去翻译,今天上了下kafka的官网发现0.8的代码能下载了,更值得关注的是0.8的相关文档也更新上来了,上面的一些变化还是很可喜的,说明这套系统还是有很大的利用价值的。 最重要的一个变化体现在一...[详细]

    2020-03-04 19:43 分类:大数据
  • Kafka的Producer和Consumer的示例(使用java语言)

    我使用的kafka版本是:0.7.2 jdk版本是:1.6.0_20 http://kafka.apache.org/07/quickstart.html官方给的示例并不是很完整,以下代码是经过我补充的并且编译后能运行的。 Producer Code import java.util.*; import kafka.message.Message...[详细]

    2020-03-04 18:11 分类:大数据
  • kafka.common.OffsetOutOfRangeException 问题处理

    昨天夜里,storm的一个程序出问题了,诚惶诚恐啊。报kafka.common.OffsetOutOfRangeException 异常: 分析一下原因: 是由于 kafka-spout 获取kafka的数据的时候获取不到,kafka 的 offset 超出现存的范围。 深入分析:         由于...[详细]

    2020-03-04 17:54 分类:大数据