运维开发网

kafka

0
  • kafka0.8的一些变动,先收藏,慢慢翻译

    0.8 is a huge step forward in functionality from 0.7.x. There are still some rough edges and likely some bugs, but we are feature complete and are beginning the process of rolling it out to various te[详细]

    2020-03-04 17:19 分类:大数据
  • KAFKA分布式消息系统

    KAFKA分布式消息系统 2011-08-28 18:32:46 分类: LINUX Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志...[详细]

    2020-03-04 17:05 分类:大数据
  • Kafka&MetaQ

    Memorphosis介绍: Memorphosis是一个消息中间件,它是linkedin开源MQ------ kafka的Java版本,针对淘宝内部应用做了定制和优化。 Memorphosis做到了啥: 顺序(没做到,只能保证先进先出) 安全(部分如磁盘掉电会最多丢失1000条消息或1...[详细]

    2020-03-04 16:47 分类:大数据
  • Kafka设计理念浅

    本文转载自:Kafka设计理念浅 本文将从以下两个方面去尝试讲解Kafka的设计理念,主要参考文献在这里: Kafka设计背景及原因 Kafka的设计特色 Kafka设计背景及原因 Kafka最初被LinkedIn设计来处理活动流数据(activity stream data)和系统处...[详细]

    2020-03-04 16:27 分类:大数据
  • Kafka Replication

    Kafka Replication High-level Design Replica placements Initial placement Incrementally add brokers online Take brokers offline Data replication Related work Synchronous replication Writes Reads Failur[详细]

    2020-03-04 15:56 分类:大数据
  • kafka系列文章索引

    apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现,这里写个索引,关于kafka的文章暂时就更新到这里,最近利用空闲时间在对kafka做一些功能性增强,并java化,虽然现在已经有很多这样的版本,但是根据实际需求来改变...[详细]

    2020-03-04 15:36 分类:大数据
  • Kafka producer使用注意

    最近在测试kafka性能的时候特别对kafka的producer端进行了一些扩展,本想着针对多个业务开发多个producer进行并行的生产数据,并通过统一的线程池进行管理,结果在用jconsole进行观察的时候,发现线程数一路飙升。 本以为一个简单的发送端...[详细]

    2020-03-04 14:59 分类:大数据
  • kafka 多台consumer 实验

    最近和实验室哥们儿在搞storm kafka的东西。 两者始终不能连接起来。 突然想到以前自己写consumer的demo的时候,仅仅是一台机子在pull 数据,从来没有试过用属于同一个group的consumer(部署在多台机子上)去pull数据,于是今天准备做个实验...[详细]

    2020-03-04 14:40 分类:大数据
  • Kafka Consumer端的一些解惑

    最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafka Producer端的程序,也就是日志的生产者,这部分比较容易理解,业务系统将运行日志或者业务日志发送到broker中,由broker代为存储。那讲...[详细]

    2020-03-04 13:50 分类:大数据
  • 消息系统kafka及其变种jafka、Metamorphosis(MetaQ)

    1、Kafka : 基于scala kafka是一个发布订阅的消息系统,关注于海量数据、性能和吞吐量,不关注可靠性和事务。 -------------------- 以下内容来自oschina的介绍 kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的...[详细]

    2020-03-04 13:15 分类:大数据