运维开发网

kafka

0
  • kafka入门-----第一篇

    crazyhacking点评: 本文作为kafka入门教程写的很好。 而且作者还有后续的多篇文章。地址请参考本文最后。 下面的概念有些不准,事实上,kafka producer发送消息到topic上,consumer到topic上取消息。(topics运行在具体的broker(或者说是...[详细]

    2020-03-04 12:53 分类:大数据
  • KAFKA入门----第二篇

    Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系统运行日志(CPU、内存、磁盘、网络、系统及进程状态)。   当前很...[详细]

    2020-03-04 12:18 分类:大数据
  • KAFKA:如何做到1秒发布百万级条消息

    KAFKA是分布式发布-订阅消息系统,是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 现在被广泛地应用于构建实时数据管道和流应用的场景中,具有横向扩展,容错,快等优点,并已经运行在众多大中型...[详细]

    2020-03-04 11:49 分类:大数据
  • Kafka.network包源码解读

    最近阅读了kafka network包的源码,主要是想了解下kafka底层通信的一些细节,这部分都是用NIO实现的,并且用的是最基本的NIO实现模板,代码阅读起来也比较简单。抛开zookeeper这部分的通信不看,我们就看最基本的producer和consumer之间的...[详细]

    2020-03-04 11:29 分类:大数据
  • Kafka Producer端封装自定义消息

    这篇文章主要讲kafka producer端的编程,通过一个应用案例来描述kafka在实际应用中的作用。如果你还没有搭建起kafka的开发环境,可以先参考:<kafka开发环境搭建> 首先描述一下应用的情况:一个站内的搜索引擎,运营人员想知道某一...[详细]

    2020-03-04 10:22 分类:大数据
  • Kafka开发环境搭建

    如果你要利用代码来跑kafka的应用,那你最好先把官网给出的example先在单机环境和分布式环境下跑通,然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提: 1.  简单了解kafka功...[详细]

    2020-03-04 10:06 分类:大数据
  • Kafka broker配置介绍

    这部分内容对了解系统和提高软件性能都有很大的帮助,kafka官网上也给出了比较详细的配置详单,但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的,配置都有英文注释,所以每一部分是干什么的就不翻译了,都能看懂: /** ...[详细]

    2020-03-04 09:43 分类:大数据
  • Kafka实现细节(下)

    在这一篇,我想主要写点儿kafka的存储,以及对前文kafka的分布式一些补充,kafka的应用中,分布式使用是一个很关键的主题,更好的理解producer、broker和consumer的分布式构建有利于提高系统整体的性能。这部分理论其实很简单,所以就不花...[详细]

    2020-03-03 14:25 分类:大数据
  • 消息系统kafka及其变种Jafka、Metamorphosis (MetaQ)

    1、Kafka : 基于scala kafka是一个发布订阅的消息系统,关注于海量数据、性能和吞吐量,不关注可靠性和事务。 -------------------- 以下内容来自oschina的介绍 kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性: 通过O(1)的...[详细]

    2020-03-03 14:07 分类:大数据
  • Kafka实现细节(上)

    如果你第一次看kafka的文章,请先看《分布式消息系统kafka初步》 之前有人问kafka和一般的MQ之间的区别,这个问题挺难回答,我觉得不如从kafka的实现原理来分析更为透彻,这篇将依据官网上给出的design来详细的分析,kafka是如何实现其高...[详细]

    2020-03-03 13:00 分类:大数据