运维开发网

kafka

0
  • kafka配置-----broker配置

    这部分内容对了解系统和提高软件性能都有很大的帮助,kafka官网上也给出了比较详细的配置详单,但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的,配置都有英文注释,所以每一部分是干什么的就不翻译了,都能看懂: 001 ...[详细]

    2020-03-05 12:02 分类:大数据
  • kafka第六篇---多个进程读不齐

    问题: 4台kafka组成的集群,多余5个进程读的话,造成偏移不齐。 解决办法: 用小于4个进程执行,如果执行够快,就可以追得上[详细]

    2020-03-05 11:37 分类:大数据
  • Kafka 分布式环境搭建

    这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重...[详细]

    2020-03-05 11:28 分类:大数据
  • 【Apache Kafka】KAFKA分布式消息系统

    转载自:http://blog.chinaunix.net/uid-20196318-id-2420884.html Kafka[1]是linkedin用于日志处理的分布式消息队列,linkedin的日志数据容量大,但对可靠性要求不高,其日志数据主要包括用户行为(登录、浏览、点击、分享、喜欢)以及系...[详细]

    2020-03-05 11:06 分类:大数据
  • kafka + jstorm版本升级安装(三)

    版本升级 (使用stable最新版)zookeeper-3.4.5 --->>> zookeeper-3.4.6发行日志:http://zookeeper.apache.org/doc/r3.4.6/releasenotes.htmlkafka_2.9.2-0.8.1   --->>> kafka_2.9.2...[详细]

    2020-03-05 11:01 分类:大数据
  • kafka学习之二

    要点如下 1.日志的存储分区追加方式 2.offSet, 3.生产者和消费者都能选择分区去发送 4.消息的传递有两种方式----队列和发布订阅的方式 5.为了保证在传输中的整体顺序,分区数设置为1,此时的消费者就是一个了;如果分区多,kafka异步传输...[详细]

    2020-03-05 10:55 分类:大数据
  • kafka学习之路

    本文主要关注why-->what---->How 1Why?为什么要学习kafka? 主要基于kafka的诸多应用:诸多大公司都在用如:淘宝、LinkedIn a.kafka在我们进行消息处理的时候吞吐量大,及每秒钟转发数据量大,多大? Kafka每秒可以生产约25万消息...[详细]

    2020-03-05 10:45 分类:大数据
  • 快速理解SAMZA, streaming on kafka

    作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ == 是什么 ==   要了解Samza,最好先了解Kafka : http://www.voidcn.com/article/p-xdqdllwt-ep.html   samza是一个分布式的流...[详细]

    2020-03-05 10:39 分类:大数据
  • 快速理解Kafka分布式消息队列框架

    作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ ==是什么 ==   简单的说,Kafka是由Linkedin开发的一个分布式的消息队列系统(Message Queue)   目标Scope(解决什么问题)   ...[详细]

    2020-03-05 10:29 分类:大数据
  • zookeeper以及kafka环境的搭建  

    linux上的系统环境变量  在安装zookeeper时不需要配置1. 下载zookeeper二进制安装包(可以下载附件内容或者到官网下载http://www.apache.org/dyn/closer.cgi/zookeeper/) 2解压到linux上任意一路径  本文新建在了/home/...[详细]

    2020-03-05 10:26 分类:大数据