运维开发网

kafka

0
  • Kafka分布式环境搭建

    这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重...[详细]

    2020-03-03 12:31 分类:大数据
  • Kafka学习笔记

    关于kafka的架构图在之前的一篇文章中有: http://wiki.corp.qunar.com/pages/viewpage.action?pageId=27866816 kafka的一些设计理念: 1、关注大吞吐量,而不是别的特性 2、针对实时性场景 3、关于消息被处理的状态是在consumer端维护,...[详细]

    2020-03-03 11:58 分类:大数据
  • kafka数据可靠性深度解读

    1 概述   Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式系统,易于向外扩展; 它同时为发布和订阅提供高吞吐量; 它支持多订阅者,当失败时能自动平衡消费者; 它将消息持久化到磁盘,因此可用于批量消费,例如ETL以及实...[详细]

    2020-03-03 11:15 分类:大数据
  • kafka 介绍

    1. Why we built this     asd(activity stream data)数据是任何网站的一部分,反映网站使用情况,如:那些内容被搜索、展示。通常,此部分数据被以log方式记录在文件,然后定期的整合和分析。od(operation data)是关于机器性能数...[详细]

    2020-03-03 10:38 分类:大数据
  • 消息系统Kafka介绍

    作者: Dong | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及 版权声明 网址: http://dongxicheng.org/search-engine/kafka/ 1、  概述 Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的...[详细]

    2020-03-03 10:04 分类:大数据
  • Kafka 起步

    到Apache Kafka官方网上下载 kafka-0.7.0-incubating-src.tar.gz 解压  kafka-0.7.0-incubating-src.tar.gz 得到kafka-0.7.0-incubating-src.tar.gz 下面运行自带的控制台例子 首先修改config下面的producer.properties文件 broker.li...[详细]

    2020-03-03 09:37 分类:大数据
  • 最近对kafka的移植工作

    Kafka这个linkedin开源的MQ,我在过去的blog简单介绍过。最近3周来,我的工作就是做它的一个Java移植版本,kafka是用scala写的,基于维护和定制的角度,这个拷贝的版本还是用Java。说拷贝,也不尽然,原理相同,但实现完全换过,从数据结...[详细]

    2020-03-03 09:05 分类:大数据
  • [社群问答]“专家坐诊”第25期问答汇总

    一般来说,每次启动zabbix,都会自动生成这个pid文件的,如果没自动生成,说明有问题。[详细]

    2020-02-28 20:48 分类:Linux
  • kafka0.8.2.1常用命令

    kafka常用命令[详细]

    2020-02-28 14:28 分类:大数据
  • 谁是性能杀手?Kafka多Topic下启用SSL时延增大问题分析

    问题背景项目中将Kafka接口进行RESTful封装,在使用RESTful接口进行性能测试时,发现Topic数增多后,开启SSL与非SSL进行测试,发现开启SSL后性能下降得厉害。例如600个Topic总数每个Topic3分区3副本的场景下,使用1200个线程只发送10个To...[详细]

    2020-02-27 18:16 分类:云计算