运维开发网

初识kafka

运维开发网 https://www.qedev.com 2020-03-12 13:42 出处:网络 作者:运维开发网整理
什么是Apache kafka?      系统应用用户的活动数据、请求数据、交互数据、运行维护数据如性能监测、服务器CPU指标这些大量的数据都在无时无刻的产生,Kafka便是有着一套成熟的消息处理方案的消息系统,支持高吞吐量的分布式发布订阅消息模式,它可以处理消费者规模的网站中的所有动作流数据。也是Apache的顶级开源框架。 应用领域      已被多家公司用作多类型的数据管道和消息系统,如淘

什么是Apache kafka?

     系统应用用户的活动数据、请求数据、交互数据、运行维护数据如性能监测、服务器CPU指标这些大量的数据都在无时无刻的产生,Kafka便是有着一套成熟的消息处理方案的消息系统,支持高吞吐量的分布式发布订阅消息模式,它可以处理消费者规模的网站中的所有动作流数据。也是Apache的顶级开源框架。

应用领域

     已被多家公司用作多类型的数据管道和消息系统,如淘宝、支付宝、百度等;并且一些大数据计算框架如笔者前面介绍的storm、spark都支持与kafka的集成。主要应用场景是kafka作为消息接受系统,将负责接收大量数据,传输给storm进行数据计算处理。

初识kafka

     具体在项目中的应用部署,kafka主要应用在数据计算框架和客户端请求中间,前端程序将消息push到Kafka 服务器集群的某一broker中,通过订阅模式,数据处理框架从Kafka中获取数据进行计算。

Kafka相关概念

AMQP协议:

     Advanced Message Queuing Protocol,高级消息队列协议提供了消息交互规范,它和kafka或这rabbitMQ、activeMQ的关系就类如JPA规范和hibernate以及多个实现JPA规范的持久层框架一样。

kafka架构:

     Producer:消息生产者,负责发布消息到Kafka broker

     Broker :Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.

     Consumer:消息消费者,向Kafka broker读取消息。

初识kafka

kafka的消息分两个层次:

Topic:

     Kafka将消息以topic为单位进行组织。如同生活中我们将消息分类为娱乐消息、体育消息、财经消息,kafka将一种消息类别组织为一个topic,一般系统以不同业务将消息进行topic划分。

Partition:

     一个topic中的消息数据按照多个分区进行组织,分区是kafka消息队列的最小组织单位。按照先进先出FIFO队列进行消息管理。

初识kafka

Kafka消息处理流程

初识kafka

1
 
0
猜你在找
Ceph—分布式存储系统的另一个选择
Storm应用开发系列从入门到精通
Python自动化开发基础 分布式监控系统开发实战 day8
全网首套_Spring&SpringMVC;&JPA;&SpringData; 整合案例视频
微信公众平台企业号开发Java版_4管理通讯录与发送消息
查看评论
1楼  邱慕夏昨天 21:45发表 [回复]

初识kafka

哎呀,不错啊,棒棒哒,学习了!!!
发表评论
  • 用 户 名:
  • linxi1209163com
  • 评论内容:
  • 初识kafka

      
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
核心技术类目
全部主题  Hadoop  AWS  移动游戏  Java  Android  iOS  Swift  智能硬件  Docker  OpenStack  VPN  Spark  ERP  IE10  Eclipse  CRM  JavaScript  数据库  Ubuntu  NFC  WAP  jQuery  BI  HTML5  Spring  Apache  .NET  API  HTML  SDK  IIS  Fedora  XML  LBS  Unity  Splashtop  UML  components  Windows Mobile  Rails  QEMU  KDE  Cassandra  CloudStack  FTC  coremail  OPhone  CouchBase  云计算  iOS6  Rackspace  Web App  SpringSide  Maemo  Compuware  大数据  aptech  Perl  Tornado  Ruby  Hibernate  ThinkPHP  HBase  Pure  Solr  Angular  Cloud Foundry  Redis  Scala  Django  Bootstrap
    个人资料

    初识kafka 

    钟艾伶  

    初识kafka

    • 访问:39285次
    • 积分:3457
    • 等级: 

      初识kafka

    • 排名:第5799名
    • 原创:119篇
    • 转载:4篇
    • 译文:0篇
    • 评论:1597条
    文章搜索
    文章分类
  • 【Mybatis】(4)
  • 【MongoDB】(6)
  • 【EJB】(6)
  • 【Spring MVC】(6)
  • 【项目管理】(6)
  • 【版本控制】(3)
  • 【Java】(37)
  • 【多线程】(3)
  • 【单元测试】(6)
  • 【项目收获】(14)
  • 【设计模式】(7)
  • 【敏捷开发】(2)
  • 【SSH架构】(17)
  • 【.NET】(8)
  • 【UML】(7)
  • 【工作流】(0)
  • 【项目开发工具】(0)
    文章存档
  • 2016年03月(6)
  • 2016年02月(9)
  • 2016年01月(17)
  • 2015年12月(9)
  • 2015年11月(6) 展开
    阅读排行
  • SQL sever 与 v b 的连接——学生信息管理系统DSN(1080)
  • VB实时错误'3021' BOF \EOF(921)
  • C#错误和异常处理(846)
  • 再谈软工文档(816)
  • C#运算符重载(800)
  • 学生信息管理系统总结(791)
  • C#之面向对象(738)
  • DateDiff函数解析(734)
  • 工厂方法模式VS简单工厂(731)
  • 设计模式之设计原则(一)(726)
    评论排行
  • MongoDB基础篇——走进非关系型数据库mongoDB(69)
  • .Net/Java面试总结(65)
  • 我的1314(51)
  • 工厂方法模式VS简单工厂(41)
  • 饿汉懒汉都是好汉——单例模式(40)
  • 初识.NET —— 总结很重要(40)
  • 设计模式——怎么就给分成三类了呢?(39)
  • C#运算符重载(36)
  • UML总结(36)
  • C#之面向对象(35)
    推荐文章
    • *Viewpager实现底部滑动菜单,同时取消预加载
    • *几种软负载均衡策略分析
    • *浅谈Storm流式处理框架
    • *阿里2016实习offer五面经验与总结
    • *手把手教你打造一个心电图效果View Android自定义View
    • *三十分钟理解博弈论“纳什均衡” -- Nash Equilibrium
    最新评论
  • 什么是REST?以及RESTful的实现

    邱慕夏: 不错不错,学习了!!!

  • 高并发负载均衡(一)——企业架构分析和DNS

    邱慕夏: 真的很棒,学习了!!!

  • Kafka分布式消息系统
0

精彩评论

暂无评论...
验证码 换一张
取 消