运维开发网

kafka

0
  • Spark Streaming消费kafka,不同topic-join实时统计

    前言 习惯用了Spark Sql,做实时统计的时候,也想用Structured Streaming . 但发现一个特殊情况 目前Structured Streaming 不支持两个topic,join http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html 所以用...[详细]

    2020-04-17 20:51 分类:大数据
  • Spark Structured Streaming 自定义数据接入方式

    注:本人环境 :spark-2.2.0 ,hadoop 2.6.3, kafka 0.10.x.x        Spark  官方给出来的 Structured Streaming  Demo 是这样的: SparkSession spark = SparkSession.builder().appName("JavaStructuredKafkaWordCount")...[详细]

    2020-04-17 20:21 分类:大数据
  • Spark 2.x kafka LocationStrategies 的几种方式

    Spark  2.x  kafka  LocationStrategies 的几种方式。   1. LocationStrategies.PreferBrokers() 仅仅在你 spark 的 executor 在相同的节点上,优先分配到存在  kafka broker 的机器上;   2. LocationStrategies.PreferConsiste...[详细]

    2020-04-17 20:17 分类:大数据
  • 如何管理Spark Streaming消费Kafka的偏移量(三)

    前面的文章已经介绍了在spark streaming集成kafka时,如何处理其偏移量的问题,由于spark streaming自带的checkpoint弊端非常明显,所以一些对数据一致性要求比较高的项目里面,不建议采用其自带的checkpoint来做故障恢复。 在spark stre...[详细]

    2020-04-17 18:36 分类:大数据
  • kafka搭建

    依赖于zookeeper,先搭建好zookeeper 集群部署 1)解压安装包 tar -zxvf kafka_2.11-0.11.0.0.tgz 2)修改解压后的文件名称 mv kafka_2.11-0.11.0.0/  /usr/local/kafka 3)在/usr/local/kafka目录下创建logs文件夹  mkdir logs 4)修改...[详细]

    2020-04-17 16:57 分类:大数据
  • 从KafkaConsumer看看Kafka(一)

    ??Kafka的消息模型为发布订阅模型,消息生产者将消息发布到主题(topic)中,一个或多个消费者订阅(消费)该主题消息并消费,此模型中发布到topic中的消息会被所有消费者所订阅到,先介绍Kafka消费模型,然后再通过KafkaConsumer原来了解...[详细]

    2020-04-17 16:54 分类:大数据
  • kafka消费者

    kafka消费者 一个正常的消费逻辑需要具备以下几个步骤: 配置消费者客户端参数及创建相应的消费者实例。 订阅主题。 拉取消息并消费。 提交消费位移。 关闭消费者实例。 kafka消费者参数配置介绍 config-key config-explain bootstrap.se...[详细]

    2020-04-17 16:49 分类:大数据
  • 带你涨姿势的认识一下 Kafka

    摘自:https://www.cnblogs.com/cxuanBlog/p/11691953.html     Kafka 基本概述 什么是 Kafka Kafka 是一个分布式流式平台,它有三个关键能力 订阅发布记录流,它类似于企业中的消息队列 或 企业消息传递系统 以容错的方式存储记录流...[详细]

    2020-04-17 16:42 分类:大数据
  • Kafka副本机制

    一、什么是副本机制: 通常是指分布式系统在多台网络互联的机器上保存有相同的数据拷贝   二、副本机制的好处: 1、提供数据冗余 系统部分组件失效,系统依然能够继续运转,因而增加了整体可用性以及数据持久性 2、提供高伸缩性 支持横向...[详细]

    2020-04-17 16:39 分类:大数据
  • 消息中间件--kafka(1)安装部署

    一、概念 1、什么是kafka Kafka是由Apache软件基金会开发的一个开源的分布式流处理平台,由Scala和Java编写。Kafka是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),它可以处理消费者...[详细]

    2020-04-17 16:35 分类:大数据