运维开发网

kafka

0
  • log4j+flume+kafka实现日志收集

    1.Zookeeper集群配置 # hostname ip software notes 1 apollo.dt.com 192.168.56.181 zookeeper Kafka: broker.id=181 2 artemis.dt.com 192.168.56.182 zookeeper kafka: borker.id=182 3 uranus.dt.com 192.168.56.183[详细]

    2020-04-08 10:23 分类:大数据
  • [Kafaka Broker Configs]--log.retention.hours

    我们先看看官方最新说明: log.retention.hours  :The number of hours to keep a log file before deleting it (in hours), tertiary to log.retention.ms property log.retention.minutes:The number of minutes to keep a log[详细]

    2020-04-07 20:47 分类:大数据
  • kafka调试中遇到Connection to node -1 could not be established. Broker may not be available.

    之前刚安装玩kafka使用它自带的shell脚本 创建了一个topic:test 打开了test的一个生产者和一个消费者,测试是没有问题的,今天再次要调试突然报错: 创建一个生产者: bin/kafka-console-producer.sh --broker-list localhost:9092 --topic t...[详细]

    2020-04-07 20:43 分类:大数据
  • 用Kafka实时复制PostgreSQL里的最新数据

    转载来自: http://blog.confluent.io/2015/04/23/bottled-water-real-time-integration-of-postgresql-and-kafka/ Summary: Confluent is starting to explore the integration of databases with event streams. As par[详细]

    2020-04-07 20:39 分类:大数据
  • kafka+spark streaming代码实例(pyspark+python)

    一、系统准备 1.启动zookeeper:bin/zkServer.cmd start 2.启动kafka:bin/kafka-server-start.sh -daemon config/server.properties 3.启动spark:sbin/start-all.sh 数据来源:http://files.grouplens.org/datasets/movielens/ml-100k.[详细]

    2020-04-07 20:29 分类:大数据
  • 我的mqtt协议和emqttd开源项目个人理解(12) - Hook使用和连接Kafka发送消息,使用ekaf库

    一、工作环境准备 erlang kafka客户端库使用的是https://github.com/helpshift/ekaf emq使用的是v2.3.5版本,https://github.com/emqtt/emq-relx kafka的运行环境准备,http://blog.csdn.net/libaineu2004/article/details/79202408 我们...[详细]

    2020-04-07 20:25 分类:大数据
  • Kafka 知识点小结

    因为Kafka的每个Topic、每个分区都会对应一个物理文件。当Topic数量增加时,消息分散的落盘策略会导致磁盘IO竞争激烈成为瓶颈。 当producer向kafka写入基于key的消息时,kafka通过key的hash值来确定消息需要写入哪个具体的分区。通过这样...[详细]

    2020-04-07 20:18 分类:大数据
  • Kafka之——在CentOS上安装Kafka集群

    转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79315878 安装准备 版本 Kafka版本:kafka_2.11-0.9.0.0 Zookeeper版本:zookeeper-3.4.9 Zookeeper 集群:liuyazhuang121 liuyazhuang122 liuyazhuang123 Zookeeper集...[详细]

    2020-04-07 20:15 分类:大数据
  • kafka分布式消息平台的初探

    介绍 Kafka是一个分布式的流数据平台,可发布、订阅消息流,使用zookeeper进行集群管理。也可作为一个消息队列中间件,类似于RabbitMQ,ActiveMQ,ZeroMQ等。由LinkdIn开源,用Scala语言实现。 Kafka有如下特点: kafka利用线性存储来进行...[详细]

    2020-04-07 20:11 分类:大数据
  • Kafka解析之topic创建(2)

    前言 上一篇Kafka解析之topic创建(1)中的介绍了怎样创建一个topic以及对应的replica-assignment参数的一些使用细节,本文继续来讲述一下自动分配方案的具体算法实现,包括未指定机架的分配策略和指定机架的分配策略。 承接 如果在创建top...[详细]

    2020-04-07 20:08 分类:大数据