运维开发网

kafka

0
  • hadoop kafka install multi-borker (7)

    multi-borker function like cluster technology   First we make a config file for each of the brokers (on Windows use the copy command instead > cp config/server.properties config/server-1.properties >[详细]

    2020-05-08 18:10 分类:大数据
  • spark Streaming与kafka的集成消费

    Spark 2.3.3    Kafka   2.11-1.0.2        Java  jdk1.8.0_191           Hbase 1.2.11 from pyspark import SparkConf,SparkContext from pyspark.streaming import StreamingContext from pyspark.streaming.kafk[详细]

    2020-05-08 10:08 分类:大数据
  • Kafka群集部署

    一、环境准备主机名IP运行服务kafka1192.168.171.131kafka+zookeeperkafka2192.168.171.134kafka+zookeeperkafka3192.168.171.135kafka+zookeeper二、部署zookeeper服务源码包(提取码:6q58)1、kafka1配置如下#部署zookeeper[root@kafk...[详细]

    2020-05-08 09:42 分类:云计算
  • Spark-Streaming DirectKafka count 案例

    Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似,只不过这里使用的是 Direct 的方式,Direct方式使用的 kafka 低级API,不同的地方主要是在 createDirectStream这里。 统计代码如下 package com.hw.streaming import k...[详细]

    2020-05-08 09:28 分类:大数据
  • 基于Docker的日志分析平台(五)监控与报警

    X-Pack 简介 在 ElasticStack 出5.0之前,对于 ELK 的监控有着五花八门的解决方案,官方的插件也是各种变化,不仅名字乱而且还要一个个安装。当然,官方也考虑到了大家的疾苦,于是推出了 X-Pack 这个套件专门用来做监测。总共包含:安全...[详细]

    2020-05-07 19:55 分类:云计算
  • spark004

    SparkStreaming 1.课程目标 掌握SparkStreaming原理和架构 掌握DStream常用的操作 掌握SparkStreaming整合flume 掌握SparkStreaming整合kafka 2.SparkStreaming概念 SparkStreaming是用来开发实时数据处理程序的 SparkStreaming可以接入不...[详细]

    2020-05-07 18:15 分类:大数据
  • 001Spark消费Kafka数据,存入Kudu中

    package com.hqwx.app import java.util import com.alibaba.fastjson.{JSON, JSONObject} import com.hqwx.util.{MyInsertKuduUtil, MyRedisUtil, MyTimeUtil} import kafka.common.TopicAndPartition import kafka[详细]

    2020-05-07 17:50 分类:大数据
  • spark-08-SparkStraming简介与kafka0.8集群安装

    kafka0.8.2的安装 #################################################### 实时计算相关技术 Strom / JStrom Spark Streming Flink 实时性高 有延迟 实时性高 吞吐量较低 吞吐量高 吞吐量高 只能实时计算 离线+实时 离线+实时 算子比较少...[详细]

    2020-05-07 12:49 分类:大数据
  • Spark Streaming实时流处理项目实战

    let 课程地址 = " http://icourse8.com/SparkStreaming.html "; 章节信息 第1章 课程介绍 第2章 初识实时流处理 第4章 分布式发布订阅消息系统Kafka 第5章 实战环境搭建 第6章 Spark Streaming入门 第7章 Spark Streaming核心概念...[详细]

    2020-05-07 11:46 分类:大数据
  • 学习goim ,使用docker安装kafka 镜像

    本文的原文连接是: http://www.voidcn.com/article/p-mauinwoj-brm.html 未经博主允许不得转载。 博主地址是:http://blog.csdn.net/freewebsys 1,关于kafka goim 是一个golang 写的聊天系统,使用了kafka的中间件。 2,使用docker构建k...[详细]

    2020-05-07 09:33 分类:云计算