运维开发网

kafka

0
  • 基于Docker的日志分析平台(四)平台整合

    在上一篇中我们基本上完成了 ELK 和 Kafka 环境的安装,并且也通过几个简单的例子入门。现在我们就把搭建好的架构中加入 Kakfa 作为缓冲区。再来说一下,首先 Logstash 从日志源读取日志并且存储到 Kafka,然后 Logstash 再从 Kafka 中读...[详细]

    2020-05-07 08:37 分类:云计算
  • golang kafka client

    由于前面使用sarama 包,在高并发时遇到一些问题,尚未解决。改用confluent-kafka-go后,表现稳定。 简单介绍下confluent-kafka-go,kafka官网推荐的golang package。 confluent-kafka-go is Confluent’s Golang client for Apache Kafk...[详细]

    2020-04-29 20:31 分类:编程语言
  • 基于Docker的日志分析平台(一) 介绍

    1. 为什么要分析日志 传统的Web开发中,日志可能并不被重视,只有应用出现问题后,才会适时性的去看一眼。而且日志的储存方式也很简单,直接写入一个文本文件或者扔到数据库中就了事了。这样对于单机应用来说没有什么不可以的,可是当系统...[详细]

    2020-04-29 18:07 分类:云计算
  • 01、Scala介绍与安装

    01、Scala介绍与安装 1.1 Scala介绍 Scala是对java语言脚本化,特点是就是使不具备脚本化的java语言能够采用脚本化方式来使用,使其具有脚本语言简单、所见即所得的特点,并且编程效率高,实现速度快等特点。在大数据领域中,Spark和Kafk...[详细]

    2020-04-28 16:21 分类:编程语言
  • linux contos6.8下部署kafka集群的方法

    有3台服务器,ip分别为192.168.174.10,192.168.174.11,192.168.174.12。 1、官网下载,分别在每台机器上解压安装[详细]

    2020-04-28 14:15 分类:Linux
  • spark 0.8版本kafka 保存offset ,实现0数据丢失

    最近的项目还是用的老的kafka版本(0.8),用spark 接数据的时候,如果spark 程序意外重启,重启时间内的kafka数据会丢失。我们需要实现最少消费一次,数据重复没有关系。但不能允许丢失数据。 在 Spark Streaming 中消费 Kafka 数据的时...[详细]

    2020-04-28 13:26 分类:大数据
  • spark记录(18)SparkStreaming+kafka receiver和directed模式

    一、receiver模式 1 、receiver模式原理图 2 receiver模式理解: 在SparkStreaming程序运行起来后,Executor中会有receiver tasks接收kafka推送过来的数据。数据会被持久化,默认级别为MEMORY_AND_DISK_SER_2,这个级别也可以修改。receiv...[详细]

    2020-04-28 12:49 分类:大数据
  • 浅谈架构:kafka高吞吐量之消息压缩

    背景保证kafka高吞吐量的另外一大利器就是消息压缩。就像上图中的压缩饼干。压缩即空间换时间,通过空间的压缩带来速度的提升,即通过少量的cpu消耗来减少磁盘和网络传输的io。消息压缩模型消息格式V1kafka不会直接操作单条消息,而是直接...[详细]

    2020-04-27 09:49 分类:编程语言
  • kafka消息分区机制原理

    一、背景kafka如何支撑海量消息的集中写入?答案就是消息分区。核心思想是:负载均衡,采用合适的分区策略把消息写到不同的broker上的分区中;其它的产品中有类似的思想。比如monogodb,es里面叫做shard;hbase叫region,cassdra叫vnode;二、...[详细]

    2020-04-27 08:17 分类:编程语言
  • Spark Streaming接收Kafka数据存储到Hbase

    Spark Streaming接收Kafka数据存储到Hbase fly spark hbase kafka 主要参考了这篇文章https://yq.aliyun.com/articles/60712([点我])(https://yq.aliyun.com/articles/60712), 不过这篇文章使用的spark貌似是spark1.x的。我这里主要是改...[详细]

    2020-04-26 15:53 分类:大数据