运维开发网

kafka

0
  • Elasticsearch实战 | 必要的时候,还得空间换时间!

    1、应用场景 实时数据流通过kafka后,根据业务需求,一部分直接借助kafka-connector入Elasticsearch不同的索引中。 另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。如下图所示: 业务系统的分层结构可...[详细]

    2020-04-26 15:38 分类:大数据
  • spark-kafka-es交互 优化

    import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.streaming.Seconds import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kafk[详细]

    2020-04-26 15:29 分类:大数据
  • 在Logstash的配置文件中对日志事件进行区分

    1、多个日志文件作为输入源 input { # 通过给日志事件定义类型来区分 file { path => ["/var/log/nginx/access.log"] type => "nginx_access" start_position => "beginni...[详细]

    2020-04-26 14:27 分类:大数据
  • Flume 测试 Kafka 案例

    Flume Kafka 测试案例,Flume 的配置。 a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s1.type = netcat a1.sources.s1.bind = master a1.sources.s1.port = 44444 a1.channels.c1.type = memory[详细]

    2020-04-26 14:08 分类:大数据
  • Spark-streaming通过Receiver方式实时消费Kafka流程(Yarn-cluster)

    1.启动zookeeper 2.启动kafka服务(broker) [[email protected] kafka_2.11-0.10.2.1]# ./bin/kafka-server-start.sh config/server.properties 3.启动kafka的producer(前提:已经创建好topic [[email protected] kafka_2.11-0.10.2....[详细]

    2020-04-26 12:08 分类:大数据
  • spark-kafka-es交互

    import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.streaming.Seconds import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.kafk[详细]

    2020-04-24 20:48 分类:大数据
  • kafka节点迁移生产者客户端配置

    背景之前kafka集群都是采用配置较低的方式部署,当集群到达瓶颈的时候三两台加,对集群维护带来很难度,所以决定使用高配机替换低配机,固定一个集群的标准节点在20-30个之内,每个topic分配分区的时候根据节点数来分配,确保每个节点都有...[详细]

    2020-04-24 18:45 分类:Linux
  • 基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建

    随着公司业务发展,对大数据的获取和实时处理的要求就会越来越高,日志处理、用户行为分析、场景业务分析等等,传统的写日志方式根本满足不了业务的实时处理需求,所以本人准备开始着手改造原系统中的数据处理方式,重新搭建一个实时流处...[详细]

    2020-04-24 12:41 分类:大数据
  • Spark Streaming--实战篇

    摘要: Sprak Streaming属于Saprk API的扩展,支持实时数据流(live data streams)的可扩展,高吞吐(hight-throughput) 容错(fault-tolerant)的流处理。可以接受来自KafKa,Flume,ZeroMQ Kinesis Twitter或TCP套接字的数据源,处理的...[详细]

    2020-04-23 18:49 分类:大数据
  • Flink与Spark Streaming在与kafka结合的区别!

    本文主要是想聊聊flink与kafka结合。当然,单纯的介绍flink与kafka的结合呢,比较单调,也没有可对比性,所以的准备顺便帮大家简单回顾一下Spark Streaming与kafka的结合。 看懂本文的前提是首先要熟悉kafka,然后了解spark Streaming的运...[详细]

    2020-04-23 15:59 分类:大数据