运维开发网

storm

0
  • 大数据开发学习路线图

    入门知识 推荐书籍 1、舍恩伯格的《大数据时代》; 2、巴拉巴西的《爆发》; 3、涂子沛的《大数据》; 4、吴军《智能时代》; 5、《大数据架构商业之路:从业务需求到技术方案》 工具技能 1、hadoop: 常用于离线的复杂的大数据处理 2、S...[详细]

    2020-04-16 14:34 分类:大数据
  • 流式统计的几个难点

    在本文发出之后不久,老外就写了一篇类似内容的。人家比我写得好,推荐大家读这篇 http://radar.oreilly.com/2015/08/the-world-beyond-batch-streaming-101…. 流式统计听着挺容易的一个事情,说到底不就是数数嘛,每个告警系统里基本上...[详细]

    2020-04-16 09:34 分类:大数据
  • 弄清Spark、Storm、MapReduce的这几点区别才适合学习大数据

    很多初学者在刚刚接触大数据的时候会有很多疑惑,比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。 哪一个适合对大量数据进行处理?哪一个又适合对实时的流数据进行处理?又该如何来区分他们呢? 我对比整理了这3个计算...[详细]

    2020-04-15 19:39 分类:大数据
  • kafka消费读取不了

    问题一: 启动storm时,发现kafka一直读取不了数据,但是查询时,仍有数据没有读取:   一直读取不了,看了下代码,是kafka消费时,一直读取不了数据: 查询,很符合kafka重复读取引起的问题。 详情见链接:Kafka重启Consumer后抓不到数...[详细]

    2020-04-15 14:50 分类:大数据
  • 基于Hadoop大数据分析

    一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具,而是涉及的业务和技术的许多领域。 目前主流的三大分布式计算系统分别为Hadoop、Spark和Strom: Hadoop当前大数据管理标准之...[详细]

    2020-04-14 09:52 分类:大数据
  • kafka系列四、kafka架构原理

    一、概述   Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集...[详细]

    2020-04-13 18:02 分类:大数据
  • 八、Kafka总结

    一 Kafka概述 1.1 Kafka是什么 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 1)Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2)Kafka最初是由Linked...[详细]

    2020-04-13 14:48 分类:大数据
  • 【实时日志分析系列之】-------- 技术选型篇

    前言 大概是节前到节后的小2个月时间,已经把实时日志分析这一套小架子搭了起来,并且已经可以看到成果,现在继续利用业余时间把这个系列总结记录一下。 逻辑架构图 逻辑架构图如下: 一图胜过千言万语,来看下实时日志分析的技术选型以及...[详细]

    2020-04-13 11:43 分类:大数据
  • 大数据计算的四支精干队伍,你造吗

    本文首发在我简书的账号上,原文地址:http://www.jianshu.com/p/7a875e09d4e1 《易经·系辞》有云:“形而上者谓之道,形而下者谓之器”。同理,任何技术都可以从道和器的角度去解读,一门技术,只知道器不知道道,走不远,只知道道而不...[详细]

    2020-04-10 15:29 分类:大数据
  • Kafka+Zookeeper+Storm的docker化

    Kafka+Zookeeper+Storm的docker化 因为项目需要,需要把kafka、zookeeper、storm等服务组件docker化,在借鉴相关的开源dockerfile文件后,终于完成,以此记录。 1.首先是建立基础的Linux镜像,针对本项目做了定制。 FROM centos MAINTAIN...[详细]

    2020-04-09 18:50 分类:大数据