运维开发网

storm

0
  • kafka与storm集群环境的安装步骤详解

    前言 在开始之前,需要说明下,storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起。若只需一[详细]

    2020-06-19 14:07 分类:编程语言
  • Scala高级语法

    --------------------------------------------------------------------------------------- 1、scala编程语言 2、Spark Core : Spark内核 ,最重要的一个部分。 3、Spark SQL : 类似于 hive 和 pig。数据分析引擎。sql语句提交到spark...[详细]

    2020-06-19 11:35 分类:编程语言
  • scala的面向对象,类与构造器

    --------------------------------------------------------------------------------------- 1、scala编程语言 2、Spark Core : Spark内核 ,最重要的一个部分。 3、Spark SQL : 类似于 hive 和 pig。数据分析引擎。sql语句提交到spark...[详细]

    2020-06-19 11:29 分类:编程语言
  • Spring boot集成Kafka+Storm的示例代码

    前言 由于业务需求需要把Strom与kafka整合到spring boot项目里,实现其他服务输出日志至kafka订阅话题,storm实时处理该话题完成数据监控及其他数据统计,但是网上教程较少,今天想写的就是如何整合storm+kafka 到spring[详细]

    2020-06-16 12:03 分类:编程语言
  • 源码阅读之storm操作zookeeper-cluster.clj

    storm操作zookeeper的主要函数都定义在命名空间backtype.storm.cluster中(即cluster.clj文件中)。 backtype.storm.cluster定义了两个重要protocol:ClusterState和StormClusterState。[详细]

    2020-06-06 09:23 分类:编程语言
  • Redis读超时排查

    现象:STORM UI中发现bolt中有failed,异常日志抛异常read time out       业务场景:storm读写redis。 查看redis日志发现,正常情况下 每隔2小时都会有超时的异常抛出来,抛出异常的 redis机器有多台。 分析慢日志: 1、看命令数和va...[详细]

    2020-05-21 14:52 分类:大数据
  • Ubuntu: error: snap “phpstorm” has “install-snap” change in progress

    Ubuntu: error: snap “phpstorm” has “install-snap” change in progress 投稿日 : 2019-06-10 | カテゴリー : [详细]

    2020-05-18 08:08 分类:Linux
  • Spark(一)

    大数据追求相关性,不追求因果性。   一、Spark目的 map reuce:先写入磁盘,再从网络读取磁盘数据,mapreduce只适合处理对速度不敏感的离线批量处理。 spark:在一个物理节点,用内存完成各种各样的计算。(有时也用磁盘) storm:流式,...[详细]

    2020-05-08 18:47 分类:大数据
  • (转)Flink简介

    1. Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark...[详细]

    2020-04-30 18:49 分类:大数据
  • Docker在Ubuntu16.04上安装和部署Apache Storm

    Docker在Ubuntu16.04上安装和部署Apache Storm 1、添加Docker源 sudo apt-get update   2、增加CA证书 sudo apt-get install apt-transport-https ca-certificates   3、添加GPG Key(一种加密手段) sudo apt-key adv --keyserver hkp...[详细]

    2020-04-29 17:14 分类:云计算