storm
一次HBase问题的解决过程（Status: INCONSISTENT）
==版本信息== HBase：2.7.1 Storm：1.0.1 RocketMQ：3.4.6（阿里版） ==问题描述== 2018年9月3号晚上23点左右，例行巡检系统运行状况时， 发现Storm消费RocketMQ入HBase的过程中，RocketMQ的TPS极低，甚至为0了。 （Storm从RocketMQ消...[详细]
2020-04-28 11:14 分类：大数据-
Docker Storm开发环境搭建
1. compose文件 storm-stack.yml version: '3.1' services: zookeeper: image: zookeeper container_name: zookeeper restart: always ports: - 2181:2181 nimbu[详细]
2020-04-27 13:28 分类：云计算 spark-streaming任务提交遇到的坑
一、背景 基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。 公司领导最近提了一个实时展示用户、...[详细]
2020-04-24 13:03 分类：大数据-
Spark Streaming和Storm选型[转自知乎，仅作备份]
原文网址：https://www.zhihu.com/question/29092950 Carey Tzou的回答。如有转载请著名版权。 作者：Carey Tzou 链接：https://www.zhihu.com/question/29092950/answer/131543255 来源：知乎 著作权归作者所有。商业转载请联系作者获得...[详细]
2020-04-20 20:02 分类：大数据 spark与storm比对与选型
大数据实时处理平台市场上产品众多，本文着重讨论spark与storm的比对，最后结合适用场景进行选型。 一、spark与storm的比较 比较点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收...[详细]
2020-04-20 09:23 分类：大数据spark与storm的对比
spark与storm的对比 对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持，但不...[详细]
2020-04-17 16:00 分类：大数据Flume+Kafka+Storm整合
Flume+Kafka+Storm整合 1. 需求： 有一个客户端Client可以产生日志信息，我们需要通过Flume获取日志信息，再把该日志信息放入到Kafka的一个Topic：flume-to-kafka 再由Storm读取该topic：flume-to-kafka，进行日志分析处理（这里我们做的...[详细]
2020-04-17 15:49 分类：大数据-
HADOOP离线分析+实时分析框架使用技术框架Hadoop+Flume+Kafka+Storm+Hive+Sqoop+mysql/oracle
离线分析框架搭建 hadoop集群搭建部署 Hadoop HA部署 Hive安装部署 Sqoop组件安装部署 实时分析框架搭建 storm kafka kafka安装配置 storm集群安装部署[详细]
2020-04-17 11:37 分类：大数据 hadoop、storm和spark的区别、比较
1、hadoop、Storm该选哪一个？ 为了区别hadoop和Storm，该部分将回答如下问题： 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景，什么情况下使用hadoop 4.什么是吞吐量 首先整体认识：Had...[详细]
2020-04-17 10:17 分类：大数据docker运行storm及wordcount实例
序 本文简单介绍下怎么使用docker运行storm以及在springboot中使用storm。 docker-compose version: '2' services: zookeeper: image: zookeeper ##3.4.10 container_name: zookeeper restart: alwa...[详细]
2020-04-17 08:06 分类：云计算
加载中,请稍侯......