运维开发网

storm

0
  • 数据模型(Data Model)

    数据模型(Data Model) storm使用tuple来作为它的数据模型。每个tuple是一堆值,每个值有一个名字,并且每个值可以是任何类型, 在我的理解里面一个tuple可以看作一个没有方法的java对象。总体来看,storm支持所有的基本类型,字...[详细]

    2020-02-17 11:10 分类:大数据
  • Storm的并行度详解

    Storm的并行度是非常重要的,通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢?Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolt tasktask  是storm...[详细]

    2020-02-17 10:02 分类:大数据
  • storm流分组

    流分组 在设计一个topology的时候,你需要做的最重要的事情是定义数据在组件之间怎样交换(流怎样被bolts消费)。流分组指定了每个bolt消费哪些流和这些流被怎样消费。 一个结点可以发射不止一条数据流。流分组允许我们选择接收哪...[详细]

    2020-02-16 18:33 分类:大数据
  • storm安装

    1、实验环境:    centos6.4    jdk1.8.0    CDH-5.3.2-1    storm0.9.32、准备条件    yum install libtool&a...[详细]

    2020-02-16 17:20 分类:大数据
  • storm的本地模式demo

    SimpleTopology.javapackage com.zgl.helloword; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import backtype.storm.to[详细]

    2020-02-16 15:47 分类:大数据
  • ganglia3.6.1+jmxtrans+strom-0.9.4集成

    1、安装ganglia参考之前的一篇博客(以下示例使用ganglia组播方式,单播方式大家自己尝试)http://chengyanbin.blog.51cto.com/3900113/15913732、安装jmxtranshttp://chengyanbin.blog.51cto.com/3900113/16547543、安装stormhttp://che...[详细]

    2020-02-16 15:02 分类:大数据
  • Storm日常操作命令

    1.启动storm的各个进程:nohup storm nimbus &nohup storm supervisor &nohup storm ui &2.启动storm的topology:storm jar stormtopology10.jar com.hc360.storm.BusinessTopology businessTopology 1;3.杀掉st...[详细]

    2020-02-15 10:43 分类:大数据
  • storm问题总结

    storm问题总结(持续更新)1. yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意.比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多...[详细]

    2020-02-15 10:33 分类:大数据
  • storm写redis问题小结

      最近一直在跟进storm的问题,从storm集群的稳定性到监控到升级到bolt写redis的问题,因为公司目前没有专业运维redis的,只能我们数据部门自己搞了。。下面记录下遇到的几个问题:总结下目前storm写redis问题:1.redis高峰写入异常...[详细]

    2020-02-14 19:11 分类:大数据
  • storm的supervisor无法启动

    机房断电,所有服务器的重启了,在重新启动storm,nimbus和ui都成功启动了,supervisor总是启动失败,报什么EOF的错误,百度了很久,说在conf/storm.yaml文件中,删除配置的storm.local.dir目录下的supervisor和workers文件夹,我认为nim...[详细]

    2020-02-14 09:22 分类:大数据