运维开发网

Hadoop

0
  • 大数据平台建设 —— 监控预警组件之OpenFalcon + Grafana

    监控系统介绍集群监控&平台监控:开发一个大数据平台不是我们的目的,稳定的对其使用才是大数据平台的日志和监控是我们开发人员工作中必不可少的两只眼睛大数据平台涉及到的组件较多,需要统一的完成集群监控和平台监控监控分层:监控...[详细]

    2020-11-18 12:35 分类:Linux
  • Azkaban2.5.0集群安装

    一.部署环境本集群azkaban部署模式位分布式安装,webserver在cdh01,executor在cdh01、cdh02、cdh03三台节点,mysql5.7在cdh03,采用的是2.5.0版本。1.注意要点a.mysql数据库是程序指定的版本5.7,且源码中的jdbc以及url都是5.7格式的,注意...[详细]

    2020-11-14 12:18 分类:Linux
  • CDH6.3.2集成flink1.9.0

    一.下载flink相应的csd文件和parcels文件到本地https://archive.cloudera.com/csa/1.0.0.0/csd/https://archive.cloudera.com/csa/1.0.0.0/parcels/二.将下载下来的包放到集群的CDH01主节点重启cm(利用命令重启cm,不要在web操作,无效)sys...[详细]

    2020-11-14 12:14 分类:Linux
  • CDH6.3.2集群搭建

    一.CDH简介官网:https://www.cloudera.com/CDH,全称Cloudera'sDistribution,includingApacheHadoop。是Hadoop众多分支中对应中的一种,由Cloudera维护,基于稳定版本的ApacheHadoop构建,提供了Hadoop的核心(可扩展存储、分布式计...[详细]

    2020-11-14 12:11 分类:Linux
  • 闲鱼上199买来的Hadoop权威指南,感觉我还是太年轻了

    迄今为止,Hadoop 的发展已经经历了两代,分别为Hadoop 1.0 和Hadoop 2.0。与《Hadoop 权威指南(第3版)》相比,第4版在重点介绍Hadoop 2.0的基础上,新增了对当前热门的Hadoop 技术(如YARN、Parquet、Flume、Crunch和Spark)的专门讲解,有...[详细]

    2020-09-29 11:49 分类:编程语言
  • Hadoop3.2.1伪分布式和分布式详细搭建

    一.环境介绍1.centos7.6vmware虚拟机主节点190.168.3.250slave190.168.3.251slave190.168.3.2522.每个节点配置好hosts解析3.下载好软件https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htmlhado...[详细]

    2020-08-28 12:58 分类:Linux
  • 大数据技术发展(三):Spark 代替 Hadoop ? Spark Or Flink ?

    在大数据领域中,选择使用 Hadoop、还是 Spark、还是 Flink,这个话题是一个非常热门的话题,这篇文章就带你探个究竟,看看到底选择哪一个技术?[详细]

    2020-08-21 09:25 分类:编程语言
  • 大数据技术发展(二):Hadoop 技术生态圈的发展

    大家好,这里是抖码课堂,抖码课堂专注提升互联网技术人的软硬实力。在抖码课堂的公众号中可以听这篇文章的音频,体验更好~~~~google 的"三驾马车"我们在上一篇文章<大数据技术起源>中知道了,google 为了解决数据量越来...[详细]

    2020-08-20 09:08 分类:编程语言
  • ruby-on-rails – 使用CouchDB与Hadoop存储/分析Web应用程序日志数据的优点是什么?

    我想从使用普通Rails日志文件升级到我的Web应用程序,因此我可以分析页面视图和使用模式.我听说有时会使用CouchDB. 另一方面,我知道有些人只是将纯文本日志文件提供给Hadoop并将它们缩减为汇总统计信息,然后将它们插入到MySQL中. 这两种日...[详细]

    2020-08-09 20:58 分类:编程语言
  • hadoop分布式环境搭建过程

    1. Java安装与环境配置 Hadoop是基于Java的,所以首先需要安装配置好java环境。从官网下载JDK,我用的是1.8版本。 在Mac下可以在终端下使用scp命令远程拷贝到虚拟机linux中。[详细]

    2020-08-04 14:34 分类:编程语言