运维开发网

分布式计算

0
  • 拥抱云原生,Fluid 结合 JindoFS:阿里云 OSS 加速利器

    Fluid 是一个开源的 Kubernetes 原生的分布式数据集编排和加速引擎,主要服务于云原生场景下的数据密集型应用,例如大数据应用、AI 应用等。通过 Kubernetes 服务提供的数据层抽象,可以让数据像流体一样在诸如 HDFS、OSS、Ceph 等存储源...[详细]

    2021-02-21 09:34 分类:云计算
  • 第四范式:分布式机器学习框架与高维实时推荐系统

    导读:随着互联网的高速发展和信息技术的普及,企业经营过程中产生的数据量呈指数级增长,AI 模型愈发复杂,在摩尔定律已经失效的今天,AI 的落地面临着各种各样的困难。本次分享的主题是分布式机器学习框架如何助力高维实时推荐系统。机...[详细]

    2020-07-21 09:42 分类:自动化
  • spark checkpoint机制简述

    本文主要简述spark checkpoint机制,快速把握checkpoint机制的来龙去脉,关于源码方面可以看参考文章。 1、Spark core的checkpoint 1)为什么checkpoint? 分布式计算中难免因为网络,存储等原因出现计算失败的情况,RDD中的lineage信息常...[详细]

    2020-04-17 13:20 分类:大数据
  • 深入解析Spark中的RPC

    Spark是一个快速的、通用的分布式计算系统,而分布式的特性就意味着,必然存在节点间的通信。本文主要介绍不同的Spark组件之间是如何通过RPC(Remote Procedure Call) 进行点对点通信的,分为三个章节: Spark RPC的简单示例和实际应用;...[详细]

    2020-04-16 09:21 分类:大数据
  • 30分钟概览Spark分布式计算引擎

    本文主要帮助初学者快速了解Spark,不会面面俱到,但核心一定点到。 详细内容可参考Spark入门教程-1 Spark是继Hadoop之后的下一代分布式内存计算引擎,于2009年诞生于加州大学伯克利分校AMPLab实验室,现在主要由Databricks公司进行维护(...[详细]

    2020-04-09 09:00 分类:大数据
  • hadoop入门(五)MapReduce简介

    什么是MapReduce: 你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃。 MapReduce方法则是: 1.给在座的所有玩家中分配这摞牌 2.让每个玩家数自己手中的牌有几张是黑桃,然后把这个数目汇报给你 3.你把所有玩...[详细]

    2020-04-08 17:01 分类:大数据
  • 高并发读与高并发写的项目总结和mongodb使用中遇到的坑

    最近开发了一个既要高并发写又要高并发读的项目,写的QPS比读还要高,这个需求几乎是变态的,任何缓存的工具都没法使用,数据在一秒内可能变化的几十遍,只能每次请求都实时从数据库读取。下面分如下几点介绍我们是如何技术选型的。 一、...[详细]

    2020-04-03 15:49 分类:大数据
  • Hadoop系列-MapReduce源码案例分析和编码规范(十)

    Github代码下载地址: 1,JAVA工程代码 2,Maven工程代码 转载内容如下: 首先让我们来重温一下 hadoop 的四大组件: HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN: hadoop 的资源调度系统 Common: 以上三大组件的底层支撑组件...[详细]

    2020-04-02 17:46 分类:大数据
  • Hadoop和Storm的4点区别

    1) Storm与Hadoop的定义与架构有什么不同? Hadoop是一个可以对海量数据进行分布式处理的软件框架,是Apache的一个项目。 Storm是一个能够实时处理流式的分布式计算系统,是Apache基金会的孵化的一个项目。 2) 应用场景有什么不同? Hado...[详细]

    2020-04-01 19:56 分类:大数据
  • 《Hadoop Operations》读书笔记 - 2 - 第三章 MapReduce

    MapReduce,在这里实际上有两个含义,一个是一种分布式计算模型;另一个是某种特定实现,比如Apache Hadoop MapReduce。其设计目的是为了简化大规模、分布式、高容错性的数据处理应用的开发,目前MapReduce是首选方案。 在MapReduce中,将...[详细]

    2020-04-01 11:26 分类:大数据