运维开发网

大数据

0
  • 浅谈云原生系统日志收集在数栈的实践

    本文整理自:浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:FlinkX,欢迎给我们点个star!star!star!https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的...[详细]

    2021-04-10 09:41 分类:云计算
  • Python爬虫如何去抓取qq音乐的歌手数据?

    自从学会爬虫之后是不是有一种我什么都想爬一下的冲动?今天小千就来教大家如何去抓取qq音乐的歌手数据,项目实操多练习能更快提升自己哦。[详细]

    2021-04-09 16:18 分类:Python
  • 如何去使用Python爬虫来爬取B站的弹幕数据?

    哔哩哔哩众所周知是弹幕的天堂,视频观看人数越多,弹幕也就越多。今天小千就来教大家如何去使用Python开发一个爬虫来爬取B站的弹幕数据。[详细]

    2021-04-09 15:01 分类:Python
  • AWS 大数据实战 Lab1 - 流数据处理(二)

    为了使练习更加贴近实际业务场景,我们将模拟从应用程序中生成交易订单事件,在这种情况下是与交易流水、交易日期、客户编号、产品编号和一些数据相对应的事件流。在此教程中,将完成以下三个步骤的实验:•创建AmazonKinesisDataStream•...[详细]

    2021-04-07 16:17 分类:云计算
  • AWS 大数据实战 Lab2 - 批量数据处理(三)

    在本练习中,您将学习如何使用AmazonEMR(Spark)和AWSGlue(ETL)构建批量数据分析处理程序。为了使本实验的练习更加贴近实际的业务场景,我们模拟了完整的从数据产生(模拟历史数据和流数据)、数据存储、数据处理、到数据分析和数据可...[详细]

    2021-04-07 15:59 分类:云计算
  • AWS 大数据实战 Lab3 - 数据可视化(四)

    本实验演示通过Athena和Glue构建数据表的过程。构建数据表准备数据库和表登录并打开Glue控制台,点击左侧菜单栏“数据库”点击“添加数据库”按钮,名称为:athenadb创建完毕后,点击athenadb数据库,并选择“athenadb中的表”点击“使用...[详细]

    2021-04-07 15:09 分类:云计算
  • 摩杜云:大数据时代,最优配比CDN的重要性

    在这个信息爆炸的时代,一个热点或者现象级的产品,就可以让客户带宽在一夜之间从百兆成长到百吉,且超大带宽的客户数量也是呈逐年增长的趋势。再加上去年疫情的特殊情况,人们都闲在家里看视频、玩游戏,复工之后的网络办公、网络教学,...[详细]

    2021-04-07 12:59 分类:云计算
  • AWS 大数据实战 Lab6 - 数据仓库和可视化(六)

    在本练习中,您将学习如何使用Redshift和AmazonQuickSight平台构建数据可视化应用程序。您将看到如何使用Amazon的数据仓库从数据湖中装载数据,并用完全托管的数据可视化工具进行展现。本实验的目标包括:1、创建Redshift集群2、将S3的数...[详细]

    2021-04-07 12:26 分类:云计算
  • AWS 大数据实战 Lab4 - 数据实时检索(五)

    在本练习中,您将学习如何使用AmazonKinesis流式传输数据到Elasticsearch并进行分析,这是两项完全托管的基于云的服务,用于实时传输大型分布式数据流和查询,分析等。为了使练习更加贴近实际业务场景,我们将模拟从EC2的应用程序中生成交...[详细]

    2021-03-27 10:35 分类:云计算
  • AWS 大数据实战 - 环境准备(一)

    实验介绍本次实战内容将教大家如何使用AWS的大数据和数据湖的相关服务和组件,顺利完成大数据的收集,存储,处理,分析和可视化的完整的流程,主要会介绍以下几个AWS大数据服务:Lab1:实时流数据处理,基于Kinesis产品家族实现Lab2:批量...[详细]

    2021-03-25 10:24 分类:云计算