大数据
-
浅谈云原生系统日志收集在数栈的实践
本文整理自：浅谈云原生系统日志收集在数栈的实践数栈是云原生—站式数据中台PaaS，我们在github上有一个有趣的开源项目：FlinkX，欢迎给我们点个star！star！star！https://github.com/DTStack/flinkxFlinkX是一个基于Flink的批流统一的...[详细]
2021-04-10 09:41 分类：云计算 -
Python爬虫如何去抓取qq音乐的歌手数据？
自从学会爬虫之后是不是有一种我什么都想爬一下的冲动？今天小千就来教大家如何去抓取qq音乐的歌手数据，项目实操多练习能更快提升自己哦。[详细]
2021-04-09 16:18 分类：Python -
如何去使用Python爬虫来爬取B站的弹幕数据？
哔哩哔哩众所周知是弹幕的天堂，视频观看人数越多，弹幕也就越多。今天小千就来教大家如何去使用Python开发一个爬虫来爬取B站的弹幕数据。[详细]
2021-04-09 15:01 分类：Python -
AWS 大数据实战 Lab1 - 流数据处理(二)
为了使练习更加贴近实际业务场景，我们将模拟从应用程序中生成交易订单事件，在这种情况下是与交易流水、交易日期、客户编号、产品编号和一些数据相对应的事件流。在此教程中，将完成以下三个步骤的实验：•创建AmazonKinesisDataStream•...[详细]
2021-04-07 16:17 分类：云计算 AWS 大数据实战 Lab2 - 批量数据处理(三)
在本练习中，您将学习如何使用AmazonEMR（Spark）和AWSGlue（ETL）构建批量数据分析处理程序。为了使本实验的练习更加贴近实际的业务场景，我们模拟了完整的从数据产生（模拟历史数据和流数据）、数据存储、数据处理、到数据分析和数据可...[详细]
2021-04-07 15:59 分类：云计算-
AWS 大数据实战 Lab3 - 数据可视化(四)
本实验演示通过Athena和Glue构建数据表的过程。构建数据表准备数据库和表登录并打开Glue控制台，点击左侧菜单栏“数据库”点击“添加数据库”按钮，名称为：athenadb创建完毕后，点击athenadb数据库，并选择“athenadb中的表”点击“使用...[详细]
2021-04-07 15:09 分类：云计算 -
摩杜云：大数据时代，最优配比CDN的重要性
在这个信息爆炸的时代，一个热点或者现象级的产品，就可以让客户带宽在一夜之间从百兆成长到百吉，且超大带宽的客户数量也是呈逐年增长的趋势。再加上去年疫情的特殊情况，人们都闲在家里看视频、玩游戏，复工之后的网络办公、网络教学，...[详细]
2021-04-07 12:59 分类：云计算 -
AWS 大数据实战 Lab6 - 数据仓库和可视化(六)
在本练习中，您将学习如何使用Redshift和AmazonQuickSight平台构建数据可视化应用程序。您将看到如何使用Amazon的数据仓库从数据湖中装载数据，并用完全托管的数据可视化工具进行展现。本实验的目标包括：1、创建Redshift集群2、将S3的数...[详细]
2021-04-07 12:26 分类：云计算 -
AWS 大数据实战 Lab4 - 数据实时检索(五)
在本练习中，您将学习如何使用AmazonKinesis流式传输数据到Elasticsearch并进行分析，这是两项完全托管的基于云的服务，用于实时传输大型分布式数据流和查询，分析等。为了使练习更加贴近实际业务场景，我们将模拟从EC2的应用程序中生成交...[详细]
2021-03-27 10:35 分类：云计算 -
AWS 大数据实战 - 环境准备(一)
实验介绍本次实战内容将教大家如何使用AWS的大数据和数据湖的相关服务和组件，顺利完成大数据的收集，存储，处理，分析和可视化的完整的流程，主要会介绍以下几个AWS大数据服务：Lab1：实时流数据处理，基于Kinesis产品家族实现Lab2：批量...[详细]
2021-03-25 10:24 分类：云计算
加载中,请稍侯......