运维开发网
广告位招商联系QQ:123077622
 
广告位招商联系QQ:123077622

大数据基础

运维开发网 https://www.qedev.com 2020-07-21 15:29 出处:网络 作者:运维开发网整理
知识地图 一:大数据基础 1.三次信息化浪潮: 信息化浪潮 发生时间 标志  解决问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Inter AMD IBM 苹果等 第二次浪潮    1995年前后  互联网 信息传输 雅虎 谷歌 阿里巴巴 百度 腾讯等 第三次浪潮 2010年前后 物联网 云计算和大数据 信息爆炸 亚马逊 谷歌 阿里云 IBM等             2.信息

知识地图

大数据基础

一:大数据基础

1.三次信息化浪潮:

信息化浪潮 发生时间 标志  解决问题 代表企业
第一次浪潮 1980年前后 个人计算机 信息处理 Inter AMD IBM 苹果等
第二次浪潮    1995年前后  互联网 信息传输 雅虎 谷歌 阿里巴巴 百度 腾讯等
第三次浪潮 2010年前后 物联网 云计算和大数据 信息爆炸 亚马逊 谷歌 阿里云 IBM等

 

 

 

 

 

 

2.信息科技为大数据时代提供技术支撑:

  存储设备容量不断增加

  CPU处理能力大幅提升

  网络带宽不断增加

3.数据产生方式的变革促进=成大数据时代的来临(三个阶段):

  运营式系统阶段

  用户原创内容阶段

  感知式系统阶段

4.大数据的4个特点:

  数据量大

  数据类型繁多

  处理速度块

  价值密度低

5.大数据对科学研究的影响(四种范式):

  实验科学

  理论科学

  计算科学

  数据密集型科学

6.大数据对思维方式的影响:

  全样而非抽样

  效率而非精确

  相关而非因果

7.大数据对社会发展的影响

  大数据决策成为一种新的决策方式

  大数据应用促进信息技术与各行业的深度融合

  大数据开发推动新技术和新应用的不断涌现

8.大数据、云计算和物联网三者之间的关系

大数据基础

9.hadoop 生态系统

大数据基础

三大组件:HDFS(分布式文件系统)、MapReduce(f分布式计算框架)、YARN(z资源调度和管理框架)

二.Linux常用命令 

  find 在指定目录下查找文件  chown 将指定文件的拥有者改为指定的用户或组  file 辨识该文件的类型  cat 用于连接文件并打印到标准输出设备上  mv 用来为文件或目录改名、或将文件或目录移入其它位置  rm 用于删除一个文件或者目录  touch 用于修改文件或者目录的时间属性,包括存取时间和更改时间  cp 主要用于复制文件或目录  read 用于从标准输入读取数值  grep 用于查找文件里符合条件的字符串  tr 用于转换或删除文件中的字符  fold 用于限制文件列宽  cd 用于切换当前工作目录至 dirName(目录参数)  du 用于显示目录或文件的大小  mkdir 用于建立名称为 dirName 之子目录  mmd 用于在MS-DOS文件系统中建立目录  pwd 用于显示工作目录  mount 挂载linux系统外的文件  ls 用于显示指定工作目录下之内容(列出目前工作目录所含之文件及子目录)  useradd 用于建立用户帐号   date 可以用来显示或设定系统的日期与时间  exit 用于退出目前的shell  sleep 可以用来将目前动作延迟一段时间  kill 用于删除执行中的程序或工作   shutdown 可以用来进行关机程序  swatch 用于系统监控程序  id 用于显示用户的ID,以及所属群组的ID  su 用于变更为其他使用者的身份,除 root 外,需要键入该使用者的密码  clear 用于清除屏幕

扫码领视频副本.gif

0

精彩评论

暂无评论...
验证码 换一张
取 消