运维开发网
  • 原创 | 利用BusyBox组件进行物联网设备***的***组织恶意行为分析报告

    一、背景1BusyBox组件简介BusyBox是嵌入式Linux的常用组件,被称为“嵌入式Linux中的瑞士军刀”。它将常用的UNIX命令集成到一个可执行文件中。通过功能精简、共享代码等方法,BusyBox保留了最常用的功能,同时大大压缩了可执行文件的大小...[详细]

    2021-04-14 15:18 分类:编程语言java
  • Spark与mongodb整合完整版本

    Spark与mongodb整合完整版本 浪尖 浪尖聊大数据 一,准备阶段MongoDB Connector for spark是的spark操作mongodb数据很简单,这样方便使用spark去分析mongodb数据,sql分析,流式处理,机器学习,图计算。要求:1),要有mongodb和spark的...[详细]

    2021-04-14 15:17 分类:编程语言
  • Scala语法基础之隐式转换

    Scala语法基础之隐式转换 浪尖 浪尖聊大数据 一,简介从类型S到类型T的隐式转换由具有函数类型S => T的隐式值定义,或者通过可转换为该类型的值的隐式方法来定义。隐含转换适用于两种情况:1),如果表达式e是类型S,并且S不符合...[详细]

    2021-04-14 15:16 分类:编程语言
  • SparkSql的优化器-Catalyst

    SparkSql的优化器-Catalyst 浪尖 浪尖聊大数据 一,概述为了实现Spark SQL,基于Scala中的函数编程结构设计了一个新的可扩展优化器Catalyst。Catalyst可扩展的设计有两个目的。首先,希望能够轻松地向Spark SQL添加新的优化技术和功能...[详细]

    2021-04-14 15:15 分类:编程语言
  • Scala语言基础之结合demo和spark讲实现链式计算

    Scala语言基础之结合demo和spark讲实现链式计算 浪尖 浪尖聊大数据 一,什么是链式计算1,一般开发习惯把事情封装到一个方法中;链式编程思想是把要做的事情封装到block中,给外部提供一个返回这个block的方法2,链式编程思想方法特点...[详细]

    2021-04-14 15:14 分类:编程语言
  • Spark高级操作之json复杂和嵌套数据结构的操作二

    Spark高级操作之json复杂和嵌套数据结构的操作二 浪尖 浪尖聊大数据 一,准备阶段Json格式里面有map结构和嵌套json也是很合理的。本文将举例说明如何用spark解析包含复杂的嵌套数据结构,map。现实中的例子是,一个设备的检测事件,二...[详细]

    2021-04-14 15:13 分类:编程语言
  • Spark高级操作之json复杂和嵌套数据结构的操作一

    Spark高级操作之json复杂和嵌套数据结构的操作一 浪尖 浪尖聊大数据 一,基本介绍本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数,帮助解决复杂嵌套的json数据格式,比如,map和嵌套结构。Spark2.1在spark 的Structured ...[详细]

    2021-04-14 15:12 分类:编程语言
  • 大数据基础系列之kafkaConsumer010+的多样demo及注意事项

    大数据基础系列之kafkaConsumer010+的多样demo及注意事项 浪尖 浪尖聊大数据 一,KafkaConsumer使用要点解释1,基本介绍该客户端用户透明的处理kafka Broker的失败,透明的适应topic在集群中的迁移。这种客户端也可以使用消费者组的概...[详细]

    2021-04-14 15:11 分类:编程语言
  • Spark源码系列之Standalone模式下Spark应用的整个启动过程

    Spark源码系列之Standalone模式下Spark应用的整个启动过程 浪尖 浪尖聊大数据一,Standalone模式下的spark角色  大家都知道在Standalone模式下,spark一共有以下五种角色:sparksubmit,master,Worker,Driver,Executor。具体这五种...[详细]

    2021-04-14 15:10 分类:编程语言
  • 大数据基础系列之kafka011生产者缓存超时,幂等性和事务实现

    大数据基础系列之kafka011生产者缓存超时,幂等性和事务实现 浪尖 浪尖聊大数据一,demo及相关类1,基本介绍KafkaProducer是线程安全的,多线程间共享一个实例比共享多个实例更加高效。首先搞一个demoProperties props = new Proper...[详细]

    2021-04-14 15:09 分类:编程语言
  • 大数据基础系列之kafka知识点和优点

    大数据基础系列之kafka知识点和优点浪尖浪尖聊大数据一,流式平台介绍1,一般来说一个通用的流平台必须具备以下三个重要的能力:1),能够允许你订阅和发布流式消息。在这方面,它类似于消息队列或企业消息系统。2),它允许您以容错方式存储...[详细]

    2021-04-14 15:08 分类:编程语言
  • 大数据基础系列之提交spark应用及依赖管理

    大数据基础系列之提交spark应用及依赖管理 浪尖 浪尖聊大数据 在Spark的bin目录下的spark-submit脚本用于提交一个任务到集群中。因为是针对所有的集群管理器统一接口(local,Standalone,yarn,mesos),所以不必为每一个集群管理器进行...[详细]

    2021-04-14 15:07 分类:编程语言