-
原创 | 利用BusyBox组件进行物联网设备***的***组织恶意行为分析报告
一、背景1BusyBox组件简介BusyBox是嵌入式Linux的常用组件，被称为“嵌入式Linux中的瑞士军刀”。它将常用的UNIX命令集成到一个可执行文件中。通过功能精简、共享代码等方法，BusyBox保留了最常用的功能，同时大大压缩了可执行文件的大小...[详细]
2021-04-14 15:18 分类：编程语言 -
Spark与mongodb整合完整版本
Spark与mongodb整合完整版本 浪尖 浪尖聊大数据 一，准备阶段MongoDB Connector for spark是的spark操作mongodb数据很简单，这样方便使用spark去分析mongodb数据，sql分析，流式处理，机器学习，图计算。要求：1),要有mongodb和spark的...[详细]
2021-04-14 15:17 分类：编程语言 -
Scala语法基础之隐式转换
Scala语法基础之隐式转换 浪尖 浪尖聊大数据 一，简介从类型S到类型T的隐式转换由具有函数类型S => T的隐式值定义，或者通过可转换为该类型的值的隐式方法来定义。隐含转换适用于两种情况：1)，如果表达式e是类型S，并且S不符合...[详细]
2021-04-14 15:16 分类：编程语言 -
SparkSql的优化器-Catalyst
SparkSql的优化器-Catalyst 浪尖 浪尖聊大数据 一，概述为了实现Spark SQL，基于Scala中的函数编程结构设计了一个新的可扩展优化器Catalyst。Catalyst可扩展的设计有两个目的。首先，希望能够轻松地向Spark SQL添加新的优化技术和功能...[详细]
2021-04-14 15:15 分类：编程语言 Scala语言基础之结合demo和spark讲实现链式计算
Scala语言基础之结合demo和spark讲实现链式计算 浪尖 浪尖聊大数据 一，什么是链式计算1，一般开发习惯把事情封装到一个方法中；链式编程思想是把要做的事情封装到block中，给外部提供一个返回这个block的方法2，链式编程思想方法特点...[详细]
2021-04-14 15:14 分类：编程语言-
Spark高级操作之json复杂和嵌套数据结构的操作二
Spark高级操作之json复杂和嵌套数据结构的操作二 浪尖 浪尖聊大数据 一，准备阶段Json格式里面有map结构和嵌套json也是很合理的。本文将举例说明如何用spark解析包含复杂的嵌套数据结构，map。现实中的例子是，一个设备的检测事件，二...[详细]
2021-04-14 15:13 分类：编程语言 -
Spark高级操作之json复杂和嵌套数据结构的操作一
Spark高级操作之json复杂和嵌套数据结构的操作一 浪尖 浪尖聊大数据 一，基本介绍本文主要讲spark2.0版本以后存在的Sparksql的一些实用的函数，帮助解决复杂嵌套的json数据格式，比如，map和嵌套结构。Spark2.1在spark 的Structured ...[详细]
2021-04-14 15:12 分类：编程语言 大数据基础系列之kafkaConsumer010+的多样demo及注意事项
大数据基础系列之kafkaConsumer010+的多样demo及注意事项 浪尖 浪尖聊大数据 一，KafkaConsumer使用要点解释1，基本介绍该客户端用户透明的处理kafka Broker的失败，透明的适应topic在集群中的迁移。这种客户端也可以使用消费者组的概...[详细]
2021-04-14 15:11 分类：编程语言-
Spark源码系列之Standalone模式下Spark应用的整个启动过程
Spark源码系列之Standalone模式下Spark应用的整个启动过程 浪尖 浪尖聊大数据一，Standalone模式下的spark角色 大家都知道在Standalone模式下，spark一共有以下五种角色：sparksubmit，master，Worker，Driver，Executor。具体这五种...[详细]
2021-04-14 15:10 分类：编程语言 大数据基础系列之kafka011生产者缓存超时，幂等性和事务实现
大数据基础系列之kafka011生产者缓存超时，幂等性和事务实现 浪尖 浪尖聊大数据一，demo及相关类1，基本介绍KafkaProducer是线程安全的，多线程间共享一个实例比共享多个实例更加高效。首先搞一个demoProperties props = new Proper...[详细]
2021-04-14 15:09 分类：编程语言-
大数据基础系列之kafka知识点和优点
大数据基础系列之kafka知识点和优点浪尖浪尖聊大数据一，流式平台介绍1，一般来说一个通用的流平台必须具备以下三个重要的能力：1),能够允许你订阅和发布流式消息。在这方面，它类似于消息队列或企业消息系统。2),它允许您以容错方式存储...[详细]
2021-04-14 15:08 分类：编程语言 大数据基础系列之提交spark应用及依赖管理
大数据基础系列之提交spark应用及依赖管理 浪尖 浪尖聊大数据 在Spark的bin目录下的spark-submit脚本用于提交一个任务到集群中。因为是针对所有的集群管理器统一接口(local，Standalone，yarn，mesos)，所以不必为每一个集群管理器进行...[详细]
2021-04-14 15:07 分类：编程语言
加载中,请稍侯......