运维开发网

大数据

0
  • REDIS缓存穿透,缓存击穿,缓存雪崩原因+解决方案

    一、前言 在我们日常的开发中,无不都是使用数据库来进行数据的存储,由于一般的系统任务中通常不会存在高并发的情况,所以这样看起来并没有什么问题,可是一旦涉及大数据量的需求,比如一些商品抢购的情景,或者是主页访问量瞬间较大的时...[详细]

    2020-06-13 10:11 分类:大数据
  • 基于docker构建flink大数据处理平台

    由于公司业务需求,需要搭建一套实时处理数据平台,基于多方面调研选择了Flink. 初始化Swarm环境(也可以选择k8s)   部署zookeeper集群 基于docker-compose ,使用 docker stack 部署在容器中,由于zookeeper存在数据持久化存储,这块后...[详细]

    2020-06-11 16:38 分类:云计算
  • Redis常用五大数据类型

    五大数据类型常用的命令(此处只介绍常用命令更多命令请参考https://www.redis.net.cn/tutorial/3505.html):  Key(键):   keys *             查看当前库全部key名称。   exists key          判断某个key是否存在...[详细]

    2020-06-11 15:24 分类:大数据
  • 运营商大数据手机号抓取的功能有哪些

    说到大数据,你会觉得离你很远也离你很近,远到你看不见摸不着,+威13384845709近到你每天都在接触大数据,如果你刷抖音,头条,逛淘宝京东的话你会看到醒目的四个大字“猜你喜欢”或者推荐等等,他们就是利用大数据分析你的行为为你推荐...[详细]

    2020-06-11 12:51 分类:Linux
  • redis集群理解

    Redis在3.0中也引入了集群的概念,用于解决一些大数据量和高可用的问题,但是,为了达到高性能的目的,集群不是强一致性的,使用的是异步复制,在数据到主节点后,主节点返回成功,数据被异步地复制给从节点。 对于Redis的集群分片机制。...[详细]

    2020-06-09 15:21 分类:大数据
  • scala如何利用genson将jsonObeject对象转化为任意类型对象

    大数据开发过程中,常常涉及数据迁移的过程。比如实时同步kafka消息队列中的数据到HBase的需求中,从kafka中取到的数据是jsonObject对象。 通过跳板机输入查看kafka消息队列的命令,可以拿到经过BASE64加密后的数据源。复制数据源到BASE6...[详细]

    2020-06-09 12:02 分类:编程语言
  • IP 层收发报文简要剖析5--ip报文发送2

    udp 发送ip段报文接口ip_append_data ip_append_data 函数主要用来udp 套接字以及raw套接字发送报文的接口。在tcp中发送ack 以及rest段的ip_send_unicast_reply也会调用;其主要作用是将收到的大数据报文拆分成多个等于小于MTU的SKB,为网...[详细]

    2020-06-07 16:03 分类:路由交换
  • Centos7安装部署Hadoop集群

    简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem),简称H...[详细]

    2020-06-07 12:36 分类:Linux
  • redis的字符串操作以及在django中的使用

    redis ----redis、MongoDB : 非关系型数据库 redis   存储在内存中 MongoDB 存储在硬盘中 l  简介 redis是一个key-value存储系统 , 支持持久化 。 ----补充 :比较redis 和 memcached ----redis 支持5大数据类型 ----redis 支持持久化 ...[详细]

    2020-06-05 18:18 分类:大数据
  • 使用 Spring API 实现邮件发送 (乐字节java,乐字节架构)

    详细Spring如何进行邮件发送本文由乐字节Java架构课程独家赞助播出环境准备创建Maven项目,在pom.xml文件中添加依赖<!--spring核心jar依赖--><dependency><groupId>org.springframework</groupId><artifactId...[详细]

    2020-06-04 08:33 分类:编程语言