运维开发网

双活数据中心是高可用性应用程序弹性的关键

依赖于高可用性应用程序的企业应该采用双活数据中心设计,以确保可靠性和弹性。而运行高可用性应用程序的企业都必须回答以下基本问题:当底层通信基础设施不再可靠时,将如何创建具有弹性的应用程序架构?以一家咨询机... [详细]

  • spark graphx图计算常用操作实战

    package com.test.spark.apps.graph import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD object SNSA[详细]

    2020-04-08 09:12 分类:大数据
  • elasticsearch – 我们可以检索以前的_source文档与弹性搜索版本

    我读过关于 versioning的博客文章。 但是,我想从更新中获得以前的“_souce”文档。 例如,假设我有这个对象: { "name": "John", "age": 32, "job": "janitorial technician" } //...[详细]

    2020-04-08 09:08 分类:大数据ElasticSearch
  • Spark安装与使用

    本教程的具体运行环境如下: CentOS 6.7 Spark 2.1.0 Hadoop 2.7.3 Java JDK 1.8.0 Scala 2.11.8 准备工作 安装JDK,并配置好JAVA_HOME变量。此外,Spark会用到HDFS与YARN,因此请先安装Hadoop,具体请浏览hadoop安装教程。 安装Spark 本...[详细]

    2020-04-08 09:07 分类:大数据spark
  • Elasticsearch 5 Ik+pinyin分词配置详解

    一、拼音分词的应用 拼音分词在日常生活中其实很常见,也许你每天都在用。打开淘宝看一看吧,输入拼音”zhonghua”,下面会有包含”zhonghua”对应的中文”中华”的商品的提示: 拼音分词是根据输入的拼音提示对应的中文,通过拼音分词提升...[详细]

    2020-04-08 09:05 分类:大数据ElasticSearch
  • elasticsearch.yml基本配置说明

    一、基本配置  elasticsearch的config文件夹里面有两个配置文 件:elasticsearch.yml和logging.yml,第一个是es的基本配置文件,第二个是日志配置文件,es也是使用log4j来记录日 志的,所以logging.yml里的设置按普通log4j配置文件来设置...[详细]

    2020-04-08 09:00 分类:大数据ElasticSearch
  • Spark API 详解/大白话解释 之 groupBy、groupByKey

    转载:http://blog.csdn.net/guotong1988/article/details/50556871 groupBy(function)  function返回key,传入的RDD的各个元素根据这个key进行分组 1 2 3 4 5 6[详细]

    2020-04-08 09:00 分类:大数据
  • spark sql下parquet内幕解密

    一:Spark SQL下的Parquet意义再思考 1, 如果说HDFS是大数据时代分布式文件系统存储的事实标准的话,Parquet则是整个大数据时代文件存储格式的事实标准。 2, 速度更快:从使用Spark SQL 操作普通文件CSV和Parquet文件的速度对比上来看...[详细]

    2020-04-08 08:57 分类:大数据
  • ElasticSearch5.3安装IK分词器并验证

    lasticSearch5.3安装IK分词器 之前使用Elasticsearch安装head插件成功了,但是安装IK分词器却失败了。貌似是ElasticSearch5.0以后就不支持直接在elasticsearch.yml中配置IK了。原因下面会说明。  首先下载:  https://www.elastic.co/d...[详细]

    2020-04-08 08:57 分类:大数据ElasticSearch
  • spark core 2.0 SerializedShuffleHandle UnsafeShuffleWriter ShuffleExternalSorter

    Use condition: /** * Helper method for determining whether a shuffle should use an optimized serialized shuffle * path or whether it should fall back to the original path that operates on deseri[详细]

    2020-04-08 08:54 分类:大数据
  • Elasticsearch安装中文分词插件ik

    Elasticsearch默认提供的分词器,会把每个汉字分开,而不是我们想要的根据关键词来分词。例如: [html]  view plain  copy curl -XPOST  "http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text...[详细]

    2020-04-08 08:52 分类:大数据ElasticSearch
  • spark sql下使用parquet最佳实战

    一:Spark SQL下的Parquet使用最佳实践 1, 过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式: a) Data Source->HDFS->MR/Hive/Spark(相当于ETL)->HDFS Parquet->Spark SQL/Impala->Result Service(...[详细]

    2020-04-08 08:50 分类:大数据
  • Elasticsearch - 指定分析器

    分析器 简介 全文搜索引擎会用某种算法对要建索引的文档进行分析, 从文档中提取出若干Token(词元), 这些算法称为Tokenizer(分词器);这些Token会被进一步处理, 比如转成小写等, 这些处理算法被称为Token Filter(词元处理器), 被处理后...[详细]

    2020-04-08 08:47 分类:大数据ElasticSearch