spark graphx图计算常用操作实战
package com.test.spark.apps.graph import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.graphx._ import org.apache.spark.rdd.RDD object SNSA[详细]
2020-04-08 09:12 分类：大数据elasticsearch – 我们可以检索以前的_source文档与弹性搜索版本
我读过关于 versioning的博客文章。 但是，我想从更新中获得以前的“_souce”文档。 例如，假设我有这个对象： { "name": "John", "age": 32, "job": "janitorial technician" } //...[详细]
2020-04-08 09:08 分类：大数据-
Spark安装与使用
本教程的具体运行环境如下： CentOS 6.7 Spark 2.1.0 Hadoop 2.7.3 Java JDK 1.8.0 Scala 2.11.8 准备工作 安装JDK，并配置好JAVA_HOME变量。此外，Spark会用到HDFS与YARN，因此请先安装Hadoop，具体请浏览hadoop安装教程。 安装Spark 本...[详细]
2020-04-08 09:07 分类：大数据 Elasticsearch 5 Ik+pinyin分词配置详解
一、拼音分词的应用 拼音分词在日常生活中其实很常见，也许你每天都在用。打开淘宝看一看吧,输入拼音”zhonghua”,下面会有包含”zhonghua”对应的中文”中华”的商品的提示： 拼音分词是根据输入的拼音提示对应的中文，通过拼音分词提升...[详细]
2020-04-08 09:05 分类：大数据elasticsearch.yml基本配置说明
一、基本配置 elasticsearch的config文件夹里面有两个配置文 件：elasticsearch.yml和logging.yml，第一个是es的基本配置文件，第二个是日志配置文件，es也是使用log4j来记录日 志的，所以logging.yml里的设置按普通log4j配置文件来设置...[详细]
2020-04-08 09:00 分类：大数据Spark API 详解/大白话解释 之 groupBy、groupByKey
转载：http://blog.csdn.net/guotong1988/article/details/50556871 groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组 1 2 3 4 5 6[详细]
2020-04-08 09:00 分类：大数据spark sql下parquet内幕解密
一：Spark SQL下的Parquet意义再思考 1， 如果说HDFS是大数据时代分布式文件系统存储的事实标准的话，Parquet则是整个大数据时代文件存储格式的事实标准。 2， 速度更快：从使用Spark SQL 操作普通文件CSV和Parquet文件的速度对比上来看...[详细]
2020-04-08 08:57 分类：大数据ElasticSearch5.3安装IK分词器并验证
lasticSearch5.3安装IK分词器 之前使用Elasticsearch安装head插件成功了，但是安装IK分词器却失败了。貌似是ElasticSearch5.0以后就不支持直接在elasticsearch.yml中配置IK了。原因下面会说明。 首先下载： https://www.elastic.co/d...[详细]
2020-04-08 08:57 分类：大数据spark core 2.0 SerializedShuffleHandle UnsafeShuffleWriter ShuffleExternalSorter
Use condition: /** * Helper method for determining whether a shuffle should use an optimized serialized shuffle * path or whether it should fall back to the original path that operates on deseri[详细]
2020-04-08 08:54 分类：大数据Elasticsearch安装中文分词插件ik
Elasticsearch默认提供的分词器，会把每个汉字分开，而不是我们想要的根据关键词来分词。例如： [html] view plain copy curl -XPOST "http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text...[详细]
2020-04-08 08:52 分类：大数据spark sql下使用parquet最佳实战
一：Spark SQL下的Parquet使用最佳实践 1， 过去整个业界对大数据的分析的技术栈的Pipeline一般分为以下两种方式： a) Data Source->HDFS->MR/Hive/Spark(相当于ETL)->HDFS Parquet->Spark SQL/Impala->Result Service(...[详细]
2020-04-08 08:50 分类：大数据Elasticsearch - 指定分析器
分析器 简介 全文搜索引擎会用某种算法对要建索引的文档进行分析， 从文档中提取出若干Token(词元)， 这些算法称为Tokenizer(分词器)；这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为Token Filter(词元处理器), 被处理后...[详细]
2020-04-08 08:47 分类：大数据
加载中,请稍侯......