内存
-
Spark生态之Alluxio学习21--疑问:为什么master看不到D9,而work节点有D9部分数据?
更多代码请见:https://github.com/xubo245/SparkLearning Spark生态之Alluxio学习 版本:alluxio-1.3.0(tachyon),spark-1.5.2,hadoop-2.6.0 1.解释 1.1 疑问 为什么master看不到D9,而work节点有D9部分数据? master也显示内存不止D7,...[详细]
2020-04-02 15:20 分类:大数据Spark生态之Alluxio学习14--alluxio内存文件加载方式和分布情况分析
更多代码请见:https://github.com/xubo245/SparkLearning Spark生态之Alluxio学习 版本:alluxio-1.3.0(tachyon),spark-1.5.2,hadoop-2.6.0 alluxio-0.7.1 通过copyFromLocal指令上传文件,发现D1Line.fasta-D6Line.fasta都在一个节点...[详细]
2020-04-02 14:49 分类:大数据Centos下查看cpu、磁盘、内存使用情况以及如何清理内存
系统在长时间运行下,可用内存会逐渐越来越少,如果没有一定机制做监控以及定期清理人物的话服务器就会存在很大隐患,如下操作来手动核查以及清理:[详细]
2020-04-02 08:34 分类:Linux浅谈Java的虚拟机结构以及虚拟机内存的优化
工作以来,代码越写越多,程序也越来越臃肿,效率越来越低,对于我这样一个追求完美的程序员来说,这是绝对不被允许的,于是除了不断优化程序结构外,内存优化和性能调优就成了我惯用的“伎俩”。[详细]
2020-04-01 16:45 分类:编程语言-
elasticsearch了解垃圾收集器
了解垃圾收集器 由于ElasticSearch是基于Java语言的应用,所以它必须运行在Java虚拟机上。任何Java程序都被编译成字节码,然后才能运行在JVM上。用最常规的方式思考,可以想象JVM只是执行其它的程序,并且控制程序的行为。但是除非你是在...[详细]
2020-04-01 10:43 分类:大数据-
了解elasticsearch 相关JVM
原文链接: http://jprante.github.com/2012/11/28/Elasticsearch-Java-Virtual-Machine-settings-explained.html 从2006年的java6 到现在java7无论是性能或其它方面都有了很大的改进,我们没有理由不在使用Java7,我个...[详细]
2020-04-01 10:34 分类:大数据 Reids配置文件详解
[转载]Reids配置文件详解 # redis 配置文件示例 # 当你需要为某个配置项指定内存大小的时候,必须要带上单位, # 通常的格式就是 1k 5gb 4m 等酱紫: # # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes # 1m...[详细]
2020-04-01 10:25 分类:大数据-
python多进程中的内存复制(实例讲解)
比较好奇python对于多进程中copy on write机制的实际使用情况。目前从实验结果来看,python 使用multiprocessing来创建多进程时,无论数据是否不会被更改,子进程都会复制父进程的状态(内存空间数据等)。所以如果主进[详细]
2020-04-01 10:08 分类:Python