`
文章列表
virtualbox的动态磁盘分配是指如果你设置了10G,刚开始的时候不会占用10G,随着使用的增加逐渐变成10G。但到了10G就不能再增长了,这时候就需要对硬盘进行扩容了。 cd “C:\Program Files\Oracle\VirtualBox” VBoxManage modifyhd "D:\VirtualBox VMs\ubuntu16-64-10\ubuntu16-64-10.vdi" --resize 20480 出现上图就表示成功了。  接下来还要在ubuntu的操作系统中进行硬盘创建,格式化,挂载的动作,参考下面链接。 参考 http://b ...
  start-all.cmd setlocal enabledelayedexpansion //@rem是主注释 @rem Start all hadoop daemons.  Run this on master node. //echo是输出文本 echo This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd //%~dp0表示当前批处理所在目录 if not defined HADOOP_BIN_PATH (    set HADOOP_BIN_PATH=%~dp0 ) ...
    start-all.cmd --->set HADOOP_BIN_PATH=${hadoop_install}\sbin --->set HADOOP_LIBEXEC_DIR=${hadoop_install}\libexec ===>${hadoop_install}\libexec\hadoop-config.cmd --->set HADOOP_COMMON_DIR=share\hadoop\common --->set HADOOP_COMMON_LIB_JARS_DIR=share\hadoop ...
ubuntu@s0:~$ hadoop fs -ls / ls: Call From s0/192.168.56.140 to s0:8020 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused 开始以为s0的端口没有打开,查了一发现防火墙跟本就没有启用。 后来把所有集群上core-site.xml 配置 hdfs://s0/改成了hdfs: ...
本文主要讲述 HDFS原理-架构、副本机制、HDFS负载均衡、机架感知、健壮性、文件删除恢复机制 1:当前HDFS架构详尽分析      HDFS架构  •NameNode •DataNode •Sencondary NameNode

MapReduce介绍

MapReduce分为两个部分一个是map,一个是reduce 对应的java类分别是mapper和reducer。 MapReduce的特性是对集群内的数据进行并行计算。 MapReduce的初识,例如黄匡内的是气象数据。经过第二步初始映射key是行号,value就是数据库,在经过第三步带有实际业务的映射输出把有用的数据抽出,key是年份,value是温度。然后经过shuttle(洗牌),按照年份进行进行合并也就是分组加排序的过程,把同样的key的value合并到一起并排序。然后经过reduce按照规则取出响应的数据,然后输出。 : 下面开始实践,首先创建一个mapper类。主要是 ...

(转)mat使用

    博客分类:
  • jvm
原文地址:http://www.jianshu.com/p/d8e247b1e7b2 MAT简介 MAT(Memory Analyzer Tool),一个基于Eclipse的内存分析工具,是一个快速、功能丰富的JAVA heap分析工具,它可以帮助我们查找内存泄漏和减少内存消耗。使用内存分析工具从众多的对象中进行分析,快速的计算出在内存中对象的占用大小,看看是谁阻止了垃圾收集器的回收工作,并可以通过报表直观的查看到可能造成这种结果的对象。 MAT 当然MAT也有独立的不依赖Eclipse的版本,只不过这个版本在调试Android内存的时候,需要将DDMS生成的文件进行转换,才可 ...

jvm性能监控工具

    博客分类:
  • jvm
linxu系统下的命令: uptime查看系统运行时间、运行时间、每个终端连接数。1,5,15分钟内系统平均负载,运行队列中的平均进程数。  17:08:15 up 3 min,  2 users,  load average: 0.01, 0.03, 0.00   top,同uptime ,cpu内存使用情况,每个进程占cpu的情况。   top - 17:09:21 up 4 min,  2 users,  load average: 0.00, 0.02, 0.00 Tasks:  84 total,   1 running,  83 sleeping,   0 stopp ...

jvm中的classloader

    博客分类:
  • jvm
class装载验证流程:加载、链接(验证、准备、解析)、初始化 加载: 装载类的第一个阶段 取得类的二进制流 转为方法区的数据结构 在java堆中生成对应的java.long.Class对象 链接(验证) 文件格式的验证:(以0xCAFEBABE)开头、版本号是否合理 元数据验证:是否有父类、继承了final类?、非抽象实现了所有的抽象方法 字节码验证:操作数栈的和局部变量是否吻合、跳转指令指定到合理的位置。 符号引用验证:常量池描述类是否存在、访问的方法或字段是否存在且有足够的权限 链接(准备) 分配内存,并未类设置初始值(方法区中) public static i ...
http://blog.csdn.net/vernonzheng/article/details/8461380 一.概述   定义:虚拟机把描述类的数据从Class文件加载到内存,并对数据进行校验、转换解析和初始化,最终形成可以被虚拟机直接使用的Java类型。类加载和连接的过程都是在运行期间完成的。   二. 类的加载方式   1):本地编译好的class中直接加载 2):网络加载:java.net.URLClassLoader可以加载url指定的类 3):从jar、zip等等压缩文件加载类,自动解析jar文件找到class文件去加载util类 4):从java源代码 ...

jmeter测试jvm

    博客分类:
  • jvm
用jmeter简单发送http请求      然后点击上面的绿色运行按钮就可以测试了,测试的返回内容可以在结果树中查看。 -Xloggc:gc.log -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:PermSize=32M -XX:+UserSerialGC 这个不支持 -XX:Xmx32M 这两个要通过输入框来设置 -XX:Xms32M 这两个要通过输入框来设置   如果不能启动可以到logs/tomcat6-stderr.2017-04-01.log下查找日志 2017-04-01 00:20:44 ...

GC参数

    博客分类:
  • jvm
堆 新生代  (伊甸园区  幸存区(2个幸存区使用的是复制算法,也叫from,to区)) 老年代 一般初始化的对象先到新生代,除非对象很大会直接到老年代,在gc新生代之后幸存的对象会到幸存区。经过多次gc之后依然存活的对象会被移到老年区长期存在。   -XX:+UserSerialGc 最古老最稳当 新生代、老年代使用串行回收 新生代使用复制算法,老年代使用标记-压缩算法。   -XX:UserParNewGC 新生代并行,老年代串行。 Parallel收集器,串行收集器在新生代和老年代的并行化 新生代复制算法 老年代标记压缩算法 -XX:+UserParallelG ...

java位操作

    博客分类:
  • jvm
正数的原码反码补码都是一样的。下面讲一下负数的原码反码补码。以-1为例。 原码100000001  反码1111111110  补码1111111111 java例都是用补码进行计算的。   2+(-1)=00000010 + 11111111=00000001 就是1   位操作   a&b 如果a和b都是1,则 结果等于1,其他情况都等于0 a|b 如果a或b只要有一个是1,则结果等于1,其他情况都等于0 >> n 符号不变其他位右移n。高位用0补齐。-5>>1     10000101 >> 10000010 > ...

GC的算法和种类

    博客分类:
  • jvm
Garbage Collection 垃圾收集,java中GC的对象是堆空间和永久区。 引用计数法: 当有其他对象引用当前对象的时候加1,引用消失的时候减1。为o的时候就GC。对象循环引用的时候比较难回收。 标记清除法: 分两个阶段,一个是标 ...

常用JVM参数配置

    博客分类:
  • jvm
跟踪参数,可以用一下两种方式: -verbose:gc -xx:PrintGC -xx:PrintGCDetails -xloggc:log/gc.log 将gc的日志打印在当前目录的log/gc.log文件下。 -xx:+PrintHeapAtGC 每次gc后都打印堆信息。 -xx:+TraceClassLoading 监控类的加载 -xx:+PrintClassHistogram 按下Ctrl+Break,打印系统中所有的类的使用情况,内存的使用空间,类实例的数量。 -Xmx -Xms   指定最大堆和最小堆 -Xmx20m -Xms5m 最大20m,启动后至少占5m,但5 ...
Global site tag (gtag.js) - Google Analytics