eastzhang
- 浏览: 10336 次
- 性别:
- 来自: 杭州
-
最新评论
-
eastzhang：
-XX:+UseCompressedOops 普通对象指针压 ...
[转] JVM 精典配置 -
moono_olight：
坚持就是胜利
Hadoop应用系列2--MapReduce原理浅析(下) -
wang_hao_long：
顶！！！！！！！！！！！！！！！！！！！！！！！！！
Hadoop应用系列2--MapReduce原理浅析(下) -
Tracy-Lcz：
顶你一个老兄
Hadoop应用系列2--MapReduce原理浅析(下) -
Tracy-Lcz：
看了文章，如果说是《《MapReduce原理浅析(上)》》，有 ...
Hadoop应用系列2--MapReduce原理浅析(上)
文章列表
/opt/xx/java/bin/java -Dprogram.name=run.sh –server
-Xms4g //指定 jvm 的最小 heap 大小
-Xmx4g //指定 jvm 的最大 heap 大小
-Xmn2g
-Xss1m
-XX:PermSize=96m
-XX:MaxPermSize=256m
-XX:SurvivorRatio=10
-XX:+HeapDumpOnOutOfMemoryError ...
一般情况下，我们都要将linux自带的OPENJDK卸载掉，然后安装SUN的JDK
首先：查看Linux自带的JDK是否已安装
<1>查看已经安装的JAVA版本信息
# java -version
一般将显示如下信息：
java version "1.6.0"
OpenJDK Runtime Environment (build 1.6.0-b09)
OpenJDK 64-Bit Server VM (build 1.6.0-b09, mixed ...
Profile your applications with Java VisualVM
July 13, 2010 by Baptiste Wicht 11 Comments
When you need to discover what part of an application consume the more CPU or Memory, you must use a profiler to do that.
One profiler, packed by default with the Sun JDK is Java VisualVM. This profiler is re ...
此贴用于记录我在工作中遇到过的tomcat permgen space 内存溢出的问题和是如何解决的。
问题产生的原因：
我有一个应用假定为PlayWeb01，因为业务UI变化巨大导致数据库表结构也变化巨大，客户的历史数据需要保存30年，这样，就不能够在原有数据库上进行升级，我又懒得给新业务部分单独配置一个数据源，因为这样做后续的工作量太大。于是乎，在同一个tomcat中部署了多个应用，问题就这样产生了，程序跑一段时间之后就会产生PermGen space 内存溢出。
-------------------------------------------------------------- ...
上面我们分析气温的那段程序，看起没有问题，用起来也没有问题。
试想一下，如果我们把全球所有气象站的数据拿来分析， 你的程序大约需要多久能计算出结果？或者说能否完成运算？
以前我们会把来自不同气象站的数据在不同时间，或者不同计算机上进行运算，最后把结果拿来，再次执行运算。
有了MapReduce咱就不用这么麻烦了，MapReduce做了这样几件事：
0、分布式并行
1、他把输入和输出分开。Mapper负责读取数据，把需要计算的数据输出给Reducer,
也就是说，我们刚才写的程序addYearAndTemperature和out他们是天然的2个程序。
2、本身就是为分布式而设计的，他会把来自多 ...
我们以《Hadoop权威指南》这本书上的例子，来分析一下，MapReduce是如何工作的。
我们引用它分析气温的例子。这个例子还是非常经典的，我个人认为小缺点就是，没有对传统的程序是如何工作的进行对比，如果加入此项，它将是 ...
http://v.youku.com/v_show/id_XNTA2MTg2NjI0.html
视频是在我宝贝睡觉的时候录制，拍打扰他睡觉，所以没有声音。
补发了一个有声版
http://v.youku.com/v_show/id_XNTA3NjY5NjUy.html
这几天有点时间想要分享一下我学习hadoop的一些经验，希望以此来给想要学习他的朋友们带来些帮助，文笔不够专业，希望广大朋友们多指点、拍砖。
本系列使用 hadoop 1.0.4 版本，在今后的系列中，如果没有特别指出，皆为此版本。
本系列使用 CentOS 6.3 Linux 操作系统，请安装他， 稍后我会写一篇关于此的经验分享。
关于Linux的基本操作，我也会写一些，经验分享帖。当然已经有很多博主写的灰常不错。朋友们可以先搜来看看。
hadoop 要求使用jdk6级以上版本， 我使用的jdk1.6u27。
废话不多说， 去hadoop.apache.org下载此版本吧。
假设你已经安 ...