wangjin161
- 浏览: 176286 次
- 性别:
- 来自: 北京
-
最新评论
文章列表
1: heap size a: -Xmx 指定jvm的最大heap大小,如:-Xmx2g b: -Xms 指定jvm的最小heap大小,如:-Xms1g c: -Xmn 指定jvm中New Generation的大小,如:-Xmn256m d: -XX:PermSize 指定jvm中Perm Generation的最小值,如:-XX:PermSize=32m e: -XX:MaxPermSize 指定Perm Generation的最大值,如:-XX:MaxPermSize=64m f: -Xss 指定线程桟大小,如:-Xss128k
JVM GC日志和内存DUMP参数配置
- 博客分类：
- jvm
JVM GC日志和内存DUMP参数配置
在JVM出现内存溢出或泄露时，为便于排查和定位，需要JVM的启动上增加相应的参数。主要是GC日志和内存DUMP参数。详细如下。 1.GC日志和内存DUMP参数配置 本文参数配置基于各厂商 ...
#!/usr/bin/expectset timeout 30spawn ssh -l root 192.168.1.117expect "password:"send "nopasswd/r"interact
================================
set timeout 30设置超时时间的，计时单位：秒
这样的shell脚本只能是./test.sh 方式执行，不能用sh 命令
...
shell判断和比较
- 博客分类：
- linux
shell判断和比较
1 shell 的$! ,$?, $$,$@
$n $1 the first parameter,$2 the second...
$# The number of command-line parameters.
$0 The name of current program.
$? Last command or function's return value.
$$ The program's PID.
Mapreduce多目录/多文件输出
- 博客分类：
- hadoop
Mapreduce多目录/多文件输出
一，介绍
1，旧API中有 org.apache.hadoop.mapred.lib.MultipleOutputFormat和org.apache.hadoop.mapred.lib.MultipleOutputs
MultipleOutputFormat allowing to write the output data to different output files.
MultipleOutputs creates multiple OutputCollectors. Each OutputCollector can have it ...
探索Hadoop OutputFormat
- 博客分类：
- hadoop
OutputFormats是做什么的？
OutputFormt接口决定了在哪里以及怎样持久化作业结果。Hadoop为不同类型的格式提供了一系列的类和接口，实现自定义操作只要继承其中的某个类或接口即可。你可能已经熟悉了默认的OutputFormat，也就是TextOutputFormat，它是一种以行分隔，包含制表符界定的键值对的文本文件格式。尽管如此，对多数类型的数据而言，如再常见不过的数字，文本序列化会浪费一些空间，由此带来的结果是运行时间更长且资源消耗更多。为了避免文本文件的弊端，Hadoop提供了SequenceFileOutputformat，它将对象表示成二进制形式而不再是文本文 ...
MapReduce设置参数防止超时
- 博客分类：
- hadoop
MapReduce设置参数防止超时
1. 如果碰到异常“Task attempt failed to report status for xxx seconds. Killing!”，最可能是碰到死循环了。
2. 如果没有死循环：控制超时的属性是：mapred.task.timeout，默认600000ms，即600s。可以设置成更大的值。可以直接在Jobconf或Configuration中修改（只对本Job起作用），也可以修改mapred-site.xml（对所有Job起作用）。
3. 如果没有死循环，但task执行时间长又不好确定，可以在Reducer或Mapper中主动发送 ...
开发MapReduce常见问题
- 博客分类：
- hadoop
（1）当你把一个文件加入distribution cache的时候，要注意：如果你是以addCacheFile()的方式添加的，而你在mapper中取出来的时候，却是以archive的方式取出来——getLocalCacheArchives()，那么，你将得不到cache文件的路径，因为放进去和取出来的方式要一致。
（2）在mapper中获取当前正在处理的HDFS文件名/HDFS目录名
有时候，Hadoop是按行来对数据进行处理的，由于对每一行数据，map()函数会被调用一次，我们有时可以根据文件名/目录名来获取一些信息，从而把它们输出，例如，目录名中包含了日期，则我们可以取出来并输出到 ...
vim全局替换命令
语法为 :[addr]s/源字符串/目的字符串/[option]
全局替换命令为：:%s/源字符串/目的字符串/g
[addr] 表示检索范围，省略时表示当前行。
如：“1，20” ：表示从第1行到20行；
“%” ：表示整个文件，同“1,$”；
“. ,$” ：从当前行到文件尾；
s : 表示替换操作
[option] : 表示操作类型
Yarn的JVM重用功能——uber
- 博客分类：
- hadoop
Yarn的JVM重用功能——uber
在文章开头，我想先做几点说明：
1、本文的内容来自我对Yarn的相应功能的理解和实践。而我对该部分功能的理解主要来自对Hadoop的开发者之前相应言论的分析，并且我也将我的分析发给了Hadoop community， 并得到了Yarn的创始人兼架构师Arun Murthy的肯定回复。
2、本文中uber的配置部分，主要参考之前Hadoop开发者的言论。但是我当初看该言论的时候对一些细节有所疑惑，因此在本文中我对很多地方做了修改：使一些用词的引用前后一致，并加上了很多描述性的过渡语言。
3、本文为研究性质，并非官方文档的翻译。因此，如果读者发现 ...
DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 按正条件（正则表达式）显示表，
vim下
1.插入注释：
用v进入virtual模式 用上下键选中需要注释的行数 按Control+v进入列模式 按大些“I”进入插入模式，
输入注释符“#”，然后立刻按下ESC
2.删除注释
先按Control+v进入列模式 按光标键选中需要删除的注释符 按x键删除
为了便于选取文本，VIM 引入了可视(Visual)模式。要选取一段文本，首先将光标移到段首，在普通模式下按 v 进入可视模式，然后把光标移到段末。需要注意，光标所在字符是包含在选区中的。这时可以对所选的文本进行一些操作，常用的(可视模式)命令有：x或d 剪切(即删除，同时所选的文本进入剪 ...
firefox相关设置及有用插件
- 博客分类：
- 其他
firefox 29后。就没有了状态栏
1.安装状态栏
添加原firefox 自带的状态栏
https://addons.mozilla.org/zh-cn/firefox/addon/the-addon-bar/
这个是网友扩展
http://mozilla.com.cn/addon/47-extended-statusbar/
加强版状态栏-Extended Statusbar
2.ip地址展示 工具
这个是在状态栏上显示ip地址
http://mozilla.com.cn/addon/80/
工欲善必先利其器， ...
Shell中字符串分割的三种方法
- 博客分类：
- linux
Shell中字符串分割的三种方法
分类： Linux2013-05-13 21:17 6296人阅读 评论(0) 收藏 举报
问题：对于’1,2,3,4,5’这样的字符串输出采用,分隔开的1 2 3 4 5
特征：在字符串中没有空格
解决方法1
storm模块结构和api对应关系
- 博客分类：
- storm
storm模块结构和api对应关系
(2012-02-28 23:00:16)
转载▼
标签：