longzhun
- 浏览: 370314 次
- 性别:
- 来自: 北京
-
最新评论
-
记忆无泪：
遇到这个问题我用的sed -i 's/\r$//' /mnt/ ...
CentOS6 Shell脚本/bin/bash^M: bad interpreter错误解决方法 -
alenstudent：
Windows 下Nexus搭建Maven私服 -
dandongsoft：
lucene3+IK分词器 改造 lucene2.x+paoding -
duanyanrui：
学习了，支持
Google-Gson -
yscyfy：
这是你直接翻译过来的？？？
Google-Gson
文章列表
Hbase总结（一）-hbase命令
- 博客分类：
- hbase
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：
名称
命令表达式
创建表
create '表名称', '列名称1','列名称2','列名称N'
添加记录
put '表名称', '行名称', ' ...
hbase 介绍
一、Hbase发展历史
started by chad walters and jim
2006.11 G release paper on BigTable
2007.2 inital HBase prototype created as Hadoop contrib
2007.10 First useable Hbase
2008.1 Hadoop become Apache top-level project and Hbase becomes subproject
2008.10 Hbase 0.18,0.19 release ...
CentOS6.4 安装nmon
- 博客分类：
- nmon
安装
mkdir /usr/local/nmon
cd /usr/local/nmon
wget http://sourceforge.net/projects/nmon/files/nmon_linux_14i.tar.gz
tar zxvf nmon_linux_14i.tar.gz
chmod 777 nmon_x86_64_sles11
启动
./nmon_x86_64_sles11
说明：
按C显示CPU信息，再按一次C关闭
按M显示内存
按N显示网络
按D显示硬盘
先看看LengthFieldBasedFrameDecoder的官方API http://docs.jboss.org/netty/3.1/api/org/jboss/netty/handler/codec/frame/LengthFieldBasedFrameDecoder.html API举例说明了LengthFieldBasedFrameDecoder的解析机制，如下： 实际消息内容是“HELLO, WORLD”，长度是12 bytes（注意逗号后面有一个空格） 实例1 lengthFieldLength = 2表示“Length”的长度，而“Length”的值 就是“Actual ...
/bin/sh^M: bad interpreter:没有那个文件或目录解决
执行脚本时发现如下错误：
/bin/sh^M: bad interpreter: 没有那个文件或目录
错误分析:
因为操作系统是windows，我在windows下编辑的脚本，所以有可能有不可见字符。
脚本文件是DOS格式的, 即每一行的行尾以\n\r来标识, 其ASCII码分别是0x0D, 0x0A.
1．Jstack1.1 jstack能得到运行java程序的java stack和native stack的信息。可以轻松得知当前线程的运行情况。如下图所示
注：这个和thread dump是同样的结果。但是thread dump是用kill -3 pid命令，还是服务器上面少用kill为妙
1.2 命名行格式jstack [ option ] pidjstack [ option ] executable corejstack [ option ] [server-id@]remote-hostname-or-IP最常用的还是jstack pid
Nmon工具的使用以及通过nmon_analyse生成分析报表
在我们监控我们的操作系统的时候如果可以把各个硬件的监控信息生成形象化的分析报表图对于我们来说是件太好的事情了，而通过ibm的nom和nmon_analyser两者的结合完全可以实现我们的要求。首先对nmon和nmon_analyser做一个大概介绍。
Nmon 是一个分析aix和linux性能的免费工具（其主要是ibm为自己的aix操作系统开发的，但是也可以应用在linux操作系统上），而nmon_analyser是nmon的一个工具可以把nmon生成的报告转化成excel ...
本文会讨论一下Redis的复制功能以及Redis复制机制本身的优缺点以及集群搭建问题。
Redis复制流程概述
Redis的复制功能是完全建立在之前我们讨论过的基于内存快照的持久化策略基础上的，也就是说无论你的持久化策略选择的是什么，只要用到了Redis的复制功能，就一定会有内存快照发生，那么首先要注意你的系统内存容量规划，原因可以参考我上一篇文章中提到的Redis磁盘IO问题。
Redis复制流程在Slave和Master端各自是一套状态机流转，涉及的状态信息是：
Slave 端：
REDIS_REPL_NONE
REDIS_REPL_CONNECT
REDIS_REPL_CO ...
spark 运行环境搭建
- 博客分类：
- spark
第一步：下载spark-1.0.2-bin-hadoop2.tgz ，scala-2.10.4.tgz 版本随意，由于文件包大于10兆，上传不了，自行下载吧，下载地址：http://spark.apache.org/downloads.html，http://www.scala-lang.org/download/
下载完后解压到目录 如：/exprot/servers ，命令ta ...
groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组
val a = sc.parallelize(1 to 9, 3)
a.groupBy(x => { if (x % 2 == 0) "even" else "odd" }).collect//分成两组
/*结果
Array(
(even,ArrayBuffer(2, 4, 6, 8)),
(odd,ArrayBuffer(1, 3, 5, 7, 9))
)
*/
val a = sc.parallelize(1 ...
reduce(binary_function) reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。
val c = sc.parallelize(1 to 10)
c.reduce((x, y) => x + y)//结果55
具体过程，RDD有1 2 3 4 5 6 7 8 9 10个元素，
1+2=3 3+3=6 6+4=10 10+5=15 15+6=21 21+7=28 28+8=36 36+9=45 45+10=55
reduc ...
RDD定义：
任何数据在Spark中都被转换为RDD。
一个RDD可以看成是一个数组
不过是分到各个分区，分布在不同的机器上，可并行处理。
分区的定义： 一个RDD有多个RDD分区 一个RDD分区只在一个机器上 一个机器可有多个RDD分区 http://stackoverflow.com/questions/31359219/relationship-between-rdd-partitions-and-nodes
由数据转换为RDD：
举例：从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中。这个RDD一共9个元素，每个元素含有一个数字
val a ...
map(function) map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。
举例：
val a = sc.parallelize(1 to 9, 3)
val b = a.map(x => x*2)//x => x*2是一个函数，x是传入参数即RDD的每个元素，x*2是返回值
a.collect
//结果Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9)
b.collect
//结果Array[Int] = Array(2, 4, 6, 8, ...
简介
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（中文，英文）。
HDFS有很多特点：
① 保存多个副本，且提供容错机制，副本丢失或 ...
Hadoop MapReduceV2(Yarn) 框架简介
原 Hadoop MapReduce 框架的问题
对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapReduce 框架图：
图 1.Hadoop 原 MapReduce 架构