扬州老鬼
- 浏览: 306362 次
- 性别:
- 来自: 苏州
-
最新评论
-
wxcking：
引用引用[u][i][b][b][u]引用[list]
[*] ...
rpmbuild淘宝datax代码，File not found问题解决 -
扬州老鬼：
这两天又用了Jmeter，发送json，发现中文乱，也设置了c ...
Jmeter 发送json -
jorjimmy：
就这样啦？没有教人怎么看执行计划啊。。。。
SybaseIQ查看查询计划 -
WandyQian：
成功了，不过如果能在zkEnv.sh最前边加一句ZOO_LOG ...
Zookeeper Log4j日志输出修改 -
di1984HIT：
wo bu zhuan zai
编译drill +hadoop 2.2
文章列表
关于SolrCloud的集群启动慢的原因调查
- 博客分类：
- solr
原创，转载请注明出处
在维护SolrCloud 集群过程中，最害怕的重启SolrCloud 集群，因为这需要等待很长的时间。
至于为啥要等待这么长的时间，到了今天我才花了点时间弄明白了。了解原理之后我也找到了快速重启集群的方法。
首先我们要说明的是，SolrCloud 集群在重启过程中步骤。
1.启动core实例，加载配置，replay log。这个不是本文所讲述的重点，暂时不去探讨。
2.Recover 、Sync恢复和同步。
整个事件就花费在recover和sync上面。
那么这个过程到底做了什么？
通过对比日志和代码，solr会把第一个启动实例作为集群中的leader，这个leader ...
原创，转载请注明出处。
开始研究神奇的spark。会陆续将研究的心得放上来。
在Spark中一个核心的是模块就是调度器（Scheduler），在spark中Scheduler有两种TaskScheduler（是低级的调度器接口），DagScheduler（是高级的调度）
我们在创建SparkContext对象的时候，sparkcontext内部就会创建TaskScheduler和DagScheduler，奇迹从此就发生了。
其中TaskScheduler和DagScheduler的关系。
DagScheduler：DagScheduler是一个高级的scheduler 层，他实现了基 ...
Jmeter 发送json
- 博客分类：
- 工具软件
使用jmeter发送json数据。方法有三种
原创，转载请注明出处
1.利用CSV Data set Config。
参考：
http://demi-panda.com/2013/01/08/how-to-use-a-csv-file-from-json-with-jmeter/
2.直接在HTTP请求sampler当中，把json字符串放在Post body。
3.可以直接放在parameters
其实2和3 都是等同的。
注意，发送json格式的http请求的时候，需要添加HTTP信息头管理器设置Content-Type=application/json
原创，转载请注明出处
HDFS的DATANODE的剩余空间具体要到多大？关于这个问题，下面记录下对这个问题的调查
昨天，讨论群里面给出了一个异常：
op@odbtest bin]$ hadoop fs -put ../tmp/file3 /user/hadoop/in2
14/01/15 02:14:09 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hadoop/in2/file3._COPYING_ ...
编译drill +hadoop 2.2
- 博客分类：
- Hadoop
原创，转载请注明出处
花了点时间将drill+apache hadoop2.2 编译出来了。
之前在drill邮件列表将编译过程整理了一下，现在也整理一份放在我的iteye上面。。
1. add a profile section to pom.xml:
<profile>
<id>apache</id>
<properties>
<alt-hadoop>apache</alt-hadoop>
</properties>
& ...
原创，转载请注明出处
前两天和朋友李天王吃饭的时候，聊到了一个hadoop的运维的很简单问题，感觉很有意思，以前也没有注意过，现在加以重现和整理。
感谢李天王的分享。。。。
翻看了yarn-deamon.sh stop部分的脚本：
(stop)
if [ -f $pid ]; then
TARGET_PID=`cat $pid`
if kill -0 $TARGET_PID > /dev/null 2>&1; then
echo stopping $command
kill $ ...
Apach Dril的计算流程说明
- 博客分类：
- Hadoop
原创，转载请注明出处
花了两天时间，学习了Drill的工作流程，这要感谢Timothy Chen提供Drill关于工作流的文章。
工作流的图（注：该工作流是针对alpha版本的说明）：
原文地址：
http://tnachen.wordpress.com/2013/11/05/lifetime-of-a-query-in-drill-alpha-release/
如上图所知，本文所述的drill query需要Zookeeper以及Hazelcast ，同时是通过sqlline命令行来进行查询，而DrillBit 是一个运行在集群中某个节点上面的一个Drill 过程。
Client
上 ...
原创，转载请注明出处
原文：
http://www.confusedcoders.com/bigdata/apache-drill/understanding-apache-drill-logical-plan
Apache Drill在内部会产生2个plan：一个是Logical Plan一个是Physical plan。
输入的query可以是SQL 2003的sql或者DrQL，或者是MongoQL，查询语句会首先被转成Logical plan，然后Drill会使用它的优化规则来对logical plan进行优化，最终产出physical plan，physical plan就是最后由 ...
原创，转载请注明出处。
利用业余时间完成了对Drill的两篇文档的翻译，希望方便大家学习drill。
本文是Drill的Logical Plan的翻译稿。drill logical plan是内部信息，虽然我们使用时候不需要关注logical plan，但是对于开发，这个还是需 ...
原创，转载请注明出处。
关注很久的hadoop实时计算框架drill终于发布了他的里程碑的第一版本。
官网地址：
http://incubator.apache.org/drill/
目前开始慢慢学习，首先翻译一份官方文档，介绍Apache drill的数据结构ValueVector。
完成于2013年11月03日凌晨0：30
[size=medium]Value Vectors[/size]
本文档的作用是描述定义在Operator之间传递列式数据的时候所需要的数据结构。
Goals
Support Operators Written in Multiple Language（多语言支持） ...
翻译一篇关于HBase MTTR的文章介绍，转载请注明出处。
原文的地址
http://hortonworks.com/blog/introduction-to-hbase-mean-time-to-recover-mttr/
Hbase 是一个always-available的服务，在机器故障的时候保持可用性，集群中的机器都运行regionserver daemons。但一个regionserver出现故障，或者机器掉线，那么保存在上面的regions也同样掉线。Hbase中MTTR的能够检测异常，尽可能早的恢复对掉线region的访问。
文章解释了hbase如何管理MTTR，并且介绍了 ...
最近要找资料，要到Cloudera官网找资料，发现熟悉下载页面变得特别大，居然花了几分钟才能找到tar包下载路径了。
估计是cloudera要推自己的hadoop的相关产品。
所以要下载tar玩hadoop的童鞋么，注意了，下载路径不容易找。
我写来是方便一下童鞋们：
Cloudera Download页面，找到
Cloudera Standard
点击 Individual Components and Features，就能找到CDH等各个组件的下载链接了。。。
Zookeeper Log4j日志输出修改
- 博客分类：
- Hadoop
原创转载请注明出处。
今天配置一下了zookeeper。配置的步骤我就不再写了。就是不习惯zookeeper的log日志输出，他是直接输出到当前zookeeper.out的文件，这是一个控制台的重定向文件。
所以想着让zk的操作日志输出到标准的log4j文件。
首先修改了：
conf/log4j.properties：
# Define some default values that can be overridden by system properties
zookeeper.root.logger=INFO, CONSOLE
改成
# Define some defau ...
原创，转载请注明出处：
使用MultipleInputs.addInputPath添加多输入源（超过两个）的时候：
MultipleInputs.addInputPath(conf, new Path(otheArgs[0]), TextInputFormat.class,JoinNodeMapper2.class);
MultipleInputs.addInputPath(conf, new Path(otheArgs[1]), TextInputFormat.class,JoinMemMapper2.class);
MultipleInputs.addInputPath(conf, ...
原创，转载请注明出处。
我的OS是RHEL6.2，
需要对99块逻辑卷进行raw设备映射，使用udev来对raw进行管理
修改/etc/udev/rules.d/60-raw.rules：
ACTION=="add", KERNEL=="/dev/mapper/oracle_vg01-rlvoracle01", RUN+="/bin/raw /dev/raw/raw1 %N"
ACTION=="add", ENV{MAJOR}=="253",ENV{MINOR}=="7&qu ...