jianzong2000
- 浏览: 56044 次
- 性别:
- 来自: 南京
-
最新评论
文章列表
充血模型和贫血模型
我觉得既然是面向对象编程，自然应该是充血模型。
但是方法是不是应该属于该对象可能不好判断。
如发贴动作，就不应该属于贴子这个对象
聚合和组合等
聚合表示被聚合的类可以离开另一个类独立存在，而组合则相反。这是视问题域而定的，例如在关心汽车的领域里，轮胎是一定要组合在汽车类中的，因为它离开了汽车就没有意义了。但是在卖轮胎的店铺业务里，就算轮胎离开了汽车，它也是有意义的，这就可以用聚合了。
依赖：一个类A使用到了另一个类B，而这种使用关系是具有偶然性的、临时性的、非常弱的，但是B类的变化会影响到A。比如某人要过河，需要借用一条船，此时人与船之间的关系就是依赖 ...
在括号中需要转义$，例ssh dsjhd035 "jps | wk '/DataNode/{print \$1}'| xargs -I f echo f"
ps显示活动进程的信息，如果想重复的显示进程的信息，可以使用top代替ps。
ps接受几种option
1.UNIX options，which may be grouped并且必须以破折号开头。
2.BSD options，which may be grouped并且不能以破折号开头。
3.GNU long options，必 ...
看regionserver的监控页面，发现顺序取值使用Get时的blockCacheHitRatio较高。
而使用Scan时blockCacheHitRatio低了不少。查看源代码发现
参考AbstractHFileReader.Scanner类（HFileScanner的子类）中。
//这里的blockBuffer，即是block
protected ByteBuffer blockBuffer;
protected boolean cacheBlocks;
在一个Scan中读取多条数据时会从blockBuffer中直接读取，所以就不会以blockCacheHitRatio有贡 ...
自己编译了hbase的snappy包，出现了几个问题。
主要是报UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy
参考http://grokbase.com/t/hbase/user/13435f3f02/failing-to-get-snappy-working-hours-now-native-snappy-library-not-available-help
其中提到
Make sure the path to the libhadoop SO is on L ...
在TextInputFormat中调用了LineRecordReader，接着又调用了LineReader，方法readDefaultLine方法中直接使用的Text直接加入的从文件中读取的bytes，其中并没有转换。
如果原始的text文件如果是中文的话，再取出来的时候就不能使用Bytes.toString(final byte [] b)来转换了，因为这个方法里面使用的utf8来解码的。需要自己调用new String(byte[], "gbk")来进行处理了。
看到了TestTextNonUTF8，Text中是以byte[]存储的。所以放进去bytes，再取出来 ...
一个Region Server的region个数少点比较好，一般从20到几百个。0.90.x中upper-bound of regionsize是4GB，0.92.x中因为HFile v2，可以支持到更大，如20GB。一个Region Server保持较小的Region Server原因如下：
1、MSLAB每个memstore需要2mb。如果有2个 fa ...
在linux上面，hive和mysql server配置在同一台机子上面，用shell时一直报这个错误。
Access denied for user 'root'@'localhost' (using password: YES)
在window上面写个简单的java程序连接正常。。查了半天，发现users表里面有两条记录。
host user password
% root *4DF1D66463C18D44E3B00 ...
按文档安装一堆好不容易安装完了。
编译的时候总是报这个错误，因为对maven不熟，弄了半天。
[ERROR] symbol: class Parser[ERROR] location: package com.google.protobuf
/app/tools/hadoop-2.0.3-alpha-src/hadoop-hdfs-project/hadoop-hdfs/target/generated-sources/java/org/apache/hadoop/hdfs/protocol/proto/NamenodeProtocolProtos.java:[1502,30] e ...
map和reduce 个数的设定 （Hive优化）经典
http://blog.sina.com.cn/s/blog_9f48885501017dua.html
本来搭建了一个mapreduce集群，使用了hbase。
但需要将mapreduce分成两个，一个专门跑优先级高的任务，另一个专门跑优先级低的任务。
但因为hbase的原因，hdfs却不能分成两个，考虑配置hdfs的slaves配置文件conf/slaves，修改为conf/slaves_hdfs。
待测试。
主要修改了server端的tcpnodelay为false，就解决这个问题了。
tcpnodelay为false时的tcpdump为(有40ms的延迟)
16:17:00.576582 IP linux-idy0.48538 > linux-idy0.60020: P 5434:5643(209) ack 247472 win 387 <nop,nop,timestamp 567208394 567208393>
16:17:00.576869 IP linux-idy0.60020 > linux-idy0.48538: P 247472:255664(819 ...
原文地址: http://www.thomasfrank.se/sessionvars.html
译者： selfimpr
博客： http://blog.csdn.net/lgg201
邮箱： lgg860911@yahoo.com.cn
插件源代码解析： http://blog.csdn.net/lgg201/archive/2010/09/23/5902274.aspx
不使用cookie的session变量 我不喜欢javascript的cookie实现, 存储空间限制在4 * 20K每域名, 仅仅可以使用字符串类型, 并且获取和设置cookie的 ...
<table align="center" style="text-align:center;">
<tr >
<td >
<div align="center" style="text-align:center">
<div style="float:left"><div style="background:#ABDCEA;color:#1C2327;font-weight: bold;paddi ...