shixiaomu
- 浏览: 383008 次
- 性别:
- 来自: 北京
-
最新评论
-
lhbthanks：
楼主写的很多，也很实用，要是再增加一些描述就会更好了。
oracle 用户 从一个表空间 另一个表空间 -
wuhuajun：
private int _connectionMax = 51 ...
resin jboss 最大连接数设置 -
shixiaomu：
自己丁丁丁一下 学了忘忘了再学。。主要是应用场景太少
python -
shixiaomu：
我自己有了方案了java+rabbitmq_server-2. ...
hadoop hive zookeeper 还不够 -
shixiaomu：
看到这个帖子 羞愧极了 ,原来 我 09 年就想学 pytho ...
python
文章列表
先说“执行体之间的互斥与同步”。当执行体之间存在共享资源（一般是共享内存）时，为保证内存访问逻辑的确定性，需要对访问该共享资源的相关执行体进行互斥。当多个执行体之间的逻辑存在时序上的依赖时，也往往需要对执行体之间进行同步。互斥与同步是执行体间最基础的交互方式。
再说“执行体之间的消息传递”。在并发编程模型的选择上，有两个流派，一个是共享内存模型，一个是消息传递模型。多数传统语言选择了前者，少数语言选择后者，其中最典型的代表是Erlang语言。业界有专门的术语叫“Erlang风格的并发模型”，其主体思想是两点：一是“轻量级的进程（Erlang中的进程这个术语就是我们上文说的执行体）”，二是“消 ...
面向对象编程
Go 语言的面向对象编程(OOP)非常简洁而优雅。说它简洁，简介之处在于，它没有了OOP中很多概念，比如：继承、虚函数、构造函数和析构函数、隐藏的this指针等等。说它优雅，是它的面向对象(OOP)是语言类型系统(ty ...
hadoop-map-reduce执行流程调研报告
参与者:
Client 简称:C
JobTracker 简称:JT
TaskTracker 简称:TT
DataNode 简称:DN
NameNode 简称:NN
流程描述:
简述:
作业的提交 -> Map任务的分配和执行 -> Reduce任务的分配和执行 -> 作业的完成
每个具体的任务又分: 准备输入-> 算法的执行 -> 输出结果,三个步骤.
作业的提交:
1. /home/hadoop/hadoop-1.0.3/bin/hadoo jar ~/learning-had ...
screen
ping 10.13.25.119 |while read line;do echo $(date "+%F %T") $line;done
nohup ping 10.13.25.119 |while read line;do echo $(date "+%F %T") $line;done > /data1/ping119.txt &
/usr/bin/dstat -tcdlmnpsyt
mpstat 5
这篇文章主要介绍了Tiobench,Orion,Lmbench,netperf这4种压力测试工具的安装及简单使用，只是一个入门级的教程，大牛请绕过。
1. Tiobench 基于文件系统的IO压力测试
下载：
http://sourceforge.net/projects/tiobench/files/tiobench/0.3.3/tiobench-0.3.3.tar.gz/download
解压缩: tar xzvf tiobench-0.3.3.tar.gz
再进入到tiobench-0.3.3目录中
Make
Make install
IO测 ...
netserver -L 10.13.27.215 -p 12865 -4
netperf -H 10.13.27.215 -- -r 64 -l 5
netperf -t TCP_RR -H 10.13.27.215 -- -r 64 -l 5
netperf -t TCP_CRR -H 10.13.27.215 -- -r 64 -l 5
现象:
存储cassandrs 和 前端 resin hector 之间不停的建立连接,断开,再建立连接.
ping 有 2%的丢包.
Cannot read. Remote side has closed. Tried to read 4 bytes, but only got 0 bytes.
这几乎就可以肯定是
org.mortbay.log: /getimage: java.io.IOException: GetImage failed. java.io.IOException
该死的配置文件:
<property>
<name>dfs.secondary.http.address</name>
<value>szmlserver95-10.easou.com:50090</value>
</property>
这个必须加...要不然启动http服务的时候.绑定的端口不对.
Redis 是一个性能非常高效的内存 Key-Value 存储服务, 同时它还具有两个非常重要的特性: 1. 持久化; 2. Value 数据结构. 这两个特性让它在不少场景轻松击败了 Memcached 和 Casandra 等.
Redis 的持久化在两种方式: Snapshotting(快照) 和 Append-only file(aof). 在一个采用了 aof 模式的 Redis 服务器上, 当执行 bgrewriteaof 对 aof 进行归并优化时, 出现了 Redis 被阻塞的问题, 此时, Redis 无法提供任何读取和写入操作.
按字面理解, bgrewriteaof 是 ...
Hadoop杂记
namenode（hdfs）+jobtracker（mapreduce）可以放在一台机器上，datanode+tasktracker可以在一台机器上，辅助namenode要单独放一台机器，jobtracker通常情况下分区跟datanode一样(目录最好分布在不同的磁盘上，一个目录对应一个磁盘)，namenode存储目录需要格式化，datanode存储目录不需要格式化，启动时自动创建
同一个datanode上的每个磁盘上的块不会重复，不同datanode之间的块才可能重复
一些文件的说明：
1、dfs.hosts 记录即将作为datanode加入集群的机器列表
...
hadoop添加垃圾回收站 管用
- 博客分类：
- hadoop及周边
hadoop添加垃圾回收站 管用
在core-site.xml中增加如下配置，表明rm后会在trash中保留多少分钟：
<property>
<name>fs.trash.interval</name>
<value>10080</value>
<description>
Number of minutes between trash checkpoints. If zero, the trash feature is disabled
</description&g ...
光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode（snn）就是NameNode（nn）的热备进程。其 实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是 ...
hadoop hive zookeeper 还不够
好久不写博客了.讲讲现在做的事情吧. 数据平台.hadoop hive全上 .
现在比较纠结的是 分布式异构系统之间的整合和调度....
拷贝 ->清理->整理->合并->上传->计算->输出->通知...
各个环节之间怎么协调配合...
python java shell 怎么才能综合利用这些东西,串联起来各种集群....
欢迎大家讨论.
Hive常用的SQL命令操作
创建表
hive> CREATE TABLE pokes (foo INT, bar STRING);
创建表并创建索引字段ds
hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
显示所有表
hive> SHOW TABLES;
按正条件（正则表达式）显示表，
hive> SHOW TABLES '.*s';
表添加一列
hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);
添加一 ...
使用tmux
tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机；当然其功能远不止于此。
安装
可以使用Ports安装tmux，位置在/usr/ports/sysutils/tmux/；tmux仅有一个依赖包libevent，位于/usr/ports/devel/libevent/。
安装完成后输入命令tmux即可打开软件，界面十分简单，类似一个下方带有状态栏的终端控制台；但根据tmux的定义，在开启了tmux ...