黎明lm
- 浏览: 306668 次
- 性别:
- 来自: 北京
-
最新评论
-
dandongsoft：
你写的不好用啊
solr 同义词搜索 -
黎明lm：
meifangzi 写道楼主真厉害 都分析源码了 用了很久. ...
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
meifangzi：
楼主真厉害 都分析源码了
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
zhdkn：
顶一个，最近也在学习设计模式，发现一个问题，如果老是看别人的博 ...
Java观察者模式（Observer）详解及应用 -
lvwenwen：
木南飘香 写道
高并发网站的架构
文章列表
使用单用户数据库时，每个事务都是顺序执行的，而不必应付与其它事务的冲突。但是，在多用户数据库环境下，多个事务可以同步执行，并且每个事务都有可能与其它正在运行的事务发生冲突。在多用户环境下，如果不将事务 ...
转自：http://www.hadoopor.com/thread-236-1-1.html
Pig是yahoo捐献给apache的一个项目，它是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。这是Yahoo开发的又 ...
hadoop与hive的映射
hadoop代码转向hive代码说到，很多MR任务可以由hive完成。这几天，作了一些简单的汇总：
1、文件切割（多输入多输出）
需求：数据LOG包含多种信息，需要将不同的数据信息重定向到不同的文 ...
Java中Object的方法
构造方法摘要
Object()
方法摘要
protected Object clone()
创建并返回此对象的一个副本。
boolean equals(Object obj)
指示某个其他对象是否与此对象“相等”。
protected void
构造方法摘要
Object()
方法摘要
protected Object clone()
创建并返回此对象的一个副本。
boolean equals(Object obj)
...
Hive的预定义UDF函数列表如下
abs(x) - returns the absolute value of x
acos(x) - returns the arc cosine of x if -1<=x<=1 or NULL otherwise
ascii(str) - returns the numeric value of the first character of str
asin(x) - returns the arc sine of x if -1<=x<=1 or NULL otherwise
bin(n) - returns n in bina ...
hive Sort By/Order By/Cluster By/Distribute By
摘自：http://blog.csdn.net/yfkiss/article/details/8021562
Order by
[plain] view plaincopy
colOrder: ( ASC | DESC )
orderBy: ORDER BY colName colOrder? (',' colName colOrder?)*
query: SELECT expression (',' expression)* FROM src orderBy
order by 会对输入做 ...
apache felix的简单使用
Felix，是Apache的一级项目，见：
http://felix.apache.org/site/index.html
Felix是OSGi R4服务平台的免费开源实现。由Oscar项目演变而来。当前版本：1.0.1。
下载压缩包：
http://felix.apache.org/site/downloads.cgi
解压缩，安装完毕。命令行，进入解压缩的目录，启动felix：
java -jar bin\felix.jar
需要输入profile name，用于存储相关信息。
简单命令：
help，显示命令提示；
version，查 ...
1. 配置开机启动服务
/sbin/chkconfig httpd on [设置apache服务器httpd服务开机启动]
/sbin/chkconfig –add mysqld [在服务清单中添加mysql服务]
/sbin/chkconfig mysqld on [设置mysql服务开机启动]
/sbin/service httpd start [启动httpd服务,与开机启动无关]
/sbin/service mysqld start [启动mysql服务,与开机无关]
2. 设置mysql数据库root帐号密码。默认的初始化密码为空~~~
mysqladmin -u root pass ...
git
http://www.cnblogs.com/sinojelly/archive/2011/08/07/2130172.html
hive的权限控制
hiveserver 不支持 并发的访问.如果有多于一个client 并发访问的时候 会报出来表找不到的错误.
通过不同的业务启动不同的端口 可以解决此问题.这样不同的端口的hiveserver服务 就不存在多个client同时访问一个hiveserver的情况了.
hive是没有库的概念的
，但是我们通常是需要“库”这个东西存在。
1.不同日志，视为不同的“库”，其MetaStore在Mysql建立不同的数据库存放
2.每个“库”，对应一个用户，并且创建单独的conf目录
3.在单独的conf目录下，修改hive-default.xml文件，配置相应的db
...
mongodb MapReduce使用初步
摘自：http://www.kafka0102.com/2010/09/329.html
最近在做搜索的查询日志的统计分析，对每一条查询统计日志，我将其解析出来后以特定字段格式存在mongodb中，定时调度做些统计分析。其中有个需求是， ...
MongoDB是一种可扩展的高性能的开源的面向文档（document-oriented ）的数据库，采用C++开发。注意mongo不是mango（芒果），这个词是从humongous中截取出来的，其野心不言而明，直指海量数据存储。和其他很多NoSQL不太一样，MongoDB背后有一个专门的商业公司在提供支持和推广，有点类似MySQL AB的模式。这一系列文章，是为入门者写的，已经对NoSQL和MongoDB有一定研究和经验的，可以略过，或者看看如有疏漏，请留言指出。
面向文档，那么什么是文档呢？很明显这不是我们常见的word文档。这里说的文档，是一种可以嵌套的数据集合。从关系数据库的范式的概念 ...
MongoDB 主从复制配置
原文出处：http://blog.chenlb.com/2010/03/mongodb-master-slave.html
MongoDB 主从复制与 Mysql 类似。
在主服务器上加--master 选项启动。
bin/mongod --dbpath=/home/mongodb/db --master --oplogSize 64
--oplogSize 指定操作的日志，指定小一点 64 M。
从服务器上加 --slave选项启动并指定 master 的地址。
bin\mongod.exe --dbpath=g:\mongodb\db --sla ...
jconsole—监测内存的工具
图形化界面
jstat—GC监控工具
cacti—系统监控
开源软件
可进行全面配置和监控
设置预警值等功能
图形界面
jmap+MAT—dump分析工具
配合MAT使用（我没有使用过）
visualvm—较全面的监测工具
图形化界面
jprofiler—听别人说的
没用过
shell—脚本语言
1. CentOS5 下安装和卸载mysql
（1） 使用root用户，执行如下命令
yum install mysql
yum install mysql-server
yum install mysql-devel
yum install mysql-client
chgrp -R mysql /var/lib/mysql
chmod -R 770 /var/lib/mysql
/sbin/service mysqld start
（2）卸载Mysql，执行如下命令
yum remove mysql
（3） 注意事项：如果提示 ”空间不足用“ 请执行 yum cl ...