黎明lm
- 浏览: 306750 次
- 性别:
- 来自: 北京
-
最新评论
-
dandongsoft：
你写的不好用啊
solr 同义词搜索 -
黎明lm：
meifangzi 写道楼主真厉害 都分析源码了 用了很久. ...
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
meifangzi：
楼主真厉害 都分析源码了
hadoop 源码分析(二) jobClient 通过RPC 代理提交作业到JobTracker -
zhdkn：
顶一个，最近也在学习设计模式，发现一个问题，如果老是看别人的博 ...
Java观察者模式（Observer）详解及应用 -
lvwenwen：
木南飘香 写道
高并发网站的架构
文章列表
jsp表单提交数组
<body>
<form name="form1" method="post" action="">
<p>
<input type="checkbox" name="aaa" value="a1">
a1
<input type="checkbox&q ...
Hadoop客户端环境配置
1. 安装客户端（通过端用户可以方便的和集群交互）
2. 修改客户端~/.bashrc
alias hadoop='/home/work/hadoop/client/hadoop-client/hadoop/bin/hadoop' #hadoop 可执行文件位置
alias hls='hadoop fs -ls'
alias hlsr='hadoop fs -lsr'
alias hcp='hadoop fs -cp '
alias hmv='hadoop fs -mv'
alias hget='hadoop fs -get'
alias hput='ha ...
通过distcp进行并行复制
前面的HDFS访问模型都集中于单线程的访问。例如通过指定文件通配，我们可以对一部分文件进行处理，但是为了高效，对这些文件的并行处理需要新写一个程序。Hadoop有一个叫distcp(分布式复制)的有用程序，能从Hadoop的文件系统并行复制大量数据。
distcp一般用于在两个HDFS集群中传输数据。如果集群在Hadoop的同一版本上运行，就适合使用hdfs方案：
% hadoop distcp hdfs://namenode1/foo hdfs://namenode2/bar
这将从第一个集群中复制/foo目录(和它的内容)到第二个集群中的/bar目录下， ...
mysql慢日志查询步骤：
1.查询mysql版本
[root@user61 bin]# mysql -V
mysql Ver 14.14 Distrib 5.1.54, for pc-linux-gnu (i686) using readline 5.1
2.检查当前服务器有没有在记录slow query：
mysql> show variables like 'log_%';
--------------------------------- --------------------------
| Variable_name | Valu ...
Hive怎样决定reducer个数？
Hadoop MapReduce程序中，reducer个数的设定极大影响执行效率 ，这使得Hive怎样决定reducer个数成为一个关键问题。遗憾的是Hive的 估计机制很弱，不指定reducer个数的情况下，Hive会猜测确定一个reducer个数，基于以下两个设定：
1. hive.exec.reducers.bytes.per.reducer（默认为1000^3）
2. hive.exec.reducers.max（默认为999）
计算reducer数的公式很简单：
N=min(参数2，总输入数据量/参数1)
通常情况下，有必要手动指定red ...
SVN使用log,list,cat,diff查看所有及特定文件版本信息
svn log 展示给你主要信息：每个版本附加在版本上的作者与日期信息和所有路径修改。
svn diff 显示特定修改的行级详细信息。
svn cat 取得在特定版本的某一个文件显示在当前屏幕。
svn list 显示一个目录在某一版本存在的文件。
找出一个文件或目录的历史信息，使用svn log命令，svn log将会提供你一条记录，包括：谁对文件或目录作了修改、哪个修订版本作了修改、修订版本的日期和时间、还有如果你当时提供了日志信息，也 ...
Hive的JDBC连接
博客分类： hive
JDBCDerbySQLSQL ServerHadoop
一、环境
Hadoop 0.20.2版本、Hive-0.5.0版本、JDK1.6
二、使用目的
1、一般来说我们对hive的操作都是通过cli来进行，也就是Linux的控制台，但是，这样做本质上是每个连接都存放一个元数据，各个之间都不相同，所以，对于这样的模式我建议是用来做一些测试比较合适，并不适合做产品的开发和应用。
2、因此，就产生的JDBC连接的方式，当然还有其他的连接方式，比如ODBC等。
三、连接的配置
1、修改hive-site.xml
<property> ...
jquery定时执行
setTimeout 用于延时器,只执行一次.
setInterval:用于多次执行.
Javascript代码
function getnums() {
$.get("http://special.ku6.com/office2010/api/nums.php?" + Math.random(), function(data){
nums = '[img]images/cnt/left.gif" width="62" height="27[/img]';
...
Maven2完全使用手册
maven2 起步
相信maven1 大家都已经很熟悉了，具体maven能做什么，就不详细说了。个人觉得maven在开源项目中用的还是比较多的，公司内部，就不太清楚了。我以前的公司用过一段时间，不过后来就没有下文了。
与maven1 相比，maven2可算是几乎重写了，不过从速度来说应该更快。
主要的几个新特性包括：（详细参考http://www.ibm.com/developerworks/cn/opensource/os-maven2/index.html）
1． 更快、更简单
速度方面可以比上ant了
...
maven系列笔记（安装、下载jar、搭建私服）
1,首先到http://maven.apache.org/download.html 下载合适的Maven版本，我下载的是Maven 2.0.9 (zip)。
2,解压文件到你想安装的目录，我的是F:\apache-maven-2.0.9。
3,在环境变量的用户变量中增加名为M2_HOME，值为F:\apache-maven-2.0.9的变量,注意在目录F:\apache-maven-2.0.9的最后不要加\，即不能为F:\apache-maven-2.0.9\。同时添加名为M2，值为%M2_HOME%\bin的环境变量。在环境变量pat ...
首先介绍：
ICE是一个面向对象的中间件平台。从根本上讲，这意味着ICE提供了一些工具、API和库用以开发面向对象的客户端-服务器的应用程序。ICE应用程序适合于用在各种异构的环境中：客户端和服务器可以用不同的语言编 ...
1-How do we break up a large problem into smaller tasks? More specically, how do
we decompose the problem so that the smaller tasks can be executed in parallel?
2- How do we assign tasks to workers distributed across a potentially large number
of machines (while keeping in mind that some workers ar ...
centos系统安装之后,
ping 192.168.1.7 (局域网内其他主机,no)
ping 192.168.1.2 (网关 no)
ping 127.0.0.1 (本身 yes)
故卸载xen
virbr0 is xen interface used by Virtualization guest and host oses for network communication. Following are the packages under Red Hat / CentOS Linux:
Group: Virtualization
Description: Virtualizat ...
Find 3rd-Party Libraries
checking for cairo_font_options_create in -lcairo... yes
checking cairo.h usability... no
checking cairo.h presence... no
checking for cairo.h... no
checking for pkg-config... pkg-config
configure: WARNING:
--------------------------------------------------------------------- ...
2012-02-15 23:56:39,566 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.1.10:50010, storageID=DS-1805552415-192.168.1.10-50010-1328076157099, infoPort=50075, ipcPort=50020) Starting thread to transfer block blk_-2014515002112257683_78782 to 192.168.1.12:50010 192.16 ...