zdk2116
- 浏览: 10940 次
- 性别:
- 来自: 杭州
-
最新评论
文章列表
hadoop 排序汇总
- 博客分类：
- hadoop
前段时间写过一个利用python收集客户端的日志，并启动hadoop进行离线分析，最后用php展示的log日志分析系统，今天开始重新整理一下，python和php在这里就不提起了，就讲一下hadoop的使用。
业务需求(部分)：要求在一天的日志里，把最热门的url按照访问次数和流量大小排序分别统计出来(每个客户都有自己的域名，可以有多个)。
log的内容格式：domain(域名) url(请求url) size(请求大小)，每个字段以空格隔开。
实现的部分代码如下：
我这边做2次mapreduce，第一次，先把访问次数和流量大小合计起来，
ant jar properties文件
- 博客分类：
- java
ant编译的时候是只编译java文件，如果有properties文件则不编译（这个似乎显然）。那么打包的时候，必须拷贝这个properties文件到指定的class文件夹，然后在将它打包到jar文件。如： <target name="jar" depends="compile"> <mkdir dir="${dest.dir}"/> <copy todir="${classes.dir}"> // 先拷贝 <fileset ...
mac 无法ssh localhost，错误提示：bash: /usr/local/bin/ssh_session: Permission denied
在网上找了很久也没有找到解决方案，最后根据提示自己摸索如下：
1.编辑/etc/sshd_config文件，注释掉
#ForceCommand /usr/local/bin/ssh_session
2.启动sshd服务：
sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist
3.停止sshd服务：
sudo launchctl unload -w /System/Li ...
刚接触php不久，碰到include和require, 在网上查了很久，很多人也做了比较，有些不大正确，有误导之嫌，最权威的正确的答案在这里：http://cn.php.net/manual/zh/function.include.php。
看了如果还不明白的话，我做了以下测试，
情况一：
<?php
include("./est.php"); // est.php不存在
echo "<br>continue...";
?>
测试结果：
Warning: include(./est.php): failed to ...
以下内容摘自：http://www.ccvita.com/433.html，仅在忘记时方便查阅。
Ctrl+f 即PageDown 翻页（Forward，向前、下翻页）。
Crtl+b 即PageUp 翻页（Backward，向后、上翻页)。
0 是数目字0 而不是英文字母o。或是Home 键，移至行首，（含空白字元）。
^ 移至行首第一个非空白字元，注意，要Shift 键。
$ 移至行尾，或End 键。要 Shift 键。
G 移至档尾（全文最后一行的第一个非空白字元处）
gg 移至档首（全文第一行之第一个非空白字元处）。
在规则表示式（regular expression）中，^ 是匹 ...
最近在做一个项目，用到的技术是python+coreseek，在安装coreseek时候，按照这个官网：
http://www.coreseek.cn/products-install/install_on_macosx，
到［##安装coreseek，需提前安装mysql以支持mysql数据源］这一步骤的时候，
提示说我的mysql没有安装，没有找到includes文件夹。
但事实上是安装的，在网上找了好几天没搞定，后来无意中用sudo ./configure ... , OK!简直昏倒。
估计是我那个用户没有查看那个目录的权限。但是我完全是按照那个说明来的。
由于 ...
struts2 action之间参数传递可以用result的chain属性，如： <action name="test1" class="xxxAction>
< result name="forwardName" type="chain>
<param name="actionName">test2</param>
<param name=& ...
一直以来对oracle的锁都没搞清楚，这次借考OCA的机会弄了一下。
实验如下（以下的结果是在oracle10g上测试的）：
1.insert 语句
会话1--->
insert into p(x) values(8); //表p就一个字段，number类型
select * from v$lock where (type = 'TM' or type = 'TX') and sid = userenv('SID');
（假设系统只有该用户）查询结果为：
P表被锁住了，LMODE 3(TM ...
weblogic10.3 的数据源配置在选择驱动的时候，默认是*Bea's Oracle Driver(Type4 XA) Version:9.0.1, 9.2.0,10,11,这样检索30000件，CPU利用率达到100%，半个小时后还是没反应。
后来把它改成*oracle's Driver(Thin) Versions 9.0.1,9.2.0,10,11，OK没有问题，很快就出来结果了。
PROPAGATION_REQUIRED ：如果存在一个事务，则支持当前事务。如果没有事务则开启一个新的事务。
代码：
DefaultTransactionDefinition def = new DefaultTransactionDefinition(); def.setName("SomeTxName");
// 设置事务传播方式 def.setPropagationBehavior(TransactionDefinition.PROPAGATION_REQUIRED );
...